ATEST: Scaling thời gian thử nghiệm có ý thức về nguồn lực thích ứng cho LLM Inference

Đoạn trích bài viết

Scaling thời gian thử nghiệm (TTS) cải thiện lý luận mô hình ngôn ngữ lớn (LLM) bằng cách lấy mẫu nhiều câu trả lời, nhưng ngân sách lấy mẫu cố định bỏ qua cả khó khăn truy vấn và chi phí năng lượng thay đổi của suy luận dưới tranh chấp GPU.