Tôi nên chọn mức độ nỗ lực nào? Về nền kinh tế của nỗ lực suy luận trong các agent LLM

Đoạn trích bài viết

Các mô hình tạo ngày càng phơi bày một thiết lập nỗ lực lý luận cho phép người dùng mở rộng tính toán thời gian suy luận, giao dịch chi phí cao hơn cho hiệu suất có thể được cải thiện. Người dùng phải lựa chọn một mức độ nỗ lực trước khi biết liệu lý luận bổ sung có giúp ích hay không, và ngay cả một cuộc chạy thành công cũng không tiết lộ những gì.