HSPR: Khôi phục bài đo chuẩn đánh giá agent phần mềm thông qua suy luận hậu nghiệm phân cấp
HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference
Đoạn trích bài viết
Việc đánh giá các agent phần mềm trên một bộ chuẩn hoàn chỉnh rất tốn kém. Một tập hợp con nhỏ các tác vụ có thể duy trì thứ hạng của agent nhưng lại tạo ra điểm số không chính xác. Các phản hồi trong quá khứ cung cấp cấu trúc hữu ích, nhưng các tác vụ có phản hồi nguồn giống hệt nhau lại có thể dẫn đến kết quả khác nhau đối với một agent mục tiêu mới.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.