Số lượng tiếng ồn cơ sở hạ tầng trong các đánh giá lập trình cơ quan
Quantifying infrastructure noise in agentic coding evals
Đoạn trích bài viết
Bài đo chuẩn lập trình đại lý thường được coi là các phép đo chính xác về khả năng mô hình tương đối. Tuy nhiên, chúng tôi đã phát hiện ra rằng cấu hình cơ sở hạ tầng một mình có thể tạo ra sự khác biệt có ý nghĩa trong điểm số.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên anthropic
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.