ai·radar
Bản tin sáng Tra cứu

Số lượng tiếng ồn cơ sở hạ tầng trong các đánh giá lập trình cơ quan

Quantifying infrastructure noise in agentic coding evals

Đoạn trích bài viết

Bài đo chuẩn lập trình đại lý thường được coi là các phép đo chính xác về khả năng mô hình tương đối. Tuy nhiên, chúng tôi đã phát hiện ra rằng cấu hình cơ sở hạ tầng một mình có thể tạo ra sự khác biệt có ý nghĩa trong điểm số.

Toàn văn bài viết

Đọc bài viết đầy đủ trên anthropic

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc