Co-Design Bench: Đánh giá lập trình hợp tác đa phương thức cho các mô hình đại lý

Đoạn trích bài viết

Đánh giá thiết kế đồng hành giữa con người và AI đòi hỏi phải kiểm tra liệu các agent lập trình có thể dịch các yêu cầu đa phương thức của người dùng thực tế thành các sửa đổi ứng dụng làm việc hay không. Chúng tôi giới thiệu Co-Design Bench, một bài đo chuẩn không tham chiếu của 273 nhiệm vụ được lựa chọn từ 37.463 truy vấn sao chép trên 26.314 phiên lập trình người dùng thực.