Bài đo chuẩn của các agent lập trình nên phù hợp với dòng công việc của người dùng
Coding-Agent Benchmarks Should Match Their Users' Task Flows
Đoạn trích bài viết
Việc đánh giá các agent lập trình nói chung cố gắng thực tế nhất có thể. Trong nghiên cứu của chúng tôi, chúng tôi thu thập được 4.782 phiên agent của các kỹ sư phần mềm thực sự trong JetBrains IDEs, mà chúng tôi gọi là phiên sản xuất.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.