SWE-at-Scale: Tổng hợp vấn đề có khả năng mở rộng từ lịch sử sửa lỗi

Đoạn trích bài viết

Khi các agent lập trình ngày càng trở nên có năng lực hơn, việc đánh giá toàn diện đòi hỏi một nguồn cung cấp rộng hơn và đa dạng hơn về các nhiệm vụ kỹ thuật phần mềm (SWE) có thể xác minh được. Tuy nhiên, các nhiệm vụ trong thế giới thực bị hạn chế bởi tần suất báo cáo vấn đề tự nhiên và chi phí đáng kể của việc tuyển chọn thủ công.