TestPrism: Xem xét lại đánh giá thử nghiệm vượt ra ngoài một tham chiếu duy nhất

Đoạn trích bài viết

Các agent lập trình mô hình ngôn ngữ lớn (LLM) có hệ thống thử nghiệm tiên tiến trên các nhiệm vụ lập trình khác nhau. Tuy nhiên, thực tiễn phổ biến của việc đánh giá các thử nghiệm với một giải pháp tham chiếu duy nhất bỏ qua các thực hiện hợp lệ thay thế và có thể đánh giá quá cao chất lượng thử nghiệm.