AMLworld-Compact: Giảm mẫu dựa trên trọng số tầm quan trọng nhằm đánh giá LLM và chẩn đoán lỗi hiệu quả về chi phí

Đoạn trích bài viết

Việc đánh giá các mô hình ngôn ngữ lớn (LLM) trên các tập kiểm thử nhỏ nhất của AMLworld rất tốn kém vì mỗi mục tiêu trong số hơn một triệu mục tiêu đều yêu cầu một prompt đồ thị riêng biệt. Việc lấy mẫu giúp giảm chi phí này, nhưng các tập hợp con cân bằng nhỏ lại làm thay đổi độ chính xác (precision) không có trọng số và F1.