Điểm cao hơn, trả lời tệ hơn: Giảm thiểu hiện tượng gian lận phần thưởng trong RL dựa trên tiêu chí thông qua tiêu chí cấp giao thức

Đoạn trích bài viết

Học tăng cường dựa trên tiêu chí (Rubric-RL) huấn luyện các mô hình ngôn ngữ ở những nơi không tồn tại bộ xác minh. Một giám khảo sẽ kiểm tra từng tiêu chí của rubric, và các phán quyết được tổng hợp thành một phần thưởng, thường là bằng một tổng có trọng số. Chúng tôi chỉ ra rằng sự tổng hợp cộng gộp này chính là điểm yếu.