Về nguồn gốc và sự tiến hóa của sự không phù hợp giữa huấn luyện và giảng dạy trong việc học tập tăng cường LLM

Đoạn trích bài viết

Học tập tăng cường chính sách cho các mô hình ngôn ngữ lớn giả định rằng các phản ứng huấn luyện được lấy mẫu từ chính sách hiện tại. Trong thực tế, một động cơ suy luận lấy mẫu các câu trả lời và một huấn luyện viên riêng tính toán các gradient, và sự không phù hợp giữa huấn luyện và suy luận giữa hai làm cho huấn luyện.