Khôi phục Sự giám sát Đáng tin cậy thông qua Chưng cất On-Policy có Phê bình Dẫn đường

Đoạn trích bài viết

Chưng cất on-policy (OPD) huấn luyện một mô hình học sinh dựa trên chính các lượt tạo (rollout) của nó với sự giám sát ở cấp độ token từ một mô hình giáo viên, giả định rằng giáo viên có thể đạt được câu trả lời chính xác từ bất kỳ tiền tố nào mà học sinh viết ra.