On-Policy Self-Distillation with Teacher Evolution

Đoạn trích bài viết

Chính sách tự chưng cất (OPSD), phù hợp với phân phối cấp token của mô hình học sinh với phân phối cấp độ tự học của nó do bối cảnh đặc quyền thúc đẩy, đã nổi lên như một hướng hứa hẹn để giảm bớt sự khan hiếm phần thưởng trong các mô hình sau huấn luyện cấp bậc. Tuy nhiên, OPSD thường không đạt được c.