Self-Distillation with Verbal Regularization

Đoạn trích bài viết

Chính sách tự chưng cất (OPSD) huấn luyện một mô hình ngôn ngữ lớn sử dụng sự giám sát từ một giáo viên lấy từ mô hình tương tự như học sinh. Giáo viên được điều kiện dựa trên thông tin đặc quyền (PI), chẳng hạn như các giải pháp được xác minh.