Dự đoán hiệu quả thông tin đặc quyền cho chính sách tự chưng cất
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
Đoạn trích bài viết
Chính sách tự chưng cất (OPSD) cho phép các mô hình ngôn ngữ lớn (LLM) học hỏi từ thông tin đặc quyền (PI) mà không cần mô hình giáo viên riêng biệt. Tuy nhiên, công việc trước đây phần lớn coi PI là một lựa chọn thiết kế cố định, để lại tác động của nội dung và cấu trúc của nó không được hiểu rõ.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.