Hỏi để Chưng cất: Học cách Tổng hợp Dữ liệu cho Chưng cất On-Policy
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
Đoạn trích bài viết
Chưng cất on-policy (OPD) có thể thành công với số lượng câu hỏi huấn luyện ít đến bất ngờ, thúc đẩy một góc nhìn coi các câu hỏi như những phương tiện truyền tải tri thức theo phân phối.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.