Thất yếu để củng cố: Thất yếu tự chưng cất chính sách gây ra cho các mô hình lý luận lớn
Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
Đoạn trích bài viết
Tự chưng cất cung cấp một cách để cải thiện các mô hình lý luận khi không có giáo viên bên ngoài thích hợp. Tuy nhiên, các cách tiếp cận phổ biến dựa vào thông tin đặc quyền để xây dựng một người tự dạy mạnh mẽ hơn, hạn chế việc sử dụng chúng khi chỉ có các lời khuyên không có nhãn. Trong bài báo này, chúng tôi giới thiệu.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.