Giảng dạy bằng văn bản phổ quát cho các mô hình ngôn ngữ lớn (LLM)

Đoạn trích bài viết

Chưng cất tri thức (KD) chuyển giao tri thức từ các mô hình Giáo viên mạnh hơn sang các mô hình Học sinh yếu hơn, nhưng hầu hết các phương pháp đều yêu cầu huấn luyện các tham số của Học sinh, từ đó liên kết tri thức đã chưng cất với một kiến trúc và checkpoint cụ thể.