Dự đoán nhiều token được thực hiện đúng

Đoạn trích bài viết

Multi-Token Prediction (MTP) hiện là một thành phần phổ biến trong huấn luyện trước mô hình ngôn ngữ, vì nó cải thiện hiệu suất dòng chảy và cho phép suy luận nhanh hơn thông qua giải mã phỏng đoán. Chúng tôi xác định một lỗ hổng trong huấn luyện MTP tiêu chuẩn, trong đó một thành phần còn lại của gradient MTP can thiệp vào cả hai.