ECHO: Tự tái diễn nguyên nhân hiệu quả vượt qua dự đoán đa token hỗ trợ
ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
Đoạn trích bài viết
Các phương pháp dự đoán đa token (MTP) hiện có là phụ trợ theo thiết kế: lỗ đa đường chân trời chủ yếu là các mô-đun gắn với xương sống, và mỗi đường chân trời được thêm vào chi phí một mô-đun khác và một vượt qua khác. Chúng tôi đề xuất Tự tái tạo nguyên nhân hiệu quả (ECHO), loại bỏ cả hai chi phí.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.