Hiệu chỉnh theo ngữ cảnh của các bản nháp song song cho giải mã suy đoán
Contextual Correction of Parallel Draftsfor Speculative Decoding
Đoạn trích bài viết
Giải mã suy đoán giúp tăng tốc độ suy luận của mô hình ngôn ngữ lớn bằng cách sử dụng một bộ phác thảo nhẹ để đề xuất nhiều token, sau đó các token này được mô hình mục tiêu xác minh song song.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.