DLoop: Looped Speculative Decoding

Đoạn trích bài viết

Việc giải mã suy đoán đẩy nhanh việc sản xuất tự rút trong các mô hình ngôn ngữ lớn. Trong mỗi giai đoạn soạn thảo, một mô hình dự thảo nhẹ đề xuất các token mà mô hình mục tiêu sau đó xác minh.