Halcyon
Bản tin sáng Tra cứu

ProVe: Tự giải mã trình đề xuất-định chứng

ProVe: Proposer-Verifier Decoding

Đoạn trích bài viết

Việc giải mã phỏng đoán tăng tốc các mô hình ngôn ngữ tự rút (AR) bằng cách cho phép một mô hình nhỏ vẽ token theo chuỗi và một mô hình lớn xác minh chúng song song. Chúng ta đảo ngược các vai trò này. Bắt đầu từ một điểm kiểm soát AR tiêu chuẩn, chúng tôi tinh chỉnh mô hình lớn thành một đề xuất dự đoán một khối tương lai.

Toàn văn bài viết

Đọc bài viết đầy đủ trên huggingface

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc