Trên SPOT: Cải thiện giải mã suy đoán cho các mô hình ngôn ngữ truyền thông thông qua dự đoán lệnh thực hiện

Đoạn trích bài viết

Các mô hình ngôn ngữ pha trộn (DLM) hứa hẹn tạo văn bản song song, nhưng trên thực tế phải đối mặt với một sự thỏa hiệp về tốc độ chất lượng chưa được giải quyết. Việc giải mã chính xác chỉ điền vào một vị trí che đậy mỗi mẫu thông qua, trong khi các chương trình giải mã nhiều token nhanh hơn là thua lỗ. Việc giải mã dự đoán là tốc độ không mất mát tiêu chuẩn.