Huấn luyện và suy luận có hướng dẫn phân rã cho giải mã suy đoán bằng bản nháp khuếch tán

Đoạn trích bài viết

Giải mã suy đoán giúp tăng tốc độ suy luận của mô hình ngôn ngữ lớn thông qua việc xác minh song song các token do một mô hình tạo nháp đề xuất. Các mô hình tạo nháp khuếch tán tiếp tục song song hóa quá trình tạo đề xuất, nhưng năng lực đề xuất lớn hơn hoặc số lượng token được chấp nhận trung bình (MAT) cao hơn chưa chắc đã mang lại thông lượng cao hơn.