Sự phát tán suy đoán là một câu chuyện về hai sự giao dịch

Đoạn trích bài viết

Việc giải mã suy đoán là một kỹ thuật đẩy nhanh tốc độ suy luận của các mô hình ngôn ngữ lớn tự rút (LLM) bằng cách lấy mẫu từ mô hình dự thảo chất lượng thấp hơn và nhanh hơn.