PreSTO: Tìm nạp trước cây con mang tính dự đoán để lấy mẫu lũy thừa LLM nhanh chóng

Đoạn trích bài viết

Lấy mẫu lũy thừa (power sampling) cải thiện khả năng suy luận của mô hình ngôn ngữ lớn (LLM) tại thời điểm kiểm thử bằng cách lấy mẫu từ phiên bản được làm sắc nét hơn của phân phối mô hình cơ sở.