Constrained Decoding: Có hại hay có lợi? Xem lại tác động của nó đối với hiệu suất LLM

Đoạn trích bài viết

Việc giải mã hạn chế đảm bảo rằng các mô hình ngôn ngữ lớn (LLM) tạo ra các kết quả phù hợp với các định dạng được xác định trước, nhưng thường được cho là làm suy nghĩ suy yếu. Chúng tôi kiểm tra giả định này thông qua một phân loại ba loại hạn chế: hạn chế định dạng, áp dụng cấu trúc đầu ra;.