DTCA: Phước từ việc phân bổ tín dụng token cho việc tăng cường học tập trong các mô hình ngôn ngữ phân tán

Đoạn trích bài viết

Các mô hình ngôn ngữ pha trộn (DLM) tạo ra văn bản thông qua việc đánh dấu lặp đi lặp lại, cho phép mô hình hóa ngữ cảnh hai chiều và tinh chỉnh token song song. Các nghiên cứu gần đây đã áp dụng học tập tăng cường (RL) cho DLM và cải thiện hiệu suất lý luận của họ. Tuy nhiên, quá trình từ chối lặp đi lặp lại làm cho.