Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization

Đoạn trích bài viết

Dữ liệu ngoài chính sách trong việc học tập tăng cường với phần thưởng có thể xác minh (RLVR) có thể xuất phát từ việc tạo ra không đồng bộ, sự không phù hợp trong huấn luyện triển khai và tái sử dụng phản ứng. Đánh nặng tầm quan trọng của token tránh nhân tỷ lệ xác suất trên một phản ứng nhưng thường thiên vị các gradient chính sách.