Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR

Đoạn trích bài viết

Học tập tăng cường với phần thưởng có thể xác minh (RLVR) thường sử dụng các nhóm triển khai nhỏ mỗi lần, nơi lấy mẫu lặp đi lặp lại từ chính sách tương tự có thể tạo ra quỹ đạo tương tự, làm giảm sự thay đổi phần thưởng trong nhóm và làm suy yếu tín hiệu lợi thế liên quan đến nhóm.