TPPO: PPO theo dõi giá trị cho suy luận mô hình ngôn ngữ

Đoạn trích bài viết

Tối ưu hóa chính sách cận biên (PPO) được sử dụng rộng rãi trong học tăng cường với phần thưởng có thể xác minh dành cho suy luận của mô hình ngôn ngữ. Mặc dù sự tiến triển của giá trị dọc theo quỹ đạo mô tả mức độ đóng góp tương đối ở cấp độ token, nhưng các mạng phê bình tiêu chuẩn thường thất bại trong việc theo dõi nó dưới các phần thưởng cuối cùng thưa thớt.