Các mô hình cơ sở huấn luyện với một thuật toán duy nhất

Đoạn trích bài viết

Các mô hình nền tảng thường được huấn luyện trong các giai đoạn: trước huấn luyện, giữa huấn luyện, tinh chỉnh giám sát (SFT), và tăng cường học tập (RL), với những thay đổi trong cả dữ liệu và thuật toán học tập. Chúng tôi cho thấy rằng sự tách biệt thuật toán này không phải là cơ bản. Bằng cách rút ra các mục tiêu RL thích hợp như tối đa-li.