NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

Đoạn trích bài viết

Học tập tăng cường agent (RL) phân chia huấn luyện từ việc triển khai, vì vậy mỗi bản cập nhật chính sách phải đạt đến các cụm triển khai trước khi đợt tiếp theo. Việc chuyển giao một điểm kiểm soát đầy đủ 1T cho sự đồng bộ hóa trọng số như vậy (refit) mất 87,5 phút giữa hai khu vực AWS.