Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

Đoạn trích bài viết

Chúng tôi nghiên cứu trước khi huấn luyện khi tính toán rất nhiều nhưng dữ liệu huấn luyện độc đáo là hữu hạn, đòi hỏi phải huấn luyện lặp đi lặp lại trên cùng một dữ liệu. Đầu tiên chúng ta quay lại với việc huấn luyện trước tính toán vô hạn (Kim et al. 2026) và cho thấy rằng tiên phong của nó phụ thuộc rất nhiều vào các lựa chọn trước đây được xác định hoặc nghiên cứu chỉ riêng biệt.