HalcyonLập trình LR của bạn có thể không được quy định về nguyên tắc: Lập trình học tập hiệu quả trong huấn luyện bình thường hóa trọng số
Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
Đoạn trích bài viết
Tập luyện cân nặng bình thường (WN) đang nổi lên như một lựa chọn thay thế hấp dẫn cho giảm cân thông thường (WD), với các nghiên cứu gần đây báo cáo tăng giảm cân đáng kể trước khi tập luyện. Chúng tôi cho thấy rằng những tiến bộ này được thúc đẩy chủ yếu bởi quỹ đạo tốc độ học tập hiệu quả (ELR) gây ra thay vì bởi bình thường hóa.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.