Chuyển vòng đời của sự kích hoạt lớn: sinh đậu, tăng trưởng do giảm cân và tăng cường cạnh tranh
The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation
Đoạn trích bài viết
Các hoạt động lớn, các phối hợp lưu lượng dư thừa với quy mô lớn hơn nhiều so với các hoạt động điển hình, được liên kết với các ống hút sự chú ý trong các bộ chuyển đổi, nhưng cách quy mô của chúng được điều chỉnh trong quá trình huấn luyện vẫn chưa được hiểu đầy đủ.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.