Giảm trả lại dữ liệu trong Sparse Autoencoders: Hành vi chức năng không đảm bảo tính năng tái tạo
Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
Đoạn trích bài viết
Các bộ mã hóa tự động Sparse (SAEs) thường được huấn luyện trên hàng trăm triệu đến hàng tỷ token kích hoạt, nhưng ít công việc đã kiểm tra xem quy mô này là cần thiết hay không.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.