LatentLoop: Mở Rộng Quy Mô Mô Hình Looped MoE Với Asymmetric Compute Allocation

Đoạn trích bài viết

Các mô hình Looped Mixture-of-Experts (MoE) kết hợp việc tái sử dụng tham số với tính toán thưa để cải thiện hiệu năng trong cùng mức ngân sách tương đương. Các nghiên cứu trước đây chỉ ra rằng các lượt duyệt vòng lặp khác nhau có thể đóng những vai trò khác nhau ngay cả khi chúng dùng chung tham số.