Làm thế nào để Loop MoE: Thẳng các chuyên gia, giải phóng sự chú ý

Đoạn trích bài viết

Looped Transformers sử dụng lại một khối lớp nhiều lần: bằng cách chi tiêu thêm tính toán, họ đẩy một mô hình có kích thước cố định hơn nữa, và do đó sử dụng các tham số của nó đầy đủ hơn; trong khi các mô hình hỗn hợp chuyên gia (MoE) hiếm có chỉ kích hoạt một vài trong nhiều chuyên gia cho mỗi token.