Chọn kênh cho hỗn hợp các chuyên gia Khóa giải cần không có dữ liệu hiệu chuẩn

Đoạn trích bài viết

Các mô hình Mixture-of-Experts (MoE) bị tắc nghẽn bằng cách tải trọng chuyên gia được định tuyến từ bộ nhớ trong quá trình giải mã tương tác ở kích thước lô nhỏ. Bởi vì hầu hết các kênh trung gian trong một chuyên gia hướng dẫn đóng góp ít cho bất kỳ token duy nhất, các lựa chọn kênh dự đoán các kênh quan trọng và chỉ đọc t.