Việc đào tạo hỗn hợp chuyên gia mạnh mẽ về phân phối

Đoạn trích bài viết

Các bộ chuyển đổi hỗn hợp các chuyên gia (MoE) mở rộng năng lực bằng cách kích hoạt chỉ một vài chuyên gia mỗi token, nhưng sự khan hiếm này tạo ra một vấn đề độ tin cậy ẩn: khi định tuyến không hoàn hảo, các mô hình cân bằng tải có thể gửi token cho các chuyên gia không được huấn luyện đầy đủ cho các đầu vào được chỉ định.