Specter: Suy luận MoE nhanh thông qua giải phóng tải suy đoán nhiều bước hỗ trợ lượng tử hóa
Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading
Đoạn trích bài viết
Các mô hình kết hợp chuyên gia (MoE) thường vượt quá dung lượng bộ nhớ của một bộ tăng tốc đơn lẻ. Việc giải phóng các chuyên gia sang bộ nhớ máy chủ tạo ra nút thắt cổ chai I/O PCIe nghiêm trọng vì việc định tuyến phụ thuộc vào dữ liệu giữ các lượt truyền tải trên đường dẫn trọng yếu.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.