QuantMLA: Quantization Dual-path phù hợp với chức năng cho MLA KV lưu trữ bit thấp
QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
Đoạn trích bài viết
Multi-Head Latent Attention (MLA) enables expressive multi-head attention with compact caches for its content and decoupled RoPE paths, yet cache memory still scales linearly with context length and batch size.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.