PN-Mix: Lượng tử hóa bộ nhớ đệm khóa độ chính xác hỗn hợp theo hướng dẫn của Pair-Norm để suy luận LLM đầu ra dài hiệu quả
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Đoạn trích bài viết
Quá trình suy luận cho đầu ra dài trong các mô hình ngôn ngữ lớn gặp phải tình trạng tắc nghẽn nghiêm trọng về băng thông và bộ nhớ đệm KV. Mặc dù lượng tử hóa bộ nhớ đệm KV giúp giảm bớt vấn đề này, lượng tử hóa bit thấp (ví dụ: 2-bit) làm suy giảm nghiêm trọng độ chính xác của mô hình.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.