Ant Group và vLLM mã nguồn mở Humming, các kernel suy luận lượng tử hóa có hỗ trợ Zhenwu 810E
Ant Group and vLLM Open-Source Humming, Quantized Inference Kernels With Zhenwu 810E Support
Đoạn trích bài viết
Ant Group và cộng đồng vLLM đã mã nguồn mở Humming, một thư viện kernel JIT GEMM phục vụ suy luận lượng tử hóa. Thư viện này bao gồm các kết hợp INT1-8 và FP4-FP8, đồng thời hỗ trợ đầy đủ cho Zhenwu 810E của T-Head.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên pandaily
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.