synchopate/nemotron-30b-cpu-256k

github

Đoạn trích bài viết

Tiến trình 30B MoE LLM trên CPU với tốc độ 30-50+ tok/s với cửa sổ ngữ cảnh 256K thông qua Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages.

Toàn văn bài viết

Đọc bài viết đầy đủ trên github

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc