Phá vỡ khi đến: Các hiện vật LLM không hoạt động được định lượng trong các hồ sơ mô hình công cộng và cách bắt chúng

Đoạn trích bài viết

Các nhà phát triển tải xuống các mô hình ngôn ngữ lớn (LLM) từ các đăng ký công cộng để chạy chúng cục bộ. Không một trong những hồ sơ mà chúng tôi đã kiểm tra đã ghi lại kiểm tra chức năng của hồ sơ của họ. Chúng tôi đã thử nghiệm tất cả 305 thẻ GGUF có khả năng mã hóa đủ điều kiện ( định dạng llama.cpp) trên 15 dòng mô hình trong Ollam chính thức.