N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

Đoạn trích bài viết

Tưởng thức có điều kiện mở rộng khả năng mô hình ngôn ngữ thông qua tìm kiếm chọn lọc, nhưng bảng nhúng đầy đủ phải vẫn có sẵn cho mọi đầu vào có thể. Chúng tôi giới thiệu Chương trình Điều kiện (CP), một đại diện nén lại chỉ tái cấu trúc các dòng một yêu cầu nhập.