Embedding có đang quá đắt đỏ? Một từ vựng cố định 16 MB cho các mô hình ngôn ngữ nhỏ và tam phân

Đoạn trích bài viết

Trong một mô hình ngôn ngữ nhỏ, từ vựng là phần lớn nhất. Ở Gemma 3 270M, bảng embedding chiếm 168M trên tổng số 268M tham số, và vì các phương pháp lượng tử hóa giữ nguyên embedding ở dạng 16-bit, nên nó cũng chiếm phần lớn dung lượng tệp sau khi phần còn lại của mô hình được nén.