Các mô hình ngôn ngữ có cần một bảng tích hợp thông tin có thể được đào tạo không? Các mã token tối thiểu cố định ở thang độ lớp 1.7B
Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale
Đoạn trích bài viết
Một bảng nhúng đầu vào có thể đào tạo gán cho mỗi mục từ vựng một vector có thể điều chỉnh độc lập. Chúng tôi điều tra xem liệu phân tích cụ thể của token này có cần thiết cho khả năng mô hình hóa ngôn ngữ đáng kể hay không, hoặc liệu một Transformer được chia sẻ có thể học hỏi từ danh tính token cố định hay không.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.