ai·radar
Bản tin sáng Tra cứu

Học cách đọc: Không tích hợp động lực trong mô hình ngôn ngữ

Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

Đoạn trích bài viết

Khi nào mô hình ngôn ngữ có được khả năng? Các nghiên cứu phát triển thường trả lời bằng cách theo dõi khi các mô hình bắt đầu sản xuất token chính xác. Nhưng dự đoán đó đi qua các matrix không tích hợp, hoặc đọc, mà chính nó vẫn đang được học trong quá trình luyện tập trước.

Toàn văn bài viết

Đọc bài viết đầy đủ trên huggingface

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc