Học cách đọc: Không tích hợp động lực trong mô hình ngôn ngữ
Learning to Read Out: Unembedding Dynamics in Language Model Pretraining
Đoạn trích bài viết
Khi nào mô hình ngôn ngữ có được khả năng? Các nghiên cứu phát triển thường trả lời bằng cách theo dõi khi các mô hình bắt đầu sản xuất token chính xác. Nhưng dự đoán đó đi qua các matrix không tích hợp, hoặc đọc, mà chính nó vẫn đang được học trong quá trình luyện tập trước.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.