Hệ quy chiếu từ vựng: Giải thích luồng phần dư của mô hình ngôn ngữ theo ngữ nghĩa bản địa
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
Đoạn trích bài viết
Vốn từ vựng của một mô hình ngôn ngữ chính là ngữ nghĩa bản địa của nó: tầng nhúng (embedding) và tầng giải nhúng (unembedding) xác định ý nghĩa của một trạng thái tại hai đầu của luồng phần dư.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.