Sự đại diện Phân phối lại trong Sparse Autoencoders

Đoạn trích bài viết

Các mã hóa tự động Sparse (SAEs) phân hủy kích hoạt mô hình ngôn ngữ thành các tính năng hiếm, nhưng các chuyển đổi nhanh chóng được thiết kế để bảo tồn yêu cầu cơ bản có thể phân phối lại hoạt động trên chúng. Một thay đổi tính năng được quan sát thấy trên một chuyển đổi prompt không cần phải lặp lại, và thậm chí một thay đổi lặp lại không cần phải.