HalcyonKết hợp các ngữ cảnh cục bộ vào ý nghĩa toàn cầu: Sự phân hủy lý thuyết của các đại diện biến thể
Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformer Representations
Đoạn trích bài viết
Các công cụ giải thích hiện có không kiểm tra xem đại diện có giữ lại cùng một nội dung hay không khi chỉ thay đổi cụm từ. Chúng tôi đối xử với mỗi cặp phác thảo như một nhân chứng cục bộ rằng hai kích hoạt nên đồng ý và xây dựng một vỏ tế bào trên biểu đồ phác thảo; Laplacian của nó L_F trả lời câu hỏi.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.