Sự chú ý liên tục

Đoạn trích bài viết

Chúng tôi giới thiệu Continuum Attention (CA), một toán tử chú ý Transformer nhân quả thay thế việc tra cứu khóa và giá trị rời rạc bằng tích phân trên một đường cong bộ nhớ tuyến tính từng đoạn, liên tục. Mỗi truy vấn tạo ra một mật độ liên quan theo hàm mũ dọc theo đường cong.