DoSA: Cơ chế chú ý thưa Dots Sparse Attention

Đoạn trích bài viết

Cơ chế chú ý thưa chỉ truy cập một vài khóa (keys), tuy nhiên việc tìm kiếm chúng vẫn có thể đòi hỏi phải tính điểm cho mọi khóa với từng đầu lập chỉ mục. Chúng tôi giới thiệu DoSA (Dots Sparse Attention), một phương pháp không tổn hao giúp việc tính toán này diễn ra có điều kiện trong khi vẫn bảo toàn việc lựa chọn token chính xác.