Lưu ý đầu tiên

Đoạn trích bài viết

Tăng sự chú ý softmax với cửa quên thường dựa vào cộng các đóng góp phân hủy dọc theo con đường khóa - truy vấn. Bởi vì sự tích lũy như vậy là đơn điệu, các cơ chế này không thể chọn lọc xóa ngữ cảnh trung gian trong khi bảo tồn các token cũ hơn, có liên quan về cấu trúc.