DAMI: Thiết lập bộ nhớ hai trục để tăng cường truy xuất ngữ cảnh dài trong sự chú ý tuyến tính được mở cửa

Đoạn trích bài viết

Sự chú ý tuyến tính cân bằng tuyến tính với chiều dài chuỗi, nhưng bộ nhớ trạng thái hữu hạn của nó có thể hạn chế tìm kiếm ngữ cảnh dài. Trong các tái phát tuyến tính bị khóa, lưu trữ bộ nhớ phụ thuộc vào trạng thái phân rã, được định hình chung bởi các tham số cổng A_log và dt_bias và bởi kích hoạt đầu vào. Trong DeltaN được kiểm soát.