Quy tắc Kronecker Delta cho cơ chế chú ý tuyến tính theo ngữ cảnh dài
Kronecker Delta Rule for Long Context Linear Attention
Đoạn trích bài viết
Chúng tôi đề xuất KronLSTM, một kiến trúc chú ý tuyến tính dựa trên Quy tắc Delta Kronecker, một quy tắc cập nhật mới cho ký ức matrix liên kết.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.