Lịch sử tự lặp lại: Tạo ra khả năng quan tâm trực tuyến trong bối cảnh dài
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
Đoạn trích bài viết
Linear attention promises the efficiency needed for long-context language modelling, yet its fixed-size recurrent state must simultaneously support ongoing computation and preserve information from an ever-growing history.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.