FreeSolo: Cơ chế chú ý thưa thớt thời gian tuyến tính với Zero-Shot Length Extrapolation

Đoạn trích bài viết

Các mô hình chuỗi thời gian tuyến tính thường lưu trữ thông tin ngữ cảnh dài trong trạng thái lặp lại. Một trạng thái kích thước cố định hạn chế bao nhiêu thông tin có thể được lưu trữ, trong khi các kiến trúc lai bổ sung sự chú ý đầy đủ cho việc nhớ lại tốt hơn gây ra chi phí chuỗi vuông.