Latent Compaction with Test-Time Training

Đoạn trích bài viết

Các bối cảnh dài làm tăng bộ nhớ nhớ key-value (KV), làm tăng sử dụng bộ nhớ và chi phí chú ý trong quá trình tạo ra. Việc nén các kho lưu trữ này phải giữ lại thông tin cho các câu hỏi không được nhìn thấy. Chúng tôi giới thiệu **Latent Compaction**, học được một bộ nhớ cache cụ thể về tài liệu thông qua đào tạo thời gian thử nghiệm.