V-CoLA: Vision Token Compression with Linear Attention

Đoạn trích bài viết

Các mô hình ngôn ngữ thị giác (VLM) đã chứng minh khả năng ấn tượng nhưng phải chịu chi phí tính toán đáng kể, vì các token thị giác thống trị chuỗi đầu vào. Điều này thúc đẩy nén mã thị giác như một hướng chính để giảm gánh nặng.