Chỉ nhìn khi cần thiết: Định hướng hình ảnh được hướng dẫn bằng chứng nhận cho VLMs truyền tải hiệu quả

Đoạn trích bài viết

Các mô hình ngôn ngữ thị giác pha trộn (DVLM) xử lý toàn bộ đầu vào của họ tại mỗi bước khử. Vì các token hình ảnh chiếm 89-97% đầu vào trên bài đo chuẩn mà chúng tôi nghiên cứu, hầu hết các tính toán giải mã được sử dụng nhiều lần xử lý cùng một hình ảnh. Các phương pháp cắt token thị giác một phần làm giảm.