Chẩn đoán khoảng cách tham chiếu: Những gì các trạm hình ảnh có thể và không thể khắc phục trong lý luận đa phương thức
Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
Đoạn trích bài viết
Các mô hình ngôn ngữ đa phương tiện lớn có thể nhận ra nội dung trực quan nhưng lại gặp khó khăn để lý luận đáng tin cậy về nó qua nhiều bước. Khi đếm, một mô hình có thể thấy tất cả các đối tượng nhưng mất dấu những đối tượng nào mà nó đã đếm. Chúng tôi lập luận rằng những thất bại như vậy, thường được quy cho nhận thức, cho thấy một khoảng cách tham chiếu:.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.