EventLens: Sự kiện - cấu trúc tăng cường học tập để hiểu video

Đoạn trích bài viết

Các mô hình ngôn ngữ lớn đa phương thức gần đây (MLLM) đạt được kết quả mạnh mẽ về câu hỏi trả lời video, nhưng thường không thể phục hồi cấu trúc thời gian làm cho một video liên tục. Chúng có thể kết hợp các sự kiện lân cận, bỏ lỡ sự tiến triển của một sự kiện đơn lẻ, hoặc suy luận mối quan hệ không thể tin được giữa các sự kiện.