Các LLM Omni-Modal biết nhiều hơn họ nói

Đoạn trích bài viết

Các mô hình ngôn ngữ lớn đa phương tiện (Omni-LLM) mở rộng LLM để xử lý các phương thức khác nhau (ví dụ, hình ảnh, âm thanh và tín hiệu IMU) bên cạnh ngôn ngữ, cho phép một loạt các nhiệm vụ đa phương tiện rộng hơn.