Youtu-Parsing-Omni dẫn đầu chuẩn kiểm thử mở nhưng lợi thế tập trung ở âm thanh và video

Nhóm tác giả bài báo giới thiệu Youtu-Parsing-Omni, công cụ bóc tách đa phương thức đạt kết quả dẫn đầu chuẩn đánh giá benchmark (bộ kiểm tra tiêu chuẩn) chỉ với một bản lưu trọng số 5 tỷ tham số, dù ưu thế dồn vào âm thanh và video.

Theo nhóm nghiên cứu, bộ mã hóa Youtu-Omni-Encoder khởi tạo từ mô hình ngôn ngữ nhằm tăng cường khả năng đọc văn bản, kết hợp cấu trúc OmniSchema để hợp nhất mười tác vụ phân tích qua chưng cất tự tiến hóa.

Trên bảng kiểm tra OmniParsingBench đo lường năng lực bóc tách, các tác giả cho biết mô hình đạt điểm trung bình 75,08, đứng đầu nhóm mở trọng số nhưng thế mạnh chỉ tập trung ở âm thanh và video.

Kết quả kiểm thử cho thấy tiềm năng hợp nhất kiến trúc, song nhóm tác giả lưu ý mô hình chỉ ngang bằng công cụ chuyên dụng khi chép bản nhạc in thay vì vượt trội hoàn toàn.