ai·radar
Bản tin sáng Tra cứu

Lắng nghe thế giới qua âm thanh nổi: Học sự tương ứng không gian động để tạo sinh video-âm thanh đồng thời đầy sống động

Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

Đoạn trích bài viết

Các mô hình tạo sinh đồng thời video-âm thanh gần đây đã đạt được sự tương ứng ngữ nghĩa và đồng bộ hóa thời gian rất tốt. Tuy nhiên, các ứng dụng như AR/VR và trò chơi tương tác đòi hỏi thêm âm thanh nổi (stereo) để mang lại cảm giác sống động chân thực, điều mà phần lớn vẫn bị bỏ qua.

Toàn văn bài viết

Đọc bài viết đầy đủ trên huggingface

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc