Đưa ra quyết định tiếng nói theo batch không cần giải mã: Giám sát đơn token giúp LLM đóng băng nghe vượt ngoài bản chép lại
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
Đoạn trích bài viết
Các voice agent song công toàn phần đưa ra rất nhiều quyết định nhỏ và khép kín, những điều mà các hệ thống hiện nay xử lý bằng giải mã tự hồi quy chậm chạp. Chúng tôi đề xuất DuplexJev, công nghệ đưa các trạng thái ẩn của bộ giải mã ASR qua một bộ kết nối nhỏ vào một LLM đóng băng và đọc từng câu hỏi dưới dạng phân phối token đơn trên các lựa chọn của nó.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.