Họa độ nhịp độ của công cụ trong agent giọng nói Cascaded trên thiết bị thông qua thực thi suy đoán
Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution
Đoạn trích bài viết
Các trợ lý giọng nói tăng cường công cụ thường tập trung nhận dạng giọng nói tự động, suy luận mô hình ngôn ngữ lớn và thực hiện công cụ bên ngoài. Kết quả là, thời gian trễ công cụ chỉ xảy ra sau khi người dùng đã nói xong và LLM đã xác định các cuộc gọi công cụ cần thiết.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.