Heartbeat Thinking: Suy luận suy đoán và thực thi công cụ trong khi lắng nghe ở các agent giọng nói thời gian thực

Đoạn trích bài viết

Các agent giọng nói sử dụng công cụ thường khiến người dùng phải chờ đợi sau khi dứt lời, ngay cả khi thông tin có thể hành động đã xuất hiện sớm hơn trong yêu cầu. Các phương pháp suy đoán bắt đầu xử lý trong khi nói, nhưng việc tạo theo từng đoạn hoặc ngắt khi có cập nhật có thể cắt ngắn lệnh gọi công cụ trước khi các đối số của nó hoàn tất.