TAO: Lập kế hoạch chung có ý thức về công cụ cho dịch vụ đại lý dựa trên LLM

Đoạn trích bài viết

Các dịch vụ đại lý thay thế giữa suy luận mô hình trên các GPU tập hợp và các công cụ bên ngoài trên các CPU phân tán. Trong kịch bản này, các hệ thống hiện có (1) bỏ qua sự sẵn sàng trả công cụ trong việc đánh giá dịch vụ, lãng phí các nguồn lực hạn chế, và (2) sử dụng các chiến lược heuristic để quyết định nhập học và vị trí trên G.