HexaShell: Bộ khung tinh gọn để khám phá giới hạn của các agent VLM với tư cách là agent lập trình robot

Đoạn trích bài viết

Các agent được xây dựng trên các mô hình ngôn ngữ - thị giác (VLM) hiện đang cạnh tranh với các chính sách đã học trên các bảng xếp hạng thao tác robot. Chúng tôi đặt câu hỏi một agent lập trình có thể tiến xa đến mức nào khi nó điều khiển một robot thay vì một máy tính, và nó sẽ dừng lại ở đâu.