RealCLI: Nhằm vào việc đánh giá thống nhất hợp tác giữa con người và agent cho các agent CLI
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
Đoạn trích bài viết
Các agent giao diện dòng lệnh (CLI) ngày càng thực hiện các nhiệm vụ tầm xa hơn, tuy nhiên bài đo chuẩn hiện có cho rằng hướng dẫn người dùng vẫn ổn định trong suốt quá trình thực hiện hoặc đánh giá kết quả nhiệm vụ mà không nắm bắt chất lượng hợp tác môi trường chạy. Trong bài báo này, chúng tôi giới thiệu REALCLI, một benchma cặp.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.