OSWorld-Pro: Đánh giá dựa trên quy trình cho các agent sử dụng máy tính

Đoạn trích bài viết

Việc đánh giá các agent sử dụng máy tính (CUA) thường bị giới hạn trong các sản phẩm cuối cùng mà họ tạo ra (sau khi kết thúc hàng trăm bước) và được đánh giá bằng các bộ xác minh chức năng, như được thấy trong OSWorld. Tuy nhiên, đánh giá như vậy về hiệu suất của nhà nước cuối thiếu minh bạch về cách và lý do tại sao các agent thất bại trong các lĩnh vực khác nhau.