DeskForge: Giám sát chặt chẽ từ môi trường máy tính để bàn cho các agent sử dụng máy tính

Đoạn trích bài viết

Các agent sử dụng máy tính cần phải đặt mục tiêu hành động đáng tin cậy trong các cảnh máy tính để bàn phức tạp, nơi nhiều ứng dụng, cửa sổ chồng chéo và điều khiển tương tự trực quan cạnh tranh để chú ý. Dữ liệu huấn luyện hiện có hiếm khi kết hợp các cảnh như vậy với các chú thích dày đặc hoặc thay đổi chúng theo cách kiểm soát.