PreView: Enhancing GUI Grounding with Preprocessed Views and Cues

Đoạn trích bài viết

GUI đặt đất đòi hỏi phải xác định vị trí các điều khiển nhỏ trong các ảnh chụp màn hình lộn xộn và xác định điều khiển nào mà hướng dẫn ngôn ngữ tự nhiên đề cập. Việc cắt và mở rộng có thể phơi bày chi tiết cục bộ, nhưng hình ảnh kết quả vẫn có thể để lại sự mơ hồ về mục tiêu dự định. Chúng tôi đề xuất PreView, một trợ lý.