AgentSafeEvo: Sự tiến hóa chung đối lập cho an toàn của các agent LLM

Đoạn trích bài viết

Các agent mô hình ngôn ngữ lớn (LLM) thực hiện các nhiệm vụ phức tạp thông qua các tương tác nhiều lượt với các công cụ bên ngoài. Tuy nhiên, nội dung độc hại được nhúng vào các truy vấn của người dùng, mô tả công cụ hoặc quan sát môi trường có thể thao túng quyết định của họ và gây ra các hành động không an toàn.