Thực hiện theo trình độ: Theo dõi sự suy giảm an toàn trở lại dữ liệu huấn luyện

Đoạn trích bài viết

Tinh chỉnh các mô hình ngôn ngữ lớn (LLM) trên dữ liệu hướng dẫn có thể lặng lẽ làm xói mòn sự an toàn của chúng, ngay cả khi không có ví dụ huấn luyện nào có vẻ có hại. Bởi vì dữ liệu làm suy giảm an toàn này có vẻ lành mạnh, các bộ lọc nội dung tiêu chuẩn gặp khó khăn để bắt được nó. Chúng tôi giải quyết vấn đề này bằng cách phát triển SimpleLoRIF, một gradi có thể mở rộng.