Những gì Gradients thêm vào việc rò rỉ văn bản trong các mô hình ngôn ngữ chia, được đếm theo mỗi token và mỗi tài liệu
What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document
Đoạn trích bài viết
Học chia cho phép khách hàng huấn luyện mô hình ngôn ngữ trên máy chủ mà không cần gửi văn bản của nó. Khách hàng tự chạy các lớp đầu tiên và gửi cho máy chủ chỉ đầu ra của chúng, một vector số cho mỗi token. Trong quá trình huấn luyện, máy chủ gửi gradient trở lại.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.