Điều gì làm cho một chính sách tiết lộ mặt nạ tốt? Một nghiên cứu được kiểm soát về việc khám phá mặt nạ được học trong các mô hình ngôn ngữ truyền tải

Đoạn trích bài viết

Các mô hình ngôn ngữ phân tán được che giấu tạo ra các token song song, nhưng hiệu quả của chúng phụ thuộc vào dự đoán nào được thực hiện. Các chính sách mở mặt nạ được học tập cải thiện tốc độ - sự thương lượng chính xác, nhưng vẫn khác nhau về giám sát, đầu vào và năng lực, che giấu những lựa chọn nào quan trọng.