Latent-MOPD: Phân phối nhiều giáo viên về chính sách

Đoạn trích bài viết

Việc chưng cất trên chính sách (OPD) huấn luyện học sinh về những phản ứng mà nó tạo ra. OPD đa giáo viên LLM hiện có chuyển giao những gì các chuyên gia dự đoán thông qua phân phối sản lượng của họ. Chúng tôi giới thiệu Latent-MOPD, theo kiến thức của chúng tôi là phương pháp OPD đa giáo viên cấp đại diện đầu tiên cho LLM.