Representation-Space MMD cho các mô hình ngôn ngữ pha trộn
Representation-Space MMD for Diffusion Language Models
Đoạn trích bài viết
Chúng tôi giới thiệu một phương pháp sau huấn luyện cho các mô hình ngôn ngữ phổ biến (DLM) làm giảm thiểu sự phân biệt trung bình tối đa (MMD) giữa các phân phối được tạo ra và tham chiếu trong không gian tính năng của một DLM được huấn luyện trước khi đóng băng.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.