DMAD: Sự kết hợp phân phối như một loại chưng cất đối thủ cho thế hệ trực quan nhanh

Đoạn trích bài viết

Distribution Matching Distillation (DMD) huấn luyện một học sinh vài bước từ sự khác biệt giữa mục tiêu được ước tính riêng biệt và điểm số của học sinh, vì vậy nó phải giữ một mô hình phân phối phụ trợ phù hợp với sự phân phối phát triển của học sinh với chi phí nhớ và tính toán bổ sung.