Độ thưa lồng nhau dành cho tiền huấn luyện có khả năng mở rộng và học liên tục

Đoạn trích bài viết

Các mô hình transformer hỗn hợp chuyên gia (MoE), kiến trúc xương sống tiêu chuẩn cho học sâu quy mô lớn hiện đại, sử dụng tính toán có điều kiện: chỉ một tập hợp con thưa thớt của các trọng số mô hình được sử dụng trong mỗi lượt truyền xuôi.