Công nghệ hạt nhân hỗn hợp các chuyên gia trên Amazon SageMaker AI

Đoạn trích bài viết

Các kỹ sư AWS chia sẻ tối ưu hóa lõi cho các mô hình Mixture-of-Experts (MoE) hợp nhất trên Amazon SageMaker AI: Swap-AB cho việc sử dụng WGMMA, định tuyến nền Triton cho định lượng FP8, và loại bỏ việc biên soạn Triton JIT.