FLAMIA: FLAsh Microscaling Attention để đào tạo nhanh chóng và an toàn về nguyên nhân trên Blackwell

Đoạn trích bài viết

Sự chú ý vẫn là một chi phí tính toán đáng kể trong huấn luyện Transformer, đặc biệt là ở các chiều dài ngữ cảnh dài. NVIDIA Blackwell GPU cung cấp thông qua cao-throughput-đúng lượng thấp matrix nhân, nhưng khai thác nó trong sự chú ý đòi hỏi phải giải quyết quantization overhead, rò rỉ thông tin nguyên nhân th.