Độ thưa nên được ALLOT theo đầu ra: Phân bổ Attention khối thưa không cần huấn luyện cho Video Diffusion Transformer
Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Đoạn trích bài viết
Cơ chế attention 3D toàn phần rất tốn kém trong các Video Diffusion Transformer. Attention khối thưa giảm thiểu chi phí này bằng cách chỉ tính toán các khối attention được chọn. Tuy nhiên, các phương pháp hiện tại hoặc bỏ qua tiềm năng tối ưu hóa việc phân bổ độ thưa, hoặc dựa vào các quy tắc phỏng đoán hay số đo cục bộ để định hướng nó.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.