AB-Attention: Sự chú ý chính xác của khối để tăng tốc biến đổi truyền hình video

Đoạn trích bài viết

Các biến đổi truyền hình video tạo ra video chất lượng cao, nhưng chi phí vuông của sự chú ý đầy đủ 3D thống trị suy luận của họ. Dynamic block-sparse attention làm giảm chi phí này bằng cách tính toán sự chú ý chính xác chỉ cho các block key/value được chọn từ các kích hoạt hiện tại. Tuy nhiên, sự trung thành của nó làm suy giảm u.