Halcyon
Bản tin sáng Tra cứu

Đọc, phân bổ, tuyến đường: Tokenization kết nối vai trò cho máy biến đổi tạo không gian Pixel

Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

Đoạn trích bài viết

Các bộ chuyển đổi tạo không gian Pixel thường sử dụng một token cho mỗi bản vá hình ảnh, vì vậy chụp chi tiết tinh tế hơn đòi hỏi nhiều token hơn và làm cho sự chú ý toàn cầu ngày càng đắt tiền. Chúng tôi nhận thấy rằng chi tiết tinh tế hơn không nhất thiết phải đòi hỏi thông tin liên lạc toàn cầu hơn: cấu trúc tần số thấp có lợi từ việc.

Toàn văn bài viết

Đọc bài viết đầy đủ trên huggingface

Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.

Mở bài viết gốc