Chuyển đổi vòng lặp lặp
Recurrent Looped Transformer
Đoạn trích bài viết
Theo dõi trạng thái đòi hỏi phải cập nhật tại mỗi đầu vào, nhưng độ sâu một Transformer áp dụng cho mỗi token được cố định bất kể chiều dài chuỗi. Chúng tôi giới thiệu Recurrent Looped Transformer (RLT), phân chia các lớp của nó giữa một trình mã hóa nguyên nhân song song và một trình mã hóa lặp đi lặp lại.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên huggingface
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.