Truncate hay không? Một nghiên cứu quy mô của các biến thể vòng tròn với Truncated Backpropagation

Đoạn trích bài viết

Các bộ chuyển đổi vòng lặp sử dụng lại một khối lớp chia sẻ để tăng độ sâu tính toán mà không tăng số lượng các tham số có thể được huấn luyện. Chúng được huấn luyện với sự lây lan ngược qua thời gian (BPTT). Để tiết kiệm tính toán huấn luyện, BPTT thường được cắt giảm cho vài vòng cuối cùng, nhưng cắt giảm tạo ra sự thiên vị g.