Hỗ trợ học tập cục bộ

Đoạn trích bài viết

Chúng tôi khám phá sự lãng quên thảm khốc trong bối cảnh của các mô hình trước khi được huấn luyện lớn. Bằng cách xem xét quên là một vấn đề hình học trong không gian đầu vào của mỗi matrix trọng số, chúng ta phát hiện ra một mục tiêu giữ lại tự nhiên trong đó các cập nhật được tạo ra bởi các tối ưu hóa dựa trên gradient là không tối ưu.