Deep Fusion Memory: Bộ nhớ tham số cấp đoạn dành cho các mô hình ngôn ngữ lớn

Đoạn trích bài viết

Các mô hình ngôn ngữ lớn cần những phương pháp hiệu quả để thu nhận và sử dụng tri thức bên ngoài vượt ra ngoài những gì chúng lưu giữ từ quá trình tiền huấn luyện. Tiền huấn luyện tiếp tục có nguy cơ gây quên lãng tai hại, trong khi việc truy xuất tại thời điểm suy luận có thể làm tăng đáng kể chi phí vận hành.