TokenGate: Tinh chỉnh các LLM để prefill nhanh và tiết kiệm bộ nhớ với Learned Token Pruning

Đoạn trích bài viết

Những độc giả là chuyên gia con người xử lý các dữ liệu đầu vào lớn (ví dụ: kho mã nguồn và tài liệu dài) bằng cách đọc lướt để chỉ đọc kỹ những gì quan trọng. Ngược lại, các mô hình ngôn ngữ xử lý tất cả các token đầu vào qua từng lớp mô hình, dẫn đến chi phí xử lý đáng kể cho các dữ liệu đầu vào có ngữ cảnh dài.