Khóa khóa cắt cấu trúc để lý luận các mô hình ngôn ngữ thông qua cắt giảm MLP bảo tồn sự chú ý

Đoạn trích bài viết

Cắt tỉa có cấu trúc (structured pruning) làm giảm chi phí suy luận của LLM bằng cách loại bỏ các thành phần mô hình để tạo ra các mô hình dày đặc nhỏ hơn. Tuy nhiên, các phương pháp hiện tại có thể khiến hiệu suất lập luận sụp đổ trong các tác vụ suy luận dạng dài như AIME.