PACE: Mã hóa định kỳ và căn chỉnh theo kênh cho các trạng thái hồi quy 4-bit

Đoạn trích bài viết

Các mô hình ngôn ngữ chú ý tuyến tính (linear-attention) lưu giữ ngữ cảnh của chúng trong một trạng thái hồi quy có kích thước cố định, trong đó hệ thống suy luận sẽ lưu trữ một bản sao của trạng thái này cho mỗi chuỗi mà nó giải mã cùng lúc. Do đó, việc lưu trữ trạng thái ở độ chính xác thấp hơn cho phép nhiều chuỗi hơn dùng chung một bộ tăng tốc.