Khi bộ nhớ cache KV chậm hơn GPU: Scaling Remote KV Tiers for Context-Parallel Prefill

Đoạn trích bài viết

Việc sử dụng lại bộ nhớ cache KV để chú ý trên các yêu cầu là một cách tiêu chuẩn để cắt giảm chi phí prefill trong dịch vụ LLM trong bối cảnh dài, và các hệ thống sản xuất ngày càng hỗ trợ bộ nhớ cache mỗi động cơ với một cấp độ từ xa được chia sẻ bởi mỗi động cơ.