Chuyển chuyển KV dựa trên đẩy để cải thiện TTFT và TPOT cho suy luận phân chia trong vLLM
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Đoạn trích bài viết
Việc phân chia prefill-decode của vLLM chia kết luận LLM giữa các phiên bản động cơ nhưng phải chuyển bộ nhớ cache KV giữa chúng.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên amazon
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.