Khơi nhiễm cache KV yêu cầu chéo trong mô hình GLM-5.3 Workers AI, và sự khắc phục của chúng tôi với SGLang

Đoạn trích bài viết

Một sự không phù hợp cấu hình trong GLM 5.3 trên Workers AI đã kích hoạt một lỗi SGLang cho thấy các trang cache KV trên các yêu cầu. Đây là cách chúng tôi giải quyết vấn đề.