4Paradigm and RiseUnion Open-Source ModelSphere for Heterogeneous LLM Serving
4Paradigm and RiseUnion Open-Source ModelSphere for Heterogeneous LLM Serving
Đoạn trích bài viết
ModelSphere thống nhất dịch vụ cluster, lưu trữ cache KV và AutoTune dưới Apache 2.0, với sự hỗ trợ cho Ascend, Iluvatar, Moore Threads và Hygon DCU.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên pandaily
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.