METASTONE ra mắt TokenFleet để lập lịch suy luận LLM trên các cụm GPU và trung tâm dữ liệu
METASTONE Launches TokenFleet to Schedule LLM Inference Across GPU Clusters and Data Centers
Đoạn trích bài viết
Nhà điều hành tính toán METASTONE đã công bố TokenFleet, một khung lập lịch cho các cụm suy luận LLM. Các trang trình bày của họ cho thấy thời gian phản hồi token đầu tiên (time-to-first-token) P95 giảm 32,4% và thông lượng đầu ra đạt mục tiêu tăng khoảng 29,4%.
Toàn văn bài viết
Mở bài viết gốc
Đọc bài viết đầy đủ trên pandaily
Mở bài gốc để xem trọn vẹn chi tiết và dẫn chứng.