NVIDIA Mission Control 2.5 bổ sung cơ chế tự phục hồi cho Kubernetes qua NVIDIA Run:ai

Tóm tắt bằng AI từ phần nội dung bài gốc đọc được.

1. 1NVIDIA mở rộng công cụ tự phục hồi trong Mission Control 2.5 sang các tác vụ Kubernetes quản lý bởi NVIDIA Run:ai, sau khi trước đây chỉ hỗ trợ các hệ thống HPC dùng Slurm.
2. 2Kiến trúc phục hồi hoạt động như một vòng lặp kiểm soát ba lớp gồm: bộ lập lịch NVIDIA Run:ai, dịch vụ khôi phục tác vụ tự động và dịch vụ khắc phục phần cứng tự động.
3. 3Dịch vụ khôi phục tác vụ tự động theo dõi tiến trình chạy và lịch sử lỗi để phân loại hướng xử lý như khởi động lại, thử lại hoặc điều phối lại tài nguyên.
4. 4Dịch vụ phục hồi phần cứng tự động giám sát các node và GPU, loại bỏ thiết bị bất thường khỏi danh sách lập lịch và chạy chẩn đoán nhằm ngăn lỗi lan sang tiến trình mới.
5. 5Khi xảy ra sự cố phần cứng trong lúc huấn luyện, hệ thống tách quy trình làm hai nhánh song song: khởi động lại tác vụ trên node khỏe mạnh mà không cần chờ phân tích nguyên nhân gốc rễ, đồng thời cách ly và kiểm tra node gặp trục trặc.
6. 6Đối với các lỗi phần mềm tạm thời, hệ thống chỉ kích hoạt thử lại theo chính sách lập lịch nhằm duy trì quy mô cụm tài nguyên, đồng thời có khả năng phát hiện sớm phần cứng xuống cấp để chủ động ngăn chặn sự cố.

Nguồn: nvidia

Bản tóm tắt dựa trên các phần nguồn đọc được.