Cắt giảm 68% hóa đơn suy luận của chúng tôi nhờ việc chú trọng tối ưu hóa đến mức ám ảnh

Đoạn trích bài viết

Khi chi phí kiểm tra mã AI của chúng tôi tăng gấp đôi mỗi lần chạy, chúng tôi đã đào sâu vào việc sử dụng token để tìm ra lý do tại sao. Tìm hiểu làm thế nào chúng tôi đã sử dụng cache nhanh và định tuyến mô hình thông minh để cắt giảm chi phí suy luận của chúng tôi bằng 68% trong khi tăng tốc độ đánh giá.