Amazon Bedrock hỗ trợ xuất dữ liệu có cấu trúc cho các mô hình Anthropic Claude

Tóm tắt bằng AI từ phần nội dung bài gốc đọc được.

1. 1Amazon Bedrock chính thức bổ sung tính năng xuất dữ liệu có cấu trúc (structured outputs) cho toàn bộ mô hình Anthropic Claude trên hai endpoint bedrock-runtime và bedrock-mantle tại những nơi mô hình khả dụng.
2. 2Tính năng mới sử dụng kỹ thuật giải mã có ràng buộc (constrained decoding) để áp đặt cấu trúc JSON schema ngay trong quá trình sinh token, chuyển định dạng phản hồi từ dạng xác suất sang tất định và loại bỏ rủi ro tạo token sai quy cách.
3. 3Nền tảng cung cấp hai cơ chế bổ trợ gồm định dạng JSON Schema nhằm kiểm soát cấu trúc phản hồi và cơ chế gọi công cụ nghiêm ngặt (strict tool use) để kiểm tra tính hợp lệ của tham số.
4. 4Amazon cho biết dữ liệu đầu ra được đảm bảo an toàn kiểu dữ liệu và đầy đủ trường bắt buộc, giúp người dùng không cần viết mã xử lý lỗi JSON.parse(), hạn chế thử lại và giảm số token sinh ra.
5. 5Hệ thống hỗ trợ xử lý suy luận theo lô (batch inference), truyền dữ liệu thời gian thực dạng luồng và suy luận liên vùng trên bedrock-runtime mà không cần thiết lập thêm.
6. 6Người dùng vẫn cần kiểm tra lý do dừng phản hồi trong mã nguồn vì mô hình có thể không trả về đúng định dạng khi từ chối phản hồi do lý do an toàn hoặc khi chạm giới hạn token.
7. 7Một số từ khóa schema vẫn được API tiếp nhận nhưng không được thực thi trong quá trình sinh token, đòi hỏi ứng dụng phải tự kiểm tra các ràng buộc này.

Nguồn: amazon

Bản tóm tắt dựa trên các phần nguồn đọc được.