Mô hình và nền tảng AI

AWS bổ sung các công cụ chuẩn bị dữ liệu AI cho Amazon SageMaker AI

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhSageMaker AI hiện hợp nhất việc tạo, đánh giá, chuyển đổi và gán nhãn vào một đường dẫn…
Xem thêm
  • SageMaker AI hiện hợp nhất việc tạo, đánh giá, chuyển đổi và gán nhãn vào một đường dẫn tập dữ liệu được quản lý.
  • Tự động gán nhãn sử dụng sự đồng thuận của mô hình làm điểm tin cậy để chuyển các hàng không chắc chắn cho người đánh giá.
  • Các công việc tạo dữ liệu đăng ký đầu ra trong một trung tâm tài khoản để các tập dữ liệu chuyển giữa các giai đoạn bằng ARN.

Ngày 17 tháng 11 năm 2026, AWS công bố các tính năng chuẩn bị dữ liệu AI mới cho Amazon SageMaker AI, bổ sung khả năng tạo dữ liệu tổng hợp, đánh giá chất lượng, chuyển đổi, tự động gán nhãn và con người kiểm duyệt vào quy trình phát triển mô hình. Các công cụ này hiện được cung cấp rộng rãi tại các khu vực US East (N. Virginia) và US West (Oregon).

Bản phát hành này hợp nhất những công việc thường được thực hiện bằng các công cụ gán nhãn, tập lệnh tạo dữ liệu và tác vụ xác thực riêng biệt. Nhóm có thể dùng một tính năng trong quy trình hiện có hoặc kết hợp nhiều tính năng, đồng thời kiểm tra và chỉnh sửa các đặc tả cùng mã khi tập dữ liệu được chuẩn bị cho quá trình huấn luyện hoặc đánh giá.

Tạo dữ liệu, làm sạch và định dạng huấn luyện

Tạo dữ liệu tổng hợp giúp tạo các bản ghi huấn luyện, đánh giá và kiểm thử dựa trên một đặc tả, đồng thời có thể sử dụng dữ liệu mồi và tài liệu làm căn cứ. Tính năng này cũng tạo ra một quy trình xử lý dựa trên mã mà người dùng có thể xem xét, chỉnh sửa, tái sử dụng và mở rộng, nhờ đó quy trình tạo dữ liệu cũng có thể được kiểm tra.

Đánh giá chất lượng có thể áp dụng các quy tắc nghiệp vụ của khách hàng, các chỉ số tích hợp sẵn và các chỉ số dùng mô hình ngôn ngữ lớn làm giám khảo, trong đó một mô hình ngôn ngữ đánh giá dữ liệu. Tính năng này có thể tìm các bản ghi trùng lặp và gần trùng lặp, đồng thời phát hiện nhiễu nhãn hoặc rò rỉ đáp án. Sau đó, quá trình chuyển đổi có thể định hình lại bản ghi bằng mã được tạo tự động, các chức năng khử trùng lặp, gộp, tách và lọc tích hợp sẵn, hoặc bằng mã Python do người dùng cung cấp và chạy trên quy mô lớn.

Quy trình huấn luyện mẫu của AWS định dạng dữ liệu thu được để tinh chỉnh có giám sát, tối ưu hóa ưu tiên trực tiếp hoặc học tăng cường, kiểm tra chất lượng rồi chuyển sang bước tùy chỉnh mô hình Amazon SageMaker AI. Trình tự này đặt việc xác thực tập dữ liệu trước tài nguyên tính toán dùng cho huấn luyện, giúp các nhóm có cơ hội xử lý những bản ghi lỗi trước khi bắt đầu một lượt huấn luyện.

Điểm tin cậy giúp chuyển dữ liệu sang khâu con người kiểm duyệt

Quy trình tự động gán nhãn có thể bắt đầu với một tập dữ liệu chưa được gán nhãn, một tập dữ liệu mồi nhỏ đã gán nhãn hoặc không có nhãn nào. Các tác vụ tích hợp sẵn gồm phân loại, nhận dạng thực thể có tên, trả lời câu hỏi trích xuất, đánh giá theo thang thứ bậc và tóm tắt; người dùng cũng có thể xác định tác vụ tùy chỉnh. Trước khi xử lý toàn bộ tập dữ liệu, hệ thống xác thực một đặc tả gán nhãn ngắn dựa trên các ví dụ của người dùng.

Với những tác vụ có một tập đáp án khả dĩ cố định, một số mô hình sẽ gán nhãn cho từng dòng như một hội đồng, và mức độ đồng thuận giữa chúng trở thành điểm tin cậy của dòng đó. Các dòng có điểm thấp hơn ngưỡng đã chọn sẽ được đưa vào hàng đợi kiểm duyệt trong SageMaker Studio, dựa trên phiên bản mã nguồn mở Label Studio Community Edition. Các chuyên gia bên ngoài có thể sửa những dòng này trong ứng dụng kiểm duyệt; các chỉnh sửa đó được đưa trở lại quy trình tự động gán nhãn, đồng thời các nhóm có thể tạo chỉ số đồng thuận và báo cáo gán nhãn.

Tác vụ được quản lý và bàn giao tập dữ liệu

Nhà phát triển có thể gọi các giai đoạn này thông qua SageMaker Python SDK hoặc cung cấp kỹ năng AWS AI-ML cho một tác nhân lập trình để tác nhân lựa chọn và chạy chúng từ SageMaker Studio JupyterLab, Kiro hoặc một môi trường phát triển tích hợp (IDE) cục bộ. Tài liệu SageMaker AI nêu rõ cần dùng SDK phiên bản 3.30.0 trở lên và một DataPreparer lớp có generate(), evaluate() và transform() phương thức. Phương thức generate() này hỗ trợ cả việc tạo dữ liệu tổng hợp lẫn tự động gán nhãn.

Các tác vụ tạo dữ liệu tổng hợp, tự động gán nhãn, đánh giá chất lượng và chuyển đổi đều chạy dưới dạng tác vụ do SageMaker quản lý. Các tác vụ tạo dữ liệu ghi bản ghi vào Amazon S3 và đăng ký chúng trong trung tâm tài khoản dưới dạng DataSet nội dung. Với những đầu ra đó, đối tượng DataSet của SDK chứa Tên tài nguyên Amazon (ARN), có thể được chuyển sang giai đoạn tiếp theo. Quá trình chuyển đổi xuất dữ liệu vào cùng trung tâm với dữ liệu đầu vào, thường là dưới dạng phiên bản mới của tập dữ liệu đó; trong khi đó, đánh giá chất lượng ghi kết quả vào S3 mà không đăng ký thêm tập dữ liệu nào.

Trợ lý lập trình soạn thảo đặc tả, kiểm tra môi trường và yêu cầu phê duyệt trước khi chạy tác vụ hoặc tạo tài nguyên. Trợ lý cũng có thể lưu các lần chạy tác vụ dưới dạng sổ tay hoặc tập lệnh, tạo ra một thành phần có thể tái sử dụng và chạy lại.

Quy trình sử dụng một vai trò thực thi AWS Identity and Access Management do khách hàng kiểm soát. Dữ liệu nguồn, tập dữ liệu được tạo và nhãn vẫn nằm trong các vùng lưu trữ S3 riêng của khách hàng tại khu vực AWS đã chọn, nhờ đó việc lưu trữ và truy cập luôn tuân theo quyền hạn và vị trí mà khách hàng lựa chọn.

Splunk, một công ty thuộc Cisco, đã sử dụng tính năng tạo dữ liệu tổng hợp khi xây dựng các mô hình đánh giá cho sản phẩm Agent Observability. Yash Sheth, giám đốc kỹ thuật phụ trách Splunk Agent Observability, cho biết các công cụ này nhanh chóng tạo ra những tập dữ liệu có tính đại diện về mặt thống kê, đồng thời giữ được các mẫu dữ liệu mà mô hình của họ phụ thuộc vào; ông cũng cho biết việc tích hợp với SageMaker giúp giảm khối lượng xử lý dữ liệu cho các nhà khoa học dữ liệu và khách hàng.

Đối với nhà phát triển, thay đổi về vận hành là khâu tạo dữ liệu, kiểm tra và chỉnh sửa giờ đây có thể hỗ trợ quá trình phát triển mô hình thông qua một luồng tập dữ liệu được quản lý thống nhất. AWS kết hợp tự động hóa đó với các thành phần có thể kiểm tra, yêu cầu phê duyệt và bản ghi S3 do khách hàng lưu giữ, nhờ vậy quyền kiểm soát cách dữ liệu được tạo ra vẫn là một phần của quy trình chuẩn bị.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.