AI 모델 및 플랫폼

AWS, Amazon SageMaker AI에 AI 데이터 준비 도구 추가

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트SageMaker AI는 이제 생성, 평가, 변환 및 라벨링을 하나의 관리형 데이터셋 경로로 통합합니다.
더 보기
  • SageMaker AI는 이제 생성, 평가, 변환 및 라벨링을 하나의 관리형 데이터셋 경로로 통합합니다.
  • 자동 라벨링은 모델 일치도를 신뢰도 점수로 사용하여 불확실한 행을 사람 검토자에게 라우팅합니다.
  • 데이터 생성 작업은 출력을 계정 허브에 등록하여 데이터셋이 ARN으로 단계 간에 전달되도록 합니다.

AWS는 2026년 11월 17일 Amazon SageMaker AI에 새로운 AI 데이터 준비 기능을 발표하고, 모델 개발 워크플로에 합성 데이터 생성, 품질 평가, 변환, 자동 라벨링 및 사람의 검토 기능을 추가했다. 이 도구는 미국 동부(버지니아 북부)와 미국 서부(오리건) 리전에서 정식 제공된다.

이번 릴리스는 별도의 라벨링 도구, 생성 스크립트, 검증 작업에 나뉘어 있던 업무를 통합한다. 팀은 기존 프로세스 안에서 기능 하나를 사용하거나 여러 기능을 연결해 사용할 수 있으며, 데이터세트가 학습 또는 평가 단계로 넘어가는 동안 사양과 코드를 확인하고 수정할 수 있다.

생성, 정제 및 학습 형식

합성 데이터 생성은 사양을 바탕으로 학습·평가·테스트용 레코드를 만들며, 시드 데이터와 문서를 선택적으로 참조할 수 있다. 또한 사용자가 검토하고 수정하며 재사용하고 확장할 수 있는 코드 기반 파이프라인도 생성하므로, 생성 프로세스 자체를 살펴볼 수 있다.

품질 평가에는 고객의 비즈니스 규칙, 기본 제공 지표, 언어 모델이 데이터를 평가하는 LLM 심판 지표를 적용할 수 있다. 중복 및 거의 중복되는 항목을 찾아내고, 라벨 노이즈나 정답 누출을 발견할 수도 있다. 이후 변환 기능은 생성된 코드, 기본 제공 중복 제거·병합·분할·필터링 기능 또는 대규모로 실행되는 사용자 제공 Python 코드를 통해 레코드의 구조를 바꿀 수 있다.

AWS가 제시한 학습 체인 예시는 결과 데이터를 지도 미세 조정, 직접 선호도 최적화 또는 강화 학습에 맞게 형식화하고, 품질을 확인한 다음 SageMaker AI 모델 사용자 지정 단계로 넘어간다. 이 순서는 학습용 컴퓨팅을 시작하기 전에 데이터세트를 검증하므로, 팀이 학습 작업을 실행하기 전 결함이 있는 레코드를 처리할 기회를 제공한다.

신뢰도 점수를 활용한 사람의 검토

자동 라벨링은 라벨이 없는 데이터세트, 라벨이 지정된 소량의 시드 데이터세트 또는 라벨이 전혀 없는 상태에서 시작할 수 있다. 기본 제공 작업에는 분류, 개체명 인식, 추출형 질의응답, 순서형 평가, 요약이 포함되며, 사용자 지정 작업도 정의할 수 있다. 전체 데이터세트를 처리하기 전에 사용자의 예시를 바탕으로 간단한 라벨링 사양을 검증한다.

가능한 답이 정해져 있는 작업에서는 여러 모델이 배심원처럼 각 행에 라벨을 지정하며, 모델 간 일치도가 해당 행의 신뢰도 점수가 된다. 선택한 임계값보다 낮은 행은 오픈소스 Label Studio Community Edition을 기반으로 하는 SageMaker Studio 검토 대기열에 들어간다. 외부 분야 전문가가 검토 앱에서 해당 행을 수정할 수 있으며, 수정 결과는 자동 라벨링에 다시 반영된다. 또한 팀은 합의도 지표와 라벨링 보고서를 생성할 수 있다.

관리형 작업과 데이터세트 전달

개발자는 SageMaker Python SDK를 통해 이러한 단계를 호출하거나, 코딩 에이전트에 AWS AI-ML 스킬을 제공해 SageMaker Studio JupyterLab, Kiro 또는 로컬 IDE에서 단계를 선택하고 실행하도록 할 수 있다. SageMaker AI 설명서에는 SDK 버전 3.30.0 이상과 DataPreparer 클래스와 함께 generate(), evaluate() 및 transform() 메서드가 명시되어 있다. 해당 generate() 메서드는 합성 데이터 생성과 자동 라벨링을 모두 지원한다.

합성 데이터 생성, 자동 라벨링, 품질 평가 및 변환은 SageMaker 관리형 작업으로 실행된다. 데이터를 생성하는 작업은 레코드를 Amazon S3에 저장하고 계정 허브에 등록한다. 이때 등록 형식은 DataSet 콘텐츠다. 이러한 출력의 경우 SDK의 DataSet 객체에는 Amazon 리소스 이름(ARN)이 포함되며, 이를 다음 단계에 전달할 수 있다. 변환 작업은 입력 데이터와 동일한 허브에 결과를 게시하며, 일반적으로 해당 데이터세트의 새 버전으로 게시한다. 반면 품질 평가 결과는 다른 데이터세트로 등록하지 않고 S3에 기록한다.

코딩 도우미는 사양 초안을 작성하고 환경을 확인하며, 작업을 실행하거나 리소스를 만들기 전에 승인을 요청한다. 또한 작업 실행 결과를 노트북이나 스크립트로 저장해 다시 실행할 수 있는 재사용 가능한 산출물로 만들 수 있다.

이 워크플로는 고객이 관리하는 AWS Identity and Access Management 실행 역할을 사용한다. 원본 데이터, 생성된 데이터세트 및 라벨은 고객이 선택한 AWS 리전의 고객 소유 S3 버킷에 보관되므로, 저장과 접근은 고객이 선택한 권한 및 위치의 범위 안에서 이루어진다.

Cisco 계열사인 Splunk는 Agent Observability 제품의 평가 모델을 개발하면서 합성 데이터 생성 기능을 사용했다. Splunk Agent Observability의 엔지니어링 디렉터인 Yash Sheth는 이 도구가 모델에 필요한 패턴을 보존하면서 통계적으로 대표성 있는 데이터세트를 빠르게 생성했으며, SageMaker와의 통합으로 데이터 과학자와 고객의 데이터 정리 작업이 줄었다고 말했다.

개발자에게 이번 변화는 생성, 검사 및 수정 작업을 하나의 관리형 데이터세트 경로를 통해 모델 개발 과정에 연결할 수 있다는 의미다. AWS는 이 자동화에 검토 가능한 산출물, 승인 요청, 고객이 보유한 S3 레코드를 결합해 데이터 준비 워크플로에서 데이터 생성 방식을 계속 통제할 수 있도록 했다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.