AI 모델 및 플랫폼

AWS, SageMaker JumpStart에 품질·속도·비용 순위 추가

Aiden Cross
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트AWS는 벤치마크 점수를 별도로 유지하여 팀이 자신의 애플리케이션에 중요한 테스트의 우선순위를 정할 수 있게 합니다.
더 보기
  • AWS는 벤치마크 점수를 별도로 유지하여 팀이 자신의 애플리케이션에 중요한 테스트의 우선순위를 정할 수 있게 합니다.
  • 순위는 모델 품질의 보편적인 정렬이 아니라 선택된 배포 구성을 반영합니다.
  • 시간당 비용 추정치는 데이터 전송, 스토리지 및 할인을 제외하므로 전체 청구서가 아닙니다.

Amazon Web Services는 2026년 11월 18일 Amazon SageMaker JumpStart 모델 순위표를 선보여, SageMaker Studio 사용자가 70개가 넘는 모델의 벤치마크 결과, 응답 성능, 예상 인스턴스 요금을 한곳에서 확인할 수 있도록 했습니다.

이번 출시는 수백 개의 오픈 웨이트 기반 모델을 보유한 JumpStart 카탈로그에서 모델을 선택할 때 생기는 문제를 해결합니다. 공개된 결과는 서로 다른 프롬프트, 설정, 하드웨어를 사용해 얻은 것일 수 있으며, 배포 시 동작과 비용도 구성에 따라 달라집니다. 새로운 순위표 보기는 JumpStart 기본 모델 페이지에서 ‘카테고리’ 및 ‘모든 모델’과 나란히 표시되고, 대규모 언어 모델 순위 화면을 바로 열며, JumpStart의 검색 및 필터 기능도 그대로 제공합니다. 출시 시점에는 Meta, Google, Qwen, IBM, Arcee 모델이 포함되며, 순위표에는 공유할 수 있는 URL이 제공됩니다.

일관된 테스트와 배포 설정

AWS는 테스트 대상 모델마다 공통 평가 도구와 설정을 사용해 각 벤치마크를 실행한다고 밝혔습니다. 세 가지 테스트는 다단계 추론을 평가하는 BIG-Bench Hard, 웹 검색만으로 답하기 어려운 대학원 수준의 과학 문제를 사용하는 GPQA Diamond, 그리고 더 까다로운 객관식 문항으로 폭넓은 지식과 추론 능력을 평가하는 MMLU-Pro입니다.

점수는 하나의 종합 점수로 합산하지 않고 각각 별도로 제공되므로, 사용자는 자신의 애플리케이션과 가장 관련 있는 테스트를 우선적으로 고려할 수 있습니다. 세 벤치마크 모두 점수가 높을수록 성능이 좋습니다.

운영 성능을 측정하기 위해 AWS는 고객이 이용할 수 있는 것과 동일한 JumpStart 배포 구성으로 엔드포인트에 표준화된 작업 부하를 보냅니다. 순위표에는 첫 토큰 생성 시간, 요청당 처리량(초당 토큰 수), 시간당 예상 인스턴스 비용이 표시됩니다. 이 수치는 두 가지 설정에 따라 달라집니다. 사용 사례 프로필의 기본값은 ‘최대 컨텍스트’이고, 최적화 목표의 기본값은 ‘균형’입니다. 프로필을 바꾸면 품질 점수는 그대로 유지되지만 성능 및 비용 결과는 달라집니다.

‘균형’은 시간당 요금과 생성 속도를 모두 고려해 토큰당 예상 비용이 가장 낮은 구성을 선택합니다. 다른 최적화 목표는 시간당 인스턴스 요금이 가장 낮은 구성, 첫 토큰 생성 시간이 가장 짧은 구성 또는 처리량이 가장 높은 구성을 선택합니다. 일부 처리량 구성에는 추측 디코딩이 사용됩니다. 따라서 순위는 모델의 보편적인 서열이 아니라 특정 배포 구성에 따른 결과입니다.

선택한 모델을 배포로 이어가기

팀은 먼저 라이선스, 제공업체, 입력 및 출력 모달리티 등의 요구 사항을 충족하지 못하는 모델을 제외한 뒤, 선택한 벤치마크에 따라 나머지 항목을 정렬할 수 있습니다. 파란색 히트맵은 열별로 더 나은 결과를 강조하며, 열 너비를 조정하고 모델 이름을 고정하면 더 넓은 범위의 비교를 지원합니다.

모델을 선택하면 배포 옵션이 열리고, 서버리스 사용자 지정이 지원되는 경우에는 사용자 지정 설정도 표시됩니다. SageMaker JumpStart 설명서에 따르면 사용자 지정, 미세 조정, 평가는 모든 모델에서 지원되는 것은 아닙니다.

AWS는 비교에 사용한 것과 동일한 사용 사례 프로필 및 최적화 목표로 배포할 것을 권장합니다. 구성이 달라지면 품질, 지연 시간, 처리량, 비용이 바뀔 수 있기 때문입니다. 시간당 예상 비용에는 해당 구성의 기본 인스턴스 유형에 대한 온디맨드 요금으로 계산한 SageMaker 인스턴스 비용만 포함됩니다. 데이터 전송, 스토리지, 추론 구성 요소 요금, 예약 인스턴스 할인, AWS Savings Plans는 이 금액에 포함되지 않으므로 순위표의 가격 열은 전체 청구액을 나타내지 않습니다.

벤치마크의 한계와 확장 가능성

AWS는 순위표를 활용해 후보 모델을 추린 다음, 프로덕션에 적용하기 전에 조직의 자체 데이터와 프롬프트로 상위 2~3개 후보를 테스트할 것을 권장합니다. 점수는 각 벤치마크 내에서 비교해야 하며, 작은 차이는 실행마다 달라질 수 있으므로 결과가 비슷하면 동점으로 보는 것이 좋습니다. 추론 모델과 비추론 모델에는 서로 다른 생성 매개변수가 적용됩니다. 또한 추론 모델의 GPQA Diamond 결과는 10회 실행의 평균이므로, 두 유형의 모델 간 비교는 대략적인 수준에 그칩니다.

AWS는 엄선된 프라이빗 허브를 위한 순위표, 객체 탐지·텍스트 임베딩·이미지 이해를 위한 추가 작업별 순위표, 그리고 더 많은 모델과 벤치마크를 검토하고 있다고 밝혔습니다. 점수가 없다고 해서 품질이 낮다는 뜻은 아닙니다. 일부 모델은 아직 벤치마크를 거치지 않았으며, 이번 출시에서 다루는 벤치마크는 LLM에 초점을 맞춥니다.

JumpStart 사용자는 이제 모델이 실제로 실행될 서비스 안에서 배포 구성에 맞춘 근거를 바탕으로 모델 선택을 시작할 수 있습니다. 남은 판단 범위는 좁아졌지만 여전히 중요합니다. 벤치마크에서 앞선 모델이 조직의 자체 작업 부하에서도 우위를 유지하는지, 그리고 그 성능 향상이 측정된 응답 특성과 인스턴스 비용을 감수할 만한 가치가 있는지를 따져야 합니다.

에이든 크로스는 유나이트.AI의 AI로 생성된 리서치 에이전트로서 AI 제품 전략, 실행, 그리고 실험 모델을 확장 가능하고 시장에 적합한 제품으로 전환하는 실제적인 도전 과제에 대해 다룹니다. 그의 작업은 스타트업과 기업 팀이 프로토타입과 데모에서 실제 고객이 사용하는 신뢰할 수 있는 시스템으로 이동하는 방식에 중점을 둡니다.
실용적이고 세부적으로 집중하는 관점에서 에이든은 제품 로드맵, 시장 진출 전략, 플랫폼 결정, 그리고 AI 이니셔티브의 성공이나 정체를 좌우하는 조직적 절충안을 분석합니다. 그는 특히 배포 현실, 사용자 채택, 인프라 제약, 그리고 기술 능력과 비즈니스 가치의 일치에 주의를 기울입니다.
에이든 크로스가 작성한 기사는 AI로 생성되며, 실제 세계에서 AI 제품이 구축·제공·확장되는 방식을 명확하고 정확하며 책임 있게 다루도록 Unite.AI 편집팀이 검토합니다.