전문가 주도 AI 학습 및 평가를 확장하기 위해 iMerit Scholars 플랫폼 출시

모델은 설득력 있는 의학적 설명이나 수학 문제에 대한 유창한 답변을 내놓고도 전문가만 알아차릴 수 있는 실수를 할 수 있다. 전문가의 판단이 필요한 이유는 iMerit가 iMerit Scholars 플랫폼을 출시한 배경이기도 하다. 이 플랫폼은 첨단 AI 모델을 학습시키고 평가하며 한계를 시험하는 사람들을 체계적으로 관리하도록 설계됐다.

EXL 소유 기업인 iMerit는 10월 26일 플랫폼 출시를 발표하면서 채용, 온보딩, 전문가 매칭, 프로젝트 배정, 참여 관리 및 결제를 하나의 플랫폼으로 통합했다. 발표에 따르면 기존 Scholars 프로그램에는 118개국, 106개 언어권에서 초청을 받고 검증을 마친 전문가 3만 명 이상이 참여하고 있다.

이 플랫폼은 수요가 늘어남에 따라 수십만 명의 전문가를 관리하도록 설계됐다. 이는 현재 보고된 커뮤니티 규모와는 별개로, 목표로 하는 운영 규모를 설명한 것이다. 당면한 목표는 모델 개발부터 배포까지 전 과정에서 전문적인 인적 기여를 더 쉽게 조율하는 것이다.

모델 개선을 뒷받침하는 인력 기반 구축

Scholars 커뮤니티에는 의학, 수학, 농업, 언어학, 자율 시스템 및 기타 전문 분야의 전문가가 참여한다. 이들은 지도 미세 조정, 모델 평가, 레드팀 테스트, 인간 피드백 기반 강화 학습(흔히 RLHF라고 함)에 기여한다.

이러한 활동에는 각기 다른 판단이 필요하다. 미세 조정에는 모델이 내놓아야 할 응답의 예시를 세심하게 구성해야 할 수 있다. 평가는 결과물이 정해진 기준을 충족하는지 확인하는 작업이다. 레드팀 테스트는 시스템의 실패 가능성을 의도적으로 탐색하는 반면, 인간 피드백은 후속 학습에 활용할 선호도와 수정 의견을 제공할 수 있다.

따라서 인력 풀을 확대하는 것만큼이나 적임자를 적절한 작업에 배정하는 일이 중요하다. 좁은 전문 분야에 정통한 임상의는 폭넓은 지식을 갖춘 검토자가 놓치는 중대한 오류를 발견할 수 있다. 언어학자는 직역하면 사라지는 모호성을 알아차릴 수 있다.

새 플랫폼은 프로젝트를 분야별 전문성과 인지 능력에 맞춰 배정하고, 전문가들이 지속적으로 참여할 수 있도록 관리 인프라를 제공한다. iMerit는 업무를 익히고 피드백 주기에 참여하는 전문가와 지속적인 관계를 구축하는 것을 목표로 제시한다.

iMerit의 부사장이자 EXL의 iMerit 사업 책임자인 Radha Basu는 “모델을 가르치는 데 그치지 않고, 모델이 틀렸음을 입증하고 바로잡을 만큼 충분한 지식을 갖춘 사람들이 필요합니다”라고 말했다.

Ango Hub, 전문가의 판단을 학습 데이터와 연결

Scholars 플랫폼을 뒷받침하는 운영 기술은 데이터 주석 및 모델 평가 플랫폼인 Ango Hub다. 이 플랫폼은 전문가의 작업을 체계적이고 검토 가능한 산출물로 전환해 학습 또는 평가 파이프라인에 투입할 수 있도록 한다.

Ango Hub의 기존 제품 문서에는 설정 가능한 워크플로, 하나의 자산에 참여하는 여러 주석 담당자, 벤치마크 작업, 그리고 레이블을 승인·거부·수정할 수 있는 검토자 제어 기능이 설명돼 있다. 프로젝트 지침과 이슈 관리 시스템은 검토자가 의문 사항을 해결하도록 돕고, 역할 기반 접근 제어는 특정 데이터를 다룰 수 있는 사용자를 관리한다.

이 플랫폼은 이미지, 동영상, 오디오, 텍스트, PDF, 의료용 DICOM 데이터 등 여러 형식을 지원한다. 모델 개발에서 언어와 시각·임상·물리적 세계의 정보가 점점 더 많이 결합되고 있다는 점에서 이러한 폭넓은 지원은 중요하다. 전문가가 살펴보는 자료의 특성에 맞게 인터페이스와 검토 절차를 갖춰야 한다.

두 플랫폼의 역할을 구분하면 이해하기 쉽다. Scholars는 전문가 인력과 프로젝트 간 관계를 조율하고, Ango Hub는 전문가의 기여를 활용 가능한 AI 데이터로 전환하는 데 필요한 도구와 워크플로를 제공한다.

답변 수정에서 에이전트 전체 워크플로 평가까지

iMerit의 Deep Reasoning Lab은 이 과정을 더 자세히 살펴볼 수 있게 한다. 회사에 따르면 전문가들은 여러 단계로 구성된 시나리오를 설계하고, 모델 출력을 검토하며, 오류를 분류하고, 설명을 덧붙여 수정안을 제공한다. 이렇게 구조화된 예시는 개발자가 답변이 잘못되는 지점을 파악하고 맞춤형 학습 자료를 만드는 데 도움이 될 수 있다.

이러한 추론 기록은 특정 작업을 위해 선별하고 검토한 산출물이다. 이것이 모델의 답변을 만들어 낸 모든 내부 연산을 드러낸다고 간주해서는 안 된다. 실질적인 가치는 평가 경로와 수정 사항을 충분히 명확하게 제시해 검토하고 재사용할 수 있게 하는 데 있다.

회사의 에이전트 평가 서비스는 최종 응답을 넘어 계획 단계, 도구 호출, 중간 상태 및 결과까지 검토 범위를 넓힌다. 작업 완료 여부, 도구 선택, 근거 연계, 정책 경계 등의 문제를 다루기 위해 구조화된 평가 기준과 전문가 판정을 활용한다고 설명한다.

AI가 실제 행동을 수행할 수 있게 되면 이러한 검토가 중요해진다. 에이전트가 세련된 요약을 내놓으면서도 잘못된 도구를 사용하거나 실제 작업을 끝내지 못할 수 있다. 전문가들은 일련의 행동을 검토해 이런 실패를 찾아내고 개발자에게 구조화된 피드백을 전달할 수 있다.

결제와 프로젝트 연속성도 인프라의 일부로

이번 출시는 글로벌 지급을 위해 Trolley를 통합했다. iMerit는 이번 통합으로 국제 전문가 커뮤니티를 위한 안전한 결제와 규정 준수 업무 절차를 지원한다고 밝혔다.

결제 업무는 모델 성능과 거리가 있어 보일 수 있지만, 전문가가 꾸준히 참여할 수 있는지에 영향을 미친다. 여러 국가의 전문가에게 의존하는 프로젝트에서는 채용, 온보딩, 작업 접근 및 보상이 모두 운영상의 필수 요소가 된다.

이 플랫폼은 각 프로젝트 팀이 이러한 기능을 따로 마련하도록 두지 않고, 전문가 매칭 및 참여 관리 기능과 함께 제공한다. 고객에게는 더욱 일관된 인력 운영과 검토 절차를 제공하고, 전문가에게는 프로젝트 참여부터 업무 완료와 대금 수령까지 이어지는 경로를 명확히 하는 것이 목표다.

“데이터에 단순히 레이블을 붙이는 데 그치는 것이 아닙니다. 여러분은 해당 분야에서 이러한 시스템이 추론하고 작동하는 방식을 만들어가는 데 기여하고 있습니다.” 베스 이스라엘 디코니스 메디컬 센터의 병리학 전문가이자 헬스케어 AI 분야 iMerit Scholar인 파벨 코파치(Pavel Kopach) 의학박사는 발표 자료에서 이렇게 말했다.

EXL이 제시하는 기업 환경의 도입 맥락

이번 출시는 8월 3일 발표된 EXL의 iMerit 인수 완료에 이어 이뤄졌다. EXL은 이번 결합을 통해 모델 훈련 및 평가 전문성과 기업 데이터, 운영 맥락, AI 구현 역량을 결합한다고 밝혔다.

이에 따라 Scholars의 시장 진출 경로가 확대된다. 바수는 iMerit가 프런티어 모델 개발에서 은행, 헬스케어, 보험 업무 절차로 사업 영역을 넓히고 있다고 밝혔다. 이 분야에서는 도메인 맞춤화와 신뢰 및 안전이 AI의 성공적인 실제 운영 여부에 영향을 미친다.

새 플랫폼 자체만으로 모든 전문 분야에서 모델의 신뢰성이 입증되는 것은 아니다. 이 플랫폼은 보다 구체적인 선결 과제를 해결한다. 즉, 해당 분야의 요구사항에 비춰 시스템을 시험하는 데 필요한 인력과 도구, 피드백을 체계적으로 구성한다. AI가 전문 업무 절차에 더 깊이 도입될수록 적합한 전문가를 찾고, 유용한 수정 의견을 수집해 그 지식을 개발 과정에 다시 반영하는 역량은 기술 스택에서 점점 더 중요한 요소가 된다.