iMerit、専門家主導のAIトレーニングと評価を拡大するScholarsプラットフォームを開始

説得力のある医療解説や流暢な数学の解答を生成するモデルでも、専門家にしか気づけない誤りを犯すことがあります。専門家の判断が必要とされる背景には、AIの高度なモデルをトレーニングし、評価し、課題を指摘する人々を組織化するシステムとして、iMeritがiMerit Scholarsプラットフォームを立ち上げたことがあります。

EXL傘下の同社は10月26日、採用、オンボーディング、専門家のマッチング、プロジェクトの割り当て、エンゲージメント、支払いを一元化するプラットフォームの立ち上げを発表した。発表によると、既存のScholarsプログラムには、118カ国、106言語にわたる3万人を超える、招待を受けて審査を通過した専門家が参加している。

このプラットフォームは、需要の拡大に応じて数十万人の専門家を管理できるよう設計されている。これは想定される運用規模についての説明であり、現在公表されているコミュニティの規模とは別のものだ。まずは、モデルの開発から導入までのライフサイクル全体を通じて、専門知識を持つ人々の知見をより容易に調整できるようにすることを目指している。

モデル改善を支える人材基盤の構築

Scholarsのコミュニティには、医療、数学、農業、言語学、自律システムなど、さまざまな専門分野の人々が参加している。こうした専門家は、教師ありファインチューニング、モデル評価、レッドチーミング、人間のフィードバックを用いた強化学習（一般にRLHFと呼ばれる手法）に携わる。

これらの作業には、それぞれ異なる判断が必要だ。ファインチューニングでは、モデルが生成すべき応答の例を慎重に作成する必要がある。評価では、出力が定められた基準を満たしているかを判断する。レッドチーミングでは、システムに意図的に問題を起こさせようとする一方、人間からのフィードバックでは、後続のトレーニングに反映できる選好や修正点を提示できる。

そのため、対象者を増やすことと同じくらい、適切な人を適切な作業に割り当てることが重要になる。特定の狭い専門領域に精通した臨床医なら、幅広い知識を持つレビュアーが見逃す重大な誤りに気づく可能性がある。言語学者なら、直訳では見えなくなる曖昧さを見抜けるかもしれない。

新しいプラットフォームは、専門分野の知識と認知スキルに基づいてプロジェクトと専門家をマッチングするとともに、専門家が継続して参加できるよう、運営上の基盤を提供する。iMeritは、業務を学び、フィードバックのサイクルに参加する専門家と継続的な関係を築くことを目標に掲げている。

「モデルに教えるだけでなく、モデルの誤りを証明し、修正できるだけの知識を持つ人々が必要です」と、EXLのエグゼクティブ・バイスプレジデントで、同社におけるiMerit部門の責任者であるRadha Basu氏は述べた。

Ango Hubが専門家の判断をトレーニングデータにつなぐ

Scholarsプラットフォームを支える運用技術がAngo Hubだ。これはiMeritのデータアノテーションおよびモデル評価プラットフォームである。専門家の作業を整理し、レビュー可能な成果物にして、トレーニングや評価のパイプラインに取り込めるようにする役割を担う。

Ango Hubの既存の製品資料では、設定可能なワークフロー、1つのデータに対する複数のアノテーター、ベンチマークタスク、ラベルの承認・却下・修正を行うレビュアー向け機能が紹介されている。プロジェクトのガイドラインと課題管理システムにより、レビュアーは疑問点を解決できる。また、役割ベースのアクセス制御によって、特定のデータを扱える人が管理される。

このプラットフォームは、画像、動画、音声、テキスト、PDF、医療用DICOMデータなど、複数のデータ形式に対応している。モデル開発では、言語に加えて視覚情報、臨床情報、現実世界の情報を組み合わせることが増えているため、この幅広い対応は重要だ。インターフェースやレビュープロセスは、専門家が確認する素材に適したものである必要がある。

2つのプラットフォームの役割を区別すると、その違いがわかりやすい。Scholarsは専門家の人材基盤とプロジェクトとの連携を調整し、Ango Hubは専門家の貢献をAIデータとして活用できる形にするツールとワークフローを提供する。

回答の修正からエージェントのワークフロー全体の評価へ

iMeritのDeep Reasoning Labは、このプロセスをより詳細に把握できるようにする。同社によると、専門家は複数段階のシナリオを設計し、モデルの出力を確認し、誤りを分類したうえで、説明を添えて修正案を提示する。こうした構造化された例は、開発者が回答のどこで誤りが生じたかを特定し、対象を絞ったトレーニング素材を作成するうえで役立つ。

こうした推論の記録は、特定のタスクのために作成・レビューされた、精選済みの成果物だ。モデルが回答を生成するまでに行った内部計算のすべてが明らかになると考えるべきではない。実用上の価値は、評価の過程と修正内容を、検証や再利用ができるほど明確に示すことにある。

同社のエージェント評価サービスは、最終的な回答だけでなく、計画の手順、ツールの呼び出し、中間状態、結果まで評価の対象を広げる。同社によると、タスクの完了、ツールの選択、根拠との整合性、ポリシー上の境界などの問題について、構造化された評価基準と専門家による判定を行う。

AIが行動を起こせる場合、この評価は重要になる。エージェントは整った要約を生成しながら、誤ったツールを使ったり、肝心のタスクを未完了のままにしたりする可能性がある。一連の行動を確認することで、専門家はそうした失敗を特定し、構造化されたフィードバックを開発者に返せる。

支払いとプロジェクトの継続性も基盤の一部に

今回のローンチでは、グローバルな支払いに対応するためTrolleyも統合された。iMeritによると、この統合により、国際的な専門家コミュニティ向けの安全な支払いとコンプライアンス業務が支援される。

支払い業務はモデルの性能とは無関係に見えるかもしれないが、専門家が継続的に参加できるかどうかに影響する。多くの国にまたがる専門家に頼るプロジェクトでは、採用、オンボーディング、タスクへのアクセス、報酬のすべてが運営上の依存要素となる。

このプラットフォームでは、マッチングやエンゲージメントの機能とともに、こうした業務も提供されるため、各プロジェクトチームが個別に用意する必要はない。顧客にとって期待されるメリットは、より一貫性のある人員体制とレビューのプロセスだ。一方、専門家にとっては、プロジェクトへの参加から業務の完了、報酬の受け取りまでの流れがより明確になる。

「データにラベルを付けているだけではありません。自分の専門分野で、こうしたシステムがどのように推論し、振る舞うかを形作る手助けをしているのです」と、ベス・イスラエル・ディーコネス医療センターの病理学専門医で、ヘルスケアAI分野のiMerit ScholarであるPavel Kopach医学博士は、発表の中で述べた。

EXLがもたらす企業向け導入の背景

今回のローンチは、EXLによるiMerit買収の完了を受けたものだ。買収完了は8月3日に発表された。EXLは、モデルのトレーニングと評価に関する専門性を、自社のエンタープライズデータ、業務上の知見、AI導入能力と組み合わせるものとして、両社の統合を位置づけた。

これにより、Scholarsにとって、より幅広い市場展開の道筋が生まれる。Basuによると、iMeritは最先端モデルの開発から、銀行、医療、保険の業務プロセスへと事業を拡大している。こうした分野では、ドメインに応じたカスタマイズ、信頼性、安全性が、AIを本番環境で円滑に稼働させられるかどうかを左右する。

新しいプラットフォーム自体が、あらゆる専門分野の環境でモデルの信頼性を保証するわけではない。このプラットフォームが整えるのは、より具体的な前提条件だ。つまり、その環境で求められる要件に照らしてシステムをテストするために必要な人材、ツール、フィードバックを組織化することである。AIが専門的な業務プロセスにさらに深く入り込むにつれて、適切な専門家を見つけ、有益な修正を取り込み、その知見を開発に反映する能力は、テクノロジースタックのますます重要な要素となる。