オルガ・メゴルスカヤ、Tolokaの創設者兼CEO – インタビュー・シリーズ

オルガ・メゴルスカヤ、Tolokaの創設者兼CEOは、2020年から同社を率いており、同社をクラウドラベリングのルーツからAIデータサービスにおける主要プレーヤーへと導いてきました。Tolokaを創設し、指揮する前に、彼女は10年以上ヤンデックスで働き、クラウドソーシングおよびプラットフォーム担当部長として、検索、音声、スピーチ、自動運転、コンテンツモデレーションなど、機械学習製品のクラウドソーシングデータラベル付けインフラストラクチャを構築して拡大しました。彼女の指導の下で、Tolokaは、機械学習技術と人間の専門知識を組み合わせて、大規模なAIモデルとエージェントのトレーニング、評価、セーフティをサポートする、AIのグローバルデータパートナーとして自己を位置付けました。

Tolokaは、オランダ・アムステルダムに本拠を置く企業で、AI開発のための高品質、専門的にキュレーションされたデータを提供しています。アノテーション、ラベル付けから、教師付きファインチューニング（SFT）および人間のフィードバックからの強化学習（RLHF）用のカスタムデータセットまで、幅広いモダリティ（テキスト、画像、オーディオ、ビデオ）をサポートし、ドメインの専門家と世界中のクラウドを組み合わせて、先端のAIエージェントと大規模言語モデルをトレーニングおよび評価するためのスケーラブルで正確なデータセットを提供します。同社のサービスは、推論、多言語理解、画像/オーディオ生成、AIセーフティなどの機能を、業界やアプリケーション全体で向上させます。

ヤンデックスでのヒューマン・イン・ザ・ループ・システムの構築に数年を費やした後、2020年にTolokaを共同創設しました。同社を独立した企業にする必要性を感じた瞬間は何でしたか？その経験は、TolokaのAI開発における役割に対するあなたのビジョンをどのように形作りましたか。

ある時点で、Tolokaはその元の会社から独立する必要性に気付きました。世界中のAI研究者がプラットフォームを使用し、同社は独立したエンティティとしてさらに多くのことを成し遂げることができることを認識しました。したがって、Tolokaは、Web検索、音声アシスタント、GenAIチャットボット、AIエージェントなど、AIソリューションの全スペクトル向けのトレーニングデータを収集した数百のAIチームの蓄積された経験を活用することができました。以来、人間の労力を管理する専門知識とAIエージェントの構築およびトレーニングを組み合わせて、新しい製品Tendemを作成しました。

あなたは、完全に自律的なエージェントではなく、AI自動化と人間の判断を組み合わせたハイブリッドエージェントが最終的に勝利するという考えに至ったのは何ですか。

多くの分野で、AIのみのソリューションはすぐに顧客のニーズを完全に満たす驚くべきレベルの品質に達するでしょう。しかし、基本的なモデルが最適化されない使用例の長い尾があるでしょう。これがハイブリッドアプローチがAIのみのソリューションと人間のみのソリューションを上回る未来のシナリオです。過去10年間で繰り返し同じパターンを見てきました。AIはタスクを美しくスケールさせることができますが、ニュアンス、コンテキスト、実際のビジネス設定で重要な判断を下すのに苦労します。プロフェッショナルはスピードが必要ですが、信頼性も必要です。完全に自律的なエージェントは今日、信頼性を保証することはできません。ハイブリッドシステムが勝つのは、両側の方程式を解決するからです。AIは自身が最も適したスピード、構造、繰り返し性を処理します。人間の専門知識がギャップを埋めます。ambiguity、エッジケース、解釈です。2つをネイティブに組み合わせると、スピードと信頼性の両方を備えたワークフローが得られます。これがプロフェッショナルが最終的に頼るモデルです。

AIが曖昧さとマルチドキュメント推論に失敗することを指摘しています。どのようなタスクがこれらの限界を最も明らかにしますか。

長時間のタスク – 複数の情報源を統合したり、矛盾する情報を調和させたり、コンテキストを解釈したり、人間が数時間または数日かけて完了するタスク – は、AIの現在の限界を明らかにする傾向があります。例としては、市場調査、競合分析、長い文章の要約、混合入力から独自のコンテンツを作成する、または人間のニュアンスではなくパターン認識に基づく洞察を抽出することがあります。AIは最初のパスを生成するのが優れています。しかし、タスクが優先順位付け、判断、または曖昧さの調和を必要とする瞬間、信頼性は急激に低下します。その時点で、人間の専門家が不可欠です。

多くのプロフェッショナルはAIを使用していますが、まだ完全に信頼していません。Tolokaのアプローチは、AIアシストシステムに実際の作業を委任することによる信頼をどのように再構築しますか。

信頼性は、ユーザーがAIの出力を修正しなくなることで向上します。Tolokaのアプローチは、ワークフローから開始時に人間を組み込み、AIが失敗したときのエスカレーション経路として組み込むのではなく、信頼を再構築します。Tendemのすべてのタスクは、自動化する必要があるものと人間の専門知識を必要とするものを決定するAIプロジェクトマネージャーを経由します。その後、自動チェックと人間によるQAが最終出力が正確で完了し、ビジネスに適合していることを保証します。プロフェッショナルにとって、これは作業を委任し、実際に検証された結果を期待できることを意味します。修正する必要のないドラフトではありません。

ワークフローを遅くすることなく、ループ内の人間の専門家が高品質の出力を維持することを保証するメカニズムは何ですか。

2つの要素がこれを可能にします：

• スケーラブルな専門化。Tendemのネットワーク内の専門家は、ドメインの専門知識に基づいて事前に検証され、トレーニングされ、特定のタスクの種類にマッチングされています。彼らは適応するために一般的なフリーランサーではなく、すでに特定のタスクの種類に資格を持っています。
• レイヤードQAとスマートルーティング。AIはパン生地のステップを処理するため、人間の専門家は判断が必要な部分にのみ焦点を当てます。次に、必要に応じて自動QAと人間による検証の2番目のレイヤーがあります。これにより、人間はボトルネックを作るのではなく、最も価値を追加できる場所で関与します。

結果は、自動化に匹敵するスピードで、専門家のレビューに匹敵する精度です。

精度とコンプライアンスを要求する業界では、ハイブリッドシステムはどのようにして検証可能性と監査可能性を提供し、ビジネスが依存できるようにしますか。

ハイブリッドシステムは、ワークフローのすべてのステップが追跡され、帰属され、品質が確認されるため、監査可能性を内在的に許可します。自動化された部分、ベテランの専門家によって実行された部分、QAステップが出力を検証した部分をすべて知ることができます。規制された業界では、このプロセスは不可欠です。ブラックボックスAIの決定に頼るのではなく、判断、修正、承認の検証可能なチェーンを持っています。これが、精度とコンプライアンスがオプションではなくなったドメインでハイブリッドシステムを適切にする理由です。

あなたは、どの知識作業のカテゴリが最初にハイブリッドエージェントに移行すると思いますか。どのカテゴリが最も遅く移行すると思いますか。

一般に、ハイブリッドアプローチはAIのみのアプローチよりも採用が簡単であると思います。したがって、ほぼすべてのドメインがこのモデルでカバーされることを予想しています。違いは、AIと人間の関与の比率にあるだけです。最初の採用者は、スピードと精度の両方が重要でありながら、作業がまだ非常に繰り返される役割です。コンサルティング、市場調査、セールスオペレーション、研究、コンテンツ作成から強いプルを既に感じています。最も複雑で（おそらく最も興味深い）領域は、物理世界に近い領域です。例えば、建築と建設です。しかし、そこに到達するための明確な技術的パスも見えています。

組織は、フリーランス管理作業からハイブリッドエージェントに移行した場合、運用面でどのようなメリットがありますか。

ハイブリッドエージェントは、フリーランス管理作業の2つの大きな非効率性を排除します。管理オーバーヘッドと一貫性のない品質です。組織とプロフェッショナルは、フリーランスを採用したり、検証したり、ブリーフィングしたり、管理したり、修正したりする必要はありません。ハイブリッドエージェントは、自動的にワークフローのオーケストレーションを処理し、各ステップに適切なAIと人間の専門知識の組み合わせを割り当てます。これにより、ターンアラウンド時間が短縮され、出力品質が標準化され、ヘッドカウントを増やさずに作業がスケールします。つまり、自動化のスピードと、専門家チームの信頼性を、管理することなく得ることができます。

ハイブリッドシステムが主流のトレクションを得るにつれて、フリーランスおよびギグエコノミーへの影響はどのようなものになりますか。

私たちは、それがフリーランスエコノミーを再構築することを考えていません。フリーランスは、低レベルの繰り返しのタスクに時間を費やすのではなく、特定のドメインのスペシャリストとしてハイブリッドシステムにプラグインできるようになります。作業は構造化され、高い価値があり、より予測可能で安定したものになります。フリーランスは、不規則なプロジェクトを追うのではなく、Tendemのようなプラットフォームを介して、適切なタスクにマッチングされ、AIシステムによってビジュアラークを除去された専門知識を貢献できます。

数年先を見て、デジタルワークにおけるハイブリッドエージェントが標準になる場合、「AIへの委任」はどのように見えますか。

委任は、ツールの使用というよりも、有能なチームに仕事を任せるようなものになります。結果として得たいものを説明し、ハイブリッドエージェントがそれを分解し、サブタスクにルーティングし、適切なAIと人間の専門知識の組み合わせを適用し、結果を検証し、完成した製品を数時間以内に提供します。変化は、AIを下書きアシスタントとして使用することから、AIをプロジェクトマネージャーとして使用することへの移行です。AIがワークフロー全体を管理し、プロフェッショナルはシステムが最終出力を提供するのではなく、開始点を提供するのを信頼できるようになるのが、本当の委任です。

素晴らしいインタビュー、詳しく知りたい読者はTolokaを訪問してください。