Crux Labs、企業の判断力をより優れたAIエージェントに生かすため600万ドル超を調達

AIエージェントはタスクを完了しても、経験豊富な従業員なら退けるような判断を下すことがある。難しいのは、多くの場合、明文化されていないルールを理解することだ。たとえば、いつ追加の質問をするか、いつ上位の担当者に引き継ぐか、そして特定の企業にとって望ましい結果とは何か、といったルールである。

Crux Labsは、専門家の判断を、企業向けエージェントの継続的な評価・改善プロセスにつなげるプラットフォームを開発している。ニューヨークの同スタートアップは、Analog VenturesとPareto Holdingsも参加し、BenchstrengthとMisneachが共同で主導した、募集額を上回る600万ドル超の資金調達ラウンドを経て、ステルス状態を終えた。

同社はこの資金を研究・エンジニアリング体制の拡充に充て、企業への導入を加速させる計画だ。同社の中心的な見立ては、企業には自社の専門家に合わせて調整した評価システムと、本番環境でのエージェントの振る舞いをエージェント自体の変更につなげるフィードバックループが必要だというものだ。

エージェントの実行記録は出発点にすぎない理由

エージェントの可観測性を活用すれば、チームはシステムが何をしたかを確認できる。具体的には、やり取りの背後にあるメッセージの順序、ツールの呼び出し、その他の手順を調べられる。問題が起きたとき、この記録は役に立つ。しかし、そのやり取りが十分に良かったかどうかを判断するには、タスクと事業の実情を反映した基準が必要だ。

Cruxは、大規模な導入では人手によるレビューが追いつかないと主張している。同社の発表によると、チームが確認するエージェントの実行記録はわずか1%にとどまり、残りのトラフィックの大部分は直接確認されていない。この数値は同社が問題を説明するために示したものであり、業界全体を対象に公表された調査結果ではない。

重要な失敗がまれにしか起きない場合、サンプリングには特に限界がある。エージェントはよくあるケースでは許容できる振る舞いをしても、経験豊富なスタッフならすぐに気づく例外的な状況ではうまく対応できないことがある。課題は、そうした気づきを、はるかに多くのやり取りに一貫して適用できる評価へと変えることだ。

Cruxが機会を見いだしているのは、分野に精通した人々とエージェントを構築するエンジニアの間にある領域だ。分野の専門家は、やり取りが成功したといえる状態を説明できる。しかし、その理解を、システムの測定と改善のプロセスに繰り返し取り入れられる形にする必要がある。

判断を取り込み、評価を調整する

Cruxによると、そのワークフローは企業がすでに使っているツールやプロセスの中から始まる。同社のエージェントが専門家の判断を取り込み、それを使って独自の評価を調整する。こうして調整された評価は、本番環境の監視やアラートに活用され、その結果は後続のエージェントの改善に反映される。

評価の調整が重要なのはそのためだ。一般的な評価では、流ちょうでも事業固有の要件を満たしていない回答が高く評価される可能性がある。専門家の判断に基づく評価は、正しく聞こえる回答と、組織の期待に応える回答との違いを見分けることを目的としている。

「エージェントは目標の達成に非常に優れていますが、人間が長年かけて頭の中に蓄積してきた経験則を利用できません」と、Cruxの共同創業者兼CEO、Julie Kheyfets氏は述べた。「Cruxは、あらゆる企業がこうした判断を抽出し、それを活用してエージェントを迅速に改善できるよう支援します」

目指すのは、実際のやり取りから専門家が学んだことを反映しながら変化していく評価プロセスだ。新たな失敗のパターンが現れたとき、組織はその知見を、今後の振る舞いを評価する方法に取り込める。サポートチケットや個々のレビュー担当者の間に知見が散在したままになるのを防げる。

本番環境のトラフィック全体を監視

Cruxによると、同社独自の評価は、本番環境のトラフィック100%を対象とするリアルタイムの監視とアラートに最適化されている。これはカバレッジに関する主張であり、トラフィック全体に評価を適用するという意味だ。あらゆる失敗を検出できる、あるいは人間の専門家と完全に一致するという意味ではない。

この違いが重要なのは、自動評価にも独自の測定上の課題があるためだ。すべてのやり取りを確認するシステムであっても、基準が不完全なら重要な振る舞いを見落とす可能性がある。そのため、監視を始める前の任意の手順ではなく、分野の専門知識に照らして評価基準を調整することが、Cruxの提案の中核となる。

同社はまた、評価結果を本番環境に反映する改善に生かすとしている。ただし、同社の発表では、プロンプト、ポリシー、モデル、その他の構成要素のうち、プロセスのどの部分を変更するのか、また顧客の承認をどのように扱うのかは詳しく説明されていない。明らかにされているのは、特定のモデル学習手法ではなく、評価から改善までを一貫して提供するサービスだ。

企業向けAIの経験を持つ創業チーム

Kheyfets氏と、共同創業者兼CTOのKrishna Kulkarni氏は、Princeton Universityで出会った。Kheyfets氏は、複雑な業界でAIを導入してきた10年の経験を持ち、Tractable AIの北米事業を率いたほか、Block RenovationのCEOを務めた。

同社によると、Kulkarniは以前Metaでブランドエンジニアリングを率い、CheckrでAI製品を開発し、Healthifyが患者数ゼロから2,000万人に拡大するのを支援した。Cruxは、エージェントの評価と改善に取り組む研究者とエンジニアのチームを構築している。

「エンジニアリングチームはAIエージェントの構築方法を知っており、各分野の専門家は成功とは何かを理解しています。しかし、企業には両者をつなぐ橋渡しがありません」とKulkarniは述べた。「Cruxは、専門領域の知見をエージェントの継続的な改善に生かすことで、エンジニアが真にビジネスに沿ったエージェントを構築できるようにします。」

同社は、医療、サイバーセキュリティ、金融サービスなどの複雑な業界で、Fortune 500企業や急成長企業から初期段階の支持を得ていると報告している。ただし、発表では顧客名を明らかにしておらず、売上高、導入件数、測定された改善効果も公表していない。

企業固有の評価がもたらすビジネス上の価値

Cruxは、企業内に専任のエージェント評価・改善チームを置くのと同等の役割を担うものとして、自社を位置づけている。事業上の主張は、製品やエンジニアリングの担当者がレビューの仕組みづくりや繰り返し発生する障害の原因究明に費やす時間を減らす一方、専門家には自社の業務を担うシステムに影響を与える実践的な手段がもたらされる、というものだ。

専門領域の知見への需要は、専門家主導のAIトレーニングと評価を行うiMeritのプラットフォームにも表れている。同プラットフォームでは、専門家からのフィードバックを整理することが、モデル改善のワークフローの一部となっている。

投資家にとっての機会は、エージェントが本番環境に導入された後に何が起きるかに関わっている。エージェントを構築すると、その動作を継続的に測定し、どこに不足があるかを特定し、組織の基準を見失うことなく改善する必要が生じる。

今回の資金調達によりCruxは、成功の定義が異なる顧客にも、このプロセスを安定して提供できるかどうかを検証する。Cruxの提案は明快だ。企業で最も優れた人材が持つ判断力を、エージェントの評価方法に取り入れ、その評価を本番環境でのより良い動作につなげるべきだというものだ。詳しくはCrux Labsをご覧ください。