インタビュー
Pablo Ormachea、Motusのデータ担当VP – インタビューシリーズ
Pablo Ormachea、Motusのデータ担当VPは、規制および財務の審査に耐えながら迅速に動作するエンタープライズAIおよびアナリティクスシステムを構築しています。彼は、完全にリモートで、クロスファンクショナルなチームを率いており、リテンションの向上、利益率の拡大、測定可能なROIの向上につながるエビデンス駆動型の意思決定システムに重点を置いています。Motusでは、35万人以上のドライバーのアナリティクスを再構築し、60倍速のレポートを実現し、ゼロのタイムアウトを達成しました。また、異常検出や顧客流失予測を含むAI/MLシステムを出荷し、クライアントに数百万ドルの節約をもたらしました。また、MotusのAIガバナンスフレームワークの共同著者であり、明確なデフォルト、強力な監査可能性、データスタック全体にわたる一貫したビジネスロジックを備えた安全なLLM実験を可能にしました。
Motusは、ワークフォースマネジメントおよびモビリティソフトウェア会社であり、組織が車両の返金、走行距離の追跡、モバイルワークフォースの運用を管理するのを支援します。そのクラウドプラットフォームは、税金優遇の返金プログラムを自動化し、リアルタイムのレポートと洞察を提供し、職務上で運転する従業員のコスト削減、生産性の向上、コンプライアンスの管理を支援します。
あなたは、AIエンジニアリング、データ戦略、規制の交差点でユニークなキャリアを築いてきました。規制の厳しい枠組みに従いながら技術的に高度なAIシステムを構築するためのあなたのアプローチを形作った主な経験は何ですか?
私は早くから、コンプライアンスを法律上の余波ではなく、エンジニアリング上の制約として扱うことを学びました。如果你建造了一条高速公路，你就可以在高速公路上行驶。如果你假装它是一条土路并且仍然加速行驶，你不会更快地移动。你只是更早地崩溃するだけです。
ハーバードロースクールは驚くほど役に立ちました。なぜなら、コモンローのシステムは基本的に残差駆動の学習だからです。規則は現実に当てはまり、エッジケースはどこで失敗するかを暴露し、ドクトリンはそれを改善します。
これは、私がプロダクションのAIに使用するメンタルモデルでもあります。すべての残差は贈り物です。それはあなたの仮定が現実世界からどのように乖離しているかを示し、システムを改善するための具体的なパスを提供します。
したがって、私は同時に2つのことを最適化しています。出荷速度と証明責任。目標は「イノベーション対コンプライアンス」ではありません。目標は、迅速に移動し、しかも明確かつ繰り返し「どうやって知っているの?」と答えることができるシステムを構築することです。
あなたは、MotusのAIガバナンスポリシーを共同で作成し、承認を簡素化しながら強力なコントロールを維持しました。ポリシーの設計にあたって、どのような原則を導きましたか? イノベーションのスピードと監査の準備性のバランスをとるにはどうしていますか?
私たちは、規則を書くことを目指しませんでした。私たちは地図を描きました。AIの採用が始まると、さまざまな方向から関心が集まり、速度がノイズや、より悪い場合は責任に変わることがあります。したがって、最初の仕事は明確さです。LLMが実行できる場所と実行できない場所、どのデータが厳密に内部に留まるか、どのような実験が安全なレーンで許可されるかを定義します。
バランスは、安全なパスを容易なパスにすることから来ます。ガバナンスは、委員会のときに失敗します。ガバナンスは、承認されたツール、明確なデータ境界、標準的なログ、エッジケースのための迅速な承認レーンがデフォルトになっている場合に機能します。目標は、ビルダーが毎回出荷するたびに安全性を再交渉する必要がないことです。
すると、監査の準備が事後的な証拠の集めではなく、システムが実行されるときに証拠が生成されるという事実の副産物になります。
あなたは「IRSレベルの厳格さ」のAI慣行を支持しています。MotusでのAIまたはMLの技術的な決定に規制上の考慮が直接影響した例を共有できますか?
規制されたワークフローでは、質問は「モデルが正確か?」ではなく、「あとで作業を示すことができるか?」です。那実際は、Motusでの「良い」とはどういうことかを形作ります。
それは設計上の選択を変えます。特定のユースケースでは、説明可能で、再生可能で、監査が容易なアプローチを偏っています。時には、それはよりシンプルなモデルファミリーを意味します。よくあるのは、決定的なガードレール、バージョニングされた機能、システムが真の再生をサポートするように入力と出力をログに記録することです。
具体的な例として、報酬ロジックとレポートの一部を更新したとき、意思決定の重要なポイントでトレーサビリティを押しました。システムが、どのルールが発動したか、どのデータを使用したか、どのバージョンが実行中だったか、どの変更が結果を変更するかを、要求に応じて答えることができるようにしたかったのです。AIコンポーネントの使いやすさを向上させ、全体のワークフローをより簡単に防御できるようにしました。
報酬については、自動化の価値は自動化だけではありません。一貫性です。AIは、移動を分類し、異常を検出し、不足している情報を早期に検出するのに役立ちます。これにより、後の調整が減ります。誰もが、報酬が毎月の考古学プロジェクトになることを望みません。コンプライアンスの利点は、より良い測定とより良い文書化から来ます。結果を明確な記録で裏付けるのではなく、事後的な再構築に頼るのではなく、結果を裏付けるのです。
リスクについては、AIは有用です。なぜなら、特定の時点でのチェックだけでは十分ではないからです。企業は、変更されたこと、異常なこと、注目が必要なことが何であるかを、継続的に認識したいと考えています。ここでの最も優れたAIシステムは、ドラマティックなものではなく、静かで、一貫性があり、測定可能です。
法務、セキュリティ、財務、製品と協力するリモートのクロスファンクショナルチームを率いることは、容易なことではありません。データとAIのイニシアチブをこれらのグループに周り、最も大きな課題に直面していますか?
最も難しい部分は、各グループが合理的であり、異なるリスクを最適化しているということです。
セキュリティは脆弱性を心配します。法務は防御可能性を心配します。財務はコストと予測可能性を心配します。製品は速度と顧客価値を心配します。データとエンジニアリングは実現可能性と信頼性を心配します。如果你把それらを競合する議題として扱うと、停滞します。
解決策は、共通の言語と明確なレーンです。決定の内容について合意し、境界を定義し、証拠が何を必要とするかを定義します。次に、ほとんどの作業が儀礼なしで実行できるようにデフォルトを構築します。
私は、明確さが説得力を上回ると発見しました。人々が地図を見られるようになると、調整ははるかに簡単になります。
あなたは、35万人以上のドライバーの60倍速のレポートや数百万ドルのクライアント節約などの大きなパフォーマンスの向上を推進しました。戦術的な影響と戦略的な価値の両方で、AI/MLプロジェクトを優先するにはどうしていますか?
私は、3つのテストに合格するプロジェクトを優先します。
第一に、それらは実際の意思決定またはワークフローを変更する必要があります。出力が信頼性高く行動を変えない場合、それはデモではあり、製品ではありません。
第二に、それらは測定可能でなければなりません。私の祖父母は「よく測定されたものは半分完成です」と言っていました。規制された環境では、それは半分以上です。如果我们不能提前定义成功、エラーモード、モニタリング、那么这意味着我们还不理解工作本身。
第三に、それらは厳格な調査に耐えられる必要があります。データの出所、境界、アクセス、説明および結果の再生が可能であることを含みます。
プロジェクトがこれらのテストに合格すると、戦術的な勝利と戦略的な複合効果の両方をもたらします。Motusでは、これにより、レポートの素早い実行、例外の削減、顧客の実際の時間節約につながる自動化が実現しました。
信頼と説明可能性は、エンタープライズのAI採用にとって重要です。ステークホルダー全体にわたってモデルが解釈可能で信頼できるように、チームはどうしていますか?
信頼は、明確さ、一貫性、そしてシステムがプレッシャーを受けたときに自分自身を説明できる能力から来ます。
私たちは、システムをリプレイボタン付きで設計します。同じ入力、同じバージョン、同じ出力、時間の経過とともに何が変わったかを示す証拠の道筋を付けています。また、残差を可視化します。すべてのミスは情報です。如果你がエラーを適切に計測すれば、行動を平易な言葉で説明し、規律ある方法で改善できるようになります。
監査の可能性がある決定の場合、不透明な複雑さよりも、シンプルなモデルと強力な測定を偏っています。実際的には、明確なデータ定義、パフォーマンスの評価、ドリフトの監視、文書化された変更プロセスが含まれます。ステークホルダーはすべての技術的な詳細を必要としません。システムが測定され、境界付けられ、改善されているという自信が必要です。
エンタープライズ環境では、説明可能性は哲学的な好みではありません。採用の要件です。そして、クライアントが将来の監査に耐える必要があるときに、重要です。
規制された業界で活動する他のAIリーダーに、法学、神経科学、統計学、応用AIを経て、どのようなアドバイスを与えますか?
いくつかの原則が広く適用されます：
- コンプライアンスを高速道路として扱う。チームが安全に速く移動できるように道路を建設する。
- 境界を早期に定義する。LLMが実行できる場所と実行できない場所、どのデータが外に出られないか、どのような実験が安全なレーンで許可されるかを明確にします。
- 証拠を自動化する。ログ、プロバンス、バージョニングをデフォルトにする。監査中に証拠を慌てて集めるのではなく、システムが実行されるときに証拠が生成されるようにします。
- 拡大する前に測定する。測定ができなければ、改善することもできない。見えなければ、改善できない。
- 残差を運用する。エラータクソノミーと優先度のある改善バックログに変えます。
- 採用を設計する。優れたモデルは、部分的には統計学、部分的にはパートナーシップ、そして大きくは変更管理です。
あなたのガバナンスがPDFに生きている場合、それはスケールしません。如果それがシステムに生きている場合、それはスケールします。
車両の返金とリスクの解決においてMotusが最前線に立っていることを考えると、次の3〜5年でこの分野におけるAIの進化をどのように見ていますか?
私は2つの大きな変化を予想しています。それらは相互に強化しています。
第一に、リスクは、定期的なチェックから、継続的な意思決定レベルのシグナルに移行します。今日、ほとんどの組織は、事後または特定の時点でのレビューの後で、運転手のリスクについて学びます。次の波は、すでに運用に存在するパターンを使用して、リスクをより早く、より正確に検出するシステムです。適性の変更、カバレッジギャップ、異常なマイル走行パターン、期待と観測された動作の間の矛盾を含むものです。目標は、判断を置き換えることではなく、安全性、人事、財務、運用のためのより明確な早期警戒パネルを提供することです。誤ったアラームが減り、フラグが設定された理由のためのより良い文書化が得られます。
第二に、返金は、書類仕事からワークフローに移行します。企業はまだ、提出、修正、承認、事後のクリーンアップに驚くほど多くの時間を失っています。次の数年で、返金ライフサイクル全体の自動化の増加を予想しています。事前に埋めることができるものを事前に埋め、不足しているまたは一貫性のない入力を早期に検出すること、例外を適切な承認者にルーティングすること、手動のやり取りを減らすことです。うまく行えば、返金は速く、より防御可能になります。なぜなら、証拠の道筋は、事後的な再構築ではなく、プロセスの一部として生成されるからです。
これが興奮するのは、それらが基盤が正しければどのように融合するかです。境界が明確で、残差が可視化されている場合、減少する例外、クリーンな提出、迅速な承認、より良いリスクシグナル、決定がどのように下されたかについてより明確な記録が得られます。
未来は「すべての場所にAI」を意味しません。正しい瞬間にAIを埋め込むこと、強力な測定とフィードバックループを備えること、そして継続的に改善することを意味します。
法学、神経科学、統計学、応用AIを経て、複雑なビジネス環境でデータとAIをリードしたいと考えている若い専門家に、どのようなアドバイスを与えますか?
システムを構築することを学びます。モデルだけではありません。或者、高速道路を建設し、ミスの道筋をインストルメントし、地図を最新の状態に保ちます。
結果に最も近い人々に近づきます。最前線のオペレーターは、データよりも早くシグナルを察知することがあります。彼らのフィードバックは「逸話的」ではありません。それは、欠けている機能セットです。
測定とエラーに対する謙虚さに対する安心感を開発します。残差は贈り物です。如果你がそれらを聞く意欲がある場合に限ります。如果你がエラーを適切に計測すれば、行動を平易な言葉で説明し、規律ある方法で改善できるようになります。
最後に、採用は作業の一部であることを覚えておいてください。変更管理は、ソフトな付加価値ではありません。コア要件です。如果你がAIを使用したい場合は、データ、モデル、アルゴリズムが強力であるだけで十分ではありません。ビジネスユニット全体で協力し、信頼を築き、人間のパスをナビゲートして、優れたモデルを実際の能力に変える必要があります。如果你がそれを行うことができる場合、あなたはモデルを構築するだけでなく、信頼を築きます。
素晴らしいインタビュー、詳細を知りたい読者は Motus を訪問してください。
