トレイ・ドイグ、PathlightのCTO兼共同創設者 – インタビュー・シリーズ

トレイ・ドイグは、Pathlightの共同創設者兼CTOです。トレイは、IBM、Creative Commons、Yelpでエンジニアとして10年以上の経験を持っています。トレイは、Yelp Reservationsのリードエンジニアで、Yelp.comへのSeatMe機能の統合を担当しました。トレイはまた、SeatMe Webアプリケーションの開発を主導し、会社が10倍の顧客増加をサポートするためにスケールアップしました。

Pathlightは、顧客との会話とチームのパフォーマンスに関するリアルタイムの洞察を提供し、顧客向けチームのパフォーマンスを向上させ、効率性を高めます。Pathlightプラットフォームは、自動的に数百万のデータポイントを分析し、組織のすべてのレベルで顧客との会話とチームのパフォーマンスを理解し、繰り返し成功するための最適なアクションを決定することができます。

コンピューター・サイエンスに最初に惹かれたのは何ですか？

私は子供の頃からコンピューターに興味を持っていました。12歳のとき、プログラミングを始め、SchemeとLispを独学し、ウェブ開発で様々なものを作り始めました。

その後、大学に入学する際に、コンピューターに興味を失い、デザイン学校に入学しようとしました。しかし、いくつかのデザイン学校で不合格になったり補欠扱いになったりしたため、コンピューター・サイエンスのプログラムに参加し、そこでキャリアを築くことになりました。デザイン学校に受けられなかったことは、実際には私の人生で最も貴重な経験となりました。

あなたは、IBM、Yelpなどの企業で勤務しています。Yelpでは、どのようなプロジェクトに取り組み、どのような経験を積みましたか？

私は、SeatMeの買収を通じてYelpに入社し、Yelp.comのフロントページに予約検索エンジンを統合する責任を負いました。

数ヶ月後、Yelpの内部で構築されたElasticsearchの堅牢なインフラストラクチャのおかげで、検索エンジンをYelpの規模で動作させることができました。また、Yelpのエンジニアリング・リーダーシップが優れていたため、自由に動いて、得意とする迅速な製品リリースを行うことができました。

PathlightのCTO兼共同創設者として、LLM Opsインフラストラクチャを構築しています。LLM Opsインフラストラクチャを構築する際に必要な要素について説明してください。たとえば、プロンプト管理レイヤー、メモリ・ストリーム・レイヤー、モデル管理レイヤーなどについてどう取り組んでいますか？

2022年の終わり、PathlightはLarge Language Models (LLMs)の開発と実験に取り組み、わずか4カ月後に、生成AIを中核とした会話インテリジェンス製品をリリースしました。この製品は、テキスト、オーディオ、ビデオなどのさまざまなチャネルからの顧客との会話を1つのプラットフォームに統合し、顧客の感情を深く理解することができます。

このプロセスで、データを書き起こし、不要な要素を取り除いて最適化することで、LLMの処理に適した形に整えています。RAGベースのタギング、分類モデル、複雑な要約の有効性を高めるために、トランスクリプトからエンベディングを生成することが重要です。

この分野は新しく、未踏の領域であり、より広いコミュニティとともにベストプラクティスを発見し、開拓している状況です。プロンプト・エンジニアリングはその1例です。アプリケーションが生成するプロンプトの監視、デバッグ、品質管理が必要です。現在、コラボレーション機能、先進的なログ記録、インデックス機能を提供するスタートアップが増えています。

しかし、私たちの重点は、LLM Opsインフラストラクチャの基礎レイヤーを強化することにあります。モデルをファインチューンするオーケストレーション、モデルをホストすること、信頼性の高い推論APIを確立することなど、低レベルのコンポーネントが重要です。これらのコンポーネントにリソースとエンジニアリングの才能を集中することで、製品が迅速に市場に出るだけでなく、堅実で信頼性の高い基盤に立つことができます。

商用ツールが利用可能になり、より高度な複雑さに対処できるようになると、私たちの戦略は、これらのソリューションをシームレスに統合し、製品をさらに強化し、会話インテリジェンスの再定義を加速することを可能にします。

Pathlight CIの基盤は、複数のLLMバックエンドで動作します。複数のLLMを使用する際の課題と、それぞれのレート制限に対処する方法について説明してください。

LLMとGenAIは、非常に速いスピードで進化しています。したがって、これらのテクノロジーに大きく依存するビジネス・アプリケーションは、独自のマネージドサービスを利用する場合でも、自社インフラでFOSSモデルを動かす場合でも、最新の学習済みモデルに追随できる必要があります。レート制限が必要なスループットを妨げる場合、サービスが拡大するにつれて、これは特に重要です。

Pathlightでは、LLMを構築して展開する際に発生する一般的な問題である「ハルシネーション」に対処する方法について説明してください。

LLMを本格的に使用する場合の大きな課題は、ハルシネーションです。同じプロンプトに対して、ある程度の不確実性や予測不可能性が生じます。ハルシネーションに対処する方法は複数ありますが、ファインチューン（最高品質のモデルを使用してチューニングデータを生成する）が1つです。

Pathlightは、旅行＆ホスピタリティ、金融、ゲーム、小売＆電子商取引、コンタクトセンターなど、さまざまな市場セグメントに合わせたソリューションを提供しています。これらの市場で使用されるジェネレーティブAIの違いについて説明してください。

ジェネレーティブAIの強力な点は、幅広いセグメントに対応できることです。インターネット全体でトレーニングされたモデルにアクセスでき、多様な知識を蓄積していることで、これは非常に貴重な特性です。これは、AIが時間の経過とともにその価値を証明する方法であり、現在の進化のペースで近い将来に実現する可能性があります。

Pathlightでは、機械学習を使用してデータ分析を自動化し、隠れた洞察を発見する方法について説明してください。

はい、もちろん。私たちは、数多くの機械学習プロジェクトを構築して配信してきました。Insight Streamsという機能の背後にあるジェネレーティブモデルは、顧客について何がわからないかを明らかにする製品を作成するために、機械学習をどのように活用しているかを示す優れた例です。このテクノロジーは、AIエージェントの概念を使用し、手作業の分析では追いつけない最新性と深さを持つ、継続的に進化する洞察の集合を生成します。時間がたつにつれ、これらのストリームは自身の結果から自然に学習できるようになります。

データ分析担当者やデータサイエンティスト、ビジネスアナリスト、セールスまたはカスタマー・オペレーションの担当者など、企業が顧客サポートデータを分析する責任者は、重要なリクエストで常に忙しくしています。深い分析には通常、複雑なシステムやデータを何層にも組み合わせる必要があります。

LLMとAIの進化について、どのようなブレークスルーが期待できるかについて、ご自身の見解を述べてください。

私は、LLMの学習とチューニングの手法が今後も非常に速く進歩し、より広い分野で成果が生まれ、マルチモーダルが標準になるという、非常に楽観的な見方をしています。FOSSは、多くの点でGPT4と同等であると信じていますが、モデルをホストするコストは、多くの企業にとって引き続き懸念事項となるでしょう。