トレイ・ドイグ、PathlightのCTO兼共同創設者 – インタビュー・シリーズ

トレイ・ドイグは、Pathlightの共同創設者兼CTOです。トレイは、IBM、Creative Commons、Yelpでエンジニアとして10年以上の経験を持っています。トレイは、Yelp Reservationsのリードエンジニアで、Yelp.comへのSeatMe機能の統合を担当しました。トレイはまた、SeatMe Webアプリケーションの開発を主導し、会社が10倍の顧客増加をサポートするためにスケールアップしました。

Pathlightは、顧客との会話とチームのパフォーマンスに関するリアルタイムの洞察を提供し、顧客向けチームのパフォーマンスを向上させ、効率性を高めます。Pathlightプラットフォームは、自動的に数百万のデータポイントを分析し、組織のすべてのレベルで顧客との会話とチームのパフォーマンスを理解し、繰り返し成功するための最適なアクションを決定することができます。

コンピューター・サイエンスに最初に惹かれたのは何ですか？

私は子供の頃からコンピューターに興味を持っていました。12歳のとき、プログラミングを始め、SchemeとLispを学び、ウェブ開発で様々なものを作り始めました。

その後、大学に入学する際に、コンピューターに興味を失い、デザイン学校に入学しようとしました。しかし、デザイン学校に受け入れられなかったため、コンピューター・サイエンスのプログラムに参加し、そこでキャリアを築くことになりました。デザイン学校に受けられなかったことは、実際には私の人生で最も貴重な経験となりました。

あなたは、IBM、Yelpなどの企業で勤務しています。Yelpでは、どのようなプロジェクトに取り組み、どのような経験を積みましたか？

私は、SeatMeの買収を通じてYelpに入社し、Yelp.comのフロントページに予約検索エンジンを統合する責任を負いました。

数ヶ月後、Yelpの内部で構築されたElasticsearchの堅牢なインフラストラクチャのおかげで、検索エンジンをYelpの規模で動作させることができました。また、Yelpのエンジニアリング・リーダーシップが優れていたため、自由に動作し、迅速に成果を出すことができました。

PathlightのCTO兼共同創設者として、LLM Opsインフラストラクチャを構築しています。LLM Opsインフラストラクチャを構築する際に必要な要素について説明してください。たとえば、プロンプト管理レイヤー、メモリ・ストリーム・レイヤー、モデル管理レイヤーなどについてどう取り組んでいますか？

2022年の終わり、PathlightはLarge Language Models (LLMs)の開発と実験に取り組み、4ヶ月後に成功裏に会話インテリジェンス製品を立ち上げました。この製品は、テキスト、オーディオ、ビデオなどのさまざまなチャネルからの顧客との会話を1つのプラットフォームに統合し、顧客の感情を深く理解することができます。

このプロセスで、データをLLM処理に適した形でトランスクリプト、精製、最適化しています。RAGベースのタギング、分類モデル、複雑な要約の有効性を高めるために、トランスクリプトからエンベディングを生成することが重要です。

この分野は新しく、未踏の領域であり、ベストプラクティスを同時に発見しながら先駆けています。プロンプト・エンジニアリングはその1例です。アプリケーションが生成するプロンプトの監視、デバッグ、品質管理が必要です。現在、コラボレーション機能、先進的なログ記録、インデックス機能を提供するスタートアップが増えています。

しかし、私たちの重点は、LLM Opsインフラストラクチャの基礎レイヤーを強化することにあります。モデルをファインチューンするオーケストレーション、モデルをホストすること、信頼性の高い推論APIを確立することなど、低レベルのコンポーネントが重要です。これらのコンポーネントにリソースとエンジニアリングの才能を集中することで、製品が迅速に市場に出るだけでなく、堅実で信頼性の高い基盤に立つことができます。

商用ツールが利用可能になり、より高度な複雑さに対処できるようになると、私たちの戦略は、これらのソリューションをシームレスに統合し、製品をさらに強化し、会話インテリジェンスの再定義を加速することを可能にします。

Pathlight CIの基盤は、複数のLLMバックエンドで動作します。複数のLLMを使用する際の課題と、それぞれのレート制限に対処する方法について説明してください。

LLMとGenAIは、非常に速いスピードで進化しています。したがって、これらのテクノロジーに大きく依存するビジネス・アプリケーションは、最新のモデルと同期する必要があります。レート制限が必要なスループットを妨げる場合、サービスが拡大するにつれて、これは特に重要です。

Pathlightでは、LLMを構築して展開する際に発生する一般的な問題である「hallucinations」に対処する方法について説明してください。

LLMを本格的に使用する場合の大きな課題は、hallucinationsです。同じプロンプトに対して、ある程度の不確実性や予測不可能性が生じます。hallucinationsに対処する方法は複数ありますが、ファインチューン（最高品質のモデルを使用してチューニングデータを生成する）が1つです。

Pathlightは、旅行＆ホスピタリティ、金融、ゲーム、小売＆電子商取引、コンタクトセンターなど、さまざまな市場セグメントに合わせたソリューションを提供しています。これらの市場で使用されるジェネレーティブAIの違いについて説明してください。

ジェネレーティブAIの強力な点は、幅広いセグメントに対応できることです。インターネット全体でトレーニングされたモデルにアクセスでき、多様な知識を蓄積していることで、これは非常に貴重な特性です。これは、AIが時間の経過とともにその価値を証明する方法であり、現在の進化のペースで近い将来に実現する可能性があります。

Pathlightでは、機械学習を使用してデータ分析を自動化し、隠れた洞察を発見する方法について説明してください。

はい、もちろん。私たちは、数多くの機械学習プロジェクトを構築して配信してきました。Insight Streamsという機能の背後にあるジェネレーティブモデルは、顧客について何がわからないかを明らかにする製品を作成するために、機械学習をどのように活用しているかを示す優れた例です。このテクノロジーは、AIエージェントの概念を使用し、手動分析の再現性や深さを不可能にする、継続的に進化する洞察のセットを生成します。

データ分析やデータサイエンティスト、ビジネスアナリスト、セールスまたはカスタマー・オペレーションの担当者など、企業が顧客サポートデータを分析する責任者は、重要なリクエストで常に忙しくしています。複雑なシステムやデータの層を必要とする、深い分析は通常…

LLMとAIの進化について、どのようなブレークスルーが期待できるかについて、ご自身の見解を述べてください。

私の見解は、LLMのトレーニングとチューニングの分野が非常に速いスピードで進化し続け、より広い分野で進歩し、多モーダルが標準になることを示唆しています。FOSSは、多くの点でGPT4と同等であると信じていますが、モデルをホストするコストは、多くの企業にとって引き続き懸念事項となるでしょう。