Trey Doig, CTO & Co-Founder at Pathlight – Interview Series

Trey DoigはPathlightの共同創設者兼CTOです。Treyは、IBM、Creative Commons、Yelpでエンジニアとして10年以上の経験を持っています。Treyは、Yelp Reservationsのリードエンジニアで、Yelp.comへのSeatMe機能の統合を担当しました。Treyはまた、SeatMe Webアプリケーションの開発をリードし、会社が10倍の顧客増加をサポートするためにスケーリングしました。

Pathlightは、顧客との会話とチームのパフォーマンスに関するリアルタイムの洞察を提供し、顧客向けチームのパフォーマンスを向上させ、効率を高めるのに役立ちます。Pathlightプラットフォームは、数百万のデータポイントを自動的に分析して、組織のすべてのレベルで顧客との会話とチームのパフォーマンスを理解し、繰り返し成功するための最適なアクションを決定することができます。

コンピューターサイエンスに興味を持つきっかけは何でしたか？

私は幼い頃からコンピューターに興味を持っていました。12歳のとき、プログラミングを始め、SchemeとLispを独学で勉強し、すぐにウェブ開発で様々なものを作り始めました。

その後、大学に申し込むとき、コンピューターに飽きて、デザイン学校に進もうと思っていました。しかし、デザイン学校に受け入れられなかったり、待ちリストに入ったりしたため、CSプログラムに登録し、決して後悔しないことになりました。デザイン学校に受けられなかったことは、実際には私の人生で最も貴重な拒否だったのです。

あなたはIBM、Yelpなどの会社で役割を果たしてきました。Yelpでは、どのようなプロジェクトに取り組み、どのような経験を積んだのでしょうか？

私は、SeatMeの買収を通じてYelpに入社し、Yelp.comのフロントページに予約検索エンジンを統合する責任を負いました。

数ヶ月後、Yelpのスケールで検索エンジンを動作させることができました。これは、Yelpが内部に構築したElasticsearchの堅牢なインフラストラクチャと、エンジニアリングのリーダーシップが優れていたためでした。

PathlightのCTOおよび共同創設者として、LLMOpsインフラストラクチャーを構築しています。LLMOpsインフラストラクチャーを展開する際に必要な要素について説明してください。

2022年の終わり、我々はLarge Language Models（LLMs）の開発と実験に取り組み、4ヶ月後にGenAIネイティブの会話インテリジェンス製品を成功裏に立ち上げました。この革新的な製品は、テキスト、オーディオ、ビデオなどのさまざまなチャネルからの顧客とのやり取りを、単一の包括的なプラットフォームに統合し、顧客の感情を分析および理解するための前例のない深さを提供します。

この複雑なプロセスをナビゲートするにあたり、我々はデータをLLM処理に最適化するために、慎重にトランスクリプト、精製、最適化しています。ワークフローの重要な側面は、トランスクリプトから埋め込みを生成することであり、これは私たちのRAGベースのタグ付け、分類モデル、および複雑な要約の有効性に不可欠です。

この取り組みが際立つのは、その新規性と未踏の性質にあることです。我々は、より広いコミュニティと同時に、先駆者となり、ベストプラクティスを発見しています。プロンプトエンジニアリングの例は、その探索の顕著な例です。我々のアプリケーションによって生成されるプロンプトの監視、デバッグ、品質管理を行っています。驚くべきことに、より高度なニーズに対応するためのコラボレーション機能や高度なログ記録およびインデックス機能を備えた商用ツールを提供するスタートアップが増えています。

しかし、我々にとって、重点はLLMOpsインフラストラクチャーの基礎レイヤーを強化することにあります。オーケストレーションの微調整、モデルのホスティング、堅牢な推論APIの確立など、これらの下位レベルのコンポーネントは、我々の使命に不可欠です。我々のリソースとエンジニアリングの腕前をここに集中させることで、製品が市場に迅速にリリースされるだけでなく、堅牢で信頼性の高い基盤に立つことを保証します。

ランドスケープが進化し、より多くの商用ツールが利用可能になるにつれて、我々の戦略は、これらのソリューションをシームレスに統合し、会話インテリジェンスの再定義をさらに促進することを可能にします。

Pathlight CIの基盤は、マルチLLMバックエンドによって提供されます。複数のLLMを使用し、異なるレート制限に対処する際の課題について説明してください。

LLMとGenAIは、驚くべきスピードで進化しています。これは、LLMやGenAIなどのテクノロジーに大きく依存するビジネスアプリケーションが、最新のトレンドに追随する必要性があることを意味します。特に、サービスに対する需要が増加し、レート制限が必要なスループットを妨げる場合にそうです。

Pathlightでは、LLMを構築および展開する際の一般的な問題である「hallucinations」をどのように対処していますか？

Hallucinations、つまり、私が一般的にそう思っている人々がそう呼んでいるものは、LLMを真剣に取り組む際に大きな課題です。同じプロンプトに対して、ある程度の不確実性や予測不可能性が存在します。この問題に対処する方法は多数あります。そのうちの1つは、微調整（利用可能な最高品質のモデルを使用してチューニングデータを生成する）です。

Pathlightは、旅行＆ホスピタリティ、金融、ゲーム、小売＆電子商取引、コンタクトセンターなど、さまざまな市場セグメントに応じたソリューションを提供しています。これらの市場ごとに、Generative AIがどのように異なるかについて説明してください。

GenerativeAIの瞬間的な利用可能性が、最も独自で貴重な側面の1つです。インターネット全体でトレーニングされたモデルにアクセスし、様々なドメインで広範な知識を持つことができることは、現在のブレークスルーにおける独自の特性です。これは、AIが最終的に時間の経過とともに自分自身を証明する方法であり、間もなくその道筋を歩むことになるでしょう。

Pathlightでは、機械学習を使用してデータ分析を自動化し、隠れた洞察を発見する方法について説明してください。

はい、もちろん！私たちは、多くの年間でいくつかの機械学習プロジェクトを構築して出荷してきました。私たちの最新機能であるInsight Streamsの背後にある生成モデルは、機械学習を使用して製品を直接構築し、顧客について何を知らないかを発見する方法を示しています。このテクノロジーは、AIエージェントの概念を使用して、常に進化する洞察のセットを生成し、手動分析の新鮮性と深さを不可能にします。

データ分析またはデータサイエンティスト、ビジネスアナリスト、セールスまたはカスタマーオペレーション、または会社が顧客サポートデータを分析するために指定する人は誰でも、常に重要なリクエストで溢れています。通常、複雑なシステムとデータの層が必要な深い分析です。

LLMとAI全般の波におけるブレークスルーについて、どのような見通しをしていますか？

私の見解は、LLMトレーニングとチューニング方法の分野におけるブレークスルーが続いて、より広範なドメインとマルチモーダルが一般的になることを前提としています。FOSSはすでにGPT4と多くの点で同等であると考えられていますが、モデルをホストするコストは、多くの企業にとって引き続き懸念事項となるでしょう。