大規模言語モデル（LLM）をリアルワールドのビジネスアプリケーションに導入する

大規模言語モデルは至る所にあります。毎回の顧客会話やVCのピッチには、LLMテクノロジーの準備度や将来のアプリケーションへの影響についての質問が出されます。以前の投稿では、このトピックについてのパターンをいくつか取り上げました。ここでは、パーシステント・システムズが取り組んだ製薬業界でのリアルワールドのパターンについて話します。

大規模言語モデルとコアの強み

LLMは言語を理解することに優れています。那が彼らの強みです。最も一般的なパターンは、知識を外部のデータソースからコンパイルし、LLMが応答をパラフレーズするためのプロンプトとして提供する、检索増強生成（RAG）です。この場合、ベクターデータベースやElasticsearchベースのエンジンなどの超高速検索メカニズムが最初の検索ラインとして機能します。次に、検索結果はプロンプトにコンパイルされ、LLMにAPIコールとして送信されます。

別のパターンは、データモデルをプロンプトとしてLLMに与え、特定のユーザーによるクエリを生成することです。このパターンは、SnowflakeやNeo4jなどのSQLデータベースやグラフデータベースのための高度な「データと話す」インターフェースを開発するために使用できます。

LLMパターンを利用したリアルワールドの洞察

パーシステント・システムズは最近、Blast Motionというスポーツ測定会社（野球、ゴルフなどのスイング分析）で、プレイヤーの要約の時間シリーズデータを分析して推奨事項を得るためのパターンを調べました。

より複雑なアプリケーションの場合、LLMのリクエストを中間の処理とともに連鎖させる必要があります。製薬会社のために、臨床試験の文書から基準を抽出して患者をフィルタリングするスマートトレイルアプリを開発しました。ここでは、LLM連鎖アプローチを使用しました。まず、GPT-3.5-Turbo（ChatGPT）などの比較的シンプルなLLMを使用して、試験のPDF文書を読み取り、RAGパターンを使用して包含および除外基準を抽出します。

これらの抽出されたエンティティをSnowflakeの患者SQLデータベースのデータモデルと組み合わせて、プロンプトを作成します。このプロンプトは、GPT4などのより強力なLLMに与えられ、Snowflakeで実行可能な患者をフィルタリングするSQLクエリが得られます。LLM連鎖を使用することで、各連鎖のステップごとに複数のLLMを使用できるため、コストを管理できます。

現在、決定したのは、この連鎖を決定論的に保つことです。つまり、連鎖により多くの知能を持ち、オーケストレーションを非常にシンプルで予測可能なものにします。連鎖の各要素は、LLM以前の時代に数ヶ月かけて開発する複雑なアプリケーションです。

より高度なユースケースを推進する

より高度なケースでは、ReActなどのエージェントを使用して、特定のユーザーによるクエリに従うためのステップバイステップの指示を作成するようにLLMをプロンプトできます。これには、GPT4やCohere、Claude 2などの高性能LLMが必要になります。しかし、その場合、モデルが誤ったステップを取るリスクがあり、ガードレールを使用して検証する必要があります。これは、連鎖のリンクに知能を移動するか、連鎖全体を自律的にするかというトレードオフです。

今日、言語のジェネレーティブAIの時代に慣れ親しんできた業界は、予測可能な連鎖を持つLLMアプリケーションを採用し始めています。この採用が増加すると、エージェントを介してこれらの連鎖にさらに多くの自律性を試験するようになります。これがAGIに関する議論のすべてであり、すべてが時間の経過とともにどのように進化するかを見てみることに興味があります。