ChatGPTでのプロンプトエンジニアリングのエッセンシャルガイド

ChatGPTの登場以来、AIの分野で大きな波紋を起こし、記録的な時間で100万を超えるユーザーを集めています。ChatGPTの印象的なパフォーマンスと多様性の秘密は、プログラミングの中に繊細に埋め込まれた一つの芸術にあります。それはプロンプトエンジニアリングです。

2022年に登場したDALL-E、MidJourney、StableDiffusionは、ジェネレーティブAIの破壊的な可能性を強調しました。しかし、Open AIのChatGPTが真正面から注目を集めました。その後も勢いは止まらず、2022年後半にさらに注目を集めることになりました。

GoogleのBardとMetaのLlama 2がOpenAIのChatGPTに応えることで、AIレースの勢いはさらに増しました。AIモデルに入力を提供することで、その動作と応答を導きます。これにより、私たち全員が一定の程度でプロンプトエンジニアになります。テクノロジー業界も注目しています。ベンチャーキャピタルは、Vellum AIのようなプロンプトエンジニアリングに焦点を当てたスタートアップに資金を提供しています。また、Forbesによると、プロンプトエンジニアは30万ドルを超える給与を稼いでおり、栄養豊かな職業市場を示しています。

この記事では、ChatGPTの文脈におけるプロンプトエンジニアリングの世界を明らかにします。核心的な原則とテクニックを探求し、商業的な応用を検討します。

まず、ChatGPTの機能とプロンプトエンジニアリングが果たす重要な役割を理解しましょう。

ChatGPTプロンプトエンジニアリングのメカニズム

ChatGPTの成功の秘密は、人間の会話のニュアンスを理解し、模倣する能力にあります。モデルは多様なインターネットテキストでトレーニングされていますが、トレーニングセット内の特定のドキュメントやソースを知らないため、特定性よりも汎用性を優先します。このトレーニングアプローチにより、ChatGPTは創造的な応答を生成し、複雑なダイアログをナビゲートし、ユーモアの感覚を示すことができます。しかし、ChatGPTが真正に理解したり信念を持ったりするわけではありません。パターンに基づいて応答を生成するだけです。

ChatGPTの人間の言語をニュアンス豊かに、コンテキストに応じて理解し、応答する能力は、非常に多様なツールにします。

これらのモデルのメカニズムは、’トークン’という概念に基づいています。言語の離散的なチャンクで、単一の文字から単語全体まで範囲します。これらのモデルは、特定のトークンの数だけを同時に処理します(GPT-3.5-Turboの場合は4096、GPT-4の場合は8192または32768)。次のトークンシーケンスの予測に基づいてトークンを処理します。モデルは複雑な線形代数を使用してトークンを処理し、最も可能性の高い次のトークンを予測します。

例えば、9語の単純な文は10のトークンに変換されます。複雑な単語は複数のトークンに変換され、モデルが言語をよりよく理解し、生成することができます。ドイツ語のような複雑な単語構造を持つ言語も、トークン化によって処理されます。

GPT（ジェネレーティブ・プレトレーニング・トランスフォーマー）モデルは、最初のトークンから最後のトークンまで、1つずつトークンを生成します。各トークンを生成した後、モデルはシーケンス全体を再度処理して次のトークンを生成します。この反復プロセスは、最終的なトークンが生成されるまで続きます。テキストの生成は、大きなforループのように機能します。

しかし、ここに重要な点があります。応答の質は、受け取るプロンプトの質に大きく依存します。人間との会話を導くように、ChatGPTとの会話を導くには、ある程度のスキルと理解が必要です。そこでプロンプトエンジニアリングが重要になります。

プロンプトエンジニアリングとは

プロンプトエンジニアリングは、AI（NLP/ビジョン）モデル seperti ChatGPTが最もコスト効率が高い、正確で、有用で、安全な出力を生成するように、正確で効果的なプロンプト/入力を設計する芸術です。

プロンプトエンジニアリングは、テキスト生成に限定されません。ロボティック・プロセス・オートメーション・ボット、3Dアセット、スクリプト、ロボットの指令、その他のタイプのコンテンツやデジタル・メディアに広範な応用があります。ロジック、コーディング、芸術、特定の場合には特殊な修飾子のユニークなブレンドを提供します。

プロンプトには、自然言語テキスト、画像、その他のタイプの入力データが含まれる場合がありますが、出力はAIサービスやツールによって大きく異なります。各ツールには、特定の修飾子が存在し、単語の重み、スタイル、視点、レイアウト、その他の望ましい応答の特性を記述します。

この分野は、より優れたAIパワード・サービスを作成し、既存のジェネレーティブAIツールからより優れた結果を得るために不可欠です。エンタープライズ・デベロッパーは、たとえば、GPT-3をカスタマー・フェイシング・チャットボットにパワーソースとして使用するために、プロンプトエンジニアリングを使用します。また、業界特有の契約を作成するようなタスクもあります。

このプロンプトの改良とAIのパフォーマンスを測定する反復プロセスは、AIモデルがさまざまなコンテキストでターゲットを絞った有用な応答を生成することを可能にするための重要な要素です。

プロンプトエンジニアになる

GPT-4モデルの複雑な指令を理解し、正確に問題を解決する能力は、貴重なリソースです。しかし、このモデルの機能を利用する方法は何通りかあり、理解することはプロンプトエンジニアの役割において重要です。

GPTモデル seperti GPT-4を利用する方法は、基本的に2つあります。1つは、OpenAIのAPIを通じてアクセスする方法で、コストは入力と出力トークンごとに計算されます。このシナリオでは、コンテキストのサイズに応じて、1Kトークンあたりのコストは変動します。たとえば、32Kコンテキストでは、入力トークンのコストは0.06ドル、出力トークンのコストは0.12ドルになる可能性があります。大量のリクエストを処理する場合、使用コストは急激に増加する可能性があります。

代替として、GPT-4モデルを利用するChatGPTは、サブスクリプションベースのモデルで動作します。

プロンプトエンジニアリングにおけるもう1つの重要なタスクは、モデルパラメータの調整です。このプロセスには、モデルが予測を行うために使用する変数を調整することが含まれます。パラメータを微調整することで、プロンプトエンジニアは、モデルの応答の品質と正確性を向上させることができます。応答をよりコンテキストに適したものにし、より役立つものにします。

多くのプロンプトエンジニアがテクノロジー背景を持っていますが、この分野の多分野にわたる性質により、さまざまな専門背景を持つ人もアクセスできます。増えてきているのは、ライター、リサーチャー、さらにはアーティストが、AIモデルの有効性を高めるためにユニークなスキルを活かしています。この変化は、職業市場でも反映されており、多様なスキルと背景を持つプロンプトエンジニアを求める企業が増えています。

ChatGPTにおけるプロンプトデザインとエンジニアリング

プロンプトデザインとエンジニアリングは、言語モデルのパフォーマンスを最適化する上で重要な役割を果たします。これらは、質問を設計すること以上のもので、AIモデルと深い理解と、反復的で洗練されたアプローチが必要です。

プロンプトデザイン

プロンプトデザインは、基本的に、与えられた大規模言語モデル（LLM）like ChatGPTのための完璧なプロンプトを作成する芸術と科学です。これは：

• LLMの理解：異なる言語モデルは同じプロンプトに対して異なった応答を示す可能性があります。また、特定の言語モデルには、特定のキーワードやトリガーが存在し、それらは特定の方法で解釈されます。
• ドメイン知識：関連分野の専門知識は、プロンプトを設計する際に不可欠です。たとえば、医療診断を推測するプロンプトを生成するには、医療知識が必要です。
• 反復アプローチと品質測定：理想的なプロンプトを作成するプロセスは、試行錯誤を伴うことが多いです。特に、大規模にプロンプトを使用する場合、主観的な判断だけでなく、出力品質を評価する方法が不可欠です。

プロンプトエンジニアリング

プロンプトエンジニアリングは、プロンプトデザインを包含するより広範な分野で、以下の重要なプロセスを含みます：

• 大規模プロンプトの設計：メタプロンプト（他のプロンプトを生成するプロンプト）の設計や、実行時にインスタンス化できるパラメータ化されたプロンプトテンプレートが含まれます。
• ツール設計と統合：プロンプトは時々外部ツールからの結果を含むことがあり、システムへの統合は不可欠です。
• ワークフロー、計画、プロンプト管理：LLMアプリケーション（チャットボットなど）の展開には、プロンプトライブラリの管理、適切なプロンプトの選択、ツールの効率的な統合が必要です。
• プロンプトの評価と品質保証：自動および人間による関与を含む、プロンプトを評価するためのメトリクスとプロセスの定義が含まれます。
• プロンプト最適化：AIモデルのコストと待機時間は、モデル選択とプロンプトの長さ（トークン数）によって影響を受けることがあります。

プロンプトを大規模に管理するための自動化されたプロンプトデザインアプローチ、ツール、フレームワークが開発されています。しかし、これらのツールは、熟練したプロンプトエンジニアの繊細な理解、判断、経験を完全に代替することはできません。

プロンプトエンジニアリング：テクニックとベストプラクティス

1）プロンプトの配置と説明

プロンプトの最初に指示を配置することは、AIの理解と応答に大きな影響を与える可能性があります。テキストをバレットポイントのリストとして要約するタスクを考えてみましょう。効果の低いアプローチは次のようになります：

ユーザー：以下のテキストをバレットポイントのリストとして最も重要な点を要約してください。
{text input here}

一方、より効果的なテクニックは次のようになります：

ユーザー：以下のテキストをバレットポイントのリストとして最も重要な点を要約してください。
テキスト：”””
{text input here}
“””

指示とコンテキストを###や””などのシンボルで明確に区別することで、AIモデルはタスクをよりよく理解し、より正確で関連性の高い応答を提供することができます。

さらに、コンテキスト、期待される結果、長さ、形式、スタイルなどについて、具体的で詳細な説明を提供することで、AIの応答の精度を大幅に向上させることができます。科学論文の魅力的で初心者向けの概要を生成する必要があるとします。

ユーザー：以下の科学論文について、約200ワードの簡潔な、魅力的で初心者向けの概要を生成してください。概要は科学的背景のない人にも理解できるようにしながら、論文の主要な発見を正確に反映してください。
論文：”””
{科学論文テキストここに}
“””

2）ペルソナパターン

ペルソナパターンは、AIを特定の役割や架空のキャラクターから機能させる戦略です。これにより、モデルは特定の役割に関連する出力を提供することができます。たとえば、コードレビュー中にサイバーセキュリティ専門家として機能させることができます。

例として、次のようになります：

ユーザー：「フランス革命を専門とするシニア歴史家のペルソナを想定してください。フランス君主制の衰退につながる主要な出来事と理由を説明してください。」

このシナリオでは、AIはフランス革命、特に君主制の衰退について、歴史家として詳細な分析を提供することが期待されています。

新しい情報の導入

ChatGPTはトレーニングのカットオフ以降の情報を保持していないため、最新の出来事やアップデートについて情報を提供することはできません。しかし、プロンプトを通じてモデルに新しい情報を提供することができます。

ユーザー：「暗号通貨とは何か？」
ChatGPT：「暗号通貨は、暗号技術を使用してセキュリティを確保するタイプのデジタルまたは仮想通貨です。最も有名な暗号通貨はビットコインです。」

プロンプトに少しコンテキストを追加することで、説明をより直感的で初心者向けにできます：

ユーザー：「デジタルファイナンスを学んでいる高校生に、暗号通貨の概念を説明してください。」
ChatGPT：「オンラインビデオゲームでゲーム内通貨を獲得してアップグレードや新しいキャラクターを購入できるのと同じように、暗号通貨はデジタル通貨の一種です。ただし、ゲーム内だけでなく、現実世界の商品やサービスを購入するために使用できます。銀行や政府が管理しないデジタル通貨です。」

3）プロンプトサイズの制限

ChatGPTのサイズ制限を理解することは重要です。言語モデルは同時に無制限のデータを処理するように設計されていません。プロンプトのサイズに制限があり、これはデザインと実行に重大な影響を及ぼします。

ChatGPTにはトークン制限（通常2048トークン）があり、プロンプトと生成された応答の両方を含みます。長いプロンプトは応答の長さを制限する可能性があります。したがって、プロンプトを簡潔で情報に富んだものに保つことが重要です。

実践的には、編集者として、タスクに最も関連のある情報を選択的に選択する必要があります。単語制限やページ制限がある論文や記事を書くようなものです。ランダムな事実をダンプするのではなく、主題に関連する情報を選択し、構造化する必要があります。

ユーザー：「モデルのトークン制限を考慮して、第二次世界大戦の主要な出来事を1000ワード未満で要約してください。」

このプロンプトは、モデルに第二次世界大戦の簡潔で包括的な要約を提供するように指示し、トークン制限を認識しています。

繰り返し使用されるプロンプト：会話のシナリオでは、プロンプトを繰り返し使用したり、前回の応答に基づいて改良したりすることができます。これにより、会話の流れが維持され、コンテキストが維持されます。

4）質問の洗練パターン

ChatGPTはまた、質問を洗練するのを支援できます。たとえば、質問をすると、より正確な結果を得るために質問をより適切に再構成することができます。

質問の洗練パターンには、LLMがユーザーの質問を洗練することが含まれます。これは、ユーザーがドメインの専門家でない場合や、質問の正確な詳細が不明な場合に特に役立ちます。

例として、次のようになります：

ユーザー：「データサイエンスについて質問があるときは、統計分析の詳細を考慮して、より洗練された質問を提案してください。洗練された質問に進むかどうかを尋ねてください。」

ここでは、AIはユーザーの一般的なデータサイエンスの質問を、統計分析の側面を考慮したより詳細な質問に洗練することが期待されています。

5）認知検証パターン

認知検証パターンは、複雑な質問をより小さな、管理可能なサブ質問に分解します。サブ質問の回答は、最終的な回答を提供するために結合されます。このアプローチは、初期の質問が高レベルであるか、または追加の明確さが必要な場合に役立ちます。

例として、次のようになります：

ユーザー：「気候変動について質問した場合、より正確な答えを提供するために、3つの小さな質問に分解してください。サブ質問の答えを組み合わせて最終的な答えを出してください。」

ここでは、AIは気候変動についての複雑な質問を3つの管理可能なサブ質問に分解し、サブ質問の答えを組み合わせて包括的な最終的な答えを提供することが期待されています。

このパターンには、最終的な答えを得るために複数の質問を生成するプロセスが含まれます。これは、情報の検証と整合のプロセスであり、堅牢な最終的な出力を生成するために重要です。

6）少数ショットプロンプティングアプローチ

少数ショットプロンプティングは、AIモデルに特定のパターンを従わせたり、タスクを実行させたりするための強力なアプローチです。アイデアは、モデルにいくつかの例を提供することです。次に、望ましい質問をします。これにより、モデルは望ましい動作を学習し、応答を導きます。

例として、次のようになります：

ユーザー：「以下はテックマーケティングコピーの例です。『音楽を今までとは異なる方法で体験するために、最先端のワイヤレスヘッドフォンを経験してください。』『あなたの世界を驚異的な4Kでキャプチャーするために、超スリムなアクションカメラを使用してください。』これらの例に基づいて、我々の新しいAIパワードスマートウォッチのマーケティングコピーを草案してください。」

ChatGPT：「あなたのライフスタイルを、健康、接続性、生産性のためのパートナーである我々のAIパワードスマートウォッチで強化してください。」このアプローチの特徴は、タスクを実行する方法について詳細な説明を必要としないことです。代わりに、実行中のデモンストレーションが必要であり、これは多くのアプリケーションに適しています。

さらに、このテクニックは単純な入力-出力のペアリングを超えて拡張されます。モデルは、目標を達成するために中間的なステップを処理することもできます。

7）思考の連鎖プロンプティング

最近の研究論文「思考の連鎖プロンプティングは、大規模言語モデルで推論を引き出す」では、Jason Weiと彼のチームは、大規模言語モデルで推論を刺激するために、従来の直接的なプロンプトではなく、相互に接続されたプロンプトのシリーズ、つまり「思考の連鎖」を使用します。

例として、次のようになります：

ユーザー：「人工知能の潜在的な影響について、人工知能が職業市場に与える影響について説明してください。」

ChatGPT：「人工知能は、職業市場に重大な影響を及ぼします。人工知能は、自動化によって特定の職業を置き換える可能性がありますが、新しい職業も創出します。さらに、人工知能は人間の役割を強化し、タスクをより効率的に、正確に実行できるようにします。」

思考の連鎖プロンプティングは、モデルをより正確でコンテキストに適した応答に向けて推進する会話を維持するプロンプトの連続です。

開発者の視点から見たChatGPT APIとプロンプトエンジニアリング

開発者や研究者の視点から見ると、プロンプトエンジニアリングはより複雑なプロセスです。これには、AIモデルがプロンプトに効果的に応答するためのアルゴリズムとテクニックの設計が含まれます。これには、曖昧なプロンプトの処理、プロンプトのコンテキストの特定、またはプロンプトの連鎖によって複雑な思考プロセスを刺激するための戦略が含まれる場合があります。

上記の図では、ユーザーがGPT-4を利用するチャットインターフェイスとやり取りします。ユーザーの入力は、会話のコンテキストを維持しながら、明確さと一貫性を高めるために、特殊なモジュールによって強化されます。モジュールの役割は、ユーザーの入力をAIモデルがよりよく理解できるように強化し、会話のコンテキストを維持することです。AIの応答は、洗練されたプロンプトに基づいて作成され、チャットインターフェイスを通じてユーザーに返されます。会話の履歴は一貫して更新され、会話のコンテキストが維持されます。全体として、この図は、プロンプトエンジニアリングのテクニックによって有効化された、ダイナミックなユーザーとAIの会話のフローを示しています。

ChatGPT APIのインターフェイスは、ユーザーがAIの応答を洗練し、より効果的で多様なものにすることができる、さまざまなハイパーパラメータで設計されています。これらには、温度、最大長、停止シーケンスなどのパラメータが含まれます。いくつかのコンテキストでこれらのパラメータをどのように使用できるかを見てみましょう。

1）温度

温度パラメータは、AIの応答のランダム性に影響します。温度が高い（1.0など）と、よりランダムな出力が生成され、多様性はありますが、トピックから外れた応答になる可能性があります。一方、温度が低い（0.2など）と、より決定的な応答が選択され、焦点が当てられた応答になりますが、多様性に欠けます。

例：創造的な物語を書いている場合、想像力豊かな要素を望む場合は、温度を高い値に設定します。プロンプトは「タイムトラベルする猫の物語を書いてください」というようなものになります。高い温度では、予測不可能でファンタジーに富んだ物語が得られます。

2）最大長

このパラメータは、モデルの出力の最大トークン長を制御します。これには、入力メッセージと出力メッセージの両方のトークンが含まれます。制限を高く設定すると、より長い応答が可能になりますが、低く設定すると、出力は短く簡潔になります。

例：トリビアの質問「2020年のノーベル文学賞を受賞者は誰ですか？」に対する簡潔な答えが必要な場合は、最大長を低い値に設定して、回答が簡潔で直接的になるようにします。

3）停止シーケンス

停止シーケンスは、モデルが特定のテキストシーケンスを検出すると出力を停止する特定のテキストシーケンスです。この機能は、出力の長さを制御したり、論理的な終了点でモデルに停止するように指示したりするのに役立ちます。

例：正式な手紙の場合、「誠に」というフレーズを停止シーケンスとして使用して、AIが手紙の適切な終了後にさらにテキストを生成しないようにすることができます。

4）Top P

「Top P」と呼ばれる「Top P」パラメータは、核サンプリング法の一種で、各ステップでの予測で考慮される単語の数の動的な選択を提供します。低い値（0.5など）では、より安全で焦点を当てた出力が生成され、高い値（0.9など）では、より広い単語の選択が含まれ、より多様な出力が生成されます。

例：AIを詩を書くために使用し、幅広い語彙とスタイルを使用したい場合は、「Top P」を高い値に設定します。プロンプトは「秋の美しさについての詩を書いてください」というようなものになります。

5）頻度ペナルティ

頻度ペナルティは、モデルがどれだけ頻度の低い単語を好むかを制御します。高いペナルティ（最大1）では、モデルはより頻度の低い単語を使用し、低い値（最小-1）では、より一般的な単語を使用する傾向があります。

例：ビジネス提案を生成し、専門用語を避けたい場合は、頻度ペナルティを低い値に設定して、明確でアクセスしやすい言語を維持します。

6）存在ペナルティ

存在ペナルティパラメータは、モデルが会話の履歴に存在しない新しいアイデアやトピックを生成することをどれだけ罰するかを制御します。高い値では、モデルは既存のトピックに固執し、低い値では、新しい概念の導入をより自由に許します。

例：ブレインストーミングセッションの場合、存在ペナルティを低い値に設定して、アイデアの多様性を促進し、オンライン教育プラットフォームのための革新的なマーケティング戦略を生成することができます。プロンプトは「オンライン教育プラットフォームのための革新的なマーケティング戦略を生成してください」というようなものになります。

プロンプトエンジニアリングの産業応用