ChatGPT でプロンプト エンジニアリングを行うための基本ガイド

その発売以来、 AI言語モデルを活用してコードのデバッグからデータの異常検出まで、 は AI の分野で波を起こしており、記録的な速さで 100 億人を超えるユーザーを魅了しています。 ChatGPT の優れたパフォーマンスと多用途性の秘訣は、そのプログラミングに微妙に組み込まれた技術、つまりプロンプト エンジニアリングにあります。

2022 年に発売された DALL-E、MidJourney、StableDiffusion は、Generative AI の破壊的な可能性を強調しました。 しかし、そうでした オープンAIの ChatGPT は、2022 年後半に真の注目を集めました。そして、この勢いは衰える兆しがありませんでした。

GoogleによるBardの発表 および メタのラマ 2  OpenAI の ChatGPT への反応は、AI 競争の勢いを大幅に増幅させました。 これらのモデルに入力を提供することで、モデルの動作と応答をガイドします。 これにより、私たち全員がある程度のスピードをエンジニアに与えることができます。 テクノロジー業界も注目しています。 ベンチャーキャピタリストは、次のような迅速なエンジニアリングに重点を置いたスタートアップに資金を注ぎ込んでいます。 ベラムAI。 さらに、フォーブスはエンジニアに指示を与えると報告しています。 給与が300,000万ドルを超える、活況で価値のある雇用市場を示しています。

この記事では、ChatGPT のコンテキストでプロンプト エンジニアリングの世界をわかりやすく説明します。私たちは中心となる原理と技術を探求し、それらの商用応用を検討します。

まず、ChatGPT がどのように機能するか、そしてこのプロセスでプロンプト エンジニアリングが果たす重要な役割を理解しましょう。

ChatGPT プロンプト エンジニアリングの背後にある仕組み

ChatGPT の成功の秘訣は、人間の会話のニュアンスを理解し、模倣する能力です。 このモデルは、さまざまなインターネット テキストでトレーニングされますが、重要なのは、トレーニング セット内の特定のドキュメントやソースを認識していないため、特異性よりも一般化が保証されているということです。 このトレーニング アプローチにより、ChatGPT は創造的な応答を生成し、複雑な対話をナビゲートし、さらにはユーモアのセンスを示すことができます。 ただし、ChatGPT は真の理解や信念を持っているわけではないことを覚えておくことが重要です。 トレーニング中に学習したパターンに基づいて応答を生成します。

ChatGPT は人間の言語を微妙な文脈を意識した方法で理解し、応答する能力により、信じられないほど多用途なツールとなっています。

これらのモデルの仕組みは、「トークン」、つまり単一の文字から単語全体に及ぶ個別の言語の塊の概念に基づいています。 これらのモデルは、一度に特定の数のトークン (GPT-4096-Turbo の場合は 3.5、GPT-8192 の場合は 32768 または 4) を処理し、可能性のあるトークンの次のシーケンスを予測します。 モデルは複雑な線形代数を使用してトークンを処理し、最も可能性の高い後続のトークンを予測します。

たとえば、単純な XNUMX 単語の文が XNUMX 個のトークンに変わる可能性があります。 単一の複雑な単語でも複数のトークンに変わる可能性があるため、モデルが言語をよりよく理解し、生成するのに役立ちます。 ドイツ語のような複雑な単語構造を持つ言語であっても、トークン化によって管理されます。

GPT (Generative Pre-trained Transformer) モデルは、最初のトークンから開始して最後のトークンまで継続して、一度に XNUMX つのトークンを生成することによって機能します。 各トークンを生成した後、モデルはシーケンス全体を再検討し、再度処理して次のトークンを生成します。 この反復プロセスは最終トークンが生成されるまで継続され、テキストの生成は大きな for ループに似たものになります。

ただし、ここに問題があります。これらの応答の品質は、受信するプロンプトに大きく依存します。 人間との会話をガイドするのと同じように、ChatGPT を使用して対話をガイドするには、一定レベルのスキルと理解が必要です。 そこでプロンプトエンジニアリングが活躍します。

プロンプトエンジニアリングとは？

プロンプト エンジニアリングは、AI をガイドするための正確で効果的なプロンプト/入力を作成する技術です (NLP/Vision) は、最もコスト効率が高く、正確で、有用で、安全な出力を生成することを目的とした ChatGPT のようなモデルです。

プロンプト エンジニアリングはテキスト生成に限定されるものではなく、AI ドメイン全体に広範囲に応用されます。ロボット プロセス オートメーション ボット、3D アセット、スクリプト、ロボット命令、その他の種類のコンテンツやデジタル メディアなどの分野での採用が増えています。ロジック、コーディング、アート、そして場合によっては特別な修飾子を独自に組み合わせたものを提供します。

プロンプトには自然言語テキスト、画像、その他の種類の入力データを含めることができますが、出力は AI サービスやツールによって大きく異なる場合があります。 すべてのツールには、単語、スタイル、視点、レイアウト、または目的の応答のその他のプロパティの重みを記述する特別な修飾子があります。

この分野は、より優れた AI を活用したサービスを作成し、既存の生成 AI ツールから優れた結果を得るためには不可欠です。 たとえば、エンタープライズ開発者は、多くの場合、プロンプト エンジニアリングを利用して GPT-3 などの大規模言語モデル (LLM) を調整し、顧客対応の機能を強化します。 チャットボット または業界固有の契約の作成などのタスクを処理します。

迅速な改良と AI パフォーマンスの測定というこの反復プロセスは、AI モデルがさまざまな状況において的を絞った有用な応答を生成できるようにするための重要な要素です。

即戦力エンジニアになるために

GPT-4 モデルは、複雑な命令を理解し、複雑な問題を正確に解決する能力に優れているため、非常に貴重なリソースになります。 ただし、このモデルの機能にアクセスするにはさまざまな方法があり、これらを理解することは、効率と費用対効果の両方を最適化する迅速なエンジニアの役割にとって重要です。

GPT-4 のような GPT モデルを使用するには、基本的に 1 つの方法があります。 32 つの方法は OpenAI の API を使用するもので、入力トークンと出力トークンごとにコストが計算されます。 このシナリオでは、0.06K トークンあたりのコストはコンテキスト サイズに基づいて変動する可能性があります。 たとえば、より大きな 0.12K コンテキストでは、コストは入力トークンで最大 XNUMX ドル、出力トークンで XNUMX ドルになる可能性があります。 したがって、大量のリクエストを処理すると、使用コストが急速に増加する可能性があります。

あるいは、GPT-4 モデルを活用する ChatGPT は、サブスクリプションベースのモデルで動作します。

プロンプト エンジニアリングにおけるもう XNUMX つの重要なタスクには、モデル パラメーターの調整が含まれます。 このプロセスには、モデルが予測を行うために使用する変数の調整が含まれます。 これらのパラメーターを微調整することで、迅速なエンジニアはモデルの応答の品質と精度を向上させ、モデルの応答を状況に応じてより適切で役立つものにすることができます。

優秀なエンジニアの多くは技術系のバックグラウンドを持っていますが、この分野は学際的な性質を持っているため、さまざまな専門的バックグラウンドを持つ個人がこの分野にアクセスできます。 作家、研究者、さらにはアーティストが、独自のスキルを活用して AI モデルの有効性を高めるケースが増えています。 この変化は雇用市場にも反映されており、多様なスキルや背景を持つ即戦力のエンジニアを求める企業が増えています。

ChatGPT での迅速な設計とエンジニアリング

プロンプト設計とエンジニアリングは、言語モデルのパフォーマンスを最適化する上で重要な役割を果たし、単に質問を作成するだけではありません。 AI モデルに対する深い理解と、高度に反復的で洗練されたアプローチが必要です。

即時設計

プロンプト設計の核心は、明確に指定された目標を達成するために、ChatGPT などの特定の大規模言語モデル (LLM) に最適なプロンプトを作成する技術と科学です。 それは以下のブレンドです:

• LLM の理解: 異なる言語モデルは、同じプロンプトに対してさまざまに応答する可能性があります。 さらに、特定の言語モデルには、特定の方法で解釈される固有のキーワードまたはトリガーがある場合があります。
• ドメインの知識: プロンプトを設計する際には、関連分野の専門知識が非常に重要です。 たとえば、医学的診断を推測するためのプロンプトを生成するには、医学的知識が必要です。
• 反復的なアプローチと品質測定: 理想的なプロンプトを作成するプロセスには、試行錯誤が含まれることがよくあります。 したがって、特にプロンプ​​トを大規模に使用する場合には、単なる主観的な判断を超えて出力品質を評価する方法を持つことが重要です。

プロンプトエンジニアリング

プロンプト エンジニアリングは、プロンプト デザインの拡張領域であり、いくつかの重要なプロセスが含まれます。

• 大規模なプロンプトの設計: このプロセスには、メタ プロンプト (他のプロンプトを生成するプロンプト) と、実行時にインスタンス化できるパラメータ化されたプロンプトであるプロンプト テンプレートの設計が含まれます。
• ツールの設計と統合: プロンプトには外部ツールからの結果が含まれる場合があり、これらのツールをシステムにシームレスに統合することが重要です。
• ワークフロー、計画、プロンプト管理: チャットボットなどの LLM アプリケーションを導入するには、多くの場合、プロンプトのライブラリの管理、適切なプロンプトの計画と選択、さまざまなツールの効率的な統合が必要になります。
• プロンプトの評価と品質保証: この側面には、自動および人間の関与の両方でプロンプトを評価するためのメトリクスとプロセスの定義が含まれます。
• プロンプトの最適化: AI モデルのコストとレイテンシーは、モデルの選択とプロンプトの長さ (トークンの数) によって異なります。

プロンプトを大規模に管理するために、多くの自動プロンプト設計アプローチ、ツール、フレームワークが開発されています。 ただし、これらのツールはいずれも、経験豊富なプロンプト エンジニアの微妙な理解、判断、経験に代わることはできないことを理解することが重要です。

プロンプトエンジニアリング: テクニックとベストプラクティス

1) 即時の配置と説明

プロンプトの最初に指示を配置すると、AI の理解と応答に大きな影響を与える可能性があります。 テキストを箇条書き形式で要約するタスクを考えてみましょう。 あまり効果的ではないアプローチは次のとおりです。

ユーザー: 以下のテキストを最も重要な点の箇条書きリストとして要約します。
{ここにテキストを入力}

一方、より効果的な手法は次のとおりです。

ユーザー: 以下のテキストを最も重要な点の箇条書きリストとして要約します。
文章： """
{ここにテキストを入力}
「」

### や """ などの記号を使用して指示とコンテキストを明確に分離することで、AI モデルはタスクと処理する必要があるテキストをより適切に描写できるようになり、より正確で関連性の高い応答を返すことができます。

次に、コンテキスト、期待される結果、長さ、形式、スタイルなどについて具体的、記述的、詳細に記述することで、AI 応答の精度を大幅に高めることができます。 科学論文の概要を魅力的で一般人向けのスタイルで作成する必要があるとします。 「科学論文を要約してください」のような漠然とした指示は、具体的で詳細な指示に比べて効果的な結果が得られません。

ユーザー: 次の科学論文の魅力的な概要を要約したもの (約 200 ワード) を作成します。 要約は、論文の主要な発見を正確に反映しながら、科学的背景のない人でも理解できるものでなければなりません。
紙： """
{科学論文のテキストはここにあります}
「」

2) ペルソナパターン

ペルソナ パターンは、専門的な役割や架空の人物など、特定の視点から AI が機能するように設定する戦略です。 この戦術により、モデルはペルソナが処理する特定の役割に関連する出力を提供できるようになります。 たとえば、コードレビュー中にサイバーセキュリティの専門家として行動するように AI に指示することができます。 このパターンは、ユーザーが支援を必要としているが、出力に必要な正確な詳細がわからない場合に特に役立ちます。

以下を例として挙げます。

ユーザー: 「フランス革命を専門とする上級歴史家のペルソナを想定してください。 その人物像を踏まえて、フランス王政の崩壊につながった主な出来事と理由を説明してください。」

このシナリオでは、AI は歴史家のように、王政の崩壊に焦点を当てたフランス革命の詳細な分析で応答すると予想されます。

新しい情報のご紹介

ChatGPT はトレーニングのカットオフを超える知識を持っていないため、トレーニング後の最近のイベントや更新に関する情報を提供できません。 ただし、プロンプトを介してモデルに新しい情報を導入することはできます。

ユーザー：「仮想通貨って何？」
AI言語モデルを活用してコードのデバッグからデータの異常検出まで、: 「暗号通貨は、セキュリティのために暗号化を使用するデジタル通貨または仮想通貨の一種です。 最もよく知られている暗号通貨はビットコインです。」

ここで、プロンプトにもう少しコンテキストを追加すると、説明をさらに直感的にすることができます。

ユーザー：「デジタル金融を学ぶ高校生に仮想通貨の概念を説明する」
ChatGPT: 「オンライン ビデオ ゲームをプレイしていて、アップグレードや新しいキャラクターを購入するために獲得できるゲームマネーがあると想像してください。 仮想通貨もそれに似ていますが、ゲーム内に限定されるのではなく、現実世界の商品やサービスを購入するために実際に使用できます。 これは、銀行や政府が管理しないデジタルマネーのようなものです。」

3) プロンプトのサイズ制限

ChatGPT のサイズ制限は、入力できる情報の量と種類に直接影響するため、それを理解することが不可欠です。 言語モデルは、一度に無制限のデータを処理するようには構築されていません。 作成および入力できるプロンプトのサイズには固有の制約があります。 この制限は、プロンプトの設計と実行に重大な影響を及ぼします。

ChatGPT にはトークン制限 (通常は 2048 トークン) があり、これにはプロンプトと生成された応答の両方が含まれます。 つまり、長いプロンプトでは応答の長さが制限される可能性があります。 したがって、プロンプトを簡潔かつ有益なものにすることが重要です。

実際の使用では、私たちは編集者として行動し、目の前のタスクに最も関連性のある情報を選択する必要があります。 文字数やページ数に制限がある論文や記事を書くことを想像してみてください。ランダムな事実をただ書き込むだけではなく、主題に関連する情報を慎重に選択して構成することができます。

ユーザー: 「モデルのトークンの制限を考慮して、第二次世界大戦の主要な出来事を 1000 語以内で要約してください。」

モデルのトークン制限を認識することで、このプロンプトは AI に第二次世界大戦の簡潔かつ包括的な概要を提供するように指示します。

繰り返し使用するプロンプト: 会話型シナリオでは、プロンプトを再利用したり、以前の応答に基づいてプロンプトを調整したりできます。 これにより、会話の流れが生まれ、対話のコンテキストが維持されます。

4) 質問絞り込みパターン

ChatGPT は質問を絞り込むのにも役立ちます。 たとえば、質問すると、より正確な結果を得るために、より適切に定式化された質問が提案されます。

質問絞り込みパターンには、LLM によるユーザーの質問の絞り込みが含まれます。 これは、ユーザーがその分野の専門家ではない場合、または質問の表現方法がわからない場合に特に役立ちます。

プロンプトの例は次のようになります。

ユーザー: 「データ サイエンスについて質問するときは、統計分析の詳細を考慮したより洗練された質問を提案し、その洗練された質問を続行するかどうかを尋ねてください。」

ここで、AI はユーザーの一般的なデータ サイエンスの質問を、統計分析の側面を考慮したより詳細な質問に絞り込むことが期待されています。

5) 認知検証者パターン

Cognitive Verifier Pattern は、複雑な質問を、より小さく管理しやすいサブ質問に分割します。 これらのサブ質問に対する回答を組み合わせて、メインの質問に対する包括的な回答を提供します。 このアプローチは、最初の質問が高レベルすぎる場合、または完全な回答を提供するためにさらに明確にする必要がある場合に役立ちます。

例えば：

ユーザー: 「気候変動について質問する場合は、より正確な答えを提供できるように、質問を XNUMX つの小さな質問に分けてください。 これらの下位の質問に対する答えを組み合わせて、最終的な答えを出します。」

このシナリオでは、AI は気候変動に関する複雑な質問を XNUMX つの管理可能なサブ質問に分解します。 これらのサブ質問に対する回答を受け取った後、AI はこれらを組み合わせて、より包括的かつ正確な回答を提供します。

このパターンでは、より正確な最終回答を得るために複数の質問を生成します。 これは、堅牢な最終出力に向けた情報の検証と統合のプロセスです。

6) 少数ショットのプロンプトアプローチ

フューショット プロンプトは、AI モデルに特定のパターンに従うか、タスクを実行するように教えるための強力なアプローチです。 目的は、目的の質問をする前に、モデルに多数の例を与えることです。 これは、望ましい動作を設定し、モデルの応答をガイドするのに役立ちます。

ユーザーが新しいテクノロジー ガジェットの簡潔で説得力のあるマーケティング コピーを作成しようとしているシナリオを考えてみましょう。

ユーザー: 「テクノロジー マーケティング コピーの例をいくつか紹介します。『当社の最先端のワイヤレス ヘッドフォンで、これまでにない音楽を体験してください。』 「当社の非常に洗練されたアクション カメラを使用して、驚くべき 4K であなたの世界を撮影しましょう。」 これらの例を踏まえて、新しい AI 搭載スマートウォッチのマーケティング コピーを作成してください。」

AI言語モデルを活用してコードのデバッグからデータの異常検出まで、: 「健康、接続性、生産性のパートナーとなる AI 搭載スマートウォッチで、あなたのライフスタイルを強化しましょう。」 少数ショット学習の注目すべき特徴は、タスクの実行方法の詳細な説明を必要としないことです。 代わりに、何が行われているかをデモンストレーションする必要があるため、多くのアプリケーションに適しています。

さらに、この技術は単純な入力と出力のペアを超えて拡張されます。 目標を達成するための中間ステップを処理するようにモデルを学習することもできます。

7) 思考連鎖のプロンプト

彼らの最近の研究論文では、「思考連鎖プロンプトが大規模な言語モデルで推論を引き出す』の著者であるジェイソン・ウェイ氏とそのチームは、大規模な言語モデル内で推論を刺激することを目指しています。 従来の直接的なプロンプトを使用するのではなく、チームは相互に接続された一連のプロンプトを利用して、「思考の連鎖」を形成します。

たとえば、ユーザーは人工知能が雇用市場に及ぼす潜在的な影響に興味があるかもしれません。

ユーザー：「人工知能の概念について簡単に説明してもらえますか？」

AI言語モデルを活用してコードのデバッグからデータの異常検出まで、: 「人工知能 (AI) とは、人間の知的な行動を模倣する機械の機能を指します。 それは、人間のように考えて学習できる機械を設計し、言語翻訳、意思決定、問題解決などのタスクを実行できるようにすることです。」

ユーザー: 「AI は現在の雇用市場にどのような影響を与えていますか?」

AI言語モデルを活用してコードのデバッグからデータの異常検出まで、: 「AI は新しい仕事を生み出すと同時に、既存の仕事の性質を変えます。一方で、日常業務を自動化し、特定の分野での雇用の喪失につながります。その一方で、AI倫理担当者、データアナリスト、機械学習エンジニアなど、これまで存在しなかった役割への需要も生まれています。さらに、AI は人間の役割を強化し、人々がより効率的かつ正確にタスクを遂行できるようにします。」

思考連鎖プロンプトは、関連するプロンプトの進行に従い、モデルとの「会話」を維持し、モデルをより正確で状況的に適切な応答へと導きます。

開発者の観点からChatGPT APIとプロンプトエンジニアリングを理解する

開発者や研究者の観点から見ると、プロンプト エンジニアリングはより複雑なプロセスです。 これには、AI モデルがプロンプトをより効果的に理解し、応答できるようにするためのアルゴリズムと技術の設計が含まれます。 これには、あいまいなプロンプトの処理、プロンプトのコンテキストの特定、プロンプトを連鎖させて AI のより複雑な思考プロセスを刺激するための戦略が含まれる可能性があります。

上の図では、ユーザーは GPT-4 を利用したチャット インターフェイスと対話しています。 彼らの入力は、AI モデルに供給される前に、特殊なモジュールによって明確さとコンテキストの一貫性が強化されます。 このモジュールの役割は、会話のコンテキストを維持しながら、理解を深めるためにユーザーの入力を調整および強化することです。 洗練されたプロンプトに基づいて作成された AI の応答は、チャット インターフェイスを通じてユーザーに返されます。 インタラクション履歴は一貫して更新され、会話のコンテキストが維持されます。 全体として、この図は、プロンプト エンジニアリング手法によって実現される動的なユーザーと AI の会話フローを示しています。

当学校区の ChatGPT API インターフェイスは、ユーザーがプロンプトに対する AI の応答を調整できるようにするさまざまなハイパーパラメーターを使用して設計されており、AI の応答をより効果的かつ多用途なものにします。 これらには、温度、最大長、および停止シーケンスのパラメーターが含まれます。 これらがさまざまなコンテキストでどのように機能し、利用できるかを見てみましょう。

1）温度

温度パラメーターは、AI の応答のランダム性に影響します。 1.0 などのより高い温度では、よりランダムな出力が促進され、結果として多様ではあるが主題から外れた応答が生成される可能性があります。 対照的に、0.2 のように温度が低いと、AI はより決定的な応答を選択するようになり、焦点を絞った特定の出力には有益ですが、多様性に欠ける可能性があります。

例: 創造的なストーリーを書いていて、予測不可能で想像力豊かな要素が必要な場合は、温度をより高い値に設定します。 「タイムトラベルする猫についての短い物語を書いてください」というようなプロンプトが考えられます。 気温が高いと、予測不可能な展開を伴う、ワイルドで幻想的な物語が生まれるかもしれません。

2) 最大長さ

このパラメーターは、モデルの出力の最大トークン長を制御します。これには、メッセージ入力とメッセージ出力の両方のトークンが含まれます。 上限を高く設定すると、より拡張された応答が可能になり、下限を設定すると、出力が短く簡潔になります。

例: 「2020 年のノーベル文学賞を受賞したのは誰ですか?」などのトリビアの質問に対する簡単な答えの場合応答が簡潔かつ直接的になるように、最大​​長を低い値に設定するとよいでしょう。

3) 停止シーケンス

停止シーケンスは特定のテキスト文字列であり、モデルがこれに遭遇すると、さらなる出力の生成を停止します。 この機能は、出力の長さを制御したり、論理エンドポイントで停止するようにモデルに指示したりする場合に役立ちます。

例: 正式な手紙の場合、AI が手紙の適切な終わりを超える追加のテキストを生成しないように、停止シーケンスとして「敬具」を使用できます。

4) トップP

「Top P」パラメータは核サンプリングとも呼ばれ、モデルの予測の各ステップで考慮される単語数を動的に選択する方法です。 0.5 などの低い値を指定すると、より安全で焦点の合った出力が得られます。 0.9 などの高い値には、より幅広い単語の選択肢が含まれるため、より多様な出力が得られます。

例: 詩を書く AI を作成していて、幅広い語彙や文体のフレーズを使用させたい場合は、「Top P」をより高い値に設定するとよいでしょう。 「秋の美しさについて詩を作ってください」というようなプロンプトが考えられます。

5) 周波数ペナルティ

頻度ペナルティは、モデルが頻度の低い単語をどの程度優先するかを制御します。 ペナルティを高くすると (最大 1)、モデルはあまり一般的でない単語を使用するようになり、値を低くすると (-1 まで)、モデルはより一般的な単語を使用するようになります。

例: ビジネス提案書を作成しようとしており、専門用語を避けたい場合は、言語を明確で理解しやすいものにするために、頻度ペナルティを低い値に設定できます。

6) プレゼンスペナルティ

プレゼンス ペナルティ パラメーターは、会話履歴に存在しない新しいアイデアやトピックを生成した場合にモデルがどの程度ペナルティを受けるかに影響します。 値を高くするとモデルはすでに述べたトピックに固執するようになり、値を低くするとモデルは新しい概念をより自由に導入できるようになります。

例: ブレーンストーミング セッションの場合、多様なアイデアを奨励するために、プレゼンス ペナルティを低い値に設定できます。 「オンライン教育プラットフォーム向けの革新的なマーケティング戦略を作成してください」のようなプロンプトを使用できます。

プロンプトエンジニアリングの産業応用