LLMのコントロールパネルを公開：LLM出力の形成する重要なパラメータ

公開日 2024年5月17日

更新日 2026年5月21日

著者

Haziqa Sajid

大規模言語モデル（LLM）は、ヘルスケア、金融、法律サービスなどの業界に大きな影響を与える変革的な力として登場しました。たとえば、最近のマッキンゼーの調査によると、金融部門のいくつかの企業は、タスクの自動化と財務報告書の生成にLLMを利用しています。

さらに、LLMは人間の質のテキスト形式を処理して生成でき、言語を無邪気に翻訳でき、複雑なクエリに情報を提供できます。さらに、ニッチな科学分野でも同様です。

このブログでは、LLMの基本原理について説明し、LLMの出力を微調整することで、イノベーションと効率をどのように解放できるかを探ります。

LLMの動作：シーケンス内の次の単語を予測する

LLMはデータ駆動の強力なツールです。大量のテキストデータ、書籍、記事、コード、ソーシャルメディアの会話などでトレーニングされています。このトレーニングデータにより、LLMは人間の言語の複雑なパターンとニュアンスに触れます。

LLMの中心には、トランスフォーマーと呼ばれる高度なニューラルネットワークアーキテクチャがあります。トランスフォーマーは、文内の単語間の関係を分析する複雑な接続の網です。これにより、LLMは各単語のコンテキストを理解し、シーケンス内の次の単語を予測できます。

例えば、LLMに「猫は…」という文を与えると、LLMはコンテキスト（「猫は」）を認識し、次の単語として「座った」を予測します。このシーケンス予測のプロセスにより、LLMは完全な文章、段落、さらには創造的なテキスト形式を生成できます。

LLMの基本的な動作を理解したので、コントロールパネル、つまりLLMの創造的な出力を微調整するパラメータを探りましょう。これらのパラメータを調整することで、LLMを特定の要件に合わせてテキストを生成することができます。

温度は、LLMの出力のランダム性を制御するダイヤルと考えることができます。高温設定では、LLMに創造性を与え、より興味深い単語を選択することができます。しかし、無意味または無関係なテキストを生成するリスクも高まります。

一方、低温設定では、LLMは最も可能性の高い単語に焦点を当て、より予測可能でロボットのような出力を生成します。創造性と一貫性のバランスを取ることが重要です。

Top-kサンプリングは、LLMが次の単語を選択する際に、すべての可能性から選択するのではなく、最も可能性の高いk個の単語に制限します。これにより、LLMはより焦点を当てたテキストを生成し、無関係な単語を避けることができます。

例えば、LLMに詩を書くように指示した場合、k=3などの低いk値を使用することで、LLMは「愛」、「心」、「夢」などの詩に関連する単語を選択する傾向にあります。

Top-pサンプリングは、固定数の単語に制限するのではなく、累積確率のしきい値を設定します。LLMはこのしきい値内でのみ単語を選択し、多様性と関連性のバランスを保ちます。

例えば、LLMに人工知能（AI）についてのブログ投稿を書くように指示した場合、Top-pサンプリングを使用して、AIに関連する最も可能性の高い単語を選択することができます。

トークンは、単語または句読点の1つと考えることができます。トークン制限パラメータを使用すると、LLMが生成するトークンの総数を制御できます。これは、LLMが生成するコンテンツが特定の文字数要件に従っていることを保証するための重要なツールです。

終了シーケンスは、LLMにテキスト生成を停止するように指示する特別なフレーズまたは文字です。これは、LLMが無限ループに陥ったり、話題から外れたりするのを防ぐために役立ちます。

例えば、終了シーケンスを「END」として設定することで、LLMはそのフレーズを検知するとテキスト生成を停止します。

不適切な単語のブロックパラメータは、LLMが不適切または攻撃的な言語を生成するのを防ぐための重要なセーフガードです。これは、公共のコミュニケーションに依存するビジネス、特にマーケティングやカスタマーサービスなどで、ブランドの安全性を維持するために不可欠です。

さらに、不適切な単語のブロックにより、LLMは包括性と責任あるコンテンツを生成することができます。これは、多くのビジネスにとって重要な優先事項です。

これらのコントロールを理解し、実験することで、さまざまな業界のビジネスは、LLMを使用して、高品質でターゲットに合ったコンテンツを生成できます。

上で説明したパラメータは、LLM出力を微調整するための堅実な基盤を提供します。さらに、関連性の高いモデルを微調整するために使用できる追加のパラメータがあります。以下にいくつか例を示します：

頻度ペナルティ： このパラメータは、LLMが同じ単語またはフレーズを繰り返し使用するのを抑制し、より自然で多様な書き方を促進します。
存在ペナルティ： これは、LLMがすでに提示された単語またはフレーズを使用するのを抑制し、より独創的なコンテンツを生成することを促します。
繰り返しnグラムの禁止： この設定は、LLMが生成されたテキスト内で特定のウィンドウ内にすでに現れるnグラム（単語のシーケンス）を生成するのを禁止します。これにより、繰り返しのパターンを防ぎ、テキストの流れを改善します。
Top-kフィルタリング： この高度なテクニックは、Top-kサンプリングとTop-pサンプリングを組み合わせます。候補単語の数を制限し、最低確率しきい値を設定することで、LLMの創造的な方向性をさらに微調整できます。

これらの設定の組み合わせを実験し、見つけることが、LLMの潜在能力を解放するための鍵です。

LLMは強力なツールですが、その真の潜在能力を解放するには、温度、Top-k、Top-pなどのコアパラメータを微調整する必要があります。これらのLLMパラメータを調整することで、モデルを多様なビジネスアシスタントに変えることができます。

LLMがビジネスをどのように強化できるかについてさらに学びたい場合は、Unite.aiを訪問してください。