AI フィードバック ループ: AI 生成コンテンツの時代におけるモデル制作の品質の維持

実稼働環境にデプロイされた AI モデルには、堅牢かつ継続的なパフォーマンス評価メカニズムが必要です。 ここで AI フィードバック ループを適用して、一貫したモデルのパフォーマンスを確保できます。

イーロン・マスクの言葉を借りましょう。

「フィードバックループを持つことが非常に重要だと思います。そこでは、自分がしたことと、それをどのように改善できるかについて常に考えています。」

すべての AI モデルの標準的な手順は、モデルをデプロイし、パフォーマンスが低下しないように最新の実世界データで定期的に再トレーニングすることです。 しかし、流星的な上昇により、 生成AI, AI モデルのトレーニングは異常でエラーが発生しやすくなりました。 それは、オンライン データ ソース (インターネット) が、人間が生成したデータと AI が生成したデータが徐々に混在しつつあるためです。

たとえば、今日の多くのブログでは、AI によって生成されたテキストが掲載されています。 LLM (大規模言語モジュール) ChatGPT や GPT-4 など。多くのデータ ソースには、DALL-E2 または Midjourney を使用して作成された AI 生成イメージが含まれています。さらに、AI 研究者は、モデル トレーニング パイプラインで Generative AI を使用して生成された合成データを使用しています。

したがって、AI モデルの品質を保証するための堅牢なメカニズムが必要です。 ここで、AI フィードバック ループの必要性がさらに高まっています。

AI フィードバック ループとは何ですか?

AI フィードバック ループは、AI モデルの決定と出力が継続的に収集され、同じモデルの強化または再トレーニングに使用される反復プロセスであり、その結果、継続的な学習、開発、モデルの改善が行われます。 このプロセスでは、AI システムのトレーニング データ、モデル パラメーター、アルゴリズムが、システム内で生成された入力に基づいて更新および改善されます。

AI フィードバック ループには主に XNUMX 種類があります。

1. AI によるポジティブ フィードバック ループ: AI モデルがユーザーの期待や好みに沿った正確な結果を生成すると、ユーザーはフィードバック ループを通じて肯定的なフィードバックを提供し、その結果、将来の結果の精度が強化されます。 このようなフィードバック ループはポジティブと呼ばれます。
2. AI のネガティブ フィードバック ループ: AI モデルが不正確な結果を生成すると、ユーザーはフィードバック ループを通じて欠陥を報告し、その代わりに欠陥を修正することでシステムの安定性を向上させようとします。 このようなフィードバック ループは負のフィードバック ループと呼ばれます。

どちらのタイプの AI フィードバック ループでも、継続的なモデル開発と長期にわたるパフォーマンスの向上が可能になります。 また、それらは単独で使用または適用されるものではありません。 これらを組み合わせることで、運用環境にデプロイされた AI モデルが何が正しいか間違っているかを認識できるようになります。

AI フィードバック ループの段階

AI モデルのフィードバック メカニズムの概要図。 ソース

AI フィードバック ループがどのように機能するかを理解することは、AI 開発の可能性を最大限に引き出すために重要です。 以下で AI フィードバック ループのさまざまな段階を見てみましょう。

1. フィードバックの収集: 評価のために関連するモデルの結果を収集します。 通常、ユーザーはモデルの結果についてフィードバックを提供し、それが再トレーニングに使用されます。 あるいは、システム パフォーマンスを微調整するために厳選された Web からの外部データであることもあります。
2. モデルの再トレーニング: 収集された情報を使用して、AI システムは再トレーニングされ、モデルのパラメーターや重みを調整することで、より適切な予測を行ったり、答えを提供したり、特定のアクティビティを実行したりできます。
3. フィードバックの統合とテスト: 再トレーニング後、モデルは再度テストされ、評価されます。 この段階では、データを超えた問題を明らかにするために、対象分野の専門家 (SME) からのフィードバックも含まれます。
4. 展開： 変更を確認した後、モデルが再デプロイされます。 この段階では、モデルは新しい実世界のデータでより良いパフォーマンスを報告し、その結果、ユーザー エクスペリエンスが向上するはずです。
5. モニタリング： モデルはメトリクスを使用して継続的に監視され、ドリフトなどの潜在的な劣化を特定します。 そしてフィードバックサイクルは継続します。

本番データとAIモデル出力の問題点

堅牢な AI システムを構築するには、実稼働データ (現実世界のデータ) とモデルの結果における潜在的な問題を徹底的に理解する必要があります。 AI システムの精度と信頼性を確保する上で障害となるいくつかの問題を見てみましょう。

1. データドリフト: モデルが、モデルのトレーニング データの分布とは異なる分布から実世界のデータの受信を開始すると発生します。
2. モデルドリフト: 現実世界の環境の変化により、モデルの予測機能と効率は時間の経過とともに低下します。 これはモデル ドリフトとして知られています。
3. AI モデルの出力と現実世界の意思決定: AI モデルは、現実世界の利害関係者の意思決定と一致しない不正確な出力を生成します。
4. バイアスと公平性: AI モデルはバイアスと公平性の問題を引き起こす可能性があります。 たとえば、 ジャネール・シェーンによるTEDトークで彼女は、性差別を理由に履歴書並べ替えアルゴリズムの開発を中止するというAmazonの決定について説明している。

AI モデルが AI 生成コンテンツのトレーニングを開始すると、これらの問題はさらに増加する可能性があります。 どうやって？ これについてさらに詳しく説明しましょう。

AI 生成コンテンツ時代の AI フィードバック ループ

生成型 AI の急速な導入を受けて、研究者たちは、として知られる現象を研究してきました。 モデルの折りたたみ。 彼らはモデルの崩壊を次のように定義しています。

「学習された生成モデルの世代に影響を与える退化プロセス。生成されたデータが最終的に次世代モデルのトレーニング セットを汚染することになります。 汚染されたデータに基づいて訓練されると、彼らは現実を誤って認識してしまいます。」

モデル崩壊は XNUMX つの特殊なケースで構成されます。

• 初期モデルの崩壊 これは、「モデルが分布の末尾、つまりトレーニング データ分布の両端に関する情報を失い始める」ときに起こります。
• 後期モデルの崩壊 これは、「モデルが元の分布のさまざまなモードを絡み合わせ、元の分布に少し似た、多くの場合分散が非常に小さい分布に収束する」ときに起こります。

モデル崩壊の原因

AI 実務者がこの問題に対処するには、モデル崩壊の理由を XNUMX つの主要なカテゴリに分類して理解することが不可欠です。

1. 統計的近似誤差: これはサンプル数が有限であることが原因で発生する主な誤差であり、サンプル数が無限に近づくと解消されます。
2. 関数近似誤差: このエラーは、ニューラル ネットワークなどのモデルが、データから学習する必要がある真の基礎となる機能をキャプチャできない場合に発生します。

モデル崩壊の影響を受ける複数のモデル世代のモデル結果のサンプル。 ソース

AI 生成コンテンツによる AI フィードバック ループへの影響

AI モデルが AI 生成コンテンツでトレーニングされると、AI フィードバック ループに破壊的な影響があり、再トレーニングされた AI モデルに次のような多くの問題が発生する可能性があります。

• モデルの折りたたみ: 上で説明したように、AI フィードバック ループに AI が生成したコンテンツが含まれている場合、モデルの崩壊が発生する可能性が高くなります。
• 壊滅的な忘却: 継続学習における典型的な課題は、モデルが新しい情報を学習するときに前のサンプルを忘れることです。 これは壊滅的忘却として知られています。
• データ汚染: これは、AI モデルに操作的な合成データを入力してパフォーマンスを低下させ、不正確な出力を生成することを指します。

企業は AI モデルの堅牢なフィードバック ループをどのように作成できるでしょうか?

企業は、AI ワークフローでフィードバック ループを使用することでメリットを得ることができます。 AI モデルのパフォーマンスを向上させるには、以下の XNUMX つの主な手順に従ってください。

• 対象分野の専門家からのフィードバック: 中小企業は、その分野の知識が豊富で、AI モデルの使用を理解しています。 これらは、現実世界の設定とのモデルの整合性を高めるための洞察を提供し、正しい結果が得られる可能性を高めます。 また、AI が生成したデータをより適切に管理および管理できます。
• 関連するモデル品質メトリクスを選択します。 適切なタスクに対して適切な評価メトリクスを選択し、これらのメトリクスに基づいて運用環境でモデルを監視することで、モデルの品質を確保できます。 AI 実務者はまた、自動評価と監視に MLOps ツールを採用し、本番環境でモデルのパフォーマンスが低下し始めた場合にすべての関係者に警告します。
• 厳格なデータキュレーション: 運用モデルは新しいデータで再トレーニングされるため、過去の情報が忘れられる可能性があるため、モデルの目的に沿った高品質のデータを厳選することが重要です。 このデータは、品質を確保するためのユーザー フィードバックとともに、後続の世代でモデルを再トレーニングするために使用できます。

AI の進歩について詳しくは、次のサイトをご覧ください。 ユナイトアイ.