AIはAIから学ぶ：大規模言語モデルにおける社会的学習の出現

OpenAIが2022年後半にChatGPT 3.5を発表して以来、基礎となる大規模言語モデル(LLM)の役割は、特に自然言語処理(NLP)において、人工知能(AI)で重要性を増してきている。これらのLLMは、人間のようなテキストを処理して生成するように設計されており、インターネット上の広範なテキストから学習する。これには、書籍やウェブサイトが含まれる。 この学習プロセスにより、LLMは人間の言語の本質を捉えることができ、汎用的な問題解決器のように見える。

LLMの開発は新たな扉を開いたが、これらのモデルを特定のアプリケーションに適応させる方法、つまりファインチューニングには独自の課題がある。モデルをファインチューニングするには、より焦点を当てたデータセットでの追加のトレーニングが必要であり、これにより、ラベル付けされたデータの必要性、モデルのドリフトや過剰適合のリスク、そして大量のリソースの必要性などの課題が生じる。

これらの課題に対処するために、Googleの研究者は、AIがAIから学ぶことを可能にする『社会的学習』の概念を採用してきた。基本的な考えは、LLMをチャットボットに変換し、人間の社会的学習と同様の方法で互いに学び合うことができるというものである。この相互作用により、AIは互いに学び、有効性を高めることができる。

社会的学習とは何か？

社会的学習は新しい概念ではない。1970年代のアルバート・バンドゥーラの理論に基づいており、人間は他人を観察することで学ぶと示唆している。この概念をAIに適用すると、AIシステムは互いに学び、直接的な経験だけでなく、仲間の行動からも学ぶことができる。これにより、スキルの習得が速くなり、AIシステムが共有された「文化」を開発する可能性もある。

他のAIの学習方法、たとえば試行錯誤の強化学習や模倣学習と比較して、社会的学習は、相互作用を通じて学ぶことを強調する。より実践的で共同的な方法でAIが新しいスキルを身につけることができる。

LLMにおける社会的学習

社会的学習の重要な側面は、元の機密情報を共有せずに知識を交換することである。したがって、研究者は、教師モデルが生徒モデルに学習プロセスを促進する教師と生徒のダイナミクスを採用している。教師モデルは、機密情報を明らかにせずに、合成された例や指示を生成することでこの目標を達成する。たとえば、ユーザーがマークしたデータを使用してスパムとスパムではないテキストメッセージを区別するように教師モデルをトレーニングしたと仮定する。別のモデルがこのタスクをマスターする必要があるが、元の機密データに触れることはできない場合、社会的学習が役立つ。教師モデルは、生徒モデルがスパムメッセージを正確に識別できるように、合成された例や指示を生成する。 この戦略は、学習の効率を高めるだけでなく、LLMが動的で適応性のある方法で学習できる可能性も示唆している。 このアプローチの重要な特徴は、合成された例と指示に依存していることである。 教師モデルは、元のデータセットとは異なる新しい情報に富んだ例を生成することで、プライバシーを保護しながら生徒モデルを効果的に学習させることができる。 このアプローチは有効であり、実際のデータを使用した場合と同等の結果が得られている。

社会的学習がファインチューニングの課題に対処する方法

社会的学習は、LLMを特定のタスクに適応させる新しい方法を提供する。ファインチューニングの課題に対処する方法は以下のとおりである：

1. ラベル付けされたデータの必要性の減少： モデル間で共有される合成された例から学習することで、社会的学習はラベル付けされたデータへの依存度を減らす。
2. 過剰な特化の回避： 社会的学習は、モデルをより幅広い例に露出させることで、過剰な特化を回避する。
3. 過剰適合の軽減： 社会的学習は、学習体験を広げることで、過剰適合を軽減する。
4. リソースの節約： このアプローチにより、モデルが直接の大規模なデータセットにアクセスする必要なく、相互の経験から学習できるため、リソースの使用がより効率的になる。

将来の方向性

LLMにおける社会的学習の潜在性は、AIの研究において興味深い方向性を示唆している：

1. ハイブリッドAI文化： LLMが社会的学習に参加するにつれて、共通の方法論を形成する可能性がある。研究者は、これらの出現するAI「文化」の影響を人間の相互作用や倫理的問題に及ぼす影響を調査することができる。
2. クロスモダリティ学習： 社会的学習をテキスト以外の画像、音声などにも拡張することで、AIシステムが世界をより豊かに理解できる可能性がある。
3. 分散型学習： AIモデルが分散型ネットワークを通じて互いに学習する概念は、知識の共有をスケールアップするための新しい方法を提示する。ただし、調整、プライバシー、セキュリティの重大な課題も伴う。
4. 人間とAIの相互作用： 社会的学習を通じて、人間とAIが相互に利益を得る可能性を探ることができる。教育や共同作業の場面で、知識の転送やイノベーションの方法が再定義される可能性がある。
5. 倫理的なAI開発： 社会的学習を通じてAIが倫理的なジレンマに対処する方法を教えることができる。これにより、社会的価値観と一致した、より責任あるAIシステムが開発される可能性がある。
6. 自己改善システム： AIモデルが互いの経験から継続的に学習し改善するエコシステムは、AIのイノベーションを加速する可能性がある。これは、AIが新しい課題に対してより自律的に適応できる未来を示唆する。
7. 学習におけるプライバシー： AIモデルが知識を共有するにつれて、元のデータのプライバシーを確保することが重要になる。将来的には、データのセキュリティを損なうことなく知識を転送するためのより洗練された方法が探求される可能性がある。

結論

Googleの研究者は、人間が他人から学ぶ能力に着想を得た、LLMにおける社会的学習という革新的なアプローチを導入した。このフレームワークにより、LLMは機密情報にアクセスまたは公開することなく、知識を共有し、機能を向上させることができる。合成された例や指示を生成することで、LLMは効果的に学習し、ラベル付けされたデータの必要性、過剰な特化、過剰適合、リソース消費などのAI開発における重要な課題に対処する。社会的学習は、AIの効率性と適応性を高めるだけでなく、AIが共有された「文化」を開発し、クロスモダリティ学習に参加し、分散型ネットワークに参加し、新しい方法で人間と相互作用し、倫理的なジレンマを乗り越え、プライバシーを確保する可能性をもたらす。 これは、AIシステムがより共同的、多才で、倫理的なものになるという、人工知能研究と応用の風景を再定義する重大な変化を示唆している。