オープンソース言語モデルとクローズドソース言語モデルの戦い: 技術分析

大規模言語モデル (LLM) は近年 AI コミュニティを魅了し、自然言語処理の画期的な進歩の先駆けとなっています。誇大広告の背後には、複雑な議論があります。これらの強力なモデルはオープンソースであるべきか、それともクローズドソースであるべきでしょうか?

この投稿では、これらのアプローチ間の技術的な差異を分析し、それぞれがもたらす機会と制限を理解します。次の重要な側面について説明します。

• オープンソース LLM とクローズドソース LLM の定義
• アーキテクチャの透明性とカスタマイズ性
• パフォーマンスのベンチマーク
• 計算要件
• アプリケーションの多様性
• アクセシビリティとライセンス
• データのプライバシーと機密性
• 商業的な支援とサポート

最終的には、オープンソース LLM とクローズド ソース LLM の間の技術的なトレードオフについて、情報に基づいた視点が得られ、独自の AI 戦略の指針となるでしょう。飛び込んでみましょう！

オープンソース LLM とクローズドソース LLM の定義

オープンソース LLM には、公的にアクセス可能なモデル アーキテクチャ、ソース コード、および重みパラメータがあります。これにより、研究者は内部を検査し、品質を評価し、結果を再現し、カスタム バリアントを構築することができます。主な例には、Anthropic のConstitutionalAI、Meta の LLaMA、EleutherAI の GPT-NeoX などがあります。

対照的に、クローズド ソース LLM は、モデル アーキテクチャと重みを独自の資産として扱います。 Anthropic、DeepMind、OpenAI などの営利団体が内部で開発しています。アクセス可能なコードや設計の詳細がなければ、再現性とカスタマイズは制限に直面します。

アーキテクチャの透明性とカスタマイズ性

オープンソース LLM 内部にアクセスすると、クローズド ソースの代替手段では不可能なカスタマイズの機会が開かれます。

研究者は、モデル アーキテクチャを調整することで、層間に疎な接続を導入したり、専用の分類トークンを追加してニッチなタスクのパフォーマンスを向上させたりするなどの手法を検討できます。重みパラメータにアクセスできるため、開発者は既存の表現を転送して学習したり、T5 や BERT 埋め込みなどの事前トレーニングされたビルディング ブロックを使用してバリアントを初期化したりできます。

このカスタマイズ可能性により、オープンソース LLM は生物医学研究、コード生成、教育などの特殊な領域に適切に対応できるようになります。ただし、必要な専門知識により、運用品質の実装を実現する際の障壁が高くなる可能性があります。

クローズド ソースの LLM は、技術的な詳細が独自のままであるため、カスタマイズが限定的です。しかし、彼らの支援者は内部の研究開発に多大なリソースを投入しています。結果として得られるシステムは、一般化された LLM アーキテクチャで可能なことの限界を押し広げます。

したがって、クローズド ソース LLM は柔軟性に劣りますが、広く適用可能な自然言語タスクに優れています。また、OpenAPI 標準などの確立されたインターフェイスに準拠することで、統合も簡素化されます。

パフォーマンスベンチマーク

アーキテクチャの透明性にもかかわらず、オープンソースの LLM パフォーマンスの測定には課題が伴います。その柔軟性により、無数の構成と調整戦略が可能になります。また、「オープンソース」という接頭辞が付いたモデルに、比較を歪める独自の技術を実際に組み込むことも可能になります。

クローズドソース LLM は、支援者が特定のメトリクスしきい値をベンチマークし宣伝するため、より明確に定義されたパフォーマンス目標を誇っています。たとえば、Anthropic は、厳選された NLU 問題セットに対する憲法 AI の精度を公表しています。 Microsoft は、GPT-4 が SuperGLUE 言語理解ツールキットで人間の基準をどのように超えているかを強調しています。

とはいえ、これらの狭義のベンチマークは、現実世界のタスクのパフォーマンスを誇張し、失敗を過小評価しているとして批判に直面しました。真に公平な LLM 評価は、オープンソースアプローチとクローズドソースアプローチの両方において、未解決の研究課題のままです。

計算要件

大規模な言語モデルをトレーニングするには、膨大な計算リソースが必要です。 OpenAI はクラウド インフラストラクチャ上で GPT-3 のトレーニングに数百万ドルを費やしましたが、Anthropic は憲法 AI のために 10 万ドル以上相当の GPU を消費しました。

このようなモデルの法案では、ほとんどの個人と小規模チームがオープンソース コミュニティから除外されます。実際、EleutherAI は、ホスティング コストの高騰により、GPT-J モデルをパブリック アクセスから削除する必要がありました。

豊富な資金がなければ、オープンソース LLM の成功事例は寄付されたコンピューティング リソースを活用します。 LAION は、クラウドソーシング データを使用してテクノロジーに重点を置いた LAION-5B モデルを厳選しました。非営利の Anthropic ConstitutionalAI プロジェクトでは、ボランティア コンピューティングを利用しました。

Google、Meta、Baidu などの大手テクノロジー企業による支援は、クローズド ソースの取り組みに LLM 開発の産業化に必要な財政的燃料を提供します。これにより、草の根の取り組みでは計り知れない長さまで拡張できるようになります。DeepMind の 280 億パラメータの Gopher モデルを参照してください。

アプリケーションの多様性

オープンソース LLM のカスタマイズ可能性により、高度に特殊化されたユースケースへの取り組みが可能になります。研究者は、モデルの内部を積極的に変更して、タンパク質の構造予測、コード文書の生成、数学的証明の検証などのニッチなタスクのパフォーマンスを向上させることができます。

とはいえ、コードにアクセスして編集できるからといって、適切なデータがなければ効果的なドメイン固有のソリューションが保証されるわけではありません。狭い用途向けの包括的なトレーニング データセットを厳選して更新し続けるには、多大な労力がかかります。

ここで、クローズド ソース LLM は、内部リポジトリや商用パートナーからトレーニング データを調達するためのリソースの恩恵を受けます。たとえば、DeepMind は、アプリケーション範囲を拡大するために、化学用の ChEMBL やタンパク質用の UniProt などのデータベースのライセンスを取得しています。産業規模のデータ アクセスにより、Gopher のようなモデルは、構造的に不透明であるにもかかわらず、驚くべき多用途性を実現できます。

アクセシビリティとライセンス

オープンソース LLM の寛容なライセンスは、自由なアクセスとコラボレーションを促進します。 GPT-NeoX、LLaMA、Jurassic-1 Jumbo などのモデルは、クリエイティブ コモンズや Apache 2.0 などの契約を使用して、非営利の研究と公正な商業化を可能にします。

対照的に、クローズド ソース LLM には、モデルの可用性を制限する制限付きライセンスが適用されます。営利団体はアクセスを厳密に制御して、予測 API や企業パートナーシップからの潜在的な収益源を保護します。

当然のことながら、Anthropic や Cohere などの組織は、ConstitutionalAI や Cohere-512 インターフェイスへのアクセスに料金を請求します。しかし、これは重要な研究領域に価格を設定し、資金が潤沢な産業に開発を偏らせる危険性があります。

オープン ライセンスも、特に帰属と責任に関して課題を引き起こします。ただし、研究ユースケースの場合、オープンソースのアクセシビリティによって与えられる自由は明らかな利点をもたらします。

データのプライバシーと機密保持

LLM のトレーニング データセットは通常、Web ページ、科学記事、ディスカッション フォーラムなどのさまざまなオンライン ソースからのコンテンツを集約します。これにより、個人を特定できる情報や機密情報がモデル出力に現れる危険があります。

オープンソース LLM の場合、データセットの構成を精査することが、機密性の問題に対する最善のガードレールとなります。データ ソースの評価、フィルタリング手順、およびテスト中に見つかった例に関する文書化は、脆弱性の特定に役立ちます。

残念ながら、クローズドソース LLM ではそのような公的監査ができません。代わりに、消費者は、発表されたポリシーに基づいた厳格な内部レビュープロセスに依存する必要があります。文脈としては、Azure Cognitive Services は個人データをフィルタリングすることを約束しており、Google は正式なプライバシー レビューとデータのラベル付けを指定しています。

全体として、オープンソース LLM は、AI システムの機密性リスクを大規模に顕在化する前に、より積極的に特定できるようにします。非公開の対応物では、データ処理慣行に対する透明性が比較的限られています。

商用支援とサポート

クローズドソース LLM を収益化できる可能性があるため、開発とメンテナンスに対する多大な商業投資が奨励されます。たとえば、Microsoft は、Azure AI ポートフォリオからの大きな利益を期待して、GPT モデルを中心に OpenAI と数十億ドルのパートナーシップに合意しました。

対照的に、オープンソース LLM は、維持のために個人的な時間を割り当てるボランティアや、期間限定の資金を提供する助成金に依存しています。このリソースの非対称性により、オープンソース プロジェクトの継続性と寿命が脅かされます。

しかし、商業化への障壁により、オープンソース コミュニティは利益よりも科学の進歩に集中できるようになります。そして、オープンエコシステムの分散型の性質により、単一の支援者の持続的な利益への過度の依存が軽減されます。

最終的には、それぞれのアプローチにはリソースとインセンティブに関するトレードオフが伴います。クローズドソース LLM は資金調達の安全性が高くなりますが、影響力が集中します。オープンなエコシステムは多様性を促進しますが、不確実性が高まります。

オープンソースとクローズドソースの LLM の状況をナビゲートする

オープン ソース LLM かクローズド ソース LLM を決定するには、カスタマイズ性、アクセシビリティ、スケーラビリティなどの組織の優先順位とモデルの機能を一致させる必要があります。

研究者や新興企業にとって、オープンソースはモデルを特定のタスクに合わせて調整するためのより詳細な制御を可能にします。このライセンスにより、共同作業者間での洞察の自由な共有も容易になります。ただし、トレーニング データとインフラストラクチャの調達の負担により、現実世界の実行可能性が損なわれる可能性があります。

逆に、クローズドソースLLMは、豊富な資金とデータのおかげで大幅な品質の向上を約束します。ただし、アクセスと変更に関する制限により、導入がベンダーのロードマップに拘束される一方で、科学的な透明性が制限されます。

実際には、アーキテクチャ仕様、モデル チェックポイント、評価データに関するオープン スタンダードは、両方のアプローチの欠点を補うのに役立ちます。 Google の Transformer や Oxford の REALTO ベンチマークなどの共有基盤により、再現性が向上します。 ONNX のような相互運用性標準により、オープン ソースとクローズド ソースのコンポーネントを混在させることができます。

最終的に重要なのは、目の前の仕事に適切なツール (オープンソースかクローズドソースか) を選択することです。クローズドソース LLM を支援する営利団体は、否定できない影響力を持っています。しかし、オープン サイエンス コミュニティの情熱と原則は、AI の進歩を推進する重要な役割を果たし続けるでしょう。