AI トレーニングのコストは急落し続ける

AI トレーニングのコストが高いことが AI 導入の大きな障壁となっており、多くの企業が AI テクノロジーを導入することができません。 によると 2017 年 Forrester コンサルティング レポート, 企業の 48% は、AI 主導のソリューションを導入しない主な理由の XNUMX つとして、テクノロジー コストの高さを強調しました。

しかし、最近の動向では、AI トレーニングのコストが急速に低下していることが示されており、この傾向は今後も続くことが予想されます。 による ARK Invest Big Ideas 2023 レポート、GPT-3 レベルのパフォーマンスと同様の大規模な言語モデルのトレーニング コストは、4.6 年の 2020 万ドルから 450,000 年には 2022 万ドルへと急落しており、年間 70% の減少となっています。

この AI トレーニング コストの減少傾向をさらに詳しく調査し、この減少に寄与する要因について議論してみましょう。

AI トレーニングのコストは時間の経過とともにどのように変化しましたか?

最近の ARK Invest 2020 調査、深層学習モデルのトレーニングのコストは、ムーアの法則の 50 倍の速さで改善されています。 実際、AI 推論シ​​ステムの実行に関連する費用は、多くのユースケースでほぼ無視できるレベルまで大幅に削減されました。

さらに、ここ数年、研修コストは毎年 2017 分の 50 に減少しています。 たとえば、1,000 年には、パブリック クラウド上で ResNet-2019 のような画像分類器をトレーニングするのに約 10 ドルのコストがかかりましたが、XNUMX 年までにコストは約 XNUMX ドルまで大幅に減少しました。

これらの調査結果は次の点と一致します。 OpenAIによる2020年レポートその結果、同じタスクを実行するように AI モデルをトレーニングするために必要なコンピューティング能力の量が、16 年以来 2012 か月ごとに XNUMX 分の XNUMX ずつ減少していることがわかりました。

さらに、 アークレポート AI トレーニング コストの低下を浮き彫りにしています。 レポートでは、GPT-2030 レベルのモデルのトレーニング費用は 3 年の 30 万ドルから、450,000 年までに 2022 ドルに下がると予測しています。

AI トレーニングコストの低下に寄与する要因

AI テクノロジーが向上し続けるにつれて、AI モデルのトレーニングはより安価かつ簡単になり、より幅広い企業が利用できるようになりました。 ハードウェアとソフトウェアのコスト、クラウドベースの AI など、いくつかの要因が AI トレーニング コストの低下に寄与しています。

以下でこれらの要因を調べてみましょう。

1。 ハードウェア

AI には、大量のデータと計算を処理するための専用のハイエンドの高価なハードウェアが必要です。 NVIDIA、IBM、Google などの組織が提供する GPU および TPU ハイ パフォーマンス コンピューティング (HPC) ワークロードを実行します。 ハードウェアのコストが高いため、AI を大規模に民主化することが困難になります。

ただし、テクノロジーの進歩に伴い、ハードウェアのコストは低下しています。 による ARK Invest 2023 レポート, ライトの法則では、以下のグラフに示すように、AI 相対コンピューティング ユニット (RCU) の生産コスト、つまり AI トレーニング ハードウェアのコストが毎年 57% 減少し、70 年までに AI トレーニングのコストが 2030% 削減されると予測されています。

2。 ソフトウェア

AI ソフトウェアのトレーニング コストは、次のように削減できます。 年間47％ 効率と拡張性の向上により。 のようなソフトウェアフレームワーク TensorFlow および パイトーチ 開発者は、分散システム上で複雑な深層学習モデルを高性能でトレーニングできるようになり、時間とリソースを節約できます。

さらに、次のような大規模な事前トレーニング済みモデル インセプションv3 or レスネット また、転移学習技術は、開発者が既存のモデルをゼロからトレーニングするのではなく微調整できるようにすることで、コストの削減にも役立ちます。

3. クラウドベースの人工知能

クラウドベースの AI トレーニングは、スケーラブルなコンピューティング リソースをオンデマンドで提供することでコストを削減します。 従量課金制モデルでは、企業はコンピューティング リソースの料金のみを支払います。 また、クラウド プロバイダーは、AI トレーニングを加速する事前構築された AI サービスを提供します。

例えば、 Azure機械学習 は、迅速なモデル開発と実装を可能にする予測分析用のクラウドベースのサービスです。 柔軟なコンピューティング リソースとメモリを提供します。 ユーザーは、数千の GPU まで迅速にスケールアップして、コンピューティング パフォーマンスを向上させることができます。 これにより、ユーザーは事前に構成された AI 環境で Web ブラウザーを介して作業できるため、セットアップとインストールのオーバーヘッドが排除されます。

AI トレーニングコストの低下の影響

AI トレーニングのコストの削減は、さまざまな業界や分野に大きな影響を与え、イノベーションと競争力の向上につながります。

以下でそのうちのいくつかについて説明しましょう。

1. 高度なAIチャットボットの大量導入

AI コストの低下により、AI チャットボットが増加しています。 特に OpenAI の開発後は AI言語モデルを活用してコードのデバッグからデータの異常検出まで、 および GPT-4 (Generative Pre-trained Transformer) と同様の、またはそれ以上の機能を備えた AI チャットボットの開発を検討する企業の数が顕著に増加しています。

たとえば、2022 年 1 月のリリースから 01 日後に、ChatGPT は 2030 万人のユーザーを獲得しました。 現在、モデルを大規模に実行するコストはクエリあたり約 650 ドルですが、ライトの法則によれば、8.5 年までに、ChatGPT に類似したチャットボット アプリケーションが、より安価に大規模に展開できるようになると予測されています (XNUMX 億クエリを実行すると推定 XNUMX ドル)。 XNUMX 日あたり XNUMX 億件の検索を処理できる可能性があり、これは Google 検索と同等です。

2. 生成 AI の使用増加

AI トレーニングのコストの低下により、生成 AI テクノロジーの開発と実装が急増しています。 2022 年には、DALL-E 2、Meta Make-A-Video、Stable Diffusion などの革新的な生成 AI ツールの導入により、生成 AI の使用が大幅に増加しました。 2023 年、私たちはすでに GPT-4 という画期的なモデルを目撃しています。

画像やテキストの生成とは別に、生成 AI は開発者がコードを書くのにも役立ちます。 GitHub Copilot のようなプログラムを使用すると、コーディング タスクを半分の時間で完了できます。

3. トレーニングデータの有効活用

AI トレーニング コストの削減により、機械学習トレーニング データの有効活用が可能になることが期待されます。例えば、 ARK Invest 2023 レポート は、2030 年までに、GPT-57 (720B パラメーター) の 3 倍のパラメーターと 175 倍のトークンを持つモデルをトレーニングするコストが、17 億ドルから 600,000 万ドルに減少すると予測されることを示唆しています。

データの可用性と品質は、この低コスト コンピューティングの世界で高度な機械学習モデルを開発する際の主な制限要因となります。 ただし、モデルをトレーニングすると、推定 162 兆の単語または 216 兆のトークンを処理する能力が開発されます。

AI の将来は非常に有望に見えます。 人工知能分野の最新の傾向と研究について詳しく知りたい場合は、次のサイトをご覧ください。 ユナイトアイ.