AI 訓練成本持續下降

高昂的 AI 訓練成本一直是 AI 采用的主要障礙，阻礙了許多公司實施 AI 技術。根據 2017 年 Forrester Consulting 報告，48% 的公司將高技術成本列為未實施 AI驅動解決方案的主要原因之一。

然而，最近的發展表明，AI 訓練成本正在迅速下降，這一趨勢預計將在未來繼續。根據 ARK Invest Big Ideas 2023 報告，一個類似於 GPT-3 水平的大型語言模型的訓練成本從 2020 年的 460 萬美元下降到 2022 年的 45 萬美元，年減少率達 70%。

讓我們進一步探討這一趨勢和影響 AI 訓練成本下降的因素。

AI 訓練成本如何隨時間變化？

根據 ARK Invest 2020 研究，深度學習模型的訓練成本正在以摩爾定律的 50 倍速率改善。事實上，運行 AI 推理系統的費用已經大大降低，對於許多用例而言幾乎可以忽略不計。

此外，訓練成本在過去幾年中每年下降了十倍。例如，在 2017 年，在公共雲上訓練一個圖像分類器如 ResNet-50 的成本約為 1,000 美元，但到 2019 年，成本已經大大降低，約為 10 美元。

這些發現與 2020 年 OpenAI 報告一致，該報告發現，訓練 AI 模型以執行相同任務所需的計算能力自 2012 年以來每 16 個月就下降了一半。

此外，ARK 報告強調了 AI 訓練成本的下降。報告預測，到 2030 年，訓練一個 GPT-3 水平模型的成本將從 2022 年的 45 萬美元下降到 30 美元。

訓練 GPT-3 水平性能的成本 – ARK Invest Big Ideas 2023

影響 AI 訓練成本下降的因素

隨著 AI 技術的不斷改進，訓練 AI 模型的成本正在降低，使其更容易被更多的企業采用。包括硬件和軟件成本以及基於雲的 AI 在內的多個因素都促成了 AI 訓練成本的下降。

讓我們進一步探討這些因素。

1. 硬件

AI 需要高端的硬件來處理大量的數據和計算。像 NVIDIA、IBM 和 Google 這樣的公司提供了 GPU 和 TPU 來執行高性能計算任務。高昂的硬件成本使得大規模采用 AI 成為一項挑戰。

然而，隨著技術的進步，硬件成本正在降低。根據 ARK Invest 2023 報告，Wright 定律預測，AI 相關計算單元（RCU）的生產成本（即 AI 訓練硬件成本）應該每年下降 57%，到 2030 年，AI 訓練成本將下降 70%，如圖所示。

AI 訓練硬件成本 – ARK Invest Big Ideas 2023

2. 軟件

AI 軟件訓練成本可以通過提高效率和可擴展性而降低 47%。像 TensorFlow 和 PyTorch 這樣的軟件框架使得開發人員可以在分佈式系統上以高性能訓練複雜的深度學習模型，節省時間和資源。

此外，大型預訓練模型如 Inceptionv3 或 ResNet 和轉移學習技術也可以幫助降低成本，允許開發人員對現有模型進行微調，而不是從頭開始訓練。

AI 軟件訓練成本 – ARK Invest Big Ideas 2023

3. 基於雲的 AI

基於雲的 AI 訓練可以降低成本，提供按需的可擴展計算資源。通過 pay-as-you-go 模型，企業只需為其計算資源付費。此外，雲提供商提供了預建的 AI 服務，能夠加速 AI 訓練。

例如，Azure Machine Learning 是一個基於雲的預測分析服務，允許快速的模型開發和實施。它提供了靈活的計算資源和記憶體。用戶可以快速擴展到數千個 GPU，以提高計算性能。它允許用戶通過預配置的 AI 環境在瀏覽器中工作，消除了設置和安裝的開銷。

AI 訓練成本下降的影響

AI 訓練成本的下降對各個行業和領域有著重大的影響，導致了創新和競爭力的提高。

讓我們進一步探討這些影響。

1. 複雜 AI 聊天機器人的大規模采用

AI 聊天機器人因為成本的下降而興起。特別是 после OpenAI 的 ChatGPT 和 GPT-4（生成式預訓練轉換器）的開發，公司開發具有類似或更好功能的 AI 聊天機器人的數量有了明顯的增加。

例如，ChatGPT 在 2022 年 11 月發布五天後就吸引了 100 萬用戶。雖然今天，運行該模型的成本約為每個查詢 0.01 美元，但根據 Wright 定律，預計到 2030 年，類似於 ChatGPT 的聊天機器人應用將可以以更低的成本（估計 650 美元運行 10 億個查詢）大規模部署，從而可以處理每天 85 億個查詢，相當於 Google Search。

每 10 億個查詢執行 AI 推理的成本 – ARK Invest Big Ideas 2023

2. 生成式 AI 的增加使用

AI 訓練成本的下降導致了生成式 AI 技術的開發和實施。2022 年，生成式 AI 的使用量有了顯著的增加，推動了創新的生成式 AI 工具的出現，例如 DALL-E 2、Meta Make-A-Video 和 Stable Diffusion。2023 年，我們已經見證了 GPT-4 的出現。

除了圖像和文本生成，生成式 AI 還在幫助開發人員編寫代碼。像 GitHub Copilot 這樣的程序可以幫助完成編碼任務，節省一半的時間。

完成編碼任務的時間 – ARK Invest Big Ideas 2023

3. 訓練數據的更好利用

AI 訓練成本的降低預計將允許更好的利用機器學習訓練數據。例如，ARK Invest 2023 報告預測，到 2030 年，訓練一個具有 57 倍更多參數和 720 倍更多令牌的模型的成本將從 17 億美元下降到 60 萬美元。

數據的可用性和質量將是開發先進機器學習模型的主要限制因素。然而，訓練模型將具有處理估計 162 萬億個字或 216 萬億個令牌的能力。

AI 的未來看起來非常有希望。要了解更多關於人工智慧領域的最新趨勢和研究，請訪問 Unite.ai。