Náklady na školení AI klesají

Vysoké náklady na školení AI byly významnou překážkou pro přijetí AI, což bránilo mnoha společnostem v implementaci technologie AI. Podle zprávy Forrester Consulting z roku 2017 uvedlo 48 % společností, že vysoké technologické náklady jsou jedním z hlavních důvodů, proč neimplementují řešení poháněná AI.

Nicméně, recentní vývoj ukázal, že náklady na školení AI rychle klesají a tento trend se očekává, že bude pokračovat v budoucnu. Podle zprávy ARK Invest Big Ideas 2023 klesly náklady na školení velkého jazykového modelu podobného GPT-3 z 4,6 milionu dolarů v roce 2020 na 450 000 dolarů v roce 2022, což představuje pokles o 70 % ročně.

Další výzkum ukázal, že náklady na školení AI klesají desetkrát ročně za posledních několik let. Například v roce 2017 stálo školení image klasifikátoru jako ResNet-50 na veřejném cloudu kolem 1 000 dolarů, ale do roku 2019 klesly náklady na přibližně 10 dolarů.

Tyto výsledky souhlasí se zprávou OpenAI z roku 2020, která zjistila, že množství výpočetního výkonu potřebného pro školení modelu AI k provedení stejné úlohy klesá o faktor dva každé 16 měsíců od roku 2012.

Dále zpráva ARK Invest Big Ideas 2023 uvádí, že náklady na školení AI budou klesat. Zpráva předpovídá, že do roku 2030 budou náklady na školení modelu na úrovni GPT-3 klesnout na 30 dolarů, ve srovnání s 450 000 dolarů v roce 2022.

Náklady na školení GPT-3 – ARK Invest Big Ideas 2023

Jak se změnily náklady na školení AI v čase?

Podle recentního výzkumu ARK Invest z roku 2020 je náklad na školení hlubokých učících se modelů lepší 50krát než zákon Moorea. Skutečně, náklady spojené s provozem systému AI inference byly výrazně sníženy na téměř zanedbatelnou úroveň pro mnoho použití.

Činitele, které přispívají ke klesajícím nákladům na školení AI

Školení AI modelů se stává levnější a snazší, jak se technologie AI zlepšují, což je činí přístupnější širšímu spektru firem. Několik faktorů, včetně nákladů na hardware a software a cloud-based AI, přispělo ke klesajícím nákladům na školení AI.

1. Hardware

AI vyžaduje specializované high-end drahé hardware pro zpracování velkých objemů dat a výpočtů. Společnosti jako NVIDIA (NVDA ), IBM a Google (GOOGL ) poskytují GPU a TPU pro provádění high-performance computing (HPC) úloh. Vysoké náklady na hardware činí obtížným demokratizovat AI na velkém měřítku.

Nicméně, jak se technologie zlepšuje, klesají náklady na hardware. Podle zprávy ARK Invest 2023 se očekává, že náklady na AI-relativní compute jednotku (RCU) produkci, tj. náklady na hardware pro školení AI, klesnou o 57 % ročně, což povede ke snížení nákladů na školení AI o 70 % do roku 2030.

Náklady na hardware pro školení AI – ARK Invest Big Ideas 2023

2. Software

Náklady na školení AI software lze snížit o 47 % ročně díky zvýšené eficienci a škálovatelnosti. Softwarové rámce jako TensorFlow a PyTorch umožňují vývojářům školení komplexních hlubokých učících se modelů na distribuovaných systémech s vysokým výkonem, což šetří čas a zdroje.

Dále velké předem trénované modely jako Inceptionv3 nebo ResNet a techniky transfer learning také pomáhají snižovat náklady tím, že umožňují vývojářům jemně upravovat existující modely místo školení od začátku.

Náklady na software pro školení AI – ARK Invest Big Ideas 2023

3. Cloud-Based Artificial Intelligence

Cloud-based AI školení snižuje náklady tím, že poskytuje škálovatelné výpočetní zdroje na vyžádání. S modelem platby za použití platí firmy pouze za své výpočetní zdroje. Kromě toho poskytovatelé cloudů nabízejí předem připravené AI služby, které urychlují školení AI.

Například Azure Machine Learning je cloud-based služba pro prediktivní analytiku, která umožňuje rychlé vývoj a implementaci modelů. Nabízí flexibilní výpočetní zdroje a paměť. Uživatelé mohou škálovat na tisíce GPU rychle, aby zvýšili svůj výpočetní výkon. Umožňuje uživatelům pracovat prostřednictvím svých webových prohlížečů v předem nakonfigurovaných AI prostředích, což eliminuje režii nastavení a instalace.

Dopad klesajících nákladů na školení AI

Klesající náklady na školení AI mají významné důsledky pro různé odvětví a obory, což vede ke zlepšení inovací a konkurenceschopnosti.

1. Hromadné přijetí sofistikovaných AI chatbotů

AI chatboty jsou na vzestupu kvůli klesajícím nákladům na AI. Zvláště po vývoji OpenAI’s ChatGPT a GPT-4 (Generative Pre-trained Transformer) došlo k výraznému nárůstu počtu firem, které chtějí vyvinout AI chatboty se podobnými nebo lepšími schopnostmi.

Například pět dní po svém vydání v listopadu 2022 ChatGPT získal 1 milion uživatelů. Ačkoli dnes stojí běh modelu ve velkém měřítku přibližně 0,01 dolaru za dotaz, Wrightův zákon předpovídá, že do roku 2030 budou aplikace chatbotů podobné ChatGPT nasazeny ve velkém měřítku mnohem levněji (odhadováno 650 dolarů za běh miliardy dotazů), s potenciálem zpracovat 8,5 miliardy vyhledávání denně, což je ekvivalentní Google Search.

Náklady na provedení AI inferencí na miliardu dotazů – ARK Invest Big Ideas 2023

2. Zvýšené použití generativní AI

Klesající náklady na školení AI vedly k nárůstu vývoje a implementace generativní AI technologií. V roce 2022 došlo k významnému nárůstu použití generativní AI,Driven by the introduction of innovative generativní AI nástrojů, jako je DALL-E 2, Meta Make-A-Video a Stable Diffusion. V roce 2023 jsme již svědky průlomového modelu ve formě GPT-4.

Kromě generace obrazů a textu pomáhá generativní AI vývojářům psát kód. Programy jako GitHub Copilot mohou pomoci dokončit úkol programování za polovinu času.

Čas potřebný k dokončení programovacích úloh – ARK Invest Big Ideas 2023

3. Lepší využití školicích dat

Snižující se náklady na školení AI by měly umožnit lepší využití školicích dat pro strojové učení. Například zpráva ARK Invest 2023 předpovídá, že do roku 2030 budou náklady na školení modelu se 57krát více parametry a 720krát více tokenů než GPT-3 (175B parametrů) klesnout z 17 miliard dolarů na 600 000 dolarů.

Dostupnost a kvalita dat budou hlavním omezujícím faktorem pro vývoj pokročilých modelů strojového učení v tomto low-cost computing světě. Nicméně, školicí modely by měly mít kapacitu zpracovat odhadem 162 bilionů slov nebo 216 bilionů tokenů.

Budoucnost AI vypadá velmi slibně. Chcete-li se dozvědět více o nejnovějších trendech a výzkumu v oblasti umělé inteligence, navštivte Unite.ai.