Koszty szkolenia AI stale spadają

Wysokie koszty szkolenia AI były znaczącą barierą dla przyjęcia AI, uniemożliwiając wielu firmom wdrożenie technologii AI. Według raportu Forrester Consulting z 2017 roku, 48% firm wskazało wysokie koszty technologiczne jako jeden z głównych powodów niewdrożenia rozwiązań opartych na AI.

Jednakże, ostatnie rozwoju wykazały, że koszty szkolenia AI szybko maleją, a ten trend ma się utrzymać w przyszłości. Według raportu ARK Invest Big Ideas 2023, koszty szkolenia dużego modelu językowego podobnego do GPT-3 spadły z 4,6 miliona dolarów w 2020 roku do 450 000 dolarów w 2022 roku, co oznacza spadek o 70% rocznie.

Przejdźmy do tego trendu malejących kosztów szkolenia AI i omówmy czynniki, które do tego przyczyniają się.

Jak zmieniły się koszty szkolenia AI w czasie?

Według badania ARK Invest z 2020 roku, koszt szkolenia modeli głębokiego uczenia się poprawia się 50 razy szybciej niż Prawo Moore’a. W rzeczywistości, wydatek związany z uruchomieniem systemu inferencyjnego AI został znacznie zredukowany do poziomu prawie znikomego dla wielu przypadków użycia.

Ponadto, koszty szkolenia zmniejszyły się dziesięciokrotnie w ciągu ostatnich kilku lat. Na przykład, w 2017 roku, szkolenie klasyfikatora obrazu, takiego jak ResNet-50, na publicznej chmurze kosztowało około 1000 dolarów, ale do 2019 roku koszt ten znacznie spadł do około 10 dolarów.

Te wyniki są zgodne z raportem OpenAI z 2020 roku, który stwierdził, że ilość mocy obliczeniowej potrzebnej do szkolenia modelu AI do wykonania tego samego zadania zmniejszała się o czynnik dwa co 16 miesięcy od 2012 roku.

Ponadto, raport ARK podkreśla malejące koszty szkolenia AI. Raport przewiduje, że do 2030 roku koszt szkolenia modelu na poziomie GPT-3 spadnie do 30 dolarów, w porównaniu z 450 000 dolarów w 2022 roku.

Koszt szkolenia modelu na poziomie GPT-3 – ARK Invest Big Ideas 2023

Czynniki, które przyczyniają się do malejących kosztów szkolenia AI

Szkolenie modeli AI staje się tańsze i łatwiejsze, ponieważ technologie AI ciągle się poprawiają, czyniąc je bardziej dostępnymi dla szerszego zakresu firm. Kilka czynników, w tym koszty sprzętu i oprogramowania, a także chmura obliczeniowa, przyczyniają się do malejących kosztów szkolenia AI.

Przejdźmy do tych czynników poniżej.

1. Sprzęt

AI wymaga specjalistycznego, drogiego sprzętu do przetwarzania dużych ilości danych i obliczeń. Firmy takie jak NVIDIA (NVDA ), IBM i Google (GOOGL ) dostarczają procesory graficzne i jednostki przetwarzania tensorowego do wykonywania obciążeń obliczeniowych o wysokiej wydajności. Wysokie koszty sprzętu utrudniają demokratyzację AI na dużą skalę.

Jednakże, wraz z postępem technologicznym, koszty sprzętu maleją. Według raportu ARK Invest z 2023 roku, Prawo Wrighta przewiduje, że koszty produkcji jednostek obliczeniowych AI (RCU) powinny spaść o 57% rocznie, co prowadzi do 70% redukcji kosztów szkolenia AI do 2030 roku, jak pokazano na poniższym wykresie.

Koszt sprzętu do szkolenia AI – ARK Invest Big Ideas 2023

2. Oprogramowanie

Koszty szkolenia oprogramowania AI mogą być obniżone o 47% rocznie dzięki zwiększonej wydajności i skalowalności. Ramy oprogramowania, takie jak TensorFlow i PyTorch, umożliwiają deweloperom szkolenie złożonych modeli głębokiego uczenia się na systemach rozproszonych o wysokiej wydajności, co oszczędza czas i zasoby.

Ponadto, duże przeszkolone modele, takie jak Inceptionv3 lub ResNet, oraz techniki przenoszenia wiedzy również pomagają redukować koszty, pozwalając deweloperom na dostosowanie istniejących modeli zamiast szkolenia ich od podstaw.

Koszt szkolenia oprogramowania AI – ARK Invest Big Ideas 2023

3. Chmura obliczeniowa AI

Szkolenie AI w chmurze obliczeniowej redukuje koszty, zapewniając skalowalne zasoby obliczeniowe na żądanie. Dzięki modelowi płatności za używanie, firmy płacą tylko za używane zasoby obliczeniowe. Ponadto, dostawcy chmury oferują pre-fabrykowane usługi AI, które przyspieszają szkolenie AI.

Na przykład, Azure Machine Learning to usługa chmurowa do analizy predykcyjnej, która umożliwia szybkie rozwijanie i wdrożenie modeli. Oferuje elastyczne zasoby obliczeniowe i pamięci. Użytkownicy mogą szybko skalować do tysięcy procesorów graficznych, aby zwiększyć wydajność obliczeniową. Pozwala użytkownikom pracować przez przeglądarkę w pre-konfigurowanych środowiskach AI, eliminując konieczność konfiguracji i instalacji.

Wpływ malejących kosztów szkolenia AI

Malejące koszty szkolenia AI mają znaczące implikacje dla różnych branż i dziedzin, prowadząc do poprawy innowacyjności i konkurencyjności.

Przejdźmy do kilku z nich poniżej.

1. Powszechne przyjęcie zaawansowanych czatbotów AI

Czatboty AI są w modzie ze względu na malejące koszty AI. Szczególnie po opracowaniu ChatGPT i GPT-4 (Generative Pre-trained Transformer) przez OpenAI, nastąpił zauważalny wzrost liczby firm, które chcą opracować czatboty AI o podobnych lub lepszych możliwościach.

Na przykład, pięć dni po premierze w listopadzie 2022 roku, ChatGPT zdobył milion użytkowników. Chociaż dziś koszt uruchomienia modelu w skali wynosi około 0,01 dolarów za zapytanie, Prawo Wrighta przewiduje, że do 2030 roku aplikacje czatbotów podobne do ChatGPT będą mogły być wdrożone na dużą skalę znacznie taniej (szacowany koszt 650 dolarów za miliard zapytań), z potencjałem przetwarzania 8,5 miliarda wyszukiwań dziennie, co odpowiada wyszukiwaniom Google.

Koszt wykonania inferencji AI na miliard zapytań – ARK Invest Big Ideas 2023

2. Zwiększone użycie generatywnego AI

Malejące koszty szkolenia AI doprowadziły do wzrostu rozwoju i wdrożenia technologii generatywnego AI. W 2022 roku nastąpił znaczący wzrost użycia generatywnego AI, napędzany przez wprowadzenie innowacyjnych narzędzi generatywnego AI, takich jak DALL-E 2, Meta Make-A-Video i Stable Diffusion. W 2023 roku świadkami jesteśmy przełomowego modelu w postaci GPT-4.

Ponadto, generatywne AI pomaga deweloperom pisać kod. Programy takie jak GitHub Copilot mogą pomóc w ukończeniu zadania programistycznego w połowie czasu.

Czas potrzebny do ukończenia zadań programistycznych – ARK Invest Big Ideas 2023

3. Lepsze wykorzystanie danych szkoleniowych

Zmniejszone koszty szkolenia AI powinny umożliwić lepsze wykorzystanie danych szkoleniowych. Na przykład, raport ARK Invest z 2023 roku sugeruje, że do 2030 roku koszt szkolenia modelu z 57 razy większą liczbą parametrów i 720 razy większą liczbą tokenów niż GPT-3 (175B parametrów) ma spaść z 17 miliardów dolarów do 600 000 dolarów.

Dostępność i jakość danych będą głównym czynnikiem ograniczającym rozwój zaawansowanych modeli uczenia maszynowego w tym niskim świecie obliczeń. Jednakże, modele szkoleniowe będą miały możliwość przetworzenia szacunkowo 162 bilionów słów lub 216 bilionów tokenów.

Przyszłość AI wygląda bardzo obiecująco. Aby dowiedzieć się więcej o najnowszych trendach i badaniach w dziedzinie sztucznej inteligencji, odwiedź Unite.ai.