Google właśnie opublikowało rzeczywiste liczby dotyczące zużycia energii przez sztuczną inteligencję — i nie są one takie, jak myślisz

Wszyscy mówią o ogromnym zużyciu energii przez sztuczną inteligencję. Widzieliście nagłówki: „ChatGPT zużywa tyle prądu, co mały kraj” albo „Każde zapytanie do sztucznej inteligencji wypija butelkę wody”.

Google właśnie opublikowano rzeczywiste dane z ich systemów produkcyjnych, a liczby przedstawiają zupełnie inną historię.

Rzeczywisty koszt energetyczny zapytania AI

Oto, co znalazł Google: Mediana Gemini Podpowiedź tekstowa zużywa 0.24 watogodziny energii. To mniej prądu niż oglądanie telewizji przez dziewięć sekund. Zużycie wody? Pięć kropli. Nie pięć szklanek. Pięć kropli.

Różnica między opinią publiczną a rzeczywistością jest ogromna. Wcześniejsze szacunki wskazywały, że podpowiedzi AI zużywają od 10 do 50 mililitrów wody na jedno zapytanie. Niektóre badania sugerowały zużycie energii 30 razy wyższe niż to, które Google mierzy w procesie produkcyjnym.

Skąd ta ogromna różnica? Ponieważ nikt do tej pory nie mierzył rzeczywistych systemów na dużą skalę. Badania akademickie przeprowadzają izolowane testy na niedostatecznie wykorzystywanym sprzęcie. W zasadzie mierzą zużycie paliwa przez samochód stojący na biegu jałowym na podjeździe.

44-krotna poprawa

Google zmniejszyło emisję dwutlenku węgla przez sztuczną inteligencję 44-krotnie w ciągu jednego roku. Nie o 44 procent, lecz 44-krotnie.

To nie jest jakaś teoretyczna poprawa w laboratorium. To dzieje się już teraz w systemach obsługujących miliardy zapytań. Osiągnęli to dzięki połączeniu optymalizacji oprogramowania (poprawa 33-krotna) i czystszych źródeł energii (poprawa 1.4-krotna).

Większość badań skupia się wyłącznie na układach sztucznej inteligencji wykonujących obliczenia. To tak, jakby mierzyć zużycie energii w restauracji, licząc tylko piece, ignorując lodówki, oświetlenie i system HVAC.

Dane Google pokazują pełny obraz: tak, akceleratory AI zużywają 58% energii. Ale potrzebujesz również standardowych procesorów i pamięci (24%), zapasowej pojemności zapewniającej niezawodność (10%) oraz systemów chłodzenia (8%). Pomiń którykolwiek z tych elementów w swoich pomiarach, a Twoje wyniki będą praktycznie bez znaczenia.

Kiedy Google zastosował wąską metodologię, którą stosują wszyscy inni – mierząc jedynie wydajność układów AI na w pełni obciążonych maszynach – ich zużycie energii spadło do 0.10 watogodzin. Rzeczywisty system produkcyjny zużywa 2.4 razy więcej energii, ponieważ rzeczywiste systemy wymagają redundancji, chłodzenia i infrastruktury pomocniczej.

Co to właściwie oznacza dla przyszłości sztucznej inteligencji

Narracja dotycząca zużycia energii przez sztuczną inteligencję wymaga weryfikacji. Owszem, sztuczna inteligencja zużywa energię. Jednak odpowiednio zoptymalizowane systemy są o wiele bardziej wydajne, niż sugerują pesymistyczne scenariusze.

Kontekst ma tu znaczenie. Te 0.24 watogodziny na zapytanie? Amerykanie zużywają średnio około 30 kilowatogodzin energii elektrycznej dziennie. Aby uzyskać dane dotyczące typowego dziennego zużycia energii w gospodarstwie domowym, trzeba by uruchomić 125,000 XNUMX zapytań AI.

Historia zużycia wody jest jeszcze bardziej dramatyczna. Te pięć kropli wody na zapytanie? Zużywasz więcej wody w pierwszej sekundzie mycia rąk.

Stos optymalizacyjny

Google nie osiąga tych liczb dzięki pojedynczemu przełomowi. optymalizacja stosu na każdej warstwie systemu.

Używają mniejszych modeli „roboczych”, które szkicują odpowiedzi, a następnie weryfikują je za pomocą większych modeli tylko wtedy, gdy jest to potrzebne. Łączą tysiące zapytań, aby zwiększyć wydajność. Używają niestandardowych układów zaprojektowanych specjalnie dla obciążeń AI, które są 30 razy wydajniejsze niż ich pierwsza generacja.

Ich centra danych działają z obciążeniem zaledwie o 9% wyższym od teoretycznego minimum – zasadniczo tak wydajnym, jak to tylko fizycznie możliwe. W coraz większym stopniu korzystają z czystej energii, ograniczając emisje nawet przy rosnącym zużyciu prądu.

Podsumowanie

To działa tylko wtedy, gdy firmy faktycznie optymalizują cały swój stos i odpowiednio dokonują pomiarów. Firmy traktujące infrastrukturę AI jako dodatek, wykorzystujące nieefektywne systemy w zanieczyszczonych sieciach energetycznych? To one tworzą problemy, którymi wszyscy się martwią.

Różnica między wydajnymi i nieefektywnymi systemami AI jest ogromna. I obecnie większość branży nadal korzysta z wersji nieefektywnej.