DeepMind představuje algoritmus JEST: Zrychlení, zlevnění a zelenější školení modelů AI

Generativní umělá inteligence dosahuje úžasných úspěchů a transformuje oblasti, jako je medicína, vzdělávání, finance, umění, sport a další. Tento pokrok je především důsledkem zlepšení schopnosti AI učit se z větších datových sad a budovat komplexnější modely s miliardami parametrů. Ačkoli tyto pokroky vedly k významným vědeckým objevům, vytvořily nové obchodní příležitosti a přispěly k průmyslovému růstu, jsou spojeny s vysokými náklady, zejména pokud jde o finanční a environmentální dopady školení těchto velkých modelů. Algoritmy učení vyžadují významnou výpočetní sílu pro školení generativních modelů AI s velkými datovými sadami, což vede k vysoké spotřebě energie a významné uhlíkové stopě.

Předešlé snahy o udržení udržitelnosti generativní AI se zaměřily na zlepšení efektivity hardwaru pro školení AI a vývoj menších modelů s méně parametry. Společnost Google DeepMind však zvolila inovativní přístup, zaměřený na zlepšení efektivity algoritmu školení generativní AI. Vyvinula nový algoritmus, JEST (Joint Example Selection), který je 13krát rychlejší a 10krát energeticky efektivnější než současné techniky.

V tomto článku prozkoumáme výzvy školení AI a to, jak JEST tyto problémy řeší. Dále se budeme zabývat širšími důsledky a budoucími směry výzkumu algoritmu JEST, přičemž budeme zvažovat jeho potenciální dopad za hranice zrychlení, nákladové efektivity a environmentální udržitelnosti školení AI.

Výzvy školení AI: Vysoké náklady a environmentální dopad

Školení generativních modelů AI představuje významné výzvy kvůli vysokým nákladům a významnému environmentálnímu dopadu.

• Finanční náklady: Školení generativních modelů AI je nákladnou aktivitou. Nedávné odhady ukazují, že školení jednoho velkého modelu, jako je OpenAI’s GPT-3 s 175 miliardami parametrů, může stát přibližně 4,6 milionu dolarů. Školení ChatGPT-4 se odhaduje, že stálo OpenAI přibližně 100 milionů dolarů. Tyto náklady jsou převážně způsobeny masivními výpočetními zdroji, rozsáhlou zpracováním dat a prodlouženými časy školení.
• Spotřeba energie: Procesy školení generativní AI jsou extrémně energeticky náročné. Školení těchto modelů zahrnuje tisíce GPU a spotřebuje mnoho gigawattů energie, což činí proces velmi energeticky náročným. Datová centra, která hostí výpočetní infrastrukturu pro školení AI, spotřebují přibližně 200 terawattů (TWh) elektřiny ročně, což je asi 1% celosvětové poptávky po elektřině. Zpráva McKinseyho předpovídá, že spotřeba energie datových center v USA by se mohla zvýšit z 17 gigawattů (GW) v roce 2017 na 35 GW do roku 2030, což by vyžadovalo dodávku energie ekvivalentní devíti přehradám Hoover.
• Uhlíková stopa: Vysoká spotřeba energie při školení generativních modelů AI významně přispívá k emisím skleníkových plynů, což zhoršuje změnu klimatu. Studie Univerzity v Massachusetts Amherst zjistila, že školení jednoho velkého modelu AI může emitovat tolik oxidu uhličitého, jako pět aut po celou dobu jejich životnosti. Konkrétně školení jednoho modelu AI může emitovat více než 626 000 liber CO2, což je ekvivalentní uhlíkové stopě 315 transkontinentálních letů.

Tyto výzvy pocházejí především ze dvou hlavních zdrojů: závislosti na energeticky náročné výpočetní hardwaru a neefektivnosti současných algoritmů školení. Ačkoli komunita AI dosáhla pokroku ve vývoji energeticky efektivního hardwaru, je třeba klást větší důraz na vytváření chytřejších algoritmů, které mohou optimalizovat využití dat a snižovat časy školení. Nedávný algoritmus JEST od Googlu je průkopnickým výzkumem směrem k vytvoření inteligentnějších algoritmů školení. Díky inteligentnímu výběru relevantních dat JEST významně zvyšuje efektivitu školení AI, což otevírá cestu k udržitelnějšímu a nákladově efektivnějšímu školení generativních modelů AI.

Pochopení algoritmu JEST

JEST je algoritmus učení navržen pro efektivnější školení multimodálních generativních modelů AI. Chcete-li pochopit, jak JEST funguje, představte si školení AI jako řešení složitého puzzle, kde každá část (datový bod) pomáhá vytvořit kompletní obraz (model AI). JEST funguje jako zkušený řešitel puzzle, který zefektivňuje proces. Stejně jako zkušený řešitel puzzle vybírá nejdůležitější a nejrozlišitelnější části, JEST identifikuje a vybírá nejvýznamnější datové dávky z datové sady, zajišťuje, že každá dávka hraje zásadní roli ve vývoji AI.

JEST využívá menší model AI k hodnocení kvality datových dávek. Tyto dávky jsou poté seřazeny podle jejich účinnosti ve školení modelu. S těmito pečlivě vybranými dávkami JEST strategicky sestavuje školení modelu. Stejně jako řešitel puzzle uspořádá části puzzle, aby maximalizoval efektivitu a koherenci, JEST významně urychluje proces školení, priorizuje a vybírá nejvíce informativní dávky.

Klíčovou součástí přístupu JEST je multimodální kontrastivní učení. Tato technika se zaměřuje na učení korespondence mezi různými typy dat, jako jsou text a obrázky. JEST využívá multimodální kontrastivní učení založené na metodě k hodnocení účinnosti multimodálního vzorku dat ve školení modelu. Kromě účinnosti jednotlivých vzorků dat JEST také hodnotí kolektivní učitelnost vzorků dat, aby vybral malou dávku dat z větší “super dávky”. Tento proces pomáhá JEST vybrat a priorizovat dávky, které nabízejí výzvy a bohaté učební příležitosti.

Pohled do budoucnosti: JEST za hranice rychlejšího, levnějšího a zelenějšího školení AI

Když prozkoumáme budoucí důsledky JEST (Joint Example Selection), je zřejmé, že jeho příspěvky sahají za hranice pouze urychlení školení AI, snížení nákladů a podporu environmentální udržitelnosti. Zde se budeme zabývat tím, jak JEST může dále zlepšit a transformovat oblast generativní AI:

• Vylepšená výkonnost a přesnost modelu: Inovativní přístup JEST k výběru a priorizaci dat vede k rychlejšímu školení a vylepšené výkonnosti modelu. Díky zaměřením na nejvíce informativní datové dávky JEST zajišťuje, že modely AI jsou školeny na vysoce kvalitních vstupech, což zlepšuje jejich přesnost a robustnost. Tato výhoda je zásadní v aplikacích, kde je přesnost a spolehlivost nezbytná, jako jsou lékařské diagnostiky, finanční prognózy a autonomní systémy.
• Identifikace a zmírnění biasu v datech: AI je náchylná k předpojatým datovým sadám, kde jsou určitá skupina nebo perspektiva nedostatečně reprezentovány nebo zobrazeny. Přístup JEST k výběru dat zahrnuje hodnocení kvality a informativnosti datových dávek. Prioritizací rozmanitých a reprezentativních vzorků dat JEST může pomoci systémům AI učit se z vyváženějších datových sad, což snižuje předpojatosti ve školení dat. Například v aplikacích AI ve zdravotnictví JEST může vybrat datové dávky, které zahrnují různé demografické faktory, zajišťuje, že modely lékařské diagnostiky jsou školeny na rozmanitých populacích pacientů. Tento výběr snižuje riziko předpojatostí, které by mohly nespravedlivě ovlivnit určitou skupinu na základě rasy, pohlaví nebo socioekonomického statusu.
• Usnadnění inovace a výzkumu: Snížením výpočetních zdrojů a času potřebných pro školení modelů AI JEST snižuje bariéry pro výzkumníky a inovátory. To vytváří živější ekosystém vývoje AI, kde menší týmy a organizace mohou experimentovat a nasazovat pokročilá řešení AI. Kromě toho zisky z efektivnosti nabízené JEST mohou být přesměrovány na prozkoumání nových hranic v AI, jako jsou nové architektury, pokročilé algoritmy a etické rámce AI.
• Promování inkluzivního rozvoje AI: Rozvoj AI by měl zahrnovat rozmanité perspektivy a vstupy, aby účinně zmírnil předpojatosti a etické obavy. Schopnost JEST vybírat data na základě jejich informativní hodnoty a reprezentativnosti podporuje inkluzivní postupy při kuraci datových sad. Vývojáři AI mohou zajistit, že JEST účinně řeší předpojatosti a etické úvahy, zapojením multidisciplinárních týmů do definice kritérií pro výběr dat, včetně odborníků z etiky, sociálních věd a oborově specifických oblastí. Tento spolupracující přístup podporuje více inkluzivní a zodpovědný rozvoj technologií AI.

Závěrečné shrnutí

Představení algoritmu JEST společností DeepMind představuje významný skok vpřed ve školení generativní AI. Značným urychlením procesů školení a snížením spotřeby energie JEST nabízí podstatné úspory nákladů a řeší environmentální obavy spojené s rozvojem AI. Kromě těchto výhod má JEST potenciál zlepšit přesnost modelů, zmírnit předpojatosti v datech, podporovat inovace a podporovat inkluzivní rozvoj AI. Pokračující zdokonalování a aplikace JEST jsou připraveny重新definovat budoucnost AI, směřující k více efektivním, udržitelným a eticky odpovědným řešením AI.