Proč model Orca-2 od Microsoftu představuje významný krok směrem k udržitelné umělá inteligenci?

Navzdory pozoruhodným pokrokům, kterých bylo v posledních deseti letech dosaženo v oblasti umělé inteligence, včetně porážky lidských šampionů ve strategických hrách, jako je Šachy a GO a předpověď 3D struktury proteinů, široké přijetí velkých jazykových modelů (LLM) představuje změnu paradigmatu. Tyto modely, které jsou připraveny transformovat interakce mezi lidmi a počítači, se staly nepostradatelnými v různých sektorech, včetně vzdělávání, zákaznických služeb, vyhledávání informací, softwarového vývoje, médií a zdravotnictví. Zatímco tyto technologické pokroky odemykají vědecké objevy a pohánějí průmyslový růst, existuje významná nevýhoda pro planetu.

Proces školení a používání LLM spotřebuje obrovské množství energie, což vede k podstatnému environmentálnímu dopadu, charakterizovanému zvýšeným uhlíkovým otiskem a emisemi skleníkových plynů. Nedávná studie z College of Information and Computer Sciences na University of Massachusetts Amherst odhalila, že školení LLM může emitovat více než 626 000 liber oxidu uhličitého, což je přibližně ekvivalentní emisím pěti aut během jejich životnosti. Startup Hugging Face zjistil, že školení BLOOM, velkého jazykového modelu spuštěného na začátku roku, vedlo k 25 metrickým tunám emisí oxidu uhličitého. Podobně AI model Facebooku, Meena, akumuluje uhlíkovou stopu srovnatelnou s environmentálním dopadem jízdy auta více než 240 000 mil během procesu školení.

Navzdory školení LLM, poptávka po cloud computingu, který je nezbytný pro LLM, nyní přispívá více emisí než celý letecký průmysl. Jeden datový center může spotřebovat tolik energie, jako 50 000 domácností. Další studie zdůrazňuje, že školení jednoho velkého jazykového modelu může uvolnit tolik CO2 jako pět aut během jejich celoživotní spotřeby energie. Předpovědi naznačují, že emise AI se zvýší o 300 % do roku 2025, což zdůrazňuje naléhavost vyvážení pokroku AI s environmentální odpovědností a iniciativami na činění AI více ekologicky šetrným. Aby se řešil nepříznivý environmentální dopad pokroků AI, udržitelná AI se stává důležitým oborem studia.

Udržitelná umělá inteligence

Udržitelná umělá inteligence představuje změnu paradigmatu ve vývoji a nasazení umělých inteligentních systémů, zaměřenou na minimalizaci environmentálního dopadu, etické úvahy a dlouhodobé společenské výhody. Tento přístup má za cíl vytvořit inteligentní systémy, které jsou energeticky účinné, environmentálně odpovědné a sladěné s lidskými hodnotami. Udržitelná AI se zaměřuje na používání čisté energie pro počítače, chytré algoritmy, které spotřebují méně energie, a na dodržování etických pravidel, aby se zajistily spravedlivé a transparentní rozhodnutí. Je důležité poznamenat, že existuje rozdíl mezi AI pro udržitelnost a udržitelnou AI; první může zahrnovat používání AI k optimalizaci stávajících procesů bez nutného zohlednění environmentálních nebo společenských důsledků, zatímco druhá aktivně integruje principy udržitelnosti do každé fáze vývoje AI, od návrhu po nasazení, aby vytvořila pozitivní a trvalý dopad na planetu a společnost.

Od LLM k malým jazykovým modelům (SLM)

V rámci udržitelné AI pracuje Microsoft (MSFT ) na vývoji malých jazykových modelů (SLM), aby se sladil s možnostmi velkých jazykových modelů (LLM). V tomto úsilí nedávno představil Orca-2, navržen tak, aby rozuměl jako GPT-4. Na rozdíl od svého předchůdce, Orca-1, který má 13 miliard parametrů, Orca-2 obsahuje 7 miliard parametrů pomocí dvou klíčových technik.

1. Instruction Tuning: Orca-2 se zlepšuje tím, že se učí z příkladů, vylepšuje kvalitu obsahu, schopnosti zero-shot a rozumění napříč různými úkoly.
2. Explanation Tuning: Rozpoznání omezení v instruction tuning, Orca-2 zavádí Explanation Tuning. To zahrnuje vytváření podrobných vysvětlení pro učitele modelů, obohacování signálů rozumění a zlepšování celkového porozumění.

Orca-2 používá tyto techniky k dosažení vysoce účinného rozumění, srovnatelného s tím, co LLM dosahují s mnoha více parametry. Hlavní myšlenka spočívá v tom, aby model mohl najít nejlepší způsob, jak vyřešit problém, ať už jde o rychlou odpověď nebo o postupné myšlení. Microsoft nazývá tuto metodu “Opatrné rozumění.”

Pro školení Orca-2 Microsoft vytváří novou sadu školicích dat pomocí FLAN anotací, Orca-1 a sady dat Orca-2. Začínají s jednoduchými otázkami, přidávají některé obtížné a poté používají data z mluvících modelů, aby ho ještě více vylepšili.

Orca-2 prochází důkladnou evaluací, pokrývající rozumění, dokončování textu, zakotvení, pravdivost a bezpečnost. Výsledky ukazují potenciál zlepšení rozumění SLM prostřednictvím specializovaného školení na syntetických datech. Navzdory některým omezením modely Orca-2 ukazují slib pro budoucí zlepšení v rozumění, kontrole a bezpečnosti, prokazující účinnost strategického použití syntetických dat při vylepšování modelu po školení.

Význam Orca-2 pro udržitelnou AI

Orca-2 představuje významný krok směrem k udržitelné AI, který zpochybňuje převládající víru, že pouze větší modely, se svou podstatnou spotřebou energie, mohou skutečně rozvinout schopnosti AI. Tento malý jazykový model představuje alternativní perspektivu, naznačující, že dosažení excelence v jazykových modelech nevyžaduje nutně enormní datové sady a rozsáhlou výpočetní sílu. Místo toho zdůrazňuje důležitost inteligentního designu a efektivní integrace.

Tento průlom otevírá nové možnosti tím, že prosazuje posun od pouhého zvětšení AI k soustředění se na to, jak AI navrhneme. To představuje zásadní krok směrem k tomu, aby pokročilá AI byla přístupnější širšímu publiku, zajišťující, že inovace je inkluzivní a dosahuje širšího spektra lidí a organizací.

Orca-2 má potenciál mít významný dopad na vývoj budoucích jazykových modelů. Bez ohledu na to, zda se jedná o zlepšení úkolů souvisejících s přirozeným jazykovým zpracováním nebo umožnění více sofistikovaných aplikací AI v různých odvětvích, tyto menší modely jsou připraveny přinést podstatné pozitivní změny. Navíc slouží jako průkopníci v propagaci udržitelnějších praktik AI, sladěných s technologickým pokrokem a environmentální odpovědností.

Závěrečné shrnutí:

Model Orca-2 od Microsoftu představuje průlomový krok směrem k udržitelné AI, který zpochybňuje víru, že pouze velké modely mohou rozvinout AI. Prioritizací inteligentního designu nad velikostí Orca-2 otevírá nové možnosti, nabízející více inkluzivní a environmentálně odpovědný přístup k rozvoji pokročilé AI. Tento posun představuje zásadní krok směrem k novému paradigmatu v návrhu inteligentních systémů.