Odborníci překonali významnou překážku v technologii umělé inteligence pomocí mozkového mechanismu

Skupina odborníků na umělou inteligenci (AI) z různých institucí překonala „významnou, dlouho existující překážku pro zvýšení schopností AI“. Tým se zaměřil na lidský mozek, což je případ mnoha vývojů AI. Konkrétně se tým zaměřil na mechanismus lidské paměti známý jako „replay“.

Gido van de Ven je prvním autorem a postdoktorálním výzkumníkem. Byl doprovázen hlavním výzkumníkem Andreasem Toliasem na Bayloru a Havou Siegelmannovou na UMass Amherst.

Výzkum byl zveřejněn v Nature Communications.

Nová metoda

Podle výzkumníků přišli s novou metodou, která efektivně chrání hluboké neuronové sítě před „katastrofickým zapomínáním“. Když neuronová síť získá nové znalosti, může zapomenout na to, co se dříve naučila.

Tato překážka brání mnoha pokrokům v oblasti AI.

„Jedno řešení by bylo uložit dříve setkávané příklady a znovu je projít, když se učí něco nového. Ačkoli takové „replay“ nebo „opakování“ řeší katastrofické zapomínání, neustálé přeškolování na všech dříve naučených úkolech je velmi neefektivní a množství dat, které by muselo být uloženo, se rychle stává neúnosným,“ napsali výzkumníci.

Lidský mozek

Výzkumníci čerpali inspiraci z lidského mozku, protože je schopen budovat informace bez zapomínání, na rozdíl od AI neuronových sítí. Současný vývoj vychází z předchozích prací výzkumníků, včetně zjištění o mechanismu v mozku, který se předpokládá, že je zodpovědný za prevenci zapomínání vzpomínek. Tento mechanismus je replay neuronových aktivit.

Podle Siegelmannové hlavní pokrok spočívá v „rozpoznání, že replay v mozku neukládá data“, ale „mozek generuje reprezentace vzpomínek na vysoké, abstraktní úrovni bez potřeby generovat detailní vzpomínky“.

Siegelmannová využila tyto informace a spojila se se svými kolegy, aby vyvinuli mozek-inspirovaný replay s umělou inteligencí, kde nebyla uložena žádná data. Stejně jako v případě lidského mozku umělé neuronové sítě berou to, co viděly dříve, aby generovaly vysoké reprezentace.

Metoda byla vysoce efektivní, protože i pouhé几 přehrání generovaných reprezentací vedlo k tomu, že starší vzpomínky byly zapamatovány, zatímco se učily nové. Generativní replay je efektivní při prevenci katastrofického zapomínání a jedním z hlavních výhod je, že umožňuje systému generalizovat z jedné situace na druhou.

Podle van de Vena „Pokud naše síť s generativním replay nejprve naučí rozlišovat kočky od psů a poté rozlišovat medvědy od lišek, bude také rozlišovat kočky od lišek, aniž by byla speciálně trénována k tomu. A pozoruhodně, čím více se systém učí, tím lépe se stává v učení nových úkolů“.

„Navrhujeme novou, mozek-inspirovanou variantu replay, ve které se přehrají vnitřní nebo skryté reprezentace, které jsou generovány vlastními, kontextově modulovanými zpětnými vazbami sítě,“ píše tým. „Naše metoda dosáhla špičkového výkonu na náročných kontinuálních učebních benchmarcích bez uložení dat a poskytuje novou model pro abstraktní replay v mozku“.

„Naše metoda činí několik zajímavých předpovědí o tom, jak by replay mohl přispět k konsolidaci paměti v mozku,“ pokračuje van de Ven. „Už nyní spouštíme experiment, abychom otestovali některé z těchto předpovědí“.