Výzkumníci se dívají na zvířata, aby poskytli systémům učení s posilováním zdravý rozum

Výzkumníci z institucí jako Imperial College London, University of Cambridge a Google DeepMind hledají inspiraci u zvířat, aby zlepšili výkon systémů učení s posilováním. Ve společném článku publikovaném v CellPress Reviews, nazvaném „Umělá inteligence a zdravý rozum zvířat“, argumentují výzkumníci, že kognice zvířat poskytuje užitečné měřítko a metody hodnocení pro agenty učení s posilováním a může také informovat o konstrukci úkolů a prostředí.

Výzkumníci a inženýři v oblasti umělé inteligence již dlouho hledají inspiraci v biologických neuronových sítích při navrhování algoritmů, pomocí principů z behaviorální vědy a neurovědy, aby informovali strukturu algoritmů. Avšak většina podnětů, které výzkumníci v oblasti umělé inteligence přebírají z neurovědy a behaviorální vědy, jsou založeny na lidské kognici, se zaměřením na kognici malých dětí a kojenců. Výzkumníci v oblasti umělé inteligence dosud nezískali mnoho inspirace ze zvířecích modelů, ale kognice zvířat je nevyužitým zdrojem, který má potenciál vést k důležitým průlomům v oblasti učení s posilováním.

Systémy hlubokého učení s posilováním jsou trénovány procesem pokusů a omylů, posilovaných odměnami, kdykoli se agent učení s posilováním přiblíží k dokončení požadovaného cíle. To je velmi podobné učení zvířete, aby provedlo požadovaný úkol, pomocí potravy jako odměny. Biologové a specialisté na kognici zvířat provedli mnoho experimentů hodnotících kognitivní schopnosti různých zvířat, včetně psů, medvědů, veverek, prasat, havranů, delfínů, koček, myší, slonů a chobotnic. Mnoho zvířat vykazuje působivou inteligenci a některá zvířata, jako sloni a delfíni mohou mít dokonce teorii mysli.

Podívejte se na soubor výzkumů týkajících se kognice zvířat, které by mohly inspirovat výzkumníky v oblasti umělé inteligence, aby pohlíželi na problémy z různých úhlů. Když se hluboké učení s posilováním stalo více powerful a sofistikovaným, výzkumníci v oblasti umělé inteligence specializující se na toto pole hledají nové způsoby testování kognitivních schopností agentů učení s posilováním. Ve výzkumném článku tým odkazuje na typy experimentů provedených s primáty a ptáky, zmiňujíc, že cílem je navrhnout systémy schopné provádět podobné typy úkolů, poskytující umělé inteligenci určitý typ „zdravý rozum“. Podle autorů článku „advokují přístup, při kterém agenti RL, možná s dosud nevyvinutými architekturami, získají to, co je potřeba, prostřednictvím prodloužené interakce s bohatými virtuálními prostředími.“

Jak uvádí VentureBeat, výzkumníci v oblasti umělé inteligence argumentují, že zdravý rozum není vlastností výhradně lidskou a že závisí na pochopení základních vlastností fyzického světa, jako je to, jak objekt zabírá bod a prostor, jaké jsou omezení jeho pohybů a ocenění příčiny a následku. Zvířata vykazují tyto vlastnosti v laboratorních studiích. Například havrani chápou, že objekty jsou permanentní věci, protože jsou schopni získat semena, i když jsou semena skryta od nich, zakryta jiným objektem.

Aby se systém učení s posilováním vybavil těmito vlastnostmi, výzkumníci argumentují, že budou muset vytvořit úkoly, které, ve spojení s vhodnou architekturou, vytvoří agenty schopné přenést naučené principy na jiné úkoly. Výzkumníci argumentují, že trénink takového modelu by měl zahrnovat techniky, které vyžadují, aby agent získal pochopení konceptu po expozici pouze několika příkladům, nazývané few-shot trénink. To je v kontrastu s tradičními stovkami nebo tisíci pokusů, které obvykle vstupují do tréninku agenta RL.

Výzkumný tým dále vysvětluje, že zatímco někteří moderní agenti RL mohou naučit se řešit多 úkoly, některé z nich vyžadují základní přenos naučených principů, není jasné, zda by agenti RL mohli naučit se koncept tak abstraktní jako „zdravý rozum“. Pokud by existoval agent potenciálně schopný naučit se takový koncept, potřebovali by testy, které by mohly určit, zda agent RL pochopil koncept kontejneru.

DeepMind je zejména nadšen z toho, aby se zapojil do nových a různých způsobů vývoje a testování agentů učení s posilováním. Nedávno, na konferenci Stanford HAI, která se konala na začátku října, Matthew Botvinick, vedoucí neurovědního výzkumu v DeepMind, vyzval výzkumníky a inženýry v oblasti strojového učení, aby spolupracovali více s ostatními obory vědy. Botvinick zdůraznil důležitost mezinárodní spolupráce s psychology a neurovědcem pro pole umělé inteligence v přednášce nazvané „Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.