Vědci se dívají na zvířata, aby poskytli systémům učení s posilováním běžný smysl

Vědci z institucí, jako je Imperial College London, University of Cambridge a Google DeepMind, se dívají na zvířata pro inspiraci, jak zlepšit výkon systémů učení s posilováním. Ve společném článku publikovaném v CellPress Reviews, nazvaném „Umělá inteligence a běžný smysl zvířat“, vědci argumentují, že kognice zvířat poskytuje užitečné měřítko a metody hodnocení pro agentů učení s posilováním a může také informovat o konstrukci úkolů a prostředí.

Vědci a inženýři v oblasti umělé inteligence již dlouho hledají inspiraci v biologických neuronových sítích při návrhu algoritmů, využívají principů z behaviorální vědy a neurovědy k informování struktury algoritmů. Avšak většina podnětů, které vědci v oblasti umělé inteligence přebírají z neurovědy a behaviorální vědy, jsou založeny na lidské kognici, přičemž kognice malých dětí a kojenců slouží jako hlavní bod. Vědci v oblasti umělé inteligence dosud nevyužili mnoho inspirace ze zvířecích modelů, avšak kognice zvířat je nevyužitým zdrojem, který má potenciál vést k důležitým průlomům v oblasti učení s posilováním.

Hluboké systémy učení s posilováním jsou trénovány procesem pokusů a omylů, posílených odměnami, kdykoli se agent učení s posilováním přiblíží k dokončení požadovaného cíle. To je velmi podobné učení zvířete, aby provedlo požadovaný úkol pomocí potravy jako odměny. Biologové a specialisté na kognici zvířat provedli mnoho experimentů hodnotících kognitivní schopnosti různých zvířat, včetně psů, medvědů, veverek, prasat, havranů, delfínů, koček, myší, slonů a chobotnic. Mnoho zvířat vykazuje působivou inteligenci a některá zvířata, jako sloni a delfíni, mohou mít dokonce teorii mysli.

Pohled na tělo výzkumu týkajícího se kognice zvířat by mohl inspirovat vědce v oblasti umělé inteligence, aby pohlíželi na problémy z různých úhlů. Jakmile se hluboké učení s posilováním stalo více powerful a sofistikovaným, vědci specializující se na toto pole hledají nové způsoby testování kognitivních schopností agentů učení s posilováním. Ve výzkumném článku tým výzkumníků odkazuje na typy experimentů provedených s primáty a ptáky, uvádí, že jejich cílem je navrhnout systémy schopné dosáhnout podobných úkolů, poskytující umělé inteligenci určitý typ „běžného smyslu“. Podle autorů článku „zastávají přístup, při kterém agenti učení s posilováním, možná s dosud nevyvinutými architekturami, získají to, co je potřeba, prostřednictvím prodloužené interakce s bohatými virtuálními prostředími.“

Jak uvádí VentureBeat, vědci v oblasti umělé inteligence argumentují, že běžný smysl není vlastností výhradně lidskou a že závisí na pochopení základních vlastností fyzického světa, jako je to, jak objekt zabírá bod a prostor, jaké jsou omezení jeho pohybů a ocenění příčiny a následku. Zvířata vykazují tyto vlastnosti v laboratorních studiích. Například havrani chápou, že objekty jsou trvalé věci, protože jsou schopni získat semena, i když jsou semena skryta za jiným objektem.

Aby poskytli systému učení s posilováním tyto vlastnosti, vědci argumentují, že budou muset vytvořit úkoly, které, ve spojení se správnou architekturou, vytvoří agentů schopných přenášet naučené principy na jiné úkoly. Vědci argumentují, že trénink pro takový model by měl zahrnovat techniky, které vyžadují, aby agent získal pochopení konceptu po expozici pouze několika příkladům, nazývané trénink s několika příklady. To je v kontrastu s tradičními stovkami nebo tisíci pokusů, které obvykle vstupují do tréninku agenta učení s posilováním.

Výzkumný tým dále vysvětluje, že zatímco někteří moderní agenti učení s posilováním mohou naučit se řešit多 úkoly, z nichž některé vyžadují základní přenos naučených principů, není jasné, zda by agenti učení s posilováním mohli naučit se koncept tak abstraktní jako „běžný smysl“. Pokud by existoval agent, který by mohl naučit se takový koncept, potřebovali by testy, které by mohly určit, zda agent učení s posilováním pochopil koncept kontejneru.

DeepMind je zvláště nadšený z možnosti zapojit se do nových a různých způsobů vývoje a testování agentů učení s posilováním. Nedávno, na konferenci Stanford HAI, která se konala začátkem října, vedoucí neurovědeckého výzkumu DeepMind, Matthew Botvinick, vyzval výzkumníky a inženýry v oblasti strojového učení, aby spolupracovali více v jiných oblastech vědy. Botvinick zdůraznil důležitost mezinárodní spolupráce s psychology a neurovědcem pro oblast umělé inteligence v přednášce nazvané „Triangulující inteligenci: Slučování neurovědy, psychologie a umělé inteligence“.