DeepMind objevila techniku školení AI, která může fungovat i v našich mozcích

DeepMind nedávno publikovala článek, ve kterém popisuje, jak nově vyvinutý typ učení s posilováním může potenciálně vysvětlovat, jak fungují odměňovací dráhy v lidském mozku. Podle NewScientist, metoda školení strojového učení se nazývá distribuční učení s posilováním a mechanismy, které za ní stojí, se zdají být přesvědčivým vysvětlením, jak je uvolňován dopamin neuronami v mozku.

Neurověda a počítačová věda mají dlouhou historii spolu. Již v roce 1951 Marvin Minsky použil systém odměn a trestů k vytvoření počítačového programu, který byl schopen vyřešit bludiště. Minsky byl inspirován prací Ivana Pavlova, fyziologa, který prokázal, že psi se mohou učit prostřednictvím série odměn a trestů. Nová práce DeepMindu přidává k této historii aplikací typu učení s posilováním za účelem získání poznatků o tom, jak mohou fungovat dopaminové neurony.

Každý člověk nebo zvíře, které se chystá vykonat akci, vytváří kolekce neuronů v mozku zodpovědných za uvolňování dopaminu předpověď, jak odměňující bude tato akce. Jakmile je akce vykonána a následky (odměny) jsou zřejmé, mozek uvolňuje dopamin. Nicméně, toto uvolňování dopaminu je měřítkem chyby v předpovědi. Pokud je odměna větší/lepší, než se očekávalo, je spuštěn silnější příliv dopaminu. Naopak, horší odměna vede k menšímu uvolňování dopaminu. Dopamin slouží jako korekční funkce, která umožňuje neuronům upravit své předpovědi, až se shodují se skutečnými odměnami, které jsou získány. To je velmi podobné tomu, jak fungují algoritmy učení s posilováním.

V roce 2017 výzkumníci z DeepMindu vydali vylepšenou verzi běžně používaného algoritmu učení s posilováním a tato lepší metoda učení byla schopna zlepšit výkon mnoha úkolů učení s posilováním. Tým DeepMindu se domníval, že mechanismy, které stojí za novým algoritmem, by mohly být použity k lepšímu vysvětlení, jak fungují dopaminové neurony v lidském mozku.

Na rozdíl od starších algoritmů učení s posilováním, nový algoritmus DeepMindu reprezentuje odměny jako distribuci. Starší přístupy k učení s posilováním reprezentovaly odhadované odměny jako jediné číslo, které představovalo průměrný očekávaný výsledek. Tato změna umožnila modelu lépe reprezentovat možné odměny a dosáhnout lepšího výkonu. Díky lepšímu výkonu nové metody učení se výzkumníci z DeepMindu rozhodli prozkoumat, zda dopaminové neurony v lidském mozku fungují podobným způsobem.

Za účelem prozkoumání fungování dopaminových neuronů spolupracoval DeepMind s Harvardem na výzkumu aktivity dopaminových neuronů u myší. Výzkumníci nechali myši vykonávat různé úkoly a odměňovali je na základě vrhu kostek, zaznamenali, jak jejich dopaminové neurony fungovaly. Různé neurony se zdály předpovídat různé potenciální výsledky a uvolňovaly různé množství dopaminu. Některé neurony předpovídaly nižší než skutečnou odměnu, zatímco některé předpovídaly odměny vyšší než skutečnou odměnu. Po grafickém znázornění distribuce předpovědí odměn výzkumníci zjistili, že distribuce předpovědí byla poměrně blízká skutečné distribuci odměn. To naznačuje, že mozek skutečně používá distribuční systém při vytváření předpovědí a úpravě předpovědí, aby lépe odpovídaly realitě.

Studie může informovat obě neurovědu i počítačovou vědu. Studie podporuje použití distribučního učení s posilováním jako metody pro vytváření pokročilejších modelů AI. Kromě toho může mít důsledky pro naše teorie o tom, jak mozek funguje v souvislosti s odměňovacími systémy. Pokud jsou dopaminové neurony distribuovány a některé z nich jsou více pesimistické nebo optimistické než jiné, pochopení těchto distribucí by mohlo změnit, jak přistupujeme k aspektům psychologie, jako je duševní zdraví a motivace.

Podle MIT Technology Review, Matt Botvinik, ředitel neurovědeckého výzkumu v DeepMindu, vysvětlil důležitost zjištění na tiskové konferenci. Botvinik řekl:

„Pokud mozek používá tuto techniku, je to pravděpodobně dobrý nápad. Říká nám, že se jedná o výpočetní techniku, která může fungovat ve skutečných situacích. Bude se dobře hodit k ostatním výpočetním procesům. Poskytuje nám nový pohled na to, co se děje v našich mozcích během každodenního života”