Computer gebruikt menselijke hersensignalen om visuele perceptie te modelleren

In een baanbrekend onderzoek hebben onderzoekers van de Universiteit van Helsinki een nieuwe techniek ontwikkeld waarbij een computer menselijke hersensignalen monitort om visuele perceptie te modelleren. Met andere woorden, de computer probeert te reconstrueren wat een mens denkt in zijn hoofd. Deze nieuwe techniek resulteert in de mogelijkheid van de computer om volledig nieuwe informatie en fictieve beelden te produceren die nooit eerder zijn verschenen.

De nieuwe studie werd in september gepubliceerd in het Scientific Reports tijdschrift, dat een open-access online tijdschrift is dat meerdere disciplines bestrijkt.

De onderzoekers baseerden de techniek op een novum in de hersen-computerinterface, die traditioneel alleen in staat is tot eenrichtingscommunicatie van de hersenen naar de computer. Dit resulteert bijvoorbeeld in het spellen van letters of het verplaatsen van een cursor.

Het onderzoek was het eerste dat zowel de presentatie van de informatie door de computer als de modellering van hersensignalen tegelijkertijd aantoonde met behulp van kunstmatige intelligentie (AI)-methoden. De interactie tussen menselijke hersenreacties en een generatief neuronaal netwerk produceerde beelden die de visuele kenmerken van de dingen weergaven waar de deelnemers op focusten.

Neuroadaptieve generatieve modellering

De methode wordt neuroadaptieve generatieve modellering genoemd, en de effectiviteit ervan werd getest met 31 deelnemers. Deze deelnemers werden honderden AI-gegenereerde beelden van een diverse reeks mensen getoond, en hun EEG werd opgenomen terwijl ze naar de beelden keken.

De deelnemers werden gevraagd om te focussen op bepaalde kenmerken in de beelden, zoals onderscheidende gezichten en uitdrukkingen. Vervolgens werden ze snel een reeks gezichtsbeelden getoond terwijl hun EEG’s werden doorgegeven aan een neuronaal netwerk. Dit neuronaal netwerk maakte vervolgens een schatting of een beeld werd gedetecteerd door de hersenen als overeenkomend met wat de deelnemers focusten.

Met behulp van deze gegevens kon het neuronaal netwerk een schatting maken van het type gezichten dat mensen dachten, en de computergegenereerde beelden werden beoordeeld door de deelnemers. De resultaten toonden aan dat de beelden bijna perfect overeenkwamen met wat ze focusten, en de nauwkeurigheid van het experiment was 83%.

Tuukka Ruotsalo is een onderzoeker van de Academie van Finland en een associate professor aan de Universiteit van Helsinki, Finland, evenals aan de Universiteit van Kopenhagen, Denemarken.

“De techniek combineert natuurlijke menselijke reacties met de mogelijkheid van de computer om nieuwe informatie te creëren. In het experiment werden de deelnemers alleen gevraagd om naar de computergegenereerde beelden te kijken. De computer modelleerde vervolgens de beelden en de menselijke reactie op de beelden door gebruik te maken van menselijke hersenreacties. Vanuit deze informatie kan de computer een geheel nieuw beeld creëren dat overeenkomt met de intentie van de gebruiker,” zegt Ruotsalo.

Andere potentiële voordelen

Naast het genereren van beelden van het menselijk gezicht, toonde deze nieuwe studie aan hoe computers menselijke creativiteit kunnen versterken.

“Als je iets wilt tekenen of illustreren, maar het niet kunt, kan de computer je helpen om je doel te bereiken. Het kan alleen maar de focus van aandacht observeren en voorspellen wat je wilt creëren,” zegt Ruotsalo. De onderzoekers geloven echter dat de techniek kan worden gebruikt om inzicht te krijgen in perceptie en de onderliggende processen in ons brein.

“De techniek herkent geen gedachten, maar reageert op de associaties die we hebben met mentale categorieën. Dus, terwijl we niet kunnen achterhalen wie een specifieke ‘oude persoon’ is die een deelnemer dacht, kunnen we wel inzicht krijgen in wat ze associëren met ouderdom. We geloven daarom dat het een nieuwe manier kan zijn om inzicht te krijgen in sociale, cognitieve en emotionele processen,” zegt senior onderzoeker Michiel Spapé.

Spapé gelooft ook dat deze resultaten kunnen worden gebruikt in de psychologie.

“Iemands idee van een oude persoon kan heel anders zijn dan die van iemand anders. We onderzoeken momenteel of onze techniek onbewuste associaties kan blootleggen, bijvoorbeeld door te kijken of de computer oude mensen altijd weergeeft als, zeg, glimlachende mannen.”