Onderzoekers ontwikkelen set vragen die de beste computers in de war brengen

Onderzoekers van de University of Maryland zijn erin geslaagd om een set vragen te creëren die gemakkelijk door mensen te beantwoorden zijn, maar moeilijk voor enkele van de beste computersystemen die vandaag bestaan. Het team genereerde de vragen via een mens-computer-samenwerking en ze waren in staat om een database van meer dan 1.200 woorden te creëren. Als een computersysteem in staat is om deze vragen te leren en te begrijpen, zal het de beste kennis van de menselijke taal hebben onder alle computersystemen die momenteel bestaan.

Het onderzoek werd gepubliceerd in een artikel in het tijdschrift Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, een associate professor in de informatica aan de UMD en senior auteur van het artikel, sprak over de nieuwe ontwikkelingen.

“De meeste vraagbeantwoordende computersystemen leggen niet uit waarom ze op een bepaalde manier antwoorden, maar ons onderzoek helpt ons te zien wat computers eigenlijk begrijpen”, zei hij. “Bovendien hebben we een dataset gegenereerd om op computers te testen die zal onthullen of een computertaalsysteem daadwerkelijk leest en hetzelfde soort verwerking doet als mensen kunnen doen.”

Op dit moment worden vragen voor deze programma’s en systemen gegenereerd door menselijke auteurs of computers. Het probleem is dat wanneer mensen de vragen genereren, ze niet op de hoogte zijn van alle verschillende elementen van een vraag die verwarrend zijn voor computers. Computersystemen daarentegen gebruiken formules, schrijven invul-vragen of maken fouten, wat allemaal nonsens kan genereren.

Om samenwerking tussen mensen en computers te krijgen die hen in staat stelde om de vragen te genereren, creëerden Boyd-Garber en het team van onderzoekers een speciale computerinterface. Volgens hen kan het aangeven wat een computer “denkt” terwijl een mens een vraag intypt. De schrijver kan dan de vraag bewerken en veranderen op basis van de zwakheden van de computer. Dit kan verwarring bij de computer genereren.

Terwijl de schrijver de vraag intypt, worden de gokjes van de computer in een gerangschikte volgorde geplaatst. De woorden die verantwoordelijk zijn voor de gokjes van de computer worden gemarkeerd.

Het systeem kan een vraag correct beantwoorden en de interface zal de woorden of zinnen markeren die tot het antwoord leidden. Met die informatie kan de auteur de vraag bewerken om deze moeilijker te maken voor de computer, maar de vraag zal nog steeds dezelfde betekenis hebben. Terwijl de computer uiteindelijk in de war raakt, kunnen expert-mensen de vraag nog steeds beantwoorden.

Toen mensen en computers samenwerkten, waren ze in staat om 1.213 computer-vragen te ontwikkelen die de computer niet kon beantwoorden. De onderzoekers testten de vragen in een wedstrijd tussen menselijke spelers en computers. De menselijke spelers omvatten high school-trivia-teams en “Jeopardy!”-kampioenen. Het zwakste menselijke team kon het sterkste computersysteem verslaan.

Shi Feng, een graduate student in de informatica van de UMD en co-auteur van het artikel, sprak over het nieuwe onderzoek.

“Voor drie of vier jaar zijn mensen zich ervan bewust dat computer-vraagbeantwoordende systemen zeer broos zijn en gemakkelijk te misleiden”, zei ze. “Maar dit is het eerste artikel waarvan we ons bewust zijn dat daadwerkelijk een machine gebruikt om mensen te helpen het model zelf te breken.”

De gebruikte vragen waren in staat om zes verschillende taalverschijnselen te onthullen die computers in de war brengen. Er zijn twee verschillende categorieën. De eerste is taalverschijnselen die parafraseren, afleidende taal en onverwachte contexten omvatten. De tweede is redeneervaardigheden en omvat logica en berekening, mentale triangulatie van elementen in een vraag en het combineren van meerdere stappen om een conclusie te vormen.

“Mensen kunnen meer generaliseren en diepere verbindingen zien”, zei Boyd-Garber. “Ze hebben niet het onbeperkte geheugen van computers, maar ze hebben nog steeds een voordeel in het zien van het bos door de bomen. Het catalogiseren van de problemen waar computers mee kampen, helpt ons de kwesties te begrijpen die we moeten aanpakken, zodat we computers kunnen laten beginnen om het bos door de bomen te zien en vragen te beantwoorden op de manier waarop mensen dat doen.”

Dit onderzoek legt de basis voor computersystemen om uiteindelijk de menselijke taal te beheersen. Het zal ongetwijfeld blijven worden ontwikkeld en verbeterd.

“Dit artikel legt een onderzoeksagenda vast voor de komende jaren, zodat we computers kunnen laten beantwoorden op vragen”, zei Boyd-Garber.