Forskere udvikler sæt af spørgsmål, der kan forvirre de bedste computere

Forskere fra University of Maryland har kunnet oprette et sæt af spørgsmål, der er lette for mennesker at besvare, men svære for nogle af de bedste computersystemer, der findes i dag. Holdet genererede spørgsmålene gennem en menneske-computer-samarbejde, og de var i stand til at oprette en database med over 1.200 ord. Hvis et computersystem kan lære og mestre disse spørgsmål, vil det have den bedste forståelse af menneskesprog blandt alle computersystemer, der findes i dag.

Arbejdet blev offentliggjort i en artikel i tidsskriftet Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, en associeret professor i datalogi ved UMD og seniorforfatter af artiklen, talte om de nye udviklinger.

“De fleste spørgsmål-svar-computersystemer forklarer ikke, hvorfor de svarer, som de gør, men vores arbejde hjælper os med at se, hvad computere faktisk forstår,” sagde han. “Desuden har vi produceret en dataset til at teste på computere, der vil afsløre, om et computersprog-system faktisk læser og udfører de samme typer af behandling, som mennesker er i stand til at gøre.”

For tiden genereres spørgsmål for disse programmer og systemer af menneskelige forfattere eller computere. Problemet er, at når mennesker er dem, der genererer spørgsmål, er de ikke bekendt med alle de forskellige elementer i et spørgsmål, der er forvirrende for computere. Computersystemer på den anden side bruger formularer, skriver fill-in-the-blank-spørgsmål eller begår fejl, der alle kan generere nonsens.

For at få samarbejde mellem mennesker og computere, der tillod dem at generere spørgsmål, oprettede Boyd-Garber og holdet af forskere en særlig computerinterface. Ifølge dem kan den fortælle, hvad en computer “tænker”, mens en menneske skriver et spørgsmål. Forfatteren kan derefter redigere og ændre spørgsmålet baseret på computerens svagheder. Dette kan generere forvirring for computeren.

Mens forfatteren skriver spørgsmålet, rangeres computerens gæt i en rangordning. Ordene, der er ansvarlige for computerens gæt, fremhæves.

Systemet kan korrekt besvare et spørgsmål, og interfacen vil fremhæve de ord eller fraser, der førte til svaret. Med den information kan forfatteren derefter redigere spørgsmålet for at gøre det mere svært for computeren, men spørgsmålet vil stadig have samme betydning. Mens computeren til sidst vil blive forvirret, vil eksperter mennesker stadig være i stand til at besvare.

Når mennesker og computere arbejdede sammen, var de i stand til at udvikle 1.213 computer-spørgsmål, som computeren ikke kunne besvare. Forskerne testede spørgsmålene i en konkurrence mellem menneskelige spillere og computere. De menneskelige spillere inkluderede high school-trivias hold og “Jeopardy!”-mestre. Det svageste menneskelige hold kunne besejre det stærkeste computersystem.

Shi Feng, en datalogi-student fra UMD og medforfatter af artiklen, talte om den nye forskning.

“I tre eller fire år har folk været bekendt med, at computerspørgsmål-systemer er meget skrøbelige og kan let blive narret,” sagde hun. “Men dette er den første artikel, vi er bekendt med, der faktisk bruger en maskine til at hjælpe mennesker med at bryde modellen selv.”

Spørgsmålene, der blev brugt, kunne afsløre seks forskellige sprogfenomener, der forvirrer computere. Der er to forskellige kategorier. Den første er sprogfenomener, der inkluderer omskrivning, distraherende sprog og uventede sammenhænge. Den anden er tankefærdigheder og inkluderer logik og beregning, mental triangulering af elementer i et spørgsmål og sammenføjning af flere trin for at danne en konklusion.

“Mennesker er i stand til at generalisere mere og se dybere forbindelser,” sagde Boyd-Garber. “De har ikke den ubegrænsede hukommelse, som computere har, men de har stadig en fordel i at kunne se skoven for træerne. At katalogisere de problemer, computere har, hjælper os med at forstå de problemer, vi behøver at adressere, så vi kan faktisk få computere til at begynde at se skoven gennem træerne og besvare spørgsmål på den måde, mennesker gør.”

Denne forskning lægger grundlaget for, at computersystemer til sidst kan mestre det menneskelige sprog. Det vil uden tvivl blive ved med at udvikles og forbedres.

“Denne artikel lægger ud en forskningsdagsorden for de næste flere år, så vi kan faktisk få computere til at besvare spørgsmål godt,” sagde Boyd-Garber.