Forskere utvikler sett med spørsmål som kan forvirre datamaskiner

Forskere fra University of Maryland har kunnet lage et sett med spørsmål som er lett for mennesker å svare på, men vanskelig for noen av de beste datamaskinsystemene som finnes i dag. Teamet genererte spørsmålene gjennom et samarbeid mellom mennesker og datamaskiner, og de var i stand til å lage en database med over 1 200 ord. Hvis et datamaskinsystem kan lære og mestre disse spørsmålene, vil det ha den beste forståelsen av menneskespråk blant alle datamaskinsystemer som finnes i dag.

Arbeidet ble publisert i en artikkel i tidsskriftet Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, en associate professor i datavitenskap ved UMD og seniorforfatter av artikkelen, snakket om de nye utviklingene.

“De fleste spørsmål-svar-systemer for datamaskiner forklarer ikke hvorfor de svarer på en bestemt måte, men vårt arbeid hjelper oss å se hva datamaskinene faktisk forstår,” sa han. “I tillegg har vi produsert en datasett for å teste på datamaskiner som vil avsløre om et datamaskinspråkssystem faktisk leser og gjør de samme typene prosessering som mennesker er i stand til å gjøre.”

For tiden genereres spørsmål for disse programmene og systemene av menneskelige forfattere eller datamaskiner. Problemet er at når mennesker er de som genererer spørsmål, er de ikke klar over alle de forskjellige elementene i et spørsmål som er forvirrende for datamaskiner. Datamaskinsystemer på den andre siden, bruker formularer, skriver inn-fyll-i-blank-spørsmål eller gjør feil som kan generere nonsens.

For å få samarbeid mellom mennesker og datamaskiner som tillot dem å generere spørsmålene, skapte Boyd-Garber og teamet av forskere et spesielt datamaskin-grensesnitt. Ifølge dem er det i stand til å si hva en datamaskin “tenker” mens en menneske skriver ut et spørsmål. Forfatteren er deretter i stand til å redigere og endre spørsmålet basert på datamaskinens svakheter. Dette er i stand til å generere forvirring for datamaskinen.

Mens forfatteren skriver spørsmålet, blir datamaskinens gjettinger plassert i en rangert rekkefølge. Ordene som er ansvarlige for datamaskinens gjettinger blir highlightet.

Systemet kan korrekt svare på et spørsmål og grensesnittet vil highlighte ord eller fraser som ledet til svaret. Med den informasjonen er forfatteren deretter i stand til å redigere spørsmålet for å gjøre det mer vanskelig for datamaskinen, men spørsmålet vil fortsatt ha samme mening. Mens datamaskinen til slutt vil bli forvirret, vil eksperthumanser fortsatt være i stand til å svare.

Når mennesker og datamaskiner samarbeidet, var de i stand til å utvikle 1 213 datamaskin-spørsmål som datamaskinen ikke var i stand til å svare på. Forskerne testet spørsmålene i en konkurranse mellom menneskelige spillere og datamaskiner. Menneskelige spillere inkluderte high school-trivia-lag og “Jeopardy!”-mestere. Det svakeste menneskelige laget var i stand til å beseire det sterkeste datamaskinsystemet.

Shi Feng, en datavitenskaps-student fra UMD og medforfatter av artikkelen, snakket om den nye forskningen.

“For tre eller fire år siden, var folk klar over at datamaskin-spørsmålssystemer er meget skjøre og kan bli lurt meget lett,” sa hun. “Men dette er den første artikkelen vi er klar over som faktisk bruker en maskin til å hjelpe mennesker å bryte modellen selv.”

Spørsmålene som ble brukt, var i stand til å avsløre seks forskjellige språkfenomener som forvirrer datamaskiner. Det er to forskjellige kategorier. Den første er språkfenomener som inkluderer omformulering, distraktions-språk og uventede kontekster. Den andre er resonemingsferdigheter og inkluderer logikk og beregning, mentalt triangulering av elementer i et spørsmål og å sette sammen flere steg for å danne en konklusjon.

“Mennesker er i stand til å generalisere mer og å se dypere sammenhenger,” sa Boyd-Garber. “De har ikke den ubegrensede minnet som datamaskiner har, men de har likevel en fordel i å kunne se skogen for trærne. Katalogisering av problemene datamaskiner har, hjelper oss å forstå problemene vi må adresse, så vi kan faktisk få datamaskiner til å begynne å se skogen gjennom trærne og svare på spørsmål på samme måte som mennesker gjør.”

Dette forskningsarbeidet legger grunnlaget for datamaskinsystemer til å til slutt mestre det menneskelige språket. Det vil uten tvil bli videreutviklet og forbedret.

“Denne artikkelen legger ut en forskningsagenda for de neste flere årene, så vi kan faktisk få datamaskiner til å svare på spørsmål godt,” sa Boyd-Garber.