Forskare Utvecklar Uppsättning Frågor Som Kan Förvirra De Bästa Datorerna

Forskare från University of Maryland har kunnat skapa en uppsättning frågor som är lätta för människor att svara på men svåra för några av de bästa datorbaserade svarssystem som finns idag. Teamet genererade frågorna genom en människa-dator-samarbete, och de kunde skapa en databas med över 1 200 ord. Om ett datorsystem kan lära sig och bemästra dessa frågor, kommer det att ha den bästa förståelsen av mänskligt språk bland alla datorsystem som för närvarande existerar.

Arbetet publicerades i en artikel i tidskriften Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, en biträdande professor i datavetenskap vid UMD och senior författare till artikeln, talade om de nya utvecklingarna.

“De flesta frågesvarssystem för datorer förklarar inte varför de svarar som de gör, men vårt arbete hjälper oss att se vad datorer faktiskt förstår”, sa han. “Dessutom har vi producerat en datamängd för att testa på datorer som kommer att avslöja om ett datorspråkssystem faktiskt läser och utför samma sorters bearbetning som människor kan göra.”

För närvarande genereras frågor för dessa program och system av mänskliga författare eller datorer. Problemet är att när människor är de som genererar frågor, är de inte medvetna om alla olika element i en fråga som är förvirrande för datorer. Datorsystem, å andra sidan, använder formler, skriver i blanka frågor eller gör misstag, allt detta kan generera nonsens.

För att få samarbete mellan människor och datorer som tillät dem att generera frågorna, skapade Boyd-Garber och forskarteamet ett särskilt datorgränssnitt. Enligt dem kan det säga vad en dator “tänker” medan en människa skriver ut en fråga. Författaren kan sedan redigera och ändra frågan baserat på datorns svagheter. Detta kan generera förvirring för datorn.

Medan författaren skriver frågan, placeras datorns gissningar i en rangordning. De ord som är ansvariga för datorns gissningar markeras.

Systemet kan svara korrekt på en fråga och gränssnittet kommer att markera de ord eller fraser som ledde till svaret. Med den informationen kan författaren sedan redigera frågan för att göra den svårare för datorn, men frågan kommer fortfarande att ha samma betydelse. Medan datorn så småningom kommer att bli förvirrad, kommer experterna fortfarande att kunna svara.

När människor och datorer samarbetade, kunde de utveckla 1 213 datorfrågor som datorn inte kunde svara på. Forskarna testade frågorna i en tävling mellan mänskliga spelare och datorer. De mänskliga spelarna inkluderade högskoletriviaslag och “Jeopardy!”-mästare. Det svagaste mänskliga laget kunde besegra det starkaste datorsystemet.

Shi Feng, en datavetenskapsstudent från UMD och medförfattare till artikeln, talade om den nya forskningen.

“Under tre eller fyra år har människor varit medvetna om att datorbaserade frågesvarssystem är mycket sköra och kan luras mycket lätt”, sa hon. “Men detta är den första artikeln vi känner till som faktiskt använder en maskin för att hjälpa människor att bryta modellen själv.”

Frågorna som användes kunde avslöja sex olika språkfenomen som förvirrar datorer. Det finns två olika kategorier. Den första är språkfenomen som inkluderar omskrivning, distraherande språk och oväntade sammanhang. Den andra är resonemangsförmåga och inkluderar logik och beräkning, mental triangelering av element i en fråga och att kombinera flera steg för att bilda en slutsats.

“Människor kan generalisera mer och se djupare samband”, sa Boyd-Garber. “De har inte datorernas obegränsade minne, men de har fortfarande en fördel i att kunna se skogen för träden. Att katalogisera de problem datorer har hjälper oss att förstå de problem vi behöver åtgärda, så att vi kan faktiskt få datorer att börja se skogen genom träden och svara på frågor på det sätt människor gör.”

Denna forskning lägger grunden för att datorsystem så småningom ska bemästra det mänskliga språket. Det kommer utan tvekan att fortsätta att utvecklas och förbättras.

“Denna artikel lägger ut en forskningsagenda för de närmaste åren så att vi kan faktiskt få datorer att svara på frågor bra”, sa Boyd-Garber.