Tutkijat kehittivät joukon kysymyksiä, jotka voivat sekoittaa parhaat tietokoneet

Marylandin yliopiston tutkijat pystyivät luomaan joukon kysymyksiä, jotka ovat helppoja ihmisille vastata, mutta vaikeita joillekin parhaille tietokoneille, jotka nykyään ovat olemassa. Tutkijaryhmä loi kysymykset ihmisen ja tietokoneen yhteistyönä, ja he pystyivät luomaan yli 1 200 sanan tietokannan. Jos tietokonejärjestelmä pystyy oppimaan ja hallitsemaan nämä kysymykset, se tulee olemaan parhaiten ymmärrettävä tietokonejärjestelmä, joka tällä hetkellä on olemassa.

Tutkimus julkaistiin artikkelissa tietokoneiden kielitieteellisessä aikakauslehdessä Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, Marylandin yliopiston tietojenkäsittelytieteen apulaisprofessori ja tutkimuksen pääkirjoittaja, puhui uusista kehityksistä.

“Useimmat kysymyksiä vastaavat tietokonejärjestelmät eivät selitä, miksi ne vastaavat tietyllä tavalla, mutta meidän työmme auttaa meitä ymmärtämään, mitä tietokoneet todella ymmärtävät”, hän sanoi. “Lisäksi olemme tuottaneet tietokannoista, jotka paljastavat, onko tietokonekieli järjestelmä todella lukemassa ja tekemässä samaa laatua prosessointia kuin ihmiset pystyvät tekemään.”

Tällä hetkellä kysymykset näille ohjelmille ja järjestelmille luodaan joko ihmisten tai tietokoneiden toimesta. Ongelma on, että kun ihmiset luovat kysymyksiä, he eivät ole tietoisia kaikista kysymyksen eri osista, jotka voivat olla sekoittavia tietokoneille. Tietokonejärjestelmät puolestaan käyttävät kaavoja, kirjoittavat täytä-tyhjiä-kysymyksiä tai tekevät virheitä, jotka voivat tuottaa järjettömiä vastauksia.

Saadakseen yhteistyön aikaan ihmisten ja tietokoneiden välillä, Boyd-Garber ja tutkijaryhmä loivat erityisen tietokoneliittymän. Heidän mukaansa se pystyy kertomaan, mitä tietokone “ajattelee”, kun ihminen kirjoittaa kysymyksen. Kirjoittaja pystyy sitten muokkaamaan ja muuttamaan kysymystä tietokoneen heikkouksien mukaan. Tämä pystyy aiheuttamaan sekaannusta tietokoneelle.

Kun kirjoittaja kirjoittaa kysymyksen, tietokoneen arvaukset asetetaan järjestykseen. Sanoina, jotka ovat vastuussa tietokoneen arvauksista, korostetaan.

Järjestelmä pystyy vastaamaan kysymykseen oikein, ja liittymä korostaa sanoja tai lauseita, jotka johtivat vastaukseen. Tällä tiedolla kirjoittaja pystyy muokkaamaan kysymystä siten, että se on vaikeampi tietokoneelle, mutta kysymyksen merkitys on edelleen sama. Vaikka tietokone lopulta sekaantuu, asiantuntija-ihmiset pystyvät edelleen vastaamaan.

Kun ihmiset ja tietokoneet työskentelivät yhdessä, he pystyivät kehittämään 1 213 tietokonekysymystä, joita tietokone ei pystynyt vastaamaan. Tutkijat testasivat kysymyksiä kilpailussa, jossa olivat mukana sekä ihmiset että tietokoneet. Ihmisryhmiin kuului lukiolaisia ja “Jeopardy!”-mestareita. Heikoimman ihmisten ryhmä pystyi voittamaan vahvimman tietokonejärjestelmän.

Shi Feng, Marylandin yliopiston tietojenkäsittelytieteen jatko-opiskelija ja tutkimuksen yhteiskirjoittaja, puhui uudesta tutkimuksesta.

“Kolme tai neljä vuotta sitten ihmiset tunsivat, että tietokoneiden kysymys-vastausjärjestelmät ovat hyvin hauraita ja voidaan helposti hämätä”, hän sanoi. “Mutta tämä on ensimmäinen tutkimus, josta olemme tietoisia, joka käyttää konetta avuksi ihmisten murtamiseen itse malliin.”

Käytetyt kysymykset paljastivat kuusi eri kielen ilmiötä, jotka sekoittavat tietokoneita. Niitä on kaksi eri luokkaa. Ensimmäinen on kielellisiä ilmiöitä, joihin kuuluvat uudelleen sanominen, häiritsevä kieli ja odottamattomat kontekstit. Toinen on päättelytaitoja, joihin kuuluvat logiikka ja laskenta, mielialueen kolmiointi kysymyksen osissa ja useiden askelten yhdistäminen johtopäätöksen muodostamiseksi.

“Ihmiset pystyvät yleistämään enemmän ja näkemään syvempiä yhteyksiä”, Boyd-Garber sanoi. “He eivät ole tietokoneiden kaltaisia rajattomia muisteja, mutta heillä on edelleen etulyöntiasema siinä, että he pystyvät näkemään metsän puista. Tietokoneiden ongelmien katalogisointi auttaa meitä ymmärtämään ongelmia, joita meidän on ratkaistava, jotta voimme saada tietokoneet näkemään metsän puista ja vastaamaan kysymyksiin samalla tavalla kuin ihmiset.”

Tämä tutkimus luo perustan tietokonejärjestelmien lopullista hallitsemista ihmisten kieltä varten. Se kehittyy varmasti jatkuvasti ja paranee.

“Tämä tutkimus asettaa tutkimusohjelman seuraavaksi useaksi vuodeksi, jotta voimme saada tietokoneet vastaamaan kysymyksiin hyvin”, Boyd-Garber sanoi.