Kamppailu Estää AI:ta Vilppiä Kokeissa

Uudet tutkimustulokset kiinalaisesta yliopistosta tarjoavat näkymän siihen, miksi generatiiviset luonnollisen kielen prosessointimallit, kuten GPT-3, taipuvat ‘vilppiin’, kun niiltä kysytään vaikeaa kysymystä, tuottaen vastauksia, jotka saattavat olla teknisesti oikein, mutta ilman todellista ymmärrystä siitä, miksi vastaus on oikein; ja miksi ne osoittavat vähän tai ei lainkaan kykyä selittää loogista perustaa ‘helppien’ vastaustensa takana. Tutkijat ehdottavat myös uusia menetelmiä, joilla järjestelmät voivat ‘opiskella kovemmin’ koulutusvaiheessa.

Ongelma on kaksiosainen: ensinnäkin, suunnittelemme järjestelmiä, jotka pyrkivät saavuttamaan tulokset nopeasti ja optimaalisesti resursseja käyttäen. Vaikka GPT-3:n resurssit ovatkin huomattavasti suuremmat kuin keskivertaisen NLP-tutkimushankkeen, tämä tuloksellisuuteen perustuva optimointikulttuuri hallitsee edelleen metodologiaa, koska se on vakiintunut akateemiseksi konventioksi.

Seurauksena on, että koulutusarkkitehtuurimme palkitsevat malleja, jotka supenevat nopeasti ja tuottavat näennäisesti soveltuvia vastauksia kysymyksiin, vaikka NLP-malli ei myöhemmin kykene perustelemaan vastaustaan tai osoittamaan, miten se saavutti johtopäätöksensä.

Vilppiin Taipuvainen Luonne Varhain

Tämä johtuu siitä, että malli oppii ‘pikavastaukset’ paljon aikaisemmin koulutuksessa kuin se oppii monimutkaisempia tietojen hankintatapoja. Koska lisääntynyt tarkkuus usein palkitaan hyvin epämääräisesti koulutuksen aikana, malli priorisoi kaikki lähestymistavat, jotka sallivat sen vastata kysymyksiin ‘sujuvasti’ ja ilman todellista oivallusta.

Koska pikavastauksen oppiminen edustaa ensimmäisiä menestyksiä koulutuksessa, istunto luonnollisesti kääntyy pois vaikeamman tehtävän, joka on saavuttaa hyödyllinen ja täydellisempi tietoteoreettinen näkökulma, joka voi sisältää syvempiä ja oivaltavampia kerroksia attribuutioista ja logiikasta.

Helppien Vastauksien Syöttäminen AI:lle

Toinen ongelma on, että vaikka viimeaikaiset tutkimushankkeet ovat tutkineet AI:n taipumusta ‘vilppiin’ tällä tavoin ja ovat tunnistaneet ‘pikavastauksen’ ilmiön, ei ole toistaiseksi tehty pyrkimyksiä luokitella ‘pikavastauksen’ mahdollistavaa materiaalia avustavassa tietojoukossa, mikä olisi looginen ensimmäinen askel kohti machine reading comprehension (MRC) -järjestelmien mahdollista perusrakenteellista virhettä.

Uusi tutkimus, joka on yhteistyö Wangxuan Institute of Computer Technologyn ja MOE Key Laboratory of Computational Linguisticsin välillä Pekingin yliopistossa, testaa eri kielimalleja uudella merkitetyllä tietojoukolla, joka sisältää luokittelut ‘helppien’ ja ‘vaikeiden’ ratkaisujen mahdollisiin kysymyksiin.

Source: https://arxiv.org/pdf/2106.01024.pdf

Tietojoukko käyttää uudelleen sanomista kriteerinä monimutkaisempien ja syvempien vastausten luomiseen, koska semanttinen ymmärrys on välttämätöntä uudelleen muotoiltavien tietojen uudelleen muodostamiseksi. Toisaalta ‘pikavastaukset’ voivat käyttää symboleja, kuten päivämääriä ja muita sisältäviä avainsanoja, tuottaakseen vastauksen, joka on tosiasiallisesti oikein, mutta ilman mitään kontekstia tai päättelyä.

Pikavastauksen osa annotaatioista sisältää kysymyssanan vastaamisen (QWM) ja yksinkertaisen vastaamisen (SpM). QWM:ssä malli käyttää yksiköitä, jotka on poimittu toimitetusta tekstidatasta ja hylkää kontekstin; SpM:ssä malli tunnistaa yhteensopivuuden vastauslauseiden ja kysymysten välillä, jotka molemmat ovat toimitettu koulutusdatassa.

Pikavastauksen Data Lähes ‘Viraalinen’ Vaikutuksessa Tietojoukossa

Tutkijat väittävät, että tietojoukot sisältävät suuren osan pikavastauksia, jotka saavat koulutetut mallit riippuvaiseksi pikavastauksista.

Kokeissa käytettiin kahta mallia: BiDAF ja Google’n BERT-base. Tutkijat huomaavat, että vaikka mallit on koulutettu tietojoukon muunnelmilla, jossa on suurempi osuus ‘vaikeita’ kysymyksiä, molemmat mallit suorittavat edelleen paremmin pikavastauksissa kuin vaikeammissa uudelleen sanotuissa kysymyksissä, vaikka tietojoukoissa on vain vähän esimerkkejä.

Tämä esittää ‘pikavastauksen’ lähes viruksena – siinä, että vain vähän sitä tarvitaan olla läsnä tietojoukossa, jotta se otettaisiin käyttöön ja priorisoitaisiin koulutuksessa, perinteisten NLP-käytännön mukaan.

Vilppi Todistettu

Yksi tutkimuksen menetelmä, jolla todistetaan pikavastauksen hauraus, on korvata ‘helppo’ entiteettisana poikkeuksellisella sanalla. Jos pikavastausmenetelmää on käytetty, ‘vilpin’ vastauksen logiikkaa ei voida tarjota; mutta jos vastaus on annettu syvemmän kontekstin ja semanttisen arvioinnin kautta laajemmasta tekstijoukosta, on mahdollista järjestelmän purkaa virhe ja rakentaa oikea vastaus uudelleen.

Korvaaminen ‘Beyoncé’ (ihmisen) ‘America’ (sijainti), paljastaa, onko mallilla taustalogiikkaa vastaukselleen.

Pikavastaukset Taloudellisen Imperatiivin Vuoksi

Jotkut arkkitehtuuriset syyt, miksi pikavastaukset ovat niin priorisoituja NLP-koulutusvirroissa, ovat seuraavat: ‘MRC-mallit voivat oppia pikavastaus-tempuista, kuten QWM, vähemmällä laskentaresursseilla kuin ymmärrys haasteista, kuten paraphrasoimisen tunnistamisesta’.

Tämä voi olla tahaton seuraus standardien optimointi- ja resurssien säästöfilosofioista lähestymistavoissa machine reading comprehensioniin, ja paine saada tulokset rajoitetuilla resursseilla ahtaissa aikatauluissa.

Tutkijat myös toteavat:

‘[Koska] pikavastaus-tempu voidaan käyttää useimpien koulutuskysymysten vastaamiseen oikein, rajoitetut ratkaisemattomat kysymykset eivät välttämättä motivoi malleja tutkimaan monimutkaisia ratkaisuja, jotka vaativat haastavia taitoja.’

Jos tutkimuksen tulokset vahvistuvat myöhemmin, näyttäisi siltä, että laaja ja jatkuvasti kasvava data-esikäsittelyn ala voi joutua tutkimaan ‘piilotettuja apuja’ datassa ongelmana, joka on ratkaistava pitkällä aikavälillä, tai muuttaa NLP-arkkitehtuureja priorisoimaan haastavampia reittejä data-ingestiolle.