TextFooler-algoritmi huijaa NLP-AI:ia

Vaikka luonnollisen kielen prosessointialgoritmit ja -järjestelmät ovat kehittyneet vaikuttavasti viime vuosina, ne ovat edelleen haavoittuvaisia tietynlaiselle hyökkäysmenetelmälle, jota kutsutaan “vastakkaiseksi esimerkiksi”. Vastakkaiset esimerkit ovat huolellisesti suunniteltuja lauseita, jotka voivat aiheuttaa NLP-järjestelmän käyttäytymisen odottamattomalla ja toivottamattomalla tavalla. AI-ohjelmia voidaan saada käyttäytymään väärin näiden outojen esimerkkien avulla, ja tämän seurauksena AI-tutkijat yrittävät suunnitella keinoja, joilla voidaan suojella vastakkaisia esimerkkejä vastaan.

Viime aikoina tutkijaryhmä Hong Kongin yliopistosta ja Singaporen tieteellisestä tutkimuslaitoksesta teki yhteistyötä luodakseen algoritmin, joka osoittaa vastakkaisia esimerkkejä. Wiredin mukaan algoritmi sai nimen TextFooler tutkijaryhmältä, ja se toimii muuttamalla hienoisesti lauseen osia, mikä vaikuttaa siihen, miten NLP-luokittelija tulkitsi lauseen. Esimerkiksi algoritmi muutti yhden lauseen toiseksi samankaltaiseksi lauseksi, ja lause syötettiin luokittelijaan, joka oli suunniteltu määrittämään, onko arvostelu negatiivinen vai positiivinen. Alkuperäinen lause oli:

“Hahmot, jotka on asetettu mahdottomiin keinotekoisiiin tilanteisiin, ovat täysin irti todellisuudesta.”