Amazon Alexan pää tutkija väittää, että Turingin testi on vanhentunut

Rohit Prasad, Amazonin Alexan varapresidentti ja pää tutkija, väitti äskettäin, että Turingin testi, jota on pitkään käytetty mittaamaan tekoälymallien monimutkaisuutta, tulisi lopettaa tekoälylle asetettuna mittarina.

Tietokone tutkija ja matemaatikko Alan Turing esitteli alun perin Turingin testin yli 70 vuotta sitten. Turingin testin tarkoituksena oli auttaa vastaamaan kysymykseen tekoälystä, ja määrittämään, voivatko koneet “ajatella” ihmisen tavoin. Vastatakseen tähän kysymykseen Turing väitti, että jos koneet voivat osoittaa keskustelukäyttäytymistä, joka on niin monimutkaista, ettei ihminen voi erottaa konen dialogia ja ihmisen dialogia, kone tulisi pitää “ajattelevana”.

Turingin testin rajoitukset

Prasad väitti, että Turingin testi on monissa suhteissa rajoitettu, ja että Turing itsekin huomautti joissakin näistä rajoituksista alkuperäisessä artikkelissaan. Koska tekoäly on yhä enemmän osa elämäämme, ihmiset välittävät vähemmän siitä, onko se erottuva ihmisestä, ja enemmän siitä, että heidän vuorovaikutuksensa tekoälyn kanssa on vaivatonta, Prasad väittää. Tästä syystä Turingin testi tulisi pitää vanhentuneena ja korvata uusilla mittareilla.

Prasad huomautti, että monet varhaiset chatbotit suunniteltiin siten, että ne pystyisivät läpäisemään Turingin testin, ja viime vuosina jotkut chatbotit ovat onnistuneesti onnistuneet huijaamaan yli kolmanneksen ihmistuomareista (joka on vaadittu Turingin testin läpäisemiseksi). Kuitenkin se, että kone pystyy menestyksekkäästi jäljittelemään ihmisen puhetapoja ei tarkoita, että kone voidaan pitää “älykkäänä”. Tekoälymallit voivat olla erittäin taitavia tietyllä alalla ja erittäin puutteellisia toisella alalla, ja niillä ei ole yleistä älykkyyttä. Vaikka niin olisi, Turingin testi on yhä yleisesti käytetty mittari chatboteille ja digitaalisille avustajille, ja Prasad huomautti, että liiketoimintajohtajat ja journalistit kysyvät jatkuvasti, milloin Alexa pystyy läpäisemään Turingin testin.

Prasadin mukaan yksi tärkeimmistä ongelmista Turingin testin käytössä tekoälyn arvioimiseksi on, että se lähes kokonaan jättää huomiotta koneiden kyvyn etsiä tietoa ja suorittaa nopeita laskelmia. Tekoälyohjelmat injektoivat keinotekoisia viiveitä vastauksiin monimutkaisiin matemaattisiin ja maantieteellisiin kysymyksiin huiatakseen ihmisiä, mutta niillä on vastaus nopeasti. Lisäksi Turingin testi ei ota huomioon tekoälyn kasvavaa kykyä käyttää ulkoisia antureiden keräämää tietoa, ja se jättää huomiotta, miten tekoälyt voivat vuorovaikuttaa ympäristönsä kanssa näkö- ja liikelausuntojen kautta, ja se luottaa ainoastaan tekstiviestintään.

Uusien mittareiden luominen

Prasad väitti, että uusia tapoja mitata älykkyyttä tulisi kehittää, menetelmiä, jotka soveltuvat paremmin yleisen älykkyyden arvioimiseen. Nämä testit tulisi heijastaa, miten tekoälyä käytetään nyky-yhteiskunnassa ja mitkä ovat ihmisten tavoitteet sen käytölle. Testien tulisi pystyä arvioimaan, miten hyvin tekoäly täydentää ihmisen älykkyyttä ja miten se parantaa ihmisten arkea. Lisäksi testin tulisi ymmärtää, miten tekoäly osoittaa ihmismäisiä älykkyyden piirteitä, kuten kielitaituruutta, itsevalvontaa ja “järkeä”.

Nykyiset ja tärkeät tekoälytutkimuksen alat, kuten päättely, reiluus, keskustelu ja aistinvaraisten tietojen ymmärtäminen, eivät ole arvioituja Turingin testissä, mutta niitä voidaan mitata monin eri tavooin. Prasad selitti, että yksi tapa mitata näitä älykkyyden piirteitä on jakaa haasteet osatehtäviin. Toinen tapa arvioida on luoda suuri, maailmanlaajuinen haaste ihmisen ja tietokoneen vuorovaikutukselle.

Kun Amazon (AMZN ) loi Alexan, se loi rubrikin, jossa sosiaaliset botit puhuivat ihmisen kanssa 20 minuuttia. Botit arvioitiin kyvystään keskustella johdonmukaisesti laajasta aihepiiristä, kuten teknologiasta, urheilusta, politiikasta ja viihteestä. Asiakkaat vastasivat boteille kehittämisen aikana ja antoivat heille pisteitä halukkuudestaan keskustella boteille uudelleen. Finaalikierroksella riippumattomat tuomarit vastasivat boteille 5-pisteytyksellä. Tuomareiden käyttämä rubriikki perustui menetelmiin, jotka antoivat tekoälyille mahdollisuuden osoittaa tärkeitä ihmisen kaltaisia ominaisuuksia, kuten empatiaa, jos se oli tarpeen.

Lopulta Prasad väitti, että tekoälylaitteiden, kuten Alexan, kasvava määrä edustaa tärkeää mahdollisuutta mitata tekoälyn edistystä, mutta tarvitsemme erilaisia mittareita hyödyntääksemme tätä uutta mahdollisuutta.

”Tällaiset tekoälyt tarvitsevat olla asiantuntijoita suurella ja jatkuvasti kasvavalla määrällä tehtäviä, mikä on mahdollista vain yleistyneemmän oppimiskyvyn ansiosta eikä tehtäväkohtaisen älykkyyden ansiosta”, Prasad selitti. ”Sen vuoksi seuraavien kymmenen vuoden ajan ja sen jälkeen tekoälypalvelujen hyödyllisyys, joilla on keskustelu- ja proaktiivisia avustusominaisuuksia ambient-laitteilla, ovat arvokas testi.”