AI-Chatbots og deres kamp med språklig forståelse

Introduksjonen av kunstig intelligens (AI)-chatbots har endret måten vi kommuniserer på, og bringt frem fremskritt som synes å være på linje med menneskelig forståelse og bruk av språk. Disse chatbotene, drevet av omfattende språkmodeller, blir stadig bedre til å navigere i kompleksiteten av menneskelig interaksjon.

Imidlertid har en nylig studie vist at disse modellene fortsatt er sårbare når det gjelder å skille naturlig språk fra nonsens. Undersøkelsen, som ble gjennomført av forskere ved Columbia University, presenterer interessante innblikk i mulige forbedringer av chatbot-ytelsen og menneskelig språkbehandling.

Undersøkelsen av språkmodeller

Teamet gikk i dybden på sin forskning, som omfattet ni forskjellige språkmodeller som ble utsatt for flere sett med setninger. De menneskelige deltakerne i studien ble bedt om å avgjøre hvilken setning i hvert sett som var mest “naturlig”, og som reflekterte daglig bruk. Modellene ble deretter evaluert basert på om deres vurderinger stemte overens med menneskelige valg.

Når modellene ble sammenlignet, viste de basert på transformer-neuronale nettverk bedre ytelse enn de enklere rekurrerende neuronale nettverksmodellene og statistiske modellene. Likevel viste selv de mer avanserte modellene feil, ofte ved å velge setninger som ble oppfattet som nonsens av mennesker.

Kampen med nonsens-setninger

Dr. Nikolaus Kriegeskorte, en hovedforsker ved Columbias Zuckerman-institutt, understreket den relative suksessen til store språkmodeller i å fange essensielle aspekter som ble missede av enklere modeller. Han noterte: “At selv de beste modellene vi studerte fortsatt kan bli lurt av nonsens-setninger, viser at deres beregninger mangler noe om hvordan mennesker prosesserer språk.”

Et slående eksempel fra studien viste at modeller som BERT feilvurderer naturligheten av setninger, i motsetning til modeller som GPT-2, som stemte overens med menneskelige vurderinger. De gjenværende feilene i disse modellene, som Christopher Baldassano, Ph.D., en assistentprofessor i psykologi ved Columbia, noterte, raiser bekymringer om avhengigheten av AI-systemer i beslutningsprosesser, og påpeker deres åpenbare “blinde flekker” i å merke setninger.

Konsekvenser og fremtidige retninger

Gapene i ytelse og utforskningen av hvorfor noen modeller utmerker seg mer enn andre, er områder av interesse for Dr. Kriegeskorte. Han tror at å forstå disse forskjellene kan drive frem betydelig fremgang i språkmodeller.

Studien åpner også opp for å utforske om mekanismene i AI-chatbots kan utløse nye vitenskapelige spørsmål, og hjelpe nevroforskere med å tyde hjernens kompleksitet.

Tal Golan, Ph.D., den korresponderte forfatteren, uttrykte interesse for å forstå menneskelige tenkeprosesser, med tanke på de voksende evnene til AI-verktøy i språkbehandling. “Å sammenligne deres språkforståelse med vår, gir oss en ny måte å tenke på hvordan vi tenker,” kommenterte han.

Utforskningen av AI-chatbots’ språklige evner har avdekket de gjenværende utfordringene i å aligne deres forståelse med menneskelig kognisjon.

De kontinuerlige anstrengelsene for å grave i disse forskjellene og de påfølgende avsløringene er posisjonert for å ikke bare forbedre effekten av AI-chatbots, men også å avdekke de mange lagene av menneskelige kognitive prosesser.

Juxtaposisjonen av AI-drevet språkforståelse og menneskelig kognisjon legger grunnlaget for multifacetterte utforskninger, som potensielt kan endre persepsjoner og fremme kunnskap i de sammenhengende områdene av AI og nevrovitenskap.