AI-chattrobotar kämpar med språklig förståelse

Introduktionen av artificiell intelligens (AI) chattrobotar har förändrat konversationsupplevelserna och medfört framsteg som verkar parallella med mänsklig förståelse och användning av språk. Dessa chattrobotar, som drivs av omfattande språkmodeller, blir alltmer skickliga på att navigera i komplexiteten av mänsklig interaktion.

En nyligen publicerad studie har emellertid belyst den bestående sårbarheten hos dessa modeller när det gäller att skilja naturligt språk från nonsens. Undersökningen, som genomfördes av forskare vid Columbia University, presenterar intressanta insikter om möjliga förbättringar av chattrobotarnas prestanda och mänsklig språkbehandling.

Utredningen av språkmodeller

Forskarteamet gick in på detalj om sin forskning, som omfattade nio olika språkmodeller som utsattes för många meningspar. De mänskliga deltagarna i studien ombads att avgöra vilken mening i varje par som var mer “naturlig”, vilket speglade vardagligt bruk. Modellerna utvärderades sedan utifrån huruvida deras bedömningar överensstämde med mänskliga val.

När modellerna jämfördes med varandra visade det sig att de modeller som byggde på transformerneuronnätverk hade bättre prestanda jämfört med de enklare modellerna med återkommande neuronnätverk och statistiska modeller. Även de mer avancerade modellerna visade dock fel, ofta genom att välja meningar som uppfattades som nonsens av människor.

Kampen med meningslösa meningar

Dr. Nikolaus Kriegeskorte, en av de ledande forskarna vid Columbias Zuckerman Institute, betonade den relativa framgången för de stora språkmodellerna i att fånga viktiga aspekter som de enklare modellerna missade. Han påpekade: “Att till och med de bästa modellerna vi studerade fortfarande kan luras av meningslösa meningar visar att deras beräkningar saknar något om hur människor bearbetar språk.”

Ett slående exempel från studien visade hur modeller som BERT felbedömde naturligheten hos meningar, till skillnad från modeller som GPT-2, som överensstämde med mänskliga bedömningar. De rådande bristerna i dessa modeller, som Christopher Baldassano, Ph.D., en biträdande professor i psykologi vid Columbia, påpekade, väcker oro när det gäller tilliten till AI-system i beslutsprocesser och deras uppenbara “blind fläckar” när det gäller att märka meningar.

Konsekvenser och framtida riktningar

Gapen i prestanda och undersökningen av varför vissa modeller lyckas bättre än andra är områden av intresse för Dr. Kriegeskorte. Han tror att förståelsen av dessa skillnader kan betydligt driva framåt utvecklingen av språkmodeller.

Studien öppnar också vägar för att undersöka om mekanismerna i AI-chattrobotar kan ge upphov till nya vetenskapliga undersökningar, som kan hjälpa neuroforskare att förstå hjärnans komplexitet.

Tal Golan, Ph.D., studiens författare, uttryckte intresse för att förstå mänskliga tankeprocesser, med tanke på de växande förmågorna hos AI-verktyg i språkbehandling. “Att jämföra deras språkförståelse med vår ger oss en ny approach till att tänka på hur vi tänker”, sa han.

Undersökningen av AI-chattrobotarnas språkliga förmågor har avslöjat de bestående utmaningarna i att bringa deras förståelse i linje med mänsklig kognition.

De kontinuerliga ansträngningarna för att utforska dessa skillnader och de efterföljande upptäckterna är redo att inte bara förbättra effektiviteten hos AI-chattrobotar utan också att avslöja de många lager av mänskliga kognitiva processer.

Jämförelsen mellan AI-driven språkförståelse och mänsklig kognition lägger grunden för mångfacetterade undersökningar, som potentiellt kan omvandla uppfattningar och främja kunskap i de sammanflätade områdena AI och neurovetenskap.