AI-chattrobotar kämpar med språklig förståelse

Framväxten av artificiell intelligens (AI) chattrobotar har omformat konversationsupplevelser, med framsteg som verkar parallella med mänsklig förståelse och användning av språk. Dessa chattrobotar, som drivs av omfattande språkmodeller, blir alltmer skickliga på att navigera i komplexiteten hos mänsklig interaktion.

Men en nylig studie har belyst den bestående sårbarheten hos dessa modeller när det gäller att skilja på naturligt språk och nonsens. Utredningen, som genomfördes av forskare vid Columbia University, presenterar intressanta insikter om möjliga förbättringar av chattrobotarnas prestanda och mänsklig språkbehandling.

Undersökningen av språkmodeller

Forskarteamet beskrev sin forskning, som involverade nio olika språkmodeller som utsattes för många meningspar. De mänskliga deltagarna i studien ombads att urskilja den mer “naturliga” meningen i varje par, vilket speglade vardagligt bruk. Modellerna utvärderades sedan baserat på om deras bedömningar stämde överens med mänskliga val.

När modellerna jämfördes med varandra visade det sig att de som byggde på transformer-närverksmodeller hade bättre prestanda jämfört med de enklare återkommande neuronnätverksmodellerna och statistiska modellerna. Men även de mer avancerade modellerna visade fel, ofta genom att välja meningar som uppfattades som meningslösa av människor.

Kampen med meningslösa meningar

Dr. Nikolaus Kriegeskorte, en huvudforskare vid Columbias Zuckerman-institut, betonade den relativa framgången för stora språkmodeller i att fånga viktiga aspekter som missades av enklare modeller. Han noterade: “Att även de bästa modellerna vi studerade fortfarande kan luras av meningslösa meningar visar att deras beräkningar saknar något om hur människor bearbetar språk.”

Ett slående exempel från studien visade att modeller som BERT felbedömde naturligheten hos meningar, till skillnad från modeller som GPT-2, som stämde överens med mänskliga bedömningar. De rådande bristerna i dessa modeller, som Christopher Baldassano, Ph.D., en biträdande professor i psykologi vid Columbia, påpekade, väcker oro när det gäller tilliten till AI-system i beslutsprocesser och riktar uppmärksamheten mot deras uppenbara “blind fläckar” när det gäller att märka meningar.

Konsekvenser och framtida riktningar

Gapen i prestanda och undersökningen av varför vissa modeller presterar bättre än andra är områden av intresse för Dr. Kriegeskorte. Han tror att förståelsen av dessa skillnader kan främja framsteg i språkmodeller avsevärt.

Studien öppnar också vägar för att undersöka om mekanismerna i AI-chattrobotar kan ge upphov till nya vetenskapliga undersökningar, som kan hjälpa neuroforskare att tyda hjärnans komplexitet.

Tal Golan, Ph.D., den författande författaren, uttryckte intresse för att förstå mänskliga tankeprocesser, med tanke på de växande förmågorna hos AI-verktyg i språkbehandling. “Att jämföra deras språkförståelse med vår ger oss en ny approach till att tänka på hur vi tänker”, kommenterade han.

Undersökningen av AI-chattrobotarnas språkliga förmågor har avslöjat de bestående utmaningarna i att anpassa deras förståelse till mänsklig kognition.

De kontinuerliga ansträngningarna för att undersöka dessa skillnader och de efterföljande upptäckterna är redo att inte bara förbättra effektiviteten hos AI-chattrobotar utan också att avslöja de många lager av mänskliga kognitiva processer.

Jämförelsen mellan AI-driven språkförståelse och mänsklig kognition lägger grunden för mångfacetterade undersökningar, som potentiellt kan omforma uppfattningar och främja kunskap i de sammanflätade områdena AI och neurovetenskap.