AI-Chatbots kæmper med sproglig forståelse

Introduktionen af kunstig intelligens (AI)-chatbots har forandret samtaleoplevelserne og bragt frem fremskridt, der synes at være på linje med menneskers forståelse og brug af sprog. Disse chatbots, der er drevet af store sprogmodeller, bliver dygtige til at navigere i kompleksiteterne af menneskelig interaktion.

Men en ny undersøgelse har bragt frem den vedvarende sårbarhed af disse modeller i at skelne mellem naturligt sprog og nonsens. Undersøgelsen, der er gennemført af forskere fra Columbia University, præsenterer interessante indsighter i potentiale forbedringer af chatbot-ydelse og menneskelig sprogbehandling.

Undersøgelsen af sprogmodeller

Holdet udviklede deres forskning omkring ni forskellige sprogmodeller, der blev underlagt talrige sætninger. De menneskelige deltagere i studiet blev bedt om at skelne det mere ‘naturlige’ sætning i hvert par, reflekterende hverdagsbrug. Modellerne blev derefter vurderet ud fra, om deres vurderinger stemte overens med menneskelige valg.

Når modellerne blev sat op imod hinanden, viste modellerne baseret på transformer-neurale netværk overlegen præstation i forhold til de mere simple rekurrente neurale netværksmodeller og statistiske modeller. Men selv de mere avancerede modeller viste fejl, ofte vælger sætninger, der blev opfattet som nonsens af mennesker.

Kampen med nonsens-sætninger

Dr. Nikolaus Kriegeskorte, en hovedforsker ved Columbias Zuckerman Institute, understregede den relative succes af store sprogmodeller i at fange væsentlige aspekter, der blev overset af mere simple modeller. Han bemærkede, “At selv de bedste modeller, vi studerede, stadig kan være narret af nonsens-sætninger, viser, at deres beregninger mangler noget om, hvordan mennesker behandler sprog.”

Et slående eksempel fra studiet fremhævede modeller som BERT, der misvurderede naturligheden af sætninger, i modsætning til modeller som GPT-2, der stemte overens med menneskelige vurderinger. De fremherskende fejl i disse modeller, som Christopher Baldassano, Ph.D., en adjunktprofessor i psykologi ved Columbia, bemærkede, vækker bekymring omkring afhængigheden af AI-systemer i beslutningsprocesser, og påkalder opmærksomhed på deres åbenlyse “blinde pletter” i at mærke sætninger.

Konsekvenser og fremtidige retninger

Gapperne i præstation og udforskningen af, hvorfor nogle modeller excellerer mere end andre, er områder af interesse for Dr. Kriegeskorte. Han mener, at forståelsen af disse diskrepanser kan betydeligt fremme fremskridt i sprogmodeller.

Studiet åbner også veje for at udforske, om mekanismerne i AI-chatbots kan give anledning til nye videnskabelige undersøgelser, der hjælper neuroforskere med at afkode hjernens kompleksiteter.

Tal Golan, Ph.D., artiklens korrespondende forfatter, udtrykte interesse for at forstå menneskelige tænkemåder, når man betragter de voksende evner i AI-værktøjer til sprogbehandling. “At sammenligne deres sprogforståelse med vores giver os en ny tilgang til at tænke over, hvordan vi tænker,” kommenterede han.

Udforskningen af AI-chatbots’ sproglige evner har afsløret de vedvarende udfordringer i at bringe deres forståelse i overensstemmelse med menneskelig kognition.

De kontinuerlige bestræbelser på at dykke ned i disse forskelle og de efterfølgende afsløringer er parat til ikke kun at forbedre effekten af AI-chatbots, men også at afkode de mange lag af menneskelige kognitive processer.

Juxtapositionen af AI-dreven sprogforståelse og menneskelig kognition lægger grundlaget for multifacetterede udforskninger, der potentielt kan omforme opfattelser og fremme viden i de forbundne områder af AI og neurovidenskab.