AI-Chatbots kæmper med sproglig forståelse

Fremkomsten af kunstig intelligens (AI)-chatbots har omformet konversationsoplevelser, og bragt frem fremskridt, der synes at være på linje med menneskelig forståelse og brug af sprog. Disse chatbots, der drives af betydelige sprogmodeller, bliver dygtige til at navigere i kompleksiteterne af menneskelig interaktion.

Dog har en ny undersøgelse bragt til lyset den vedvarende sårbarhed af disse modeller i at skelne mellem naturligt sprog og nonsens. Undersøgelsen, der er gennemført af forskere fra Columbia University, præsenterer interessante indsigt i de potentielle forbedringer i chatbot-ydelse og menneskelig sprogbehandling.

Undersøgelsen af sprogmodeller

Holdet udviklede deres forskning omkring ni forskellige sprogmodeller, der blev udsat for talrige sætninger. De menneskelige deltagere i studiet blev bedt om at skelne mellem den mere ‘naturlige’ sætning i hvert sæt, reflekterende hverdagsbrug. Modellerne blev derefter vurderet på, om deres vurderinger stemte overens med menneskelige valg.

Når modellerne blev sat op imod hinanden, viste de modeller, der var baseret på transformer-neurale netværk, overlegen ydelse i forhold til de enklere rekurrente neurale netværksmodeller og statistiske modeller. Dog viste selv de mere avancerede modeller fejl, ofte ved at vælge sætninger, der blev opfattet som meningsløse af mennesker.

Kampen med meningsløse sætninger

Dr. Nikolaus Kriegeskorte, en hovedundersøger ved Columbias Zuckerman Institute, understregede den relative succes af store sprogmodeller i at fange væsentlige aspekter, der blev overset af enklere modeller. Han bemærkede: “At selv de bedste modeller, vi studerede, stadig kan narres af meningsløse sætninger, viser, at deres beregninger mangler noget omkring, hvordan mennesker behandler sprog.”

Et slående eksempel fra studiet fremhævede modeller som BERT, der misvurderede naturligheden af sætninger, i modsætning til modeller som GPT-2, der stemte overens med menneskelige vurderinger. De herskende fejl i disse modeller, som Christopher Baldassano, Ph.D., en adjunktprofessor i psykologi ved Columbia, bemærkede, vækker bekymring omkring afhængigheden af AI-systemer i beslutningsprocesser, og påkalder opmærksomhed på deres åbenlyse “blinde pletter” i at mærke sætninger.

Konsekvenser og fremtidige retninger

Gapperne i ydelse og udforskningen af, hvorfor nogle modeller excellerer mere end andre, er områder af interesse for Dr. Kriegeskorte. Han mener, at forståelsen af disse diskrepanser kan fremme betydelig fremgang i sprogmodeller.

Studiet åbner også veje for at udforske, om mekanismerne i AI-chatbots kan fremkalde nye videnskabelige undersøgelser, og hjælpe neuroforskere med at afkode hjernens kompleksiteter.

Tal Golan, Ph.D., artiklens korresponderende forfatter, udtrykte interesse for at forstå menneskelige tænkeprocesser, når man tager i betragtning de voksende evner af AI-værktøjer i sprogbehandling. “At sammenligne deres sprogforståelse med vores giver os en ny tilgang til at tænke over, hvordan vi tænker,” kommenterede han.

Udforskningen af AI-chatbots’ sproglige evner har afsløret de vedvarende udfordringer i at tilpasse deres forståelse med menneskelig kognition.

De kontinuerlige bestræbelser på at dykke ned i disse forskelle og de efterfølgende åbenbaringer er positioneret til ikke kun at forbedre effekten af AI-chatbots, men også at afkode de mange lag af menneskelige kognitive processer.

Kontrasten mellem AI-dreven sprogforståelse og menneskelig kognition lægger grundlaget for multifacetterede udforskninger, der potentielt kan omforme opfattelser og fremme viden i de forbundne områder af AI og neurovidenskab.