AI-Chatbots worstelen met taalkundig begrip

De opkomst van kunstmatige intelligentie (AI)-chatbots heeft de conversatie-ervaringen opnieuw vormgegeven, waardoor vooruitgang wordt geboekt die lijkt op het menselijk begrip en het gebruik van taal. Deze chatbots, aangedreven door omvangrijke taalmodellen, worden steeds beter in het navigeren door de complexiteiten van menselijke interactie.

Echter, een recente studie heeft aan het licht gebracht de aanhoudende kwetsbaarheid van deze modellen bij het onderscheiden van natuurlijke taal en nonsens. Het onderzoek, uitgevoerd door onderzoekers van de Columbia University, presenteert intrigerende inzichten in de potentiële verbeteringen in de prestaties van chatbots en menselijke taalverwerking.

Het onderzoek naar taalmodellen

Het team legde uit hun onderzoek naar negen verschillende taalmodellen die aan talloze zinparen werden onderworpen. De menselijke deelnemers aan de studie werden gevraagd om de meest ‘natuurlijke’ zin in elk paar te onderscheiden, weerspiegelend het dagelijkse gebruik. De modellen werden vervolgens beoordeeld op basis van of hun beoordelingen overeenkwamen met de keuzes van de mens.

Wanneer de modellen tegen elkaar werden uitgespeeld, toonden de modellen die waren gebaseerd op transformatieneurale netwerken een betere prestatie dan de eenvoudigere recurrente neurale netwerkmodellen en statistische modellen. Echter, zelfs de meer geavanceerde modellen vertoonden fouten, waarbij ze vaak zinnen selecteerden die door mensen als nonsens werden beschouwd.

De worsteling met nonsensische zinnen

Dr. Nikolaus Kriegeskorte, een hoofdonderzoeker bij het Zuckerman Institute van Columbia, benadrukte het relatieve succes van grote taalmodellen in het vastleggen van cruciale aspecten die door eenvoudigere modellen werden gemist. Hij merkte op: “Dat zelfs de beste modellen die we hebben bestudeerd nog steeds kunnen worden misleid door nonsensische zinnen, toont aan dat hun berekeningen iets missen over de manier waarop mensen taal verwerken.”

Een opvallend voorbeeld uit de studie benadrukte modellen zoals BERT die de natuurlijkheid van zinnen verkeerd beoordeelden, in tegenstelling tot modellen zoals GPT-2, die overeenkwamen met de mening van de mens. De overheersende imperfecties in deze modellen, zoals Christopher Baldassano, Ph.D., een assistent-professor in de psychologie aan Columbia, opmerkte, wekken bezorgdheid over de afhankelijkheid van AI-systemen in besluitvormingsprocessen, waarbij aandacht wordt besteed aan hun ogenschijnlijke “blinde vlekken” bij het labelen van zinnen.

Implicaties en toekomstige richtingen

De kloof in prestaties en het onderzoeken van waarom sommige modellen beter presteren dan anderen, zijn gebieden van interesse voor Dr. Kriegeskorte. Hij gelooft dat het begrijpen van deze discrepanties aanzienlijke vooruitgang in taalmodellen kan stimuleren.

De studie opent ook wegen voor het onderzoeken of de mechanismen in AI-chatbots nieuwe wetenschappelijke onderzoeken kunnen stimuleren, waarbij neurologen worden geholpen bij het ontrafelen van de complexiteiten van de menselijke hersenen.

Tal Golan, Ph.D., de corresponderende auteur van het artikel, toonde interesse in het begrijpen van menselijke denkprocessen, gezien de groeiende mogelijkheden van AI-hulpmiddelen in taalverwerking. “Het vergelijken van hun taalbegrip met dat van ons geeft ons een nieuwe aanpak om na te denken over hoe wij denken,” merkte hij op.

De exploratie van de linguïstische mogelijkheden van AI-chatbots heeft de aanhoudende uitdagingen onthuld bij het afstemmen van hun begrip op menselijke cognitie.

De voortdurende inspanningen om deze verschillen te onderzoeken en de daaruit voortvloeiende openbaringen zijn niet alleen gericht op het verbeteren van de effectiviteit van AI-chatbots, maar ook op het ontrafelen van de talloze lagen van menselijke cognitieve processen.

De juxtapositie van AI-gestuurd taalbegrip en menselijke cognitie legt de basis voor multifacetteerde exploraties, die mogelijk percepties kunnen veranderen en kennis kunnen bevorderen in de met elkaar verbonden domeinen van AI en neurologie.