Kunstmatige intelligentie
AI Chatbots Worstelen met Taalkundig Begrip
De opkomst van kunstmatige intelligentie (AI) chatbots heeft de conversatie-ervaringen opnieuw vormgegeven, waardoor vooruitgang wordt geboekt die lijkt te parallel lopen met het menselijk begrip en gebruik van taal. Deze chatbots, aangedreven door aanzienlijke taalmodellen, worden steeds beter in het navigeren door de complexiteiten van menselijke interactie.
Echter, een recente studie heeft aan het licht gebracht de aanhoudende kwetsbaarheid van deze modellen in het onderscheiden van natuurlijke taal en onzin. Het onderzoek, uitgevoerd door onderzoekers van de Columbia University, presenteert interessante inzichten in de potentiële verbeteringen in de prestaties van chatbots en menselijke taalverwerking.
Het Onderzoek naar Taalmodellen
Het team heeft hun onderzoek toegelicht, waarbij negen verschillende taalmodellen aan een groot aantal zinparen werden onderworpen. De menselijke deelnemers aan de studie werden gevraagd om de meest ‘natuurlijke’ zin in elk paar te onderscheiden, weerspiegelend het dagelijkse gebruik. De modellen werden vervolgens beoordeeld op basis van of hun beoordelingen overeenkwamen met de keuzes van de menselijke deelnemers.
Toen de modellen tegen elkaar werden uitgespeeld, bleken de modellen op basis van transformatieneuronale netwerken superieure prestaties te vertonen in vergelijking met de eenvoudigere recurrente neurale netwerkmodellen en statistische modellen. Echter, zelfs de meer geavanceerde modellen vertoonden fouten, waarbij vaak zinnen werden geselecteerd die door mensen als nonsensueel werden beschouwd.
De Strijd met Nonsensuele Zinnen
Dr. Nikolaus Kriegeskorte, een hoofdonderzoeker bij het Zuckerman Institute van Columbia, benadrukte het relatieve succes van grote taalmodellen in het vastleggen van cruciale aspecten die door eenvoudigere modellen werden gemist. Hij merkte op: “Dat zelfs de beste modellen die we hebben bestudeerd nog steeds kunnen worden misleid door nonsensuele zinnen, toont aan dat hun berekeningen iets missen over de manier waarop mensen taal verwerken.”
Een opvallend voorbeeld uit de studie benadrukte modellen zoals BERT die de natuurlijkheid van zinnen verkeerd beoordeelden, in tegenstelling tot modellen zoals GPT-2, die overeenkwamen met de beoordelingen van de menselijke deelnemers. De overheersende imperfecties in deze modellen, zoals Christopher Baldassano, Ph.D., een assistent-professor in de psychologie aan Columbia, opmerkte, wekken bezorgdheid over de afhankelijkheid van AI-systemen in besluitvormingsprocessen, waarbij aandacht wordt besteed aan hun kennelijke “blinde vlekken” bij het labelen van zinnen.
Implicaties en Toekomstige Richtingen
De kloven in de prestaties en het onderzoeken van waarom sommige modellen meer uitblinken dan andere, zijn gebieden van interesse voor Dr. Kriegeskorte. Hij gelooft dat het begrijpen van deze verschillen de vooruitgang in taalmodellen aanzienlijk kan stimuleren.
De studie opent ook wegen voor het onderzoeken of de mechanismen in AI-chatbots nieuwe wetenschappelijke onderzoeken kunnen aanwakkeren, waardoor neurologen de complexiteiten van de menselijke hersenen kunnen ontrafelen.
Tal Golan, Ph.D., de corresponderende auteur van het artikel, toonde interesse in het begrijpen van menselijke denkprocessen, gezien de groeiende capaciteiten van AI-hulpmiddelen in taalverwerking. “Het vergelijken van hun taalbegrip met dat van ons biedt ons een nieuwe aanpak om na te denken over hoe wij denken,” merkte hij op.
De verkenning van de taalkundige capaciteiten van AI-chatbots heeft de aanhoudende uitdagingen onthuld bij het afstemmen van hun begrip op het menselijk cognitief proces.
De voortdurende inspanningen om deze verschillen te onderzoeken en de daaropvolgende openbaringen zijn niet alleen gericht op het verbeteren van de effectiviteit van AI-chatbots, maar ook op het ontrafelen van de vele lagen van menselijke cognitieve processen.
De juxtapositie van AI-gedreven taalbegrip en menselijk cognitief proces legt de basis voor multifacetteerde onderzoeken, die mogelijk percepties en kennis in de met elkaar verweven domeinen van AI en neurologie kunnen hervormen.
