Artificial Intelligence
AI-chatbots worstelen met taalkundig begrip
De komst van kunstmatige intelligentie (AI) chatbots heeft de gesprekservaringen opnieuw vorm gegeven, waardoor er vooruitgang is geboekt die parallel lijkt te lopen met het menselijk begrip en taalgebruik. Deze chatbots, aangedreven door substantiële taalmodellen, worden bedreven in het navigeren door de complexiteit van menselijke interactie.
Een recente studies heeft de aanhoudende kwetsbaarheid van deze modellen bij het onderscheiden van natuurlijke taal van onzin aan het licht gebracht. Het onderzoek uitgevoerd door onderzoekers van Columbia University biedt intrigerende inzichten in de potentiële verbeteringen in de prestaties van chatbots en de verwerking van menselijke taal.
Het onderzoek naar taalmodellen
Het team werkte hun onderzoek uit met negen verschillende taalmodellen, onderworpen aan talloze zinsparen. De menselijke deelnemers aan het onderzoek werd gevraagd om in elk paar de meer 'natuurlijke' zin te onderscheiden, die het dagelijks gebruik weerspiegelde. De modellen werden vervolgens geëvalueerd op basis van de vraag of hun beoordelingen resoneerden met menselijke keuzes.
Toen de modellen tegen elkaar werden opgezet, vertoonden de modellen die gebaseerd waren op neurale netwerken met transformatoren superieure prestaties vergeleken met de eenvoudigere terugkerende neurale netwerkmodellen en statistische modellen. Zelfs de meer geavanceerde modellen vertoonden echter fouten, waarbij vaak zinnen werden geselecteerd die door mensen als onzinnig werden ervaren.
De strijd tegen onzinnige zinnen
Dr. Nikolaus Kriegeskorte, hoofdonderzoeker aan het Columbia's Zuckerman Institute, benadrukte het relatieve succes van grote taalmodellen bij het vastleggen van cruciale aspecten die door eenvoudigere modellen worden gemist. Hij merkte op: ‘Dat zelfs de beste modellen die we hebben bestudeerd nog steeds voor de gek kunnen worden gehouden door onzinnige zinnen, toont aan dat hun berekeningen iets missen over de manier waarop mensen taal verwerken.’
Een treffend voorbeeld uit het onderzoek benadrukte dat modellen als BERT de natuurlijkheid van zinnen verkeerd inschatten, in tegenstelling tot modellen als GPT-2, die in lijn waren met menselijke oordelen. De heersende onvolkomenheden in deze modellen, zoals Christopher Baldassano, Ph.D., een assistent-professor in de psychologie aan Columbia opmerkte, zorgen voor bezorgdheid over de afhankelijkheid van AI-systemen in besluitvormingsprocessen, en vestigen de aandacht op hun schijnbare ‘blinde vlekken’ bij het labelen zinnen.
Implicaties en toekomstige richtingen
De hiaten in de prestaties en het onderzoek naar waarom sommige modellen beter uitblinken dan andere zijn interessegebieden voor Dr. Kriegeskorte. Hij is van mening dat het begrijpen van deze discrepanties de vooruitgang in taalmodellen aanzienlijk kan bevorderen.
De studie opent ook mogelijkheden om te onderzoeken of de mechanismen in AI-chatbots tot nieuwe wetenschappelijke onderzoeken kunnen leiden, waardoor neurowetenschappers kunnen worden geholpen bij het ontcijferen van de fijne kneepjes van het menselijk brein.
Tal Golan, Ph.D., de corresponderende auteur van het artikel, toonde interesse in het begrijpen van menselijke denkprocessen, gezien de groeiende mogelijkheden van AI-tools op het gebied van taalverwerking. “Het vergelijken van hun taalbegrip met dat van ons geeft ons een nieuwe benadering van het denken over hoe we denken”, merkte hij op.
De verkenning van de taalkundige capaciteiten van AI-chatbots heeft de aanhoudende uitdagingen blootgelegd bij het afstemmen van hun begrip op de menselijke cognitie.
De voortdurende inspanningen om deze verschillen te onderzoeken en de daaruit voortvloeiende onthullingen zullen niet alleen de effectiviteit van AI-chatbots vergroten, maar ook de talloze lagen van menselijke cognitieve processen ontrafelen.
De combinatie van AI-gedreven taalbegrip en menselijke cognitie legt de basis voor veelzijdige verkenningen, die mogelijk percepties kunnen hervormen en kennis kunnen bevorderen in de onderling verbonden domeinen van AI en neurowetenschappen.
