AI Chatboty se potýkají s lingvistickým porozuměním

Příchod umělých inteligencí (AI) chatbotů přetvořil konverzační zkušenosti, přinášející pokroky, které se zdají být srovnatelné s lidským porozuměním a používáním jazyka. Tyto chatboty, poháněné podstatnými jazykovými modely, se stávají způsobilými pro navigaci v komplexitách lidské interakce.

Nicméně, nedávná studie odhalila přetrvávající zranitelnost těchto modelů při rozlišování přirozeného jazyka a nesmyslu. Vyšetřování provedené výzkumníky z Kolumbijské univerzity přináší zajímavé poznatky o potenciálních zlepšeních v výkonu chatbotů a zpracování lidského jazyka.

Šetření jazykových modelů

Tým rozvedl své výzkumy týkající se devíti různých jazykových modelů, které byly podrobeny mnoha párovým větám. Lidské účastníky ve studii se požádalo, aby rozlišili více “přirozené” věty v každém páru, odrážející denní použití. Modely byly poté vyhodnoceny na základě toho, zda jejich hodnocení rezonuje s lidskými volbami.

Když byly modely srovnány navzájem, ty založené na transformačních neuronových sítích vykazovaly lepší výkon ve srovnání se složitějšími rekurentními neuronovými sítěmi a statistickými modely. Nicméně, i ty více sofistikované modely prokázaly chyby, často vybírající věty vnímané jako nesmyslné lidmi.

Boj s nesmyslnými větami

Dr. Nikolaus Kriegeskorte, hlavní výzkumník na Kolumbijském Zuckermanově institutu, zdůraznil relativní úspěch velkých jazykových modelů v zachycení zásadních aspektů, které byly přehlédnuty jednoduššími modely. Uvedl, “To, že i ty nejlepší modely, které jsme studovali, mohou být ještě oklamané nesmyslnými větami, ukazuje, že jejich výpočty postrádají něco o tom, jak lidé zpracovávají jazyk.”

Zajímavý příklad ze studie ukázal, že modely jako BERT nesprávně hodnotily přirozenost vět, na rozdíl od modelů jako GPT-2, které se shodovaly s lidskými úsudky. Převládající nedokonalosti v těchto modelech, jak uvedl Christopher Baldassano, Ph.D., asistent profesora psychologie na Kolumbijské univerzitě, vyvolávají obavy týkající se spolehnutí se na AI systémy v rozhodovacích procesech, upozorňující na jejich zjevné “slepé skvrny” při označování vět.

Důsledky a budoucí směry

Mezery ve výkonu a zkoumání toho, proč některé modely vynikají více než ostatní, jsou oblasti zájmu pro Dr. Kriegeskorteho. Věří, že pochopení těchto nesrovnalostí může výrazně pohánět pokrok v jazykových modelech.

Studie také otevírá možnosti pro zkoumání, zda mechanismy v AI chatbotech mohou vyvolat nové vědecké otázky, pomáhající neurovědčím při rozkládání složitostí lidského mozku.

Tal Golan, Ph.D., korespondenční autor článku, vyjádřil zájem o pochopení lidských myšlenkových procesů, zvažujících rostoucí schopnosti AI nástrojů v jazykovém zpracování. “Srovnání jejich jazykového porozumění s naším nabízí nám nový přístup k přemýšlení o tom, jak přemýšlíme,” komentoval.

Prozkoumání lingvistických schopností AI chatbotů odhalilo přetrvávající výzvy při sladění jejich porozumění s lidským kognitivním procesem.

Nepřetržité úsilí o prozkoumání těchto rozdílů a následujících zjištění jsou připraveny nejen zlepšit efektivitu AI chatbotů, ale také rozplést mnohovrstevnaté lidské kognitivní procesy.

Protiklad AI poháněného jazykového porozumění a lidského kognitivního procesu vytváří základ pro multifacetední zkoumání, potenciálně měnící vnímání a rozšiřující znalosti v propojených oblastech AI a neurovědy.