Chatboty s umělou inteligencí zápasí s lingvistickým porozuměním

Vznik umělých inteligencí (AI) chatbotů přetvořil konverzační zkušenosti a přinesl pokroky, které se zdají být srovnatelné s lidským porozuměním a používáním jazyka. Tyto chatboty, poháněné rozsáhlými jazykovými modely, se stávají schopnými navigovat v komplexitách lidské interakce.

Nicméně, nedávná studie odhalila přetrvávající zranitelnost těchto modelů při rozlišování přirozeného jazyka a nesmyslu. Výzkum provedený výzkumníky z Kolumbijské univerzity přináší zajímavé poznatky o potenciálních zlepšeních výkonu chatbotů a lidského jazykového zpracování.

Šetření jazykových modelů

Tým rozvinul svůj výzkum zahrnující devět různých jazykových modelů, které byly testovány na mnoha párech vět. Lidské účastníky studie se požádalo, aby rozlišili více „přirozené“ věty v každém páru, odrážející běžné použití. Modely byly poté vyhodnoceny na základě toho, zda jejich hodnocení odpovídalo lidským volbám.

Když byly modely porovnány navzájem, modely založené na transformačních neuronových sítích vykazovaly lepší výkon ve srovnání se staršími rekurentními neuronovými modely a statistickými modely. Nicméně, i ty sofistikovanější modely prokázaly chyby, často vybírající věty, které byly lidsky vnímány jako nesmyslné.

Boj s nesmyslnými větami

Dr. Nikolaus Kriegeskorte, hlavní výzkumník na Kolumbijském Zuckermanově institutu, zdůraznil relativní úspěch velkých jazykových modelů při zachycení důležitých aspektů, které byly přehlédnuty jednoduššími modely. Uvedl: „To, že i ty nejlepší modely, které jsme studovali, mohou být ještě oklamané nesmyslnými větami, ukazuje, že jejich výpočty postrádají něco o tom, jak lidé zpracovávají jazyk.“

Zajímavý příklad ze studie ukázal, že modely jako BERT nesprávně hodnotily přirozenost vět, na rozdíl od modelů jako GPT-2, které se shodovaly s lidskými úsudky. Převládající nedokonalosti v těchto modelech, jak poznamenal Christopher Baldassano, Ph.D., asistent profesora psychologie na Kolumbijské univerzitě, vyvolávají obavy týkající se spolehnutí se na systémy AI při rozhodování, upozorňující na jejich zjevné „slepe skvrny“ při označování vět.

Impликации a budoucí směry

Mezery ve výkonu a zkoumání důvodů, proč některé modely vynikají více než ostatní, jsou oblastmi zájmu pro Dr. Kriegeskorteho. Věří, že pochopení těchto nesrovnalostí může podstatně pohánět pokrok v jazykových modelech.

Studie také otevírá cesty pro zkoumání, zda mechanismy v chatbotech AI mohou vyvolat nové vědecké otázky, pomáhající neurovědcům při rozkládání složitostí lidského mozku.

Tal Golan, Ph.D., korespondenční autor článku, projevil zájem o pochopení lidských myšlenkových procesů, zvažujících rostoucí schopnosti nástrojů AI v jazykovém zpracování. „Porovnáním jejich jazykového porozumění s našim dává nám nový přístup k myšlení o tom, jak přemýšlíme,“ komentoval.

Prozkoumání lingvistických schopností chatbotů AI odhalilo přetrvávající výzvy při sladění jejich porozumění s lidským kognitivním procesem.

Neustálé úsilí o prozkoumání těchto rozdílů a následujících objevů je připraveno nejen zlepšit účinnost chatbotů AI, ale také odhalit mnohé vrstvy lidských kognitivních procesů.

Juxtapozice jazykového porozumění poháněného AI a lidského kognitivního procesu vytváří základ pro mnohovrstevnatá prozkoumání, potenciálně měnící vnímání a rozšiřující znalosti v propojených oblastech AI a neurovědy.