Czatboty AI zmagają się z zrozumieniem językowym

Pojawienie się czatbotów opartych na sztucznej inteligencji (AI) zmieniło doświadczenia konwersacyjne, wprowadzając postępy, które wydają się równoległe do ludzkiego zrozumienia i użycia języka. Czatboty te, zasilane znaczącymi modelami językowymi, stają się coraz bardziej zdolne do nawigowania w złożonościach interakcji ludzkich.

Jednakże, niedawne badanie ujawniło trwałą podatność tych modeli na rozróżnianie języka naturalnego od nonsense’u. Badanie przeprowadzone przez naukowców z Uniwersytetu Columbia przedstawia interesujące spostrzeżenia dotyczące potencjalnych ulepszeń w wydajności czatbotów i przetwarzaniu języka ludzkiego.

Wkład w badania modeli językowych

Zespół wyjaśnił swoje badanie, w którym dziewięć różnych modeli językowych zostało poddanych licznym parom zdań. Uczestnicy ludzcy w badaniu zostali poproszeni o rozróżnienie bardziej “naturalnego” zdania w każdej parze, odzwierciedlając codzienne użycie. Modele zostały następnie ocenione na podstawie tego, czy ich oceny zgadzały się z wyborami ludzkimi.

Gdy modele zostały zestawione ze sobą, te oparte na sieciach neuronowych transformatorowych wykazały lepszą wydajność w porównaniu z prostszymi modelami sieci neuronowych i modelami statystycznymi. Jednak nawet bardziej zaawansowane modele wykazywały błędy, często wybierając zdania postrzegane jako nonsensowne przez ludzi.

Walka z nonsensownymi zdaniem

Dr Nikolaus Kriegeskorte, główny badacz w Instytucie Zuckermana na Uniwersytecie Columbia, podkreślił względny sukces dużych modeli językowych w uchwyceniu kluczowych aspektów, które zostały pominięte przez prostsze modele. Zauważył, “To, że nawet najlepsze modele, które badaliśmy, mogą być oszukane przez nonsensowne zdania, pokazuje, że ich obliczenia brakuje czegoś w sposobie, w jaki ludzie przetwarzają język”.

Poruszający przykład z badania podkreślił, że modele takie jak BERT źle oceniały naturalność zdań, w przeciwieństwie do modeli takich jak GPT-2, które zgadzały się z ludzkimi osądami. Przeważające niedoskonałości w tych modelach, jak zauważył Christopher Baldassano, Ph.D., asystent profesora psychologii na Uniwersytecie Columbia, budzą obawy dotyczące polegania na systemach AI w procesach decyzyjnych, zwracając uwagę na ich widoczne “ślepe punkty” w oznaczaniu zdań.

Wnioski i przyszłe kierunki

Luki w wydajności i badanie, dlaczego niektóre modele radzą sobie lepiej niż inne, są obszarami zainteresowania dra Kriegeskorte. Uważa, że zrozumienie tych różnic może znacznie przyspieszyć postęp w modelach językowych.

Badanie otwiera również drogi do badania, czy mechanizmy w czatbotach AI mogą wywołać nowe naukowe badania, pomagając neuronaukowcom w odkrywaniu złożoności ludzkiego mózgu.

Tal Golan, Ph.D., korespondencyjny autor artykułu, wyraził zainteresowanie zrozumieniem procesów myślowych ludzi, biorąc pod uwagę rosnące możliwości narzędzi AI w przetwarzaniu języka. “Porównywanie ich zrozumienia języka z naszym daje nam nowe podejście do myślenia o tym, jak myślimy”, skomentował.

Badanie zdolności językowych czatbotów AI ujawniło trwałe wyzwania w dopasowaniu ich zrozumienia do ludzkiej percepcji.

Ciągłe starania, aby zgłębić te różnice i wynikające z nich rewelacje, są gotowe nie tylko poprawić skuteczność czatbotów AI, ale także odkryć liczne warstwy ludzkich procesów poznawczych.

Przeciwstawienie zrozumienia języka opartego na AI i ludzkiej percepcji stanowi podstawę dla wielowymiarowych badań, potencjalnie zmieniających postrzeganie i rozwijających wiedzę w połączonych dziedzinach AI i neurologii.