Boty czatowe AI zmagają się z lingwistycznym zrozumieniem

Pojawienie się botów czatowych opartych na sztucznej inteligencji (AI) zmieniło doświadczenia konwersacyjne, wprowadzając postępy, które wydają się równoległe do ludzkiego zrozumienia i użycia języka. Te boty, zasilane znaczącymi modelami językowymi, stają się coraz bardziej zdolne do nawigowania w złożonościach ludzkiej interakcji.

Jednak最近 przeprowadzone badanie ujawniło trwałą wrażliwość tych modeli na rozróżnianie języka naturalnego od nonsensu. Przeprowadzone przez badaczy z Uniwersytetu Columbia badanie przedstawia interesujące spostrzeżenia dotyczące potencjalnych ulepszeń w wydajności botów czatowych i przetwarzaniu języka ludzkiego.

Wkład w modele językowe

Zespół wyjaśnił swoje badanie, w którym wzięło udział dziewięć różnych modeli językowych, które zostały poddane licznej parze zdań. Uczestnicy ludzcy w badaniu zostali poproszeni o rozpoznanie bardziej “naturalnego” zdania w każdej parze, odzwierciedlając codzienne użycie. Następnie modele zostały ocenione na podstawie tego, czy ich oceny zgadzały się z wyborami ludzkimi.

Gdy modele zostały zestawione ze sobą, te oparte na sieciach neuronowych transformer okazały się lepsze niż prostsze modele sieci neuronowych i statystyczne. Niemniej jednak, nawet bardziej zaawansowane modele wykazały błędy, często wybierając zdania postrzegane jako nonsensowne przez ludzi.

Walka z nonsensownymi zdaniem

Dr Nikolaus Kriegeskorte, główny badacz w Instytucie Zuckermana na Uniwersytecie Columbia, podkreślił względny sukces dużych modeli językowych w uchwyceniu kluczowych aspektów, które zostały pominięte przez prostsze modele. Stwierdził, “To, że nawet najlepsze modele, które badaliśmy, nadal mogą być oszukane przez nonsensowne zdania, pokazuje, że ich obliczenia brakują czegoś na temat tego, jak ludzie przetwarzają język”.

Jeden z przykładów z badania podkreślił, że modele takie jak BERT źle oceniły naturalność zdań, w przeciwieństwie do modeli takich jak GPT-2, które zgadzały się z ludzkimi osądami. Przeważające niedoskonałości w tych modelach, jak zauważył Christopher Baldassano, Ph.D., asystent profesora psychologii na Uniwersytecie Columbia, budzą obawy dotyczące polegania na systemach AI w procesach decyzyjnych, zwracając uwagę na ich oczywiste “ślepe punkty” w oznaczaniu zdań.

Wnioski i przyszłe kierunki

Luki w wydajności i badanie przyczyn, dla których niektóre modele radzą sobie lepiej niż inne, są obszarami zainteresowania dr. Kriegeskorte. Uważa, że zrozumienie tych różnic może znacznie przyczynić się do postępu w modelach językowych.

Badanie otwiera również drogę do badania, czy mechanizmy w botach czatowych AI mogą wywołać nowe naukowe badania, pomagając neurobiologom w odkrywaniu złożoności ludzkiego mózgu.

Tal Golan, Ph.D., korespondencyjny autor pracy, wyraził zainteresowanie zrozumieniem procesów myślowych ludzi, biorąc pod uwagę rosnące możliwości narzędzi AI w przetwarzaniu języka. “Porównywanie ich zrozumienia języka z naszym daje nam nowe podejście do myślenia o tym, jak myślimy”, skomentował.

Eksploracja lingwistycznych możliwości botów czatowych AI ujawniła trwałe wyzwania w dopasowaniu ich zrozumienia do ludzkiej percepcji.

Ciągłe starania, aby zgłębić te różnice i wynikające z nich objawienia, są gotowe nie tylko poprawić skuteczność botów czatowych AI, ale także odkryć liczne warstwy ludzkich procesów poznawczych.

Konfrontacja zrozumienia języka opartego na AI i ludzkiej percepcji tworzy podstawę dla wielowymiarowych badań, które mogą zmienić postrzeganie i poszerzyć wiedzę w połączonych dziedzinach AI i neurobiologii.