DeepMind: AI może dziedziczyć ludzkie ograniczenia poznawcze, ale może skorzystać z “edukacji formalnej”

Nowa współpraca między DeepMind a Uniwersytetem Stanfordu sugeruje, że AI może często nie być lepsze w abstrakcyjnym rozumowaniu niż ludzie, ponieważ modele uczenia maszynowego uzyskują swoje architektury rozumowania z przykładów z rzeczywistego świata, które są zakorzenione w praktycznym kontekście (którego AI nie może doświadczyć), ale są również ograniczone przez nasze własne słabości poznawcze.

Udowodnione, mogłoby to stanowić barierę dla lepszego “niebieskiego nieba” myślenia i jakości intelektualnej oryginalności, na którą wiele osób liczy w systemach uczenia maszynowego, i ilustruje stopień, w jakim AI odzwierciedla ludzkie doświadczenie i jest skłonne do myślenia (i rozumowania) w granicach ludzkich, które je ukształtowały.

Badacze sugerują, że modele AI mogą skorzystać z wstępnego szkolenia w abstrakcyjnym rozumowaniu, porównywanym do “edukacji formalnej”, przed rozpoczęciem pracy nad zadania z rzeczywistego świata.

W artykule stwierdza się:

Ludzie są nieperfekcyjnymi rozumującymi. Rozumujemy najskuteczniej o jednostkach i sytuacjach, które są zgodne z naszym zrozumieniem świata.

Nasze eksperymenty pokazują, że modele językowe odbijają te wzorce zachowania. Modele językowe wykonują się nieperfekcyjnie w zadaniach logicznego rozumowania, ale ich wykonanie zależy od treści i kontekstu. Najbardziej godne uwagi jest to, że takie modele często zawodzą w sytuacjach, w których ludzie zawodzą – gdy bodźce stają się zbyt abstrakcyjne lub sprzeczne z naszym zrozumieniem świata.

Aby przetestować stopień, w jakim hiperskalične modele NLP mogą być dotknięte takimi ograniczeniami, badacze przeprowadzili serię trzech testów na odpowiednim modelu, dochodząc do wniosku*:

Stwierdzamy, że najnowsze duże modele językowe (z 7 lub 70 miliardami parametrów) odzwierciedlają wiele tych samych wzorców, które obserwujemy u ludzi w tych zadaniach – jak ludzie, modele rozumują skuteczniej o wiarygodnych sytuacjach niż niewiarygodnych lub abstrakcyjnych.

Nasze wyniki mają implikacje dla zrozumienia zarówno tych efektów poznawczych, jak i czynników, które przyczyniają się do wyników modeli językowych.

Artykuł sugeruje, że tworzenie umiejętności rozumowania w AI bez udzielania im korzyści z rzeczywistego, cielesnego doświadczenia, które daje kontekst takim umiejętnościom, mogłoby ograniczyć potencjał takich systemów, obserwując, że doświadczenie ugruntowane… najprawdopodobniej podtrzymuje niektóre ludzkie przekonania i rozumowanie.

Autoryzy sugerują, że AI doświadcza języka biernie, podczas gdy ludzie doświadczają go jako aktywny i centralny składnik komunikacji społecznej, i że ten rodzaj aktywnego udziału (który obejmuje konwencjonalne systemy kar i nagród) mógłby być “kluczem” do zrozumienia znaczenia w tym samym sposób, w jaki robią to ludzie.

Badacze obserwują:

Niektóre różnice między modelami językowymi a ludźmi mogą więc wynikać z różnic między bogatym, ugruntowanym, interaktywnym doświadczeniem ludzi a ubogim doświadczeniem modeli.

Sugerują, że jednym z rozwiązań mogłoby być okres “wstępnego szkolenia”, podobnie jak ludzie doświadczają go w systemie szkolnym i uniwersyteckim, przed rozpoczęciem szkolenia na danych, które ostatecznie zbudują użyteczny i wszechstronny model językowy.

Okres ten “edukacji formalnej” (jak to analogizują badacze) różniłby się od konwencjonalnego wstępnego szkolenia modeli maszynowych (które jest metodą skracania czasu szkolenia przez ponowne wykorzystanie pół-wytrenowanych modeli lub importowanie wag z w pełni wytrenowanych modeli, jako “booster”, aby zainicjować proces szkolenia).

Raczej, reprezentowałby okres zrównoważonego uczenia się, zaprojektowanego w celu rozwoju umiejętności logicznego rozumowania AI w czysto abstrakcyjny sposób, oraz rozwoju krytycznych umiejętności w podobny sposób, w jaki student uniwersytetu będzie zachęcany do tego w trakcie swojej edukacji.

‘Kilka wyników’, stwierdzają autorzy, ‘wskazuje, że to może nie być tak niedorzeczne, jak się wydaje’.

Artykuł artykuł nosi tytuł Modele językowe wykazują ludzkie efekty treści na rozumowanie, i pochodzi od sześciu badaczy z DeepMind oraz jednego związanych z DeepMind i Uniwersytetem Stanfordu.

Testy

Ludzie uczą się abstrakcyjnych pojęć poprzez praktyczne przykłady, w podobny sposób, w jaki często pomaga to uczniom języka w memorizowaniu słownictwa i reguł językowych, za pomocą mnemotechnik. Najprostszym przykładem jest nauczanie abstrakcyjnych zasad fizyki poprzez wywoływanie “scenariuszy podróży” dla pociągów i samochodów.

Aby przetestować możliwości abstrakcyjnego rozumowania hiperskaličnego modelu językowego, badacze opracowali serię trzech testów językowych i semantycznych, które mogą być również trudne dla ludzi. Testy zostały przeprowadzone “zero shot” (bez rozwiązanych przykładów) i “pięć shot” (z pięcioma poprzednimi rozwiązanymi przykładami).

Pierwsze zadanie dotyczy wnioskowania językowego (NLI), gdzie podmiot (osoba lub, w tym przypadku, model językowy) otrzymuje dwa zdania, “przesłankę” i “hipotezę”, która wydaje się być wnioskowana z przesłanki. Na przykład X jest mniejsze niż Y, Hipoteza: Y jest większe niż X (wnioskowane).

Dla zadania NLI badacze ocenili modele językowe Chinchilla (model z 70 miliardami parametrów) i 7B (model z 7 miliardami parametrów), stwierdzając, że dla spójnych przykładów (tj. tych, które nie były nonsensem), tylko większy model Chinchilla uzyskał wyniki wyższe niż czysty przypadek; i zauważają:

To wskazuje na silną stronę zawartości: modele preferują uzupełnić zdanie w sposób zgodny z oczekiwaniami, a nie w sposób zgodny z zasadami logiki.

Wyniki modelu Chinchilla w zadaniu NLI. Zarówno ten model, jak i jego wersja 7B wykazały ‘znaczącą stronę wiary’, zgodnie z badaczami. Źródło: https://arxiv.org/pdf/2207.07051.pdf

Syllogizmy

Drugie zadanie przedstawia bardziej złożone wyzwanie, syllogizmy – argumenty, w których dwa prawdziwe zdania wydają się implikować trzecie zdanie (które może lub nie być logicznym wnioskiem wyprowadzonym z poprzednich dwóch zdań):

Z materiału testowego, różne ‘realistyczne’ i paradoksalne lub nonsensowne syllogizmy.

Ludzie są ogromnie podatni na błędy, a konstrukcja zaprojektowana w celu zilustrowania zasady logicznej staje się niemal natychmiast (i być może na stałe) splątana i zdezorientowana przez ludzką “wiarę” w to, jaka powinna być prawidłowa odpowiedź.

Badacze zauważają, że badanie z 1983 roku wykazało, że uczestnicy byli podatni na wpływ własnych przekonań, obserwując:

Uczestnicy byli znacznie bardziej skłonni (90% czasu) do mylnego stwierdzenia, że nieważny syllogizm jest ważny, jeśli wniosek był wiarygodny, i tym samym opierali się głównie na wierze, a nie na abstrakcyjnym rozumowaniu.

Podczas testowania modelu Chinchilla w różnych syllogizmach, w tym wielu, które kończyły się fałszywymi wnioskami, badacze stwierdzili, że przesąd wiary napędza prawie wszystkie decyzje zero-shot. Jeśli model językowy uznaje wniosek za niezgodny z rzeczywistością, model, jak stwierdzają autorzy, jest silnie spolaryzowany w kierunku uznania ostatecznego argumentu za nieważny, nawet jeśli ostateczny argument jest logicznym wnioskiem poprzednich zdań.

Wyniki zero-shot dla modelu Chinchilla, ilustrujące ogromną przepaść między komputacyjnymi możliwościami komputera a możliwościami modelu językowego w nawigowaniu tego rodzaju ‘początkowego’ wyzwania logicznego.

Zadanie Wasona

Dla trzeciego testu, jeszcze bardziej wymagającego zadania Wasona problemu logicznego, zostało sformułowane w kilka różnych wersji dla modelu językowego do rozwiązania.

Zadanie Wasona, opracowane w 1968 roku, jest pozornie bardzo proste: uczestnikom pokazuje się cztery karty i mówi się im arbitralną regułę, taką jak “Jeśli karta ma ‘D’ po jednej stronie, to ma ‘3’ po drugiej stronie.” Cztery widoczne strony kart pokazują ‘D’, ‘F’, ‘3’ i ‘7’.

Uczestnikom mówi się, które karty muszą odwrócić, aby zweryfikować, czy reguła jest prawdziwa czy fałszywa.

Prawidłowe rozwiązanie w tym przykładzie polega na odwróceniu kart ‘D’ i ‘7’. W wczesnych testach stwierdzono, że podczas gdy większość uczestników (ludzi) poprawnie wybiera ‘D’, są bardziej skłonni wybrać ‘3’ zamiast ‘7’, myląc przeciwieństwo reguły (‘nie 3 implikuje nie D’) z odwrotnością (‘3’ implikuje ‘D’, co nie jest logicznie implikowane).

Badacze zauważają, odnosząc się do wcześniejszych eksperymentów:

Jeśli karty pokazują wiek i napoje, a reguła brzmi „jeśli piją alkohol, muszą mieć co najmniej 21 lat”, a pokazane karty to ‘piwo’, ‘soda’, ’25’, ’16’, większość uczestników poprawnie wybiera karty ‘piwo’ i ’16’.

Aby przetestować wyniki modelu językowego w zadaniach Wasona, badacze stworzyli różnorodne realistyczne i arbitralne reguły, niektóre z “nonsensownymi” słowami, aby sprawdzić, czy AI może przeniknąć kontekst treści, aby rozpoznać, które “wirtualne karty” należy odwrócić.

Niektóre z wielu zagadek zadania Wasona przedstawionych w testach.

Dla testów Wason model wykonał się porównywalnie z ludźmi w zadaniach “realistycznych” (nie-nonsensownych).

Wyniki zero-shot zadania Wasona dla modelu Chinchilla, z modelem wykonującym się znacznie powyżej przypadku, przynajmniej dla ‘realistycznych’ reguł.

Artykuł komentuje:

To odzwierciedla wyniki w literaturze: ludzie są znacznie bardziej dokładni w odpowiedziach na zadanie Wasona, gdy jest ono sformułowane w terminach realistycznych sytuacji niż arbitralnych reguł o abstrakcyjnych atrybutach.

Edukacja formalna

Wyniki artykułu ramują potencjał rozumowania hiperskaličnych systemów NLP w kontekście naszych własnych ograniczeń, które wydaje się, że przenosimy do modeli za pomocą zgromadzonych danych z rzeczywistego świata, które je napędzają. Ponieważ większość z nas nie jest geniuszami, modele również nie są.

Dodatkowo, nowa praca kończy się wnioskiem, że mamy przynajmniej zaletę zrównoważonego okresu edukacji kształtującej, oraz dodatkowych motywacji społecznych, finansowych i nawet seksualnych, które tworzą ludzkie imperatywy. Wszystko, co modele językowe mogą uzyskać, to wynikowe działania tych czynników środowiskowych, i wydają się one dostosowywać do ogólnych, a nie wyjątkowych ludzi.

Badacze stwierdzają:

Nasze wyniki pokazują, że efekty treści mogą wynikać z prostego szkolenia dużego transformatora do naśladowania języka wytwarzanego przez ludzką kulturę, bez włączania tych ludzkich mechanizmów wewnętrznych.

Innymi słowy, modele językowe i ludzie dochodzą do tych samych efektów treści – ale z pozornie bardzo różnych architektur, doświadczeń i celów szkolenia.

W związku z tym sugerują rodzaj “indukcyjnego szkolenia” w czystym rozumowaniu, które wykazało poprawę wyników modelu dla matematyki i ogólnego rozumowania. Dodatkowo zauważają, że modele językowe zostały również wytrenowane lub dostosowane do lepszego wykonania instrukcji na poziomie abstrakcyjnym i uogólnionym, oraz do weryfikacji, poprawy lub usunięcia własnego wyjścia.

* Moja konwersja odniesień wewnętrznych do łączy.

Pierwotnie opublikowane 15 lipca 2022.