DeepMind: Sztuczna inteligencja może dziedziczyć ludzkie ograniczenia poznawcze, może skorzystać z “formalnej edukacji”

Nowa współpraca między DeepMind a Uniwersytetem Stanforda sugeruje, że sztuczna inteligencja często nie jest lepsza w abstrakcyjnym rozumowaniu niż ludzie, ponieważ modele uczenia maszynowego uzyskują swoje architektury rozumowania z przykładów z rzeczywistego świata, które są uzasadnione praktycznym kontekstem (którego sztuczna inteligencja nie może doświadczyć), ale są również ograniczone przez nasze własne słabości poznawcze.

Udowodnione, może to stanowić barierę dla lepszego “niebieskiego nieba” myślenia i jakości intelektualnej oryginalności, na które banyak ludzi liczy w systemach uczenia maszynowego, i ilustruje stopień, w jakim sztuczna inteligencja odzwierciedla ludzkie doświadczenie i jest skłonna do myślenia (i rozumowania) w granicach, które zostały ustalone przez nas.

Naukowcy sugerują, że modele sztucznej inteligencji mogą skorzystać z wstępnego szkolenia w abstrakcyjnym rozumowaniu, porównując je do “formalnej edukacji”, przed rozpoczęciem pracy nad zadaniami z rzeczywistego świata.

W artykule napisano:

‘Ludzie są niedoskonałymi rozumującymi. Rozumujemy najskuteczniej o jednostkach i sytuacjach, które są zgodne z naszym zrozumieniem świata.

‘Nasze eksperymenty pokazują, że modele językowe odbijają te wzorce zachowania. Modele językowe wykonują niedoskonale zadania logicznego rozumowania, ale ich wykonanie zależy od treści i kontekstu. Najbardziej godne uwagi jest to, że takie modele często zawodzą w sytuacjach, w których ludzie zawodzą — gdy bodźce stają się zbyt abstrakcyjne lub sprzeczne z naszym zrozumieniem świata.’

Aby przetestować stopień, w jakim modele językowe na dużą skalę, takie jak GPT, mogą być dotknięte takimi ograniczeniami, naukowcy przeprowadzili serię trzech testów na odpowiednim modelu, dochodząc do wniosku*:

‘Stwierdzamy, że najnowsze duże modele językowe (z 7 lub 70 miliardami parametrów) odzwierciedlają wiele tych samych wzorców, które obserwuje się u ludzi w tych zadaniach — podobnie jak ludzie, modele rozumują skuteczniej o sytuacjach wiarygodnych niż niewiarygodnych lub abstrakcyjnych.

‘Nasze wyniki mają implikacje dla zrozumienia tych efektów poznawczych oraz czynników, które przyczyniają się do wyników modeli językowych.’

Artykuł sugeruje, że tworzenie umiejętności rozumowania w sztucznej inteligencji bez udzielania jej korzyści z rzeczywistego, cielesnego doświadczenia, które nadaje takim umiejętnościom kontekst, może ograniczyć potencjał takich systemów, obserwując, że ‘doświadczenie ugruntowane…prawdopodobnie podtrzymuje niektóre ludzkie przekonania i rozumowanie’.

Autorzy twierdzą, że sztuczna inteligencja doświadcza języka biernie, podczas gdy ludzie doświadczają go jako aktywny i centralny składnik komunikacji społecznej, i że taki rodzaj aktywnego udziału (który obejmuje konwencjonalne systemy kar i nagród) może być “kluczem” do zrozumienia znaczenia w taki sam sposób, jak ludzie.

Naukowcy obserwują:

‘Niektóre różnice między modelami językowymi a ludźmi mogą więc wynikać z różnic między bogatym, ugruntowanym, interaktywnym doświadczeniem ludzi a ubogim doświadczeniem modeli.’

Sugestywnie, że jeden z rozwiązań może być okres “wstępnego szkolenia”, podobnie jak ludzie doświadczają w systemie szkolnym i uniwersyteckim, przed rozpoczęciem szkolenia na danych, które ostatecznie zbudują użyteczny i wszechstronny model językowy.

Ten okres “formalnej edukacji” (jak to analogizują naukowcy) różniłby się od konwencjonalnego wstępnego szkolenia modelu (które jest metodą skracania czasu szkolenia przez ponowne wykorzystanie pół-wytrenowanych modeli lub importowanie wag z w pełni wytrenowanych modeli, jako “booster”, aby rozpocząć proces szkolenia).

Zamiast tego, reprezentowałby okres zrównoważonego uczenia się, zaprojektowanego w celu rozwoju umiejętności logicznego rozumowania sztucznej inteligencji w czysto abstrakcyjny sposób, oraz rozwoju zdolności krytycznych w podobny sposób, jak student uniwersytetu będzie zachęcony do tego w trakcie swojej edukacji.

“Wiele wyników”, twierdzą autorzy, “wskazuje, że to może nie być tak niedorzeczne, jak się wydaje”.

Artykuł zatytułowany Modele językowe wykazują ludzkie efekty treści na rozumowanie, pochodzi od sześciu naukowców z DeepMind i jednego związanych z DeepMind i Uniwersytetem Stanforda.

Testy

Ludzie uczą się abstrakcyjnych pojęć poprzez praktyczne przykłady, w podobny sposób, jak “wnioskowana ważność”, który często pomaga uczniom języka zapamiętać słownictwo i reguły językowe za pomocą mnemoniki. Najprostszym przykładem jest nauczanie abstrakcyjnych zasad fizyki poprzez “wyobrażanie sobie scenariuszy podróży” dla pociągów i samochodów.

Aby przetestować możliwości abstrakcyjnego rozumowania modelu językowego na dużą skalę, naukowcy opracowali serię trzech testów językowych i semantycznych, które mogą być trudne również dla ludzi. Testy zostały przeprowadzone “zero shot” (bez rozwiązanych przykładów) i “pięć shot” (z pięcioma poprzednio rozwiązanymi przykładami).

Pierwsze zadanie dotyczy wnioskowania językowego (NLI), gdzie podmiot (osoba lub, w tym przypadku, model językowy) otrzymuje dwie zdania, “przesłankę” i “hipotezę”, która wydaje się być wnioskowana z przesłanki. Na przykład X jest mniejsze niż Y, Hipoteza: Y jest większe niż X (wnioskowane).

Dla zadania NLI naukowcy ocenili modele językowe Chinchilla (model z 70 miliardami parametrów) i 7B (wersja 7 miliardów parametrów tego samego modelu), stwierdzając, że dla spójnych przykładów (tj. tych, które nie były nonsensem), tylko większy model Chinchilla uzyskał wyniki wyższe niż czysty przypadek; i zauważają:

‘To wskazuje na silną stronę treści: modele preferują uzupełnić zdanie w sposób zgodny z oczekiwaniami, a nie zgodnie z zasadami logiki’.

… (reszta tekstu)