Możliwości analitycznego rozumowania AI: wyzwanie dla ludzkiej inteligencji?

Analityczne rozumowanie, unikalna zdolność, którą ludzie posiadają do rozwiązywania nieznanych problemów poprzez nawiązanie paraleli z znanymi problemami, od dawna uważane jest za charakterystyczną ludzką funkcję poznawczą. Jednak przełomowe badanie przeprowadzone przez psychologów z UCLA przedstawia przekonywujące wyniki, które mogą skłonić nas do przemyślenia tego.

GPT-3: dorównywanie ludzkiemu intelektowi?

Badanie UCLA wykazało, że GPT-3, model językowy AI opracowany przez OpenAI, wykazuje zdolności rozumowania prawie na poziomie studentów college’u, zwłaszcza gdy jest zadaniem rozwiązywania problemów podobnych do tych widocznych w testach inteligencji i standardowych egzaminach, takich jak SAT. Ta rewelacja, opublikowana w czasopiśmie Nature Human Behaviour, stawia interesujące pytanie: Czy GPT-3 naśladuje ludzkie rozumowanie ze względu na swoje obszerne szkolenie językowe, czy też korzysta z całkowicie nowego procesu poznawczego?

Dokładne działanie GPT-3 pozostaje ukryte przez OpenAI, pozostawiając badaczy z UCLA ciekawych mechanizmu za jego zdolnościami analitycznego rozumowania. Pomimo godnych uwagi wyników GPT-3 w określonych zadaniach rozumowania, narzędzie nie jest pozbawione wad. Taylor Webb, główny autor badania i postdoktorancki badacz w UCLA, zauważył: “Chociaż nasze wyniki są imponujące, jest niezwykle ważne, aby podkreślić, że ten system ma znaczne ograniczenia. GPT-3 może wykonywać analityczne rozumowanie, ale ma trudności z zadaniami trywialnymi dla ludzi, takimi jak korzystanie z narzędzi do zadania fizycznego.”

Zdolności GPT-3 zostały poddane testowi przy użyciu problemów inspirowanych przez Raven’s Progressive Matrices – test, w którym występują złożone sekwencje kształtów. Przekształcając obrazy w format tekstu, który GPT-3 mógł odczytać, Webb upewnił się, że były to całkowicie nowe wyzwania dla AI. Podczas porównywania z 40 studentami UCLA, GPT-3 nie tylko dorównywał wynikom ludzkim, ale także odbijał błędy popełniane przez ludzi. Model AI rozwiązał poprawnie 80% problemów, przewyższając średni wynik ludzki, ale mieszcząc się w zakresie najlepszych wyników ludzkich.

Zespół dalej badał możliwości GPT-3, używając nieopublikowanych pytań analogicznych SAT, z AI, które przewyższyły średni wynik ludzki. Jednak nieco zawiodło, gdy próbowało narysować analogie z krótkich historii, chociaż nowszy model GPT-4 wykazał lepsze wyniki.

Przeszkoda pomiędzy AI a ludzkim poznaniem

Badacze z UCLA nie zatrzymują się na prostych porównaniach. Rozpoczęli rozwój modelu komputerowego inspirowanego ludzkim poznaniem, nieustannie porównując jego zdolności z komercyjnymi modelami AI. Keith Holyoak, profesor psychologii w UCLA i współautor, zauważył: “Nasz model AI psychologiczny przewyższył inne w zadaniach analitycznych, aż do najnowszej aktualizacji GPT-3, która wykazała lepsze lub równoważne zdolności.”

Jednak zespół zidentyfikował pewne obszary, w których GPT-3 odstawał, zwłaszcza w zadaniach wymagających zrozumienia przestrzeni fizycznej. W wyzwaniach związanych z użyciem narzędzi, rozwiązania GPT-3 były znacznie błędne.

Hongjing Lu, starszy autor badania, wyraził zdumienie postępami technologicznymi w ciągu ostatnich dwóch lat, zwłaszcza w zdolności AI do rozumowania. Ale czy te modele naprawdę “myślą” jak ludzie, czy po prostu naśladują myśl ludzką, jest nadal otwarte do dyskusji. Poszukiwanie wglądu w procesy poznawcze AI wymaga dostępu do modeli AI, co mogłoby ukształtować przyszłą trajektorię AI.

Powtarzając ten pogląd, Webb kończy: “Dostęp do modeli GPT z tyłu byłby ogromnym korzyścią dla badaczy AI i poznania. Obecnie jesteśmy ograniczeni do wejść i wyjść, i brakuje mu decydującej głębi, której pragniemy.”