Umiejętności analityczne AI: wyzwanie dla ludzkiej inteligencji?

Rozumowanie analityczne, unikalna zdolność, którą ludzie posiadają do rozwiązywania nieznanych problemów poprzez nawiązywanie paraleli z znanymi problemami, od dawna uważana jest za charakterystyczną funkcję poznawczą ludzi. Jednak przełomowe badanie przeprowadzone przez psychologów z UCLA przedstawia przekonywujące wyniki, które mogą skłonić nas do przemyślenia tej kwestii.

GPT-3: dorównywanie ludzkiej inteligencji?

Badania UCLA wykazały, że GPT-3, model językowy AI opracowany przez OpenAI, wykazuje zdolności rozumniania prawie na poziomie studentów college’u, szczególnie gdy zadaniem jest rozwiązywanie problemów podobnych do tych, które pojawiają się w testach inteligencji i standardowych egzaminach, takich jak SAT. Ta rewelacja, opublikowana w czasopiśmie Nature Human Behaviour, stawia interesujące pytanie: czy GPT-3 naśladuje ludzkie rozumowanie dzięki swojemu obszernemu zestawowi danych szkoleniowych, czy też korzysta z całkowicie nowego procesu poznawczego?

Dokładne działanie GPT-3 pozostaje ukryte przez OpenAI, pozostawiając badaczy z UCLA ciekawych mechanizmu za jego umiejętnościami analitycznymi. Pomimo godnych uwagi wyników GPT-3 w pewnych zadaniach rozumniania, narzędzie nie jest pozbawione wad. Taylor Webb, główny autor badania i postdoktorant na UCLA, zauważył: “Chociaż nasze wyniki są imponujące, ważne jest podkreślenie, że system ten ma znaczne ograniczenia. GPT-3 może wykonywać rozumowanie analityczne, ale ma trudności z zadaniami trywialnymi dla ludzi, takimi jak korzystanie z narzędzi do zadania fizycznego.”

Możliwości GPT-3 zostały poddane testowi przy użyciu problemów zainspirowanych przez Raven’s Progressive Matrices – test, w którym występują sekwencje kształtów. Przekształcając obrazy w format tekstu, który GPT-3 mógł odczytać, Webb upewnił się, że były to całkowicie nowe wyzwania dla AI. Kiedy porównano go z 40 studentami UCLA, GPT-3 nie tylko dorównał wynikom ludzkim, ale także odtworzył błędy popełniane przez ludzi. Model AI rozwiązał poprawnie 80% problemów, przewyższając średni wynik ludzki, ale mieszcząc się w zakresie najlepszych wyników ludzkich.

Zespół dalej sprawdził możliwości GPT-3, używając nieopublikowanych pytań analitycznych SAT, z których AI wyszedł lepiej niż średni wynik ludzki. Jednak nieco zawiodło, gdy próbowało nawiązać paralele z krótkimi opowiadaniami, chociaż nowszy model GPT-4 wykazał lepsze wyniki.

Przełamywanie przepaści między AI a ludzkim poznaniem

Badacze z UCLA nie zatrzymują się na prostych porównaniach. Rozpoczęli rozwój modelu komputerowego inspirowanego ludzkim poznaniem, nieustannie porównując jego możliwości z komercyjnymi modelami AI. Keith Holyoak, profesor psychologii na UCLA i współautor, powiedział: “Nasz model AI psychologiczny wyróżniał się w zadaniach analitycznych, aż do najnowszej aktualizacji GPT-3, która wykazała lepsze lub równoważne możliwości.”

Jednak zespół zidentyfikował pewne obszary, w których GPT-3 odstawał, szczególnie w zadaniach wymagających zrozumienia przestrzeni fizycznej. W wyzwaniach związanych z użyciem narzędzi, rozwiązania GPT-3 były znacznie niecelne.

Hongjing Lu, główny autor badania, wyraził zdumienie postępem technologicznym w ciągu ostatnich dwóch lat, szczególnie w możliwościach AI do rozumniania. Ale czy te modele naprawdę “myślą” jak ludzie, czy tylko naśladują ludzkie myślenie, nadal jest przedmiotem debaty. Poszukiwanie wglądu w procesy poznawcze AI wymaga dostępu do tylnej części modeli AI, skoku, który mógłby ukształtować przyszłą trajektorię AI.

Echoing the sentiment, Webb concludes, “Access to GPT models’ backend would immensely benefit AI and cognitive researchers. Currently, we’re limited to inputs and outputs, and it lacks the decisive depth we aspire for.”

zostało przetłumaczone na:

Wzmacniając to zdanie, Webb stwierdza: “Dostęp do tylnej części modeli GPT przyniósłby ogromne korzyści badaczom AI i kognitywnym. Obecnie jesteśmy ograniczeni do danych wejściowych i wyjściowych, i brakuje mu decydującej głębi, której pragniemy.”