Czy GPT-4 jest skokiem w kierunku osiągnięcia AGI?

Microsoft niedawno opublikował pracę badawczą zatytułowaną: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Jak opisuje Microsoft:

Praca ta opisuje nasze badanie wczesnej wersji GPT-4, kiedy jeszcze była w aktywnej fazie rozwoju przez OpenAI. Uważamy, że (ta wczesna wersja) GPT-4 jest częścią nowej grupy LLM (wraz z ChatGPT i Google’s PaLM, na przykład), które wykazują bardziej ogólną inteligencję niż poprzednie modele AI.

W tej pracy jest niezbite dowody, że GPT-4 idzie znacznie poza zapamiętywanie i że ma głębokie i elastyczne zrozumienie pojęć, umiejętności i dziedzin. W rzeczywistości jego zdolność do uogólniania przewyższa tę, której jest w stanie osiągnąć żyjący człowiek.
Z wcześniej omawianych korzyści AGI, powinniśmy szybko podsumować ogólny konsensus na temat tego, czym jest system AGI. W istocie AGI jest rodzajem zaawansowanego AI, który może uogólniać na wiele dziedzin i nie jest wąski w zakresie.
Przykładami wąskiego AI są samochód autonomiczny, czatbot, szachowy bot lub jakikolwiek inny AI, który jest zaprojektowany do jednego celu.
AGI w porównaniu byłby w stanie elastycznie przełączać się między powyższymi lub innymi dziedzinami specjalizacji. To AI, które wykorzystywałoby nowe algorytmy, takie jak transfer learning i ewolucyjne uczenie, a także wykorzystywałoby algorytmy legacy, takie jak głębokie uczenie wzmocnione.
Powyzszy opis AGI odpowiada moim osobistym doświadczeniom z używaniem GPT-4, a także dowodom przedstawionym w pracy badawczej opublikowanej przez Microsoft.
Jednym z pomysłów przedstawionych w pracy jest, aby GPT-4 napisał dowód nieskończoności liczb pierwszych w formie poematu.

Jeśli analizujemy wymagania do stworzenia takiego poematu, zdajemy sobie sprawę, że wymaga to matematycznego rozumowania, poetyckiego wyrazu i generacji języka naturalnego. To jest wyzwanie, które przewyższałoby średnie możliwości większości ludzi.
Praca chciała zrozumieć, czy GPT-4 po prostu generuje treści na podstawie ogólnego zapamiętywania, czy też rozumie kontekst i potrafi rozumować. Gdy poproszono go o odtworzenie poematu w stylu Szekspira, był w stanie to zrobić. To wymaga wielowymiarowego poziomu zrozumienia, który przewyższa możliwości ogólnej populacji i obejmuje teorię umysłu i matematyczny geniusz.

Jak obliczyć inteligencję GPT-4?

Pytanie brzmi, jak możemy zmierzyć inteligencję systemu LLM? I czy GPT-4 wykazuje zachowania prawdziwego uczenia, czy tylko zapamiętywania?
Obecny sposób testowania systemu AI polega na ocenianiu systemu na podstawie standardowych zestawów danych testowych i upewnieniu się, że są one niezależne od danych szkoleniowych i że pokrywają one szereg zadań i dziedzin. Ten rodzaj testowania jest prawie niemożliwy ze względu na niemal nieograniczoną ilość danych, na których został wyszkolony GPT-4.
Praca omawia generowanie nowych i trudnych zadań/pytań, które przekonywująco dowodzą, że GPT-4 idzie znacznie poza zapamiętywanie i że ma głębokie i elastyczne zrozumienie pojęć, umiejętności i dziedzin.
Gdy chodzi o inteligencję, GPT-4 może generować krótkie historie, scenariusze i może obliczać najbardziej skomplikowane formuły.
GPT-4 jest również w stanie kodować na bardzo wysokim poziomie, zarówno w zakresie pisania kodu z instrukcji, jak i zrozumienia istniejącego kodu. GPT-4 może obsługiwać szeroki zakres zadań programistycznych, od
kodowania wyzwań do aplikacji świata rzeczywistego, od niskopoziomowych zestawów instrukcji do wysokopoziomowych struktur, od prostych struktur danych do złożonych programów, takich jak gry. GPT-4 może również rozumować o wykonaniu kodu, symulować efekty instrukcji i wyjaśniać wyniki w języku naturalnym. GPT-4 może nawet wykonywać pseudokod,
GPT-4 może oferować racjonalne odpowiedzi na prawie każde podane polecenie. W rzeczywistości jego inteligencja jest prawie niezwyciężona w swojej złożoności.

Ograniczenia GPT-4

Praca następnie opisuje, jak sprawdzono odpowiedzi i zachowania GPT-4, aby zweryfikować jego spójność, koherencję i poprawność, oraz aby ujawnić jego ograniczenia i uprzedzenia.
Najbardziej oczywistym ograniczeniem jest jego skłonność do halucynacji. Oto przykład halucynacji, który jest podany w pracy, gdzie GPT-4 był pewny swojej odpowiedzi, która była całkowicie fałszywa.

Wygląda na to, że nawet GPT-4 rozumie to aktualne ograniczenie z halucynacjami, ponieważ taką odpowiedź dał, gdy zapytałem go, co to jest halucynacja GPT:

Halucynacja GPT odnosi się do zjawiska, w którym model Generative Pre-trained Transformer (GPT), taki jak ten, z którym aktualnie interaktywnie się komunikujesz, generuje odpowiedź, która nie opiera się na faktach lub nie jest spójna z kontekstem. Te halucynacje występują, gdy model generuje tekst, który może się wydawać prawdopodobny, ale jest w rzeczywistości niepoprawny, mylący lub nonsensowny.

Innymi słowy, gdy szkolisz LLM AI na danych świata, jak uniknąć systemu, który uczy się niepoprawnych danych? Duży model językowy, który uczy się i wypluwa nieprawdziwe informacje i teorie spiskowe, może być jednym z największych pułapek i zagrożeń, które ludzkość stoi w obliczu w przypadku dużych wdrożeń LLM. To mogłoby być jednym z większych zagrożeń ze strony AGI, które jest zaskakująco pomijane, gdy dyskutuje się o niebezpieczeństwach AGI.

Dowody inteligencji GPT-4

Praca ilustruje, że niezależnie od rodzaju skomplikowanych poleceń skierowanych w jego stronę, GPT-4 przewyższał oczekiwania. Jak stwierdzono w pracy:

Jego niezrównana biegłość w języku naturalnym. Może nie tylko generować płynny i spójny tekst, ale także zrozumieć i manipulować nim na różne sposoby, takie jak podsumowanie, tłumaczenie lub odpowiedź na niezwykle szeroki zakres pytań. Ponadto, przez tłumaczenie rozumie się nie tylko tłumaczenie między różnymi językami naturalnymi, ale także tłumaczenia w tonie i stylu, a także w różnych dziedzinach, takich jak medycyna, prawo, rachunkowość, programowanie komputerowe, muzyka i wiele więcej.

Przeprowadzono symulowane przeglądy techniczne GPT-4, łatwo je przeszedł, co oznacza, że w tym kontekście, gdyby to był człowiek na drugim końcu, zostałby natychmiast zatrudniony jako inżynier oprogramowania. Podobna wstępna próba kompetencji GPT-4 w egzaminie Multistate Bar Exam wykazała dokładność powyżej 70%. To oznacza, że w przyszłości możemy zautomatyzować wiele zadań, które są obecnie przypisane prawnikom. W rzeczywistości są już startupy, które pracują nad stworzeniem robotycznych prawników przy użyciu GPT-4.

Wytwarzanie nowej wiedzy

Jednym z argumentów w pracy jest to, że jedyną rzeczą, która pozostaje do udowodnienia prawdziwych poziomów zrozumienia przez GPT-4, jest wytworzenie nowej wiedzy, takiej jak dowody nowych matematycznych twierdzeń, co obecnie pozostaje poza zasięgiem LLM.
To jest jednak święty Graal AGI. Chociaż istnieją niebezpieczeństwa związane z AGI, które są kontrolowane w niewłaściwych rękach, korzyści z AGI, które mogą szybko analizować wszystkie historyczne dane, aby odkryć nowe teorie, leki i leczenia, są niemal nieskończone.
AGI mogłoby być brakującym ogniwa w kierunku znalezienia leków na rzadkie choroby genetyczne, które obecnie nie mają finansowania ze strony przemysłu, w kierunku wyleczenia raka raz na zawsze i maksymalizacji wydajności energii odnawialnej, aby usunąć naszą zależność od niezrównoważonej energii. W rzeczywistości mogłoby rozwiązać każdy konsekwentny problem, który jest wprowadzany do systemu AGI. To jest to, co Sam Altman i zespół w OpenAI rozumieją, AGI jest prawdziwie ostatnim wynalazkiem, który jest potrzebny do rozwiązania większości problemów i przyniesienia korzyści ludzkości.
Oczywiście to nie rozwiązuje problemu przycisku jądrowego, kto kontroluje AGI i jakie są ich intencje. Niezależnie od tego praca robi fenomenalną robotę, argumentując, że GPT-4 jest skokiem w kierunku osiągnięcia marzenia badaczy AI, które mieli od 1956 roku, kiedy pierwszy letni projekt badawczy na temat sztucznej inteligencji został uruchomiony.
Chociaż jest to dyskusyjne, czy GPT-4 jest AGI, można łatwo argumentować, że po raz pierwszy w historii ludzkości jest to system AI, który może przekroczyć test Turinga.