Czy GPT-4 to skok w kierunku osiągnięcia AGI?

Microsoft (MSFT ) opublikował niedawno artykuł badawczy zatytułowany: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Jak opisuje Microsoft:

Artykuł ten przedstawia wyniki naszych badań wczesnej wersji GPT-4, kiedy jeszcze była w aktywnej fazie rozwoju przez OpenAI. Uważamy, że (ta wczesna wersja) GPT-4 jest częścią nowej generacji modeli językowych (wraz z ChatGPT i Google’s (GOOGL ) PaLM), które wykazują bardziej ogólną inteligencję niż poprzednie modele AI.

W tym artykule przedstawiono dowody, które potwierdzają, że GPT-4 idzie znacznie dalej niż memorization, i że ma głębokie i elastyczne zrozumienie pojęć, umiejętności i dziedzin. W rzeczywistości jego zdolność do generalizacji przewyższa tę, którą posiada każdy człowiek żyjący dzisiaj.

Pomimo że wcześniej omawialiśmy korzyści AGI, powinniśmy szybko podsumować ogólny konsensus na temat tego, czym jest system AGI. W istocie AGI to zaawansowany AI, który może generalizować w wielu dziedzinach i nie jest wąski w zakresie. Przykładami wąskiego AI są samochód autonomiczny, czatbot, szachowy bot lub każdy inny AI, który jest zaprojektowany do jednego celu.

AGI w porównaniu byłaby w stanie elastycznie przechodzić pomiędzy dowolnymi z powyższych lub innymi dziedzinami specjalizacji. To AI, które mogłoby wykorzystać nowe algorytmy, takie jak transfer learning, i evolutionary learning, a także wykorzystywać legacy algorytmy, takie jak deep reinforcement learning.

Powyższy opis AGI odpowiada moim osobistym doświadczeniom z używaniem GPT-4, a także dowodom przedstawionym w artykule badawczym, który został opublikowany przez Microsoft.

Jednym z przykładów opisanych w artykule jest zadanie dla GPT-4, aby napisać dowód nieskończoności liczb pierwszych w postaci poematu.

Jeśli analizujemy wymagania dotyczące tworzenia takiego poematu, zdajemy sobie sprawę, że wymaga to matematycznego rozumowania, poetyckiego wyrazu i generacji języka naturalnego. To wyzwanie, które przewyższa średnie możliwości większości ludzi.

Artykuł chciał sprawdzić, czy GPT-4 tworzy treści oparte na ogólnej memorizacji, czy też rozumie kontekst i potrafi rozumuwać. Kiedy poproszono go o odtworzenie poematu w stylu Shakespeare’a, był w stanie to zrobić. To wymaga wieloaspektowego zrozumienia, które przewyższa możliwości ogólnej populacji i obejmuje teorię umysłu i matematyczny geniusz.

Jak obliczyć inteligencję GPT-4?

Pytanie brzmi, jak możemy zmierzyć inteligencję modelu językowego? Czy GPT-4 wykazuje zachowania prawdziwego uczenia, czy tylko memorizacji?

Obecny sposób testowania systemu AI polega na ocenianiu systemu na podstawie standardowych zestawów danych testowych, aby upewnić się, że są one niezależne od danych treningowych i że pokrywają szeroki zakres zadań i dziedzin. Ten rodzaj testowania jest niemal niemożliwy ze względu na olbrzymią ilość danych, na których został wytrenowany GPT-4.

Artykuł omawia generowanie nowych i trudnych zadań/pytań, które przekonywująco dowodzą, że GPT-4 idzie znacznie dalej niż memorizacja, i że ma głębokie i elastyczne zrozumienie pojęć, umiejętności i dziedzin.

Jeśli chodzi o inteligencję, GPT-4 może generować krótkie historie, scenariusze, i może obliczać najbardziej skomplikowane formuły.

GPT-4 jest również w stanie kodować na bardzo wysokim poziomie, zarówno w sensie pisania kodu z instrukcji, jak i zrozumienia istniejącego kodu. GPT-4 może obsługiwać szeroki zakres zadań programistycznych, od wyzwań programistycznych do aplikacji świata rzeczywistego, od niskiego poziomu assembly do wysokich frameworków, od prostych struktur danych do złożonych programów, takich jak gry. GPT-4 może również rozumuwać o wykonaniu kodu, symulować efekty instrukcji i wyjaśniać wyniki w języku naturalnym. GPT-4 może nawet wykonywać pseudokod,

GPT-4 może oferować racjonalne odpowiedzi na prawie każde podane pytanie. W rzeczywistości jego inteligencja jest prawie niezwyciężona w swojej złożoności.

Ograniczenia GPT-4

Artykuł następnie opisuje, jak sprawdzono odpowiedzi i zachowania GPT-4, aby zweryfikować jego spójność, koherencję i poprawność, oraz aby ujawnić jego ograniczenia i uprzedzenia.

Najbardziej oczywistym ograniczeniem jest jego skłonność do halucynacji. Oto przykład halucynacji, który jest podany w artykule, gdzie GPT-4 był pewny swojej odpowiedzi, która była całkowicie fałszywa.

Wydaje się, że nawet GPT-4 rozumie to ograniczenie, ponieważ tak odpowiedział, kiedy zapytałem go, co to jest halucynacja GPT:

Halucynacja GPT odnosi się do zjawiska, w którym model Generative Pre-trained Transformer (GPT), taki jak ten, z którym aktualnie interaktywnie się komunikujesz, generuje odpowiedź, która nie opiera się na faktach lub nie jest spójna z kontekstem. Te halucynacje występują, gdy model generuje tekst, który może wydawać się prawdopodobny, ale jest w rzeczywistości niepoprawny, mylący lub nonsensowny.

Innymi słowy, kiedy trenujesz model językowy na danych świata, jak uniknąć systemu, który uczy się niepoprawnych danych? Duży model językowy, który uczy się i wypluwa niepoprawne informacje i teorie spiskowe, może być jednym z największych niebezpieczeństw i zagrożeń, z którymi ludzkość może się spotkać w przypadku dużych wdrożeń modeli językowych. To może być jednym z większych zagrożeń związanych z AGI, które jest zaskakująco pomijane, gdy dyskutuje się o niebezpieczeństwach AGI.

Dowody inteligencji GPT-4

Artykuł ilustruje, że niezależnie od tego, jak złożone pytania były kierowane do niego, GPT-4 przewyższał oczekiwania. Jak stwierdzono w artykule:

Jego niezrównana biegłość w języku naturalnym. Może nie tylko generować płynny i spójny tekst, ale także rozumieć i manipulować nim na różne sposoby, takie jak podsumowywanie, tłumaczenie lub odpowiadanie na bardzo szeroki zakres pytań. Ponadto, przez tłumaczenie rozumiemy nie tylko tłumaczenie między różnymi językami naturalnymi, ale także tłumaczenie tonu i stylu, a także między dziedzinami, takimi jak medycyna, prawo, rachunkowość, programowanie komputerowe, muzyka i wiele innych.

Przeprowadzono symulowane przeglądy techniczne GPT-4, które łatwo przeszło, co oznacza, że gdyby to był człowiek na drugim końcu, zostałby natychmiast zatrudniony jako inżynier oprogramowania. Podobne wstępne testy kompetencji GPT-4 w Multistate Bar Exam wykazały dokładność powyżej 70%. To oznacza, że w przyszłości możemy zautomatyzować wiele zadań, które są obecnie wykonywane przez prawników. W rzeczywistości istnieją już startupy, które pracują nad stworzeniem robotycznych prawników przy użyciu GPT-4.

Wytwarzanie nowej wiedzy

Jednym z argumentów w artykule jest to, że jedyną rzeczą, której brakuje GPT-4, aby udowodnić prawdziwe poziomy zrozumienia, jest wytwarzanie nowej wiedzy, takiej jak dowody nowych twierdzeń matematycznych, co obecnie pozostaje poza zasięgiem modeli językowych.

Ponownie, jest to święty Graal AGI. Chociaż istnieją niebezpieczeństwa związane z AGI, które są kontrolowane w złych rękach, korzyści z AGI, które mogą szybko analizować wszystkie historyczne dane, aby odkryć nowe twierdzenia, leki i leczenia, są niemal nieskończone.

AGI mogłaby być brakującym ogniwa w drodze do znalezienia leków na rzadkie choroby genetyczne, które obecnie nie mają finansowania ze strony przemysłu, do wyleczenia raka raz na zawsze i do maksymalizacji wydajności energii odnawialnej, aby wyeliminować naszą zależność od niezrównoważonej energii. W rzeczywistości mogłaby rozwiązać każdy konsekwentny problem, który jest wprowadzany do systemu AGI. To jest to, co rozumieją Sam Altman i zespół OpenAI, AGI to prawdziwa ostatnia wynalazek, który jest potrzebny do rozwiązania większości problemów i przyniesienia korzyści ludzkości.

Oczywiście, to nie rozwiązuje problemu przycisku jądrowego, kto kontroluje AGI i jakie są ich intencje. Niezależnie od tego, artykuł ten robi fenomenalną robotę, argumentując, że GPT-4 to skok w kierunku osiągnięcia marzenia badaczy AI, które mieli od 1956 roku, kiedy pierwszy raz zorganizowano letni warsztat badawczy na temat sztucznej inteligencji.

Chociaż jest to dyskusyjne, czy GPT-4 jest AGI, można łatwo argumentować, że po raz pierwszy w historii ludzkości jest to system AI, który może przejść test Turinga.