AI uczy się od AI: Pojawienie się uczenia społecznego wśród dużych modeli językowych

Od czasu, gdy OpenAI przedstawiło ChatGPT 3.5 pod koniec 2022 roku, rola podstawowych dużych modeli językowych (LLM) stała się coraz bardziej widoczna w sztucznej inteligencji (AI), szczególnie w przetwarzaniu języka naturalnego (NLP). Te LLM są zaprojektowane do przetwarzania i generowania tekstów podobnych do ludzkich, uczą się z ogromnej ilości tekstów z internetu, od książek po strony internetowe. Proces ten pozwala im uchwycić istotę języka ludzkiego, sprawiając, że LLM wydają się jak ogólne rozwiązania problemów.

Pomimo że rozwój LLM otworzył nowe możliwości, metoda adaptacji tych modeli do konkretnych zastosowań, znana jako dostosowanie, niesie ze sobą własne wyzwania. Dostosowanie modelu wymaga dodatkowego szkolenia na bardziej ukierunkowanych zbiorach danych, co może prowadzić do trudności, takich jak wymóg danych oznaczonych, ryzyko dryfu modelu i przeuczenia, oraz potrzeba znacznych zasobów.

Co to jest uczenie społeczne?

Uczenie społeczne nie jest nową ideą. Opiera się na teorii z lat 70. autorstwa Alberta Bandury, która sugeruje, że ludzie uczą się, obserwując innych. Ten koncept zastosowany do AI oznacza, że systemy AI mogą się poprawiać, взаимодействując ze sobą, ucząc się nie tylko z bezpośrednich doświadczeń, ale także z działań rówieśników. Ta metoda obiecuje szybsze zdobywanie umiejętności i może nawet pozwolić systemom AI na rozwinięcie własnej “kultury” poprzez współdzielenie wiedzy.

W przeciwieństwie do innych metod uczenia AI, takich jak próba i błąd uczenie wzmocnienia lub uczenie naśladowcze z bezpośrednich przykładów, uczenie społeczne podkreśla uczenie się przez interakcję. Oferuje bardziej praktyczny i wspólnotowy sposób, w jaki AI może zdobywać nowe umiejętności.

Uczenie społeczne w LLM

Istotnym aspektem uczenia społecznego jest wymiana wiedzy bez udostępniania oryginalnych i wrażliwych informacji. W związku z tym badacze zastosowali dynamikę nauczyciela i ucznia, w której modele nauczycielskie ułatwiają proces uczenia się modelom uczniowskim bez ujawniania żadnych poufnych szczegółów. Aby osiągnąć ten cel, modele nauczycielskie generują syntetyczne przykłady lub instrukcje, z których modele uczniowskie mogą się uczyć bez udostępniania rzeczywistych danych. Na przykład, rozważ model nauczycielski wyszkolony w rozróżnianiu między spamem a nie-spamem za pomocą danych oznaczonych przez użytkowników. Jeśli chcemy, aby inny model opanował tę umiejętność bez dostępu do oryginalnych, poufnych danych, uczenie społeczne wchodzi w grę. Model nauczycielski tworzy syntetyczne przykłady lub dostarcza wskazówki na podstawie swojej wiedzy, umożliwiając modelowi uczniowskiemu identyfikację wiadomości spamowych bez bezpośredniego dostępu do wrażliwych danych. Ta strategia nie tylko zwiększa wydajność uczenia się, ale także demonstruje potencjał LLM do uczenia się w dynamiczny, adaptacyjny sposób, potencjalnie tworząc kolektywną kulturę wiedzy. Istotną cechą tego podejścia jest jego zależność od syntetycznych przykładów i opracowanych instrukcji. Poprzez generowanie nowych, informacyjnych przykładów odrębnych od oryginalnego zestawu danych, modele nauczycielskie mogą zachować prywatność, jednocześnie kierując modele uczniowskie w kierunku skutecznego uczenia się. Podejście to okazało się skuteczne, osiągając wyniki porównywalne z tymi uzyskanymi przy użyciu rzeczywistych danych.

Jak uczenie społeczne rozwiązuje wyzwania dostosowania?

Uczenie społeczne oferuje nowy sposób doskonalenia LLM do konkretnych zadań. Pomaga w rozwiązywaniu wyzwań dostosowania w następujący sposób:

1. Mniejsza potrzeba danych oznaczonych: Ucząc się z syntetycznych przykładów wymienianych między modelami, uczenie społeczne redukuje zależność od trudno dostępnych danych oznaczonych.
2. Unikanie specjalizacji: Zachowuje modele wszechstronne, eksponując je na szerszy zakres przykładów niż te w małych, konkretnych zbiorach danych.
3. Redukcja przeuczenia: Uczenie społeczne rozszerza doświadczenie uczenia, pomagając modelom lepiej uogólniać i unikać przeuczenia.
4. Oszczędność zasobów: Podejście to pozwala na bardziej efektywne wykorzystanie zasobów, ponieważ modele uczą się z doświadczeń nawzajem bez potrzeby bezpośredniego dostępu do dużych zbiorów danych.

Przyszłe kierunki

Potencjał uczenia społecznego w LLM sugeruje różne interesujące i znaczące kierunki dla przyszłych badań AI:

1. Hybrydowe kultury AI: Podczas gdy LLM uczestniczą w uczeniu społecznym, mogą zacząć tworzyć wspólne metody. Mogą być prowadzone badania, aby zbadania wpływu tych powstających “kultur” AI na interakcje z ludźmi i związane z tym problemy etyczne.
2. Uczenie między modalnościami: Rozszerzenie uczenia społecznego poza tekst, aby objąć obrazy, dźwięki i więcej, mogłoby prowadzić do systemów AI z bogatszym zrozumieniem świata, podobnie jak ludzie uczą się przez wiele zmysłów.
3. Uczenie zdecentralizowane: Pomysł, że modele AI uczą się od siebie nawzajem w zdecentralizowanej sieci, prezentuje nowy sposób na skalowanie wymiany wiedzy. Wymagałoby to rozwiązania znaczących wyzwań w koordynacji, prywatności i bezpieczeństwie.
4. Interakcje człowiek-AI: Istnieje potencjał w badaniu, jak ludzie i AI mogą nawzajem korzystać z uczenia społecznego, szczególnie w edukacyjnych i współpracujących środowiskach. Mogłoby to przedefiniować, jak transfer wiedzy i innowacje zachodzą.
5. Etyczny rozwój AI: Nauczanie AI, aby rozwiązywały dylematy etyczne za pomocą uczenia społecznego, mogłoby być krokiem w kierunku bardziej odpowiedzialnych systemów AI. Skoncentrowano by się na tworzeniu systemów AI, które mogą etycznie rozważać i współgrać z wartościami społecznymi.
6. Samodoskonalące się systemy: Ekosystem, w którym modele AI ciągle uczą się i doskonalą od siebie nawzajem, mógłby przyspieszyć innowacje AI. Sugestywnie wskazuje na przyszłość, w której AI może adaptować się do nowych wyzwań w sposób bardziej autonomiczny.
7. Prywatność w uczeniu: Z modelem AI, który dzieli wiedzę, zapewnienie prywatności podstawowych danych jest kluczowe. Przyszłe wysiłki mogą skupić się na bardziej zaawansowanych metodach umożliwiających transfer wiedzy bez kompromitowania bezpieczeństwa danych.

Podsumowanie

Badacze z Google (GOOGL ) zapoczątkowali innowacyjne podejście zwane uczeniem społecznym wśród dużych modeli językowych (LLM), zainspirowane ludzką zdolnością do uczenia się przez obserwację innych. Ten framework pozwala LLM na wymianę wiedzy i poprawę możliwości bez dostępu lub ujawniania wrażliwych danych. Poprzez generowanie syntetycznych przykładów i instrukcji, LLM mogą się uczyć skutecznie, rozwiązując kluczowe wyzwania w rozwoju AI, takie jak potrzeba danych oznaczonych, specjalizacja, przeuczenie i konsumpcja zasobów. Uczenie społeczne nie tylko zwiększa wydajność i adaptacyjność AI, ale także otwiera możliwości dla AI, aby rozwijać wspólne “kultury”, angażować się w uczenie między modalnościami, uczestniczyć w zdecentralizowanych sieciach, interakcji z ludźmi w nowy sposób, nawigować dylematy etyczne i zapewnić prywatność. Oznacza to znaczącą zmianę w kierunku bardziej współpracujących, wszechstronnych i etycznych systemów AI, obiecujących zdefiniować nowy krajobraz badań i zastosowań sztucznej inteligencji.