Sztuczna inteligencja uczy się od sztucznej inteligencji: pojawienie się uczenia się społecznego wśród dużych modeli językowych

Od czasu zaprezentowania OpenAI CzatGPT 3.5 pod koniec 2022 r. rola fundamentalna duże modele językowe (LLM) zyskują coraz większe znaczenie w sztucznej inteligencji (AI), szczególnie w przetwarzanie języka naturalnego (NLP). Te programy LLM, zaprojektowane do przetwarzania i generowania tekstu podobnego do ludzkiego, uczą się z szerokiej gamy tekstów z Internetu, od książek po strony internetowe. Ten proces uczenia się pozwala im uchwycić istotę ludzkiego języka, dzięki czemu LLM wyglądają jak narzędzia do rozwiązywania problemów ogólnego przeznaczenia.

Chociaż rozwój LLM otworzył nowe drzwi, metoda adaptacji tych modeli do konkretnych zastosowań – tzw strojenie— niesie ze sobą własny zestaw wyzwań. Dostrajanie modelu wymaga dodatkowego szkolenia na bardziej ukierunkowanych zbiorach danych, co może prowadzić do trudności, takich jak wymóg etykietowania danych, ryzyko model dryfu i nadmierne dopasowanieoraz zapotrzebowanie na znaczne zasoby.

Aby sprostać tym wyzwaniom, badacze z Google przyjęli niedawno koncepcję „snauka społeczna', aby pomóc AI uczyć się od AI. Kluczową ideą jest to, że po przekształceniu LLM w chatboty mogą wchodzić w interakcje i uczyć się od siebie nawzajem w sposób podobny do ludzkiego uczenia się społecznego. Dzięki tej interakcji mogą uczyć się od siebie nawzajem, zwiększając w ten sposób swoją efektywność.

Co to jest nauka społeczna?

Uczenie się społeczne nie jest pomysłem nowym. Opiera się na teorii z lat 1970. XX w Albert Banduraco sugeruje, że ludzie uczą się poprzez obserwację innych. Koncepcja ta zastosowana do sztucznej inteligencji oznacza, że ​​systemy sztucznej inteligencji mogą się udoskonalać poprzez wzajemne interakcje, ucząc się nie tylko na bezpośrednich doświadczeniach, ale także na działaniach rówieśników. Metoda ta obiecuje szybsze zdobywanie umiejętności i może nawet pozwolić systemom AI rozwinąć własną „kulturę” poprzez dzielenie się wiedzą.

W przeciwieństwie do innych metod uczenia się AI, takich jak metoda prób i błędów uczenie się wzmacniania or nauka naśladowania z bezpośrednich przykładów wynika, że ​​społeczne uczenie się kładzie nacisk na uczenie się poprzez interakcję. Oferuje sztuczną inteligencję bardziej praktyczny i wspólny sposób zdobywania nowych umiejętności.

Uczenie się społeczne w LLM

Ważnym aspektem społecznego uczenia się jest wymiana wiedzy bez dzielenia się oryginalnymi i wrażliwymi informacjami. Takie jak, Badacze zastosowali dynamikę nauczyciel-uczeń, w której modele nauczycieli ułatwiają proces uczenia się modelom uczniów, nie ujawniając żadnych poufnych szczegółów. Aby osiągnąć ten cel, modele nauczycieli generują syntetyczne przykłady lub wskazówki, z których modele uczniów mogą się uczyć bez udostępniania rzeczywistych danych. Rozważmy na przykład model nauczyciela przeszkolonego w odróżnianiu wiadomości tekstowych będących spamem od wiadomości niebędących spamem na podstawie danych zaznaczonych przez użytkowników. Jeśli chcemy, aby inny model poradził sobie z tym zadaniem bez dotykania oryginalnych, prywatnych danych, w grę wchodzi uczenie się społeczne. Model nauczyciela tworzyłby syntetyczne przykłady lub dostarczał spostrzeżeń w oparciu o swoją wiedzę, umożliwiając modelowi ucznia dokładne identyfikowanie wiadomości spamowych bez bezpośredniego narażania się na wrażliwe dane. Strategia ta nie tylko zwiększa efektywność uczenia się, ale także pokazuje potencjał szkół wyższych w zakresie uczenia się w dynamiczny i elastyczny sposób, potencjalnie budując zbiorową kulturę wiedzy. Istotną cechą tego podejścia jest oparcie się na syntetycznych przykładach i spreparowanych instrukcjach. Generując nowe, pouczające przykłady, różniące się od oryginalnego zbioru danych, modele nauczycieli mogą chronić prywatność, jednocześnie kierując modele uczniów w stronę efektywnego uczenia się. Podejście to okazało się skuteczne, osiągając wyniki porównywalne z wynikami uzyskanymi na podstawie rzeczywistych danych.

Jak uczenie się społecznościowe pozwala sprostać wyzwaniom związanym z dostrajaniem?

Uczenie się społeczne oferuje nowy sposób udoskonalania LLM pod kątem konkretnych zadań. Pomaga radzić sobie z wyzwaniami związanymi z dostrajaniem w następujący sposób:

1. Mniejsze zapotrzebowanie na oznakowane dane: Ucząc się na syntetycznych przykładach udostępnianych pomiędzy modelami, uczenie się społeczne zmniejsza zależność od trudnych do zdobycia oznakowanych danych.
2. Unikanie nadmiernej specjalizacji: Zapewnia wszechstronność modeli, udostępniając im szerszy zakres przykładów niż w przypadku małych, konkretnych zbiorów danych.
3. Ograniczanie nadmiernego dopasowania: Uczenie się społeczne poszerza doświadczenie edukacyjne, pomagając modelom lepiej generalizować i unikać nadmiernego dopasowania.
4. Zapisywanie zasobów: Takie podejście pozwala na bardziej efektywne wykorzystanie zasobów, ponieważ modele uczą się na wzajemnych doświadczeniach bez konieczności bezpośredniego dostępu do dużych zbiorów danych.

Przyszłe kierunki

Potencjał społecznego uczenia się w LLM sugeruje różne interesujące i znaczące sposoby przyszłych badań nad sztuczną inteligencją:

1. Hybrydowe kultury sztucznej inteligencji: W miarę jak szkoły LLM uczestniczą w uczeniu się społecznym, mogą zacząć tworzyć wspólne metodologie. Można przeprowadzić badania w celu zbadania skutków powstających „kultur” sztucznej inteligencji, sprawdzając ich wpływ na interakcje międzyludzkie i związane z tym kwestie etyczne.
2. Uczenie się międzymodalne: Rozszerzenie uczenia się społecznościowego poza tekst, aby uwzględnić obrazy, dźwięki i inne elementy, mogłoby doprowadzić do powstania systemów sztucznej inteligencji zapewniających bogatsze zrozumienie świata, podobnie jak ludzie uczą się za pomocą wielu zmysłów.
3. Zdecentralizowane nauczanie: Pomysł, zgodnie z którym modele sztucznej inteligencji uczą się od siebie nawzajem w zdecentralizowanej sieci, stanowi nowatorski sposób na zwiększenie skali dzielenia się wiedzą. Wymagałoby to stawienia czoła poważnym wyzwaniom w zakresie koordynacji, prywatności i bezpieczeństwa.
4. Interakcja człowiek-AI: Istnieje potencjał w badaniu, w jaki sposób ludzie i sztuczna inteligencja mogą wzajemnie korzystać z uczenia się przez społeczeństwo, szczególnie w środowiskach edukacyjnych i opartych na współpracy. Może to na nowo zdefiniować sposób transferu wiedzy i innowacji.
5. Etyczny rozwój sztucznej inteligencji: Nauczenie sztucznej inteligencji rozwiązywania dylematów etycznych poprzez uczenie się społeczne może być krokiem w kierunku bardziej odpowiedzialnej sztucznej inteligencji. Nacisk zostanie położony na rozwój systemów sztucznej inteligencji, które potrafią rozumować etycznie i być zgodne z wartościami społecznymi.
6. Systemy samodoskonalące się: Ekosystem, w którym modele sztucznej inteligencji stale uczą się i ulepszają na podstawie wzajemnych doświadczeń, mógłby przyspieszyć innowacje w zakresie sztucznej inteligencji. Sugeruje to przyszłość, w której sztuczna inteligencja będzie mogła dostosowywać się do nowych wyzwań w bardziej autonomiczny sposób.
7. Prywatność w nauce: Ponieważ modele sztucznej inteligencji dzielą się wiedzą, zapewnienie prywatności danych źródłowych ma kluczowe znaczenie. Przyszłe wysiłki mogą obejmować bardziej wyrafinowane metody umożliwiające transfer wiedzy bez narażania bezpieczeństwa danych.

Bottom Line

Badacze Google są pionierami innowacyjnego podejścia zwanego nauką społeczną wśród dużych modeli językowych (LLM), zainspirowanego ludzką zdolnością do uczenia się na podstawie obserwacji innych. Ramy te umożliwiają LLM dzielenie się wiedzą i ulepszanie możliwości bez uzyskiwania dostępu do wrażliwych danych lub ich ujawniania. Generując syntetyczne przykłady i instrukcje, LLM mogą skutecznie się uczyć, stawiając czoła kluczowym wyzwaniom w rozwoju sztucznej inteligencji, takim jak potrzeba etykietowanych danych, nadmierna specjalizacja, nadmierne dopasowanie i zużycie zasobów. Uczenie się społeczne nie tylko zwiększa wydajność i możliwości adaptacji sztucznej inteligencji, ale także otwiera jej możliwości rozwijania wspólnych „kultur”, angażowania się w uczenie się międzymodalne, uczestniczenia w zdecentralizowanych sieciach, interakcji z ludźmi na nowe sposoby, pokonywania dylematów etycznych i zapewniania prywatności. Oznacza to znaczącą zmianę w kierunku bardziej współpracujących, wszechstronnych i etycznych systemów sztucznej inteligencji, obiecując na nowo zdefiniować krajobraz badań i zastosowań sztucznej inteligencji.