AI uči od AI: Pojava društvenog učenja među modelima velikih jezika

Otkako je OpenAI predstavljen ChatGPT3.5 krajem 2022. ulogu temeljne veliki jezični modeli (LLMs) postao je sve istaknutiji u umjetnoj inteligenciji (AI), posebno u obrada prirodnog jezika (NLP). Ovi LLM-ovi, osmišljeni za obradu i generiranje ljudskog teksta, uče iz širokog niza tekstova s ​​interneta, od knjiga do web stranica. Ovaj proces učenja omogućuje im da uhvate bit ljudskog jezika, čime LLM-i izgledaju kao rješavatelji problema opće namjene.

Dok je razvoj LLM-a otvorio nova vrata, metoda prilagodbe ovih modela za specifične primjene—poznata kao fino podešavanje— donosi vlastiti niz izazova. Fino podešavanje modela zahtijeva dodatnu obuku o više fokusiranim skupovima podataka, što može dovesti do poteškoća kao što su zahtjev za označenim podacima, rizik od model drift istodobno prekomjerno opremanje, te potreba za značajnim resursima.

Baveći se tim izazovima, istraživači iz Googlea nedavno su usvojili ideju "sslužbeno učenje' kako bismo pomogli umjetnoj inteligenciji da uči od umjetne inteligencije. Ključna ideja je da, kada se LLM-i pretvore u chatbotove, oni mogu komunicirati i učiti jedni od drugih na način sličan ljudskom društvenom učenju. Ova interakcija im omogućuje da uče jedni od drugih, čime se poboljšava njihova učinkovitost.

Što je socijalno učenje?

Socijalno učenje nije nova ideja. Temelji se na teoriji iz 1970-ih godina Albert Bandura, što sugerira da ljudi uče promatrajući druge. Ovaj koncept primijenjen na umjetnu inteligenciju znači da se sustavi umjetne inteligencije mogu poboljšati međusobnom interakcijom, učeći ne samo iz izravnih iskustava već i iz radnji kolega. Ova metoda obećava brže stjecanje vještina i čak bi mogla omogućiti sustavima umjetne inteligencije da razviju vlastitu "kulturu" dijeljenjem znanja.

Za razliku od drugih metoda učenja umjetne inteligencije, poput pokušaja i pogreške učenje učvršćivanja or učenje imitacije iz izravnih primjera, socijalno učenje naglašava učenje kroz interakciju. Nudi praktičniji i zajednički način za AI da pokupi nove vještine.

Socijalno učenje u LLM-u

Važan aspekt socijalnog učenja je razmjena znanja bez dijeljenja izvornih i osjetljivih informacija. Kao takav, Istraživači primijenili su dinamiku učitelj-učenik gdje modeli učitelja olakšavaju proces učenja modelima učenika bez otkrivanja povjerljivih detalja. Kako bi postigli ovaj cilj, modeli nastavnika generiraju sintetičke primjere ili upute iz kojih modeli učenika mogu učiti bez dijeljenja stvarnih podataka. Na primjer, razmislite o modelu učitelja obučenog za razlikovanje neželjene pošte od onih koje nisu neželjene pošte koristeći podatke koje su označili korisnici. Ako želimo da neki drugi model svlada ovaj zadatak bez diranja u izvorne, privatne podatke, socijalno učenje dolazi u obzir. Model nastavnika stvorio bi sintetičke primjere ili pružio uvide na temelju svog znanja, omogućujući modelu učenika da točno identificira neželjene poruke bez izravnog izlaganja osjetljivim podacima. Ova strategija ne samo da poboljšava učinkovitost učenja, već također pokazuje potencijal LLM-a da uče na dinamičan, prilagodljiv način, potencijalno izgrađujući kulturu kolektivnog znanja. Vitalna značajka ovog pristupa je njegovo oslanjanje na sintetičke primjere i izrađene upute. Generiranjem novih, informativnih primjera koji se razlikuju od izvornog skupa podataka, modeli nastavnika mogu očuvati privatnost dok i dalje usmjeravaju modele učenika prema učinkovitom učenju. Ovaj je pristup bio učinkovit, postižući rezultate jednake onima dobivenim korištenjem stvarnih podataka.

Kako socijalno učenje rješava izazove finog ugađanja?

Društveno učenje nudi novi način usavršavanja LLM-a za specifične zadatke. Pomaže u suočavanju s izazovima finog podešavanja na sljedeće načine:

1. Manje potrebe za označenim podacima: Učenjem iz sintetičkih primjera koje modeli dijele, društveno učenje smanjuje oslanjanje na označene podatke do kojih je teško doći.
2. Izbjegavanje pretjerane specijalizacije: Održava modele svestranim izlažući ih širem rasponu primjera od onih u malim, specifičnim skupovima podataka.
3. Smanjenje prekomjernog opremanja: Društveno učenje proširuje iskustvo učenja, pomažući modelima da bolje generaliziraju i izbjegnu prekomjerno opremanje.
4. Spremanje resursa: Ovaj pristup omogućuje učinkovitiju upotrebu resursa, jer modeli uče iz iskustava drugih bez potrebe za izravnim pristupom velikim skupovima podataka.

Buduće smjernice

Potencijal za socijalno učenje u LLM-u predlaže različite zanimljive i smislene načine za buduća istraživanja umjetne inteligencije:

1. Hibridne AI kulture: Kako LLM-i sudjeluju u socijalnom učenju, mogli bi početi stvarati zajedničke metodologije. Mogle bi se provesti studije kako bi se istražili učinci ovih novih "kultura" umjetne inteligencije, ispitujući njihov utjecaj na ljudske interakcije i uključena etička pitanja.
2. Učenje preko modaliteta: Proširenje društvenog učenja izvan teksta na slike, zvukove i još mnogo toga moglo bi dovesti do AI sustava s bogatijim razumijevanjem svijeta, slično kao što ljudi uče kroz više osjetila.
3. Decentralizirano učenje: Ideja o modelima umjetne inteligencije koji uče jedni od drugih preko decentralizirane mreže predstavlja nov način povećanja razmjene znanja. To bi zahtijevalo rješavanje značajnih izazova u koordinaciji, privatnosti i sigurnosti.
4. Interakcija čovjek-AI: Postoji potencijal u istraživanju kako ljudi i umjetna inteligencija mogu imati uzajamne koristi od društvenog učenja, posebno u obrazovnim i suradničkim okruženjima. To bi moglo redefinirati način na koji dolazi do prijenosa znanja i inovacija.
5. Etički razvoj umjetne inteligencije: Podučavanje umjetne inteligencije da rješava etičke dileme putem društvenog učenja moglo bi biti korak prema odgovornijoj umjetnoj inteligenciji. Fokus bi bio na razvoju AI sustava koji mogu etički razmišljati i uskladiti se s društvenim vrijednostima.
6. Sustavi koji se sami poboljšavaju: Ekosustav u kojem AI modeli kontinuirano uče i poboljšavaju se iz iskustava drugih mogao bi ubrzati AI inovacije. To sugerira budućnost u kojoj se umjetna inteligencija može autonomnije prilagoditi novim izazovima.
7. Privatnost u učenju: S AI modelima koji dijele znanje, osiguravanje privatnosti temeljnih podataka je ključno. Budući napori mogli bi istražiti sofisticiranije metode za omogućavanje prijenosa znanja bez ugrožavanja sigurnosti podataka.

Bottom Line

Googleovi istraživači uveli su inovativni pristup nazvan socijalno učenje među velikim jezičnim modelima (LLM), nadahnut ljudskom sposobnošću da uči promatrajući druge. Ovaj okvir omogućuje LLM-ima dijeljenje znanja i poboljšanje sposobnosti bez pristupa ili izlaganja osjetljivih podataka. Generiranjem sintetičkih primjera i uputa, LLM-i mogu učinkovito učiti, rješavajući ključne izazove u razvoju umjetne inteligencije kao što su potreba za označenim podacima, prevelika specijalizacija, prekomjerno opremanje i potrošnja resursa. Društveno učenje ne samo da poboljšava učinkovitost i prilagodljivost umjetne inteligencije, već također otvara mogućnosti za umjetnu inteligenciju da razvije zajedničke "kulture", uključi se u učenje više modaliteta, sudjeluje u decentraliziranim mrežama, komunicira s ljudima na nove načine, upravlja etičkim dilemama i osigurava privatnost. Ovo označava značajan pomak prema kolaborativnijim, svestranijim i etičnijim sustavima umjetne inteligencije, obećavajući redefiniranje krajolika istraživanja i primjene umjetne inteligencije.