Umelá inteligencia sa učí od AI: Objavenie sa sociálneho učenia medzi veľkými jazykovými modelmi

Od odhalenia OpenAI ChatGPT3.5 koncom roku 2022, úloha zakladateľa veľké jazykové modely (LLM) sa v oblasti umelej inteligencie (AI) stáva čoraz významnejšou, najmä v spracovanie prirodzeného jazyka (NLP). Tieto LLM, navrhnuté na spracovanie a generovanie ľudského textu, sa učia z rozsiahleho množstva textov z internetu, od kníh po webové stránky. Tento proces učenia im umožňuje zachytiť podstatu ľudského jazyka, vďaka čomu sa LLM javia ako univerzálne riešenia problémov.

Zatiaľ čo vývoj LLM otvoril nové dvere, metóda prispôsobenia týchto modelov pre špecifické aplikácie – známa ako dolaďovanie– prináša svoj vlastný súbor výziev. Jemné doladenie modelu si vyžaduje dodatočné školenie zamerané na viac zamerané súbory údajov, čo môže viesť k ťažkostiam, ako je požiadavka na označené údaje, riziko modelový drift a nadmerné vybaveniea potrebu značných zdrojov.

Pri riešení týchto výziev nedávno výskumníci zo spoločnosti Google prijali myšlienku „ssociálne učenie“ pomôcť AI učiť sa od AI. Kľúčovou myšlienkou je, že keď sa LLM premenia na chatboty, môžu interagovať a učiť sa jeden od druhého podobným spôsobom ako ľudské sociálne učenie. Táto interakcia im umožňuje učiť sa jeden od druhého, čím sa zlepšuje ich efektivita.

Čo je sociálne učenie?

Sociálne učenie nie je nová myšlienka. Vychádza z teórie zo 1970. rokov XNUMX. storočia o Albert Bandura, čo naznačuje, že ľudia sa učia pozorovaním druhých. Tento koncept aplikovaný na AI znamená, že systémy AI sa môžu zlepšovať vzájomnou interakciou a učiť sa nielen z priamych skúseností, ale aj z akcií kolegov. Táto metóda sľubuje rýchlejšie získavanie zručností a môže dokonca umožniť systémom AI rozvíjať si vlastnú „kultúru“ zdieľaním vedomostí.

Na rozdiel od iných metód učenia AI, ako je pokus-omyl posilňovanie učenia or imitačné učenie z priamych príkladov sociálne učenie zdôrazňuje učenie prostredníctvom interakcie. Ponúka praktickejší a spoločný spôsob, ako si AI osvojiť nové zručnosti.

Sociálne učenie v LLM

Dôležitým aspektom sociálneho učenia je výmena vedomostí bez zdieľania originálnych a citlivých informácií. ako taký, Výskumníci využili dynamiku učiteľ-študent, kde modely učiteľov uľahčujú proces učenia pre modely študentov bez toho, aby odhalili akékoľvek dôverné podrobnosti. Na dosiahnutie tohto cieľa modely učiteľov vytvárajú syntetické príklady alebo pokyny, z ktorých sa môžu modely študentov učiť bez zdieľania skutočných údajov. Zvážte napríklad model učiteľa vyškoleného na rozlišovanie medzi spamovými a nespamovými textovými správami pomocou údajov označených používateľmi. Ak si želáme, aby iný model zvládol túto úlohu bez toho, aby sa dotkol pôvodných, súkromných údajov, prichádza do hry sociálne učenie. Učiteľský model vytvorí syntetické príklady alebo poskytne poznatky založené na svojich znalostiach, čo umožní študentskému modelu presne identifikovať spamové správy bez priameho vystavenia citlivým údajom. Táto stratégia nielen zvyšuje efektivitu učenia, ale tiež demonštruje potenciál LLM učiť sa dynamickým, adaptabilným spôsobom, čo môže potenciálne budovať kolektívnu kultúru vedomostí. Dôležitou črtou tohto prístupu je spoliehanie sa na syntetické príklady a vytvorené pokyny. Generovaním nových informatívnych príkladov odlišných od pôvodného súboru údajov môžu modely učiteľov zachovať súkromie a zároveň viesť modely študentov k efektívnemu učeniu. Tento prístup bol účinný a dosiahol výsledky na rovnakej úrovni ako tie, ktoré sa získali pomocou skutočných údajov.

Ako sociálne učenie rieši výzvy dolaďovania?

Sociálne vzdelávanie ponúka nový spôsob, ako vylepšiť LLM pre konkrétne úlohy. Pomáha vyrovnať sa s výzvami jemného ladenia nasledujúcimi spôsobmi:

1. Menšia potreba označených údajov: Učením sa zo syntetických príkladov zdieľaných medzi modelmi sociálne učenie znižuje spoliehanie sa na ťažko dostupné označené údaje.
2. Vyhnite sa nadmernej špecializácii: Udržuje modely všestranné tým, že ich vystavuje širšiemu spektru príkladov ako tie v malých, špecifických súboroch údajov.
3. Zníženie nadmerného vybavenia: Sociálne učenie rozširuje vzdelávaciu skúsenosť, pomáha modelom lepšie zovšeobecňovať a vyhnúť sa nadmernému prispôsobeniu.
4. Úspora zdrojov: Tento prístup umožňuje efektívnejšie využívanie zdrojov, pretože modely sa navzájom učia zo skúseností bez toho, aby potrebovali priamy prístup k veľkým súborom údajov.

Budúce pokyny

Potenciál sociálneho učenia v LLM naznačuje rôzne zaujímavé a zmysluplné spôsoby budúceho výskumu AI:

1. Hybridné kultúry AI: Keď sa LLM zúčastňujú na sociálnom učení, môžu začať vytvárať spoločné metodológie. Mohli by sa vykonať štúdie s cieľom preskúmať účinky týchto vznikajúcich „kultúr umelej inteligencie“ a preskúmať ich vplyv na ľudské interakcie a súvisiace etické otázky.
2. Cross-Modality Learning: Rozšírenie sociálneho učenia nad rámec textu tak, aby zahŕňalo obrázky, zvuky a ďalšie, by mohlo viesť k systémom AI s bohatším chápaním sveta, podobne ako sa ľudia učia viacerými zmyslami.
3. Decentralizované vzdelávanie: Myšlienka modelov AI, ktoré sa navzájom učia v rámci decentralizovanej siete, predstavuje nový spôsob, ako rozšíriť zdieľanie znalostí. To by si vyžadovalo riešiť významné problémy v oblasti koordinácie, súkromia a bezpečnosti.
4. Interakcia človeka a AI: Existuje potenciál pri skúmaní toho, ako môžu ľudia a AI vzájomne profitovať zo sociálneho učenia, najmä v prostredí vzdelávania a spolupráce. To by mohlo predefinovať spôsob, akým dochádza k prenosu znalostí a inováciám.
5. Etický vývoj AI: Naučiť AI riešiť etické dilemy prostredníctvom sociálneho učenia by mohlo byť krokom k zodpovednejšej AI. Dôraz by sa mal klásť na vývoj systémov umelej inteligencie, ktoré dokážu uvažovať eticky a sú v súlade so spoločenskými hodnotami.
6. Sebazlepšujúce sa systémy: Ekosystém, v ktorom sa modely AI neustále učia a zlepšujú zo svojich skúseností, by mohol urýchliť inovácie AI. To naznačuje budúcnosť, kde sa AI dokáže autonómnejšie prispôsobiť novým výzvam.
7. Ochrana osobných údajov vo vzdelávaní: Vďaka modelom AI, ktoré zdieľajú znalosti, je zabezpečenie súkromia základných údajov kľúčové. Budúce snahy by mohli preskúmať sofistikovanejšie metódy na umožnenie prenosu znalostí bez ohrozenia bezpečnosti údajov.

Bottom Line

Výskumníci spoločnosti Google sú priekopníkmi inovatívneho prístupu nazývaného sociálne učenie medzi veľkými jazykovými modelmi (LLM), ktorý je inšpirovaný ľudskou schopnosťou učiť sa pozorovaním iných. Tento rámec umožňuje LLM zdieľať znalosti a zlepšovať schopnosti bez prístupu k citlivým údajom alebo ich odhaľovania. Generovaním syntetických príkladov a pokynov sa LLM môžu efektívne učiť a riešiť kľúčové výzvy vo vývoji AI, ako je potreba označených údajov, nadmerná špecializácia, nadmerné vybavenie a spotreba zdrojov. Sociálne učenie nielenže zvyšuje efektivitu a prispôsobivosť AI, ale tiež otvára možnosti pre AI rozvíjať zdieľané „kultúry“, zapájať sa do učenia sa viacerých spôsobov, zúčastňovať sa na decentralizovaných sieťach, interagovať s ľuďmi novými spôsobmi, orientovať sa v etických dilemách a zabezpečovať súkromie. Znamená to významný posun smerom k viac spolupracujúcim, všestrannejším a etickejším systémom AI, ktoré sľubujú predefinovanie oblasti výskumu a aplikácií umelej inteligencie.