Inteligența Artificială Generativă: Ideea din spatele CHATGPT, Dall-E, Midjourney și multe altele

Lumea artei, comunicării și a modului în care percepem realitatea se transformă rapid. Dacă ne uităm înapoi la istoria inovațiilor umane, putem considera invenția roții sau descoperirea electricității ca salturi monumentale. Astăzi, o nouă revoluție are loc – puntea dintre creativitatea umană și computația mașinilor. Acesta este Inteligența Artificială Generativă.

Modelele generative au estompat linia dintre oameni și mașini. Cu apariția modelelor precum GPT-4, care utilizează modulele de transformare, am făcut un pas mai aproape de generarea naturală și contextuală a limbajului. Aceste progrese au alimentat aplicații în crearea de documente, sisteme de dialog pentru chatbot-uri și chiar compoziția muzicii sintetice.

Deciziile recente ale marilor companii de tehnologie subliniază importanța sa. Microsoft (MSFT ) a anunțat deja încetarea aplicației Cortana în acest lună pentru a prioritiza inovațiile mai noi de Inteligență Artificială Generativă, cum ar fi Bing Chat. Apple (AAPL ) a alocat, de asemenea, o parte semnificativă a $22,6 miliarde de dolari din bugetul de cercetare și dezvoltare pentru Inteligența Artificială Generativă, așa cum a indicat CEO-ul Tim Cook.

O Nouă Eră a Modelelor: Generative Vs. Discriminative

Povestea Inteligenței Artificiale Generative nu se referă doar la aplicațiile sale, ci fundamental la funcționarea sa internă. În ecosistemul inteligenței artificiale, există două tipuri de modele: discriminative și generative.

Modelele discriminative sunt cele cu care majoritatea oamenilor se confruntă în viața de zi cu zi. Aceste algoritmi iau date de intrare, cum ar fi un text sau o imagine, și le asociază cu o ieșire țintă, cum ar fi o traducere a unui cuvânt sau un diagnostic medical. Ele se referă la mapping și predicție.

Modelele generative, pe de altă parte, sunt creatori. Ele nu doar interpretează sau prevăd; ele generează ieșiri complexe noi din vectori de numere care adesea nu sunt legate de valori din lumea reală.

Tehnologiile din spatele Modelelor Generative

Modelele generative își datorează existența rețelelor neuronale profunde, structuri sofisticate proiectate pentru a imita funcționalitatea creierului uman. Prin capturarea și procesarea variațiilor multifacetate ale datelor, aceste rețele servesc ca coloană vertebrală a numeroaselor modele generative.

Cum iau naștere aceste modele generative? De obicei, ele sunt construite cu rețele neuronale profunde, optimizate pentru a captura variațiile multifacetate ale datelor. Un exemplu deosebit este Rețeaua Adversarială Generativă (GAN), unde două rețele neuronale, generatorul și discriminatorul, concurează și învață una de la alta într-o relație unică de învățare. De la picturi la transfer de stil, de la compoziția muzicii la jocuri, aceste modele evoluează și se extind în moduri anterior de neimaginat.

Acest lucru nu se oprește la GAN-uri. Autoencoderii Variationali (VAE) sunt un alt jucător cheie în domeniul modelelor generative. VAE-urile se remarcă prin capacitatea lor de a crea imagini fotorealiste din numere aparent aleatorii. Cum? Procesând aceste numere printr-un vector latent, se naște arta care oglindește complexitățile esteticii umane.

Tipuri de Inteligență Artificială Generativă: Text la Text, Text la Imagine

Transformatori și LLM

Articolul „Atenția este tot ce ai nevoie” de la Google (GOOGL ) Brain a marcat o schimbare în modul în care gândim despre modelarea textului. În loc de arhitecturi complexe și secvențiale, cum ar fi Rețelele Neuronale Recurente (RNN) sau Rețelele Neuronale Convolutive (CNN), modelul Transformer a introdus conceptul de atenție, care înseamnă, în esență, focalizarea pe diferite părți ale textului de intrare, în funcție de context. Unul dintre principalele beneficii ale acestui model a fost ușurința paralelizării. În timp ce RNN-urile procesează textul secvențial, făcându-le mai greu de scalat, Transformatorii pot procesa părți ale textului simultan, făcând antrenamentul mai rapid și mai eficient pe seturi de date mari.

Într-un text lung, nu fiecare cuvânt sau propoziție are aceeași importanță. Unele părți cer mai multă atenție, în funcție de context. Această capacitate de a ne schimba focalizarea, în funcție de relevanță, este ceea ce mecanismul de atenție imită.

Pentru a înțelege acest lucru, gândiți-vă la o propoziție: “Unite AI publică știri despre Inteligență Artificială și Robotică.” Previzionarea cuvântului următor necesită o înțelegere a ceea ce contează mai mult în contextul anterior. Termenul ‘Robotică’ ar putea sugera că următorul cuvânt ar putea fi legat de o anumită evoluție sau eveniment în domeniul robotic, în timp ce ‘Publică’ ar putea indica că contextul următor ar putea explora o publicație recentă sau un articol.

Mecanismele de atenție din Transformatori sunt proiectate pentru a realiza această focalizare selectivă. Ele evaluează importanța diferitelor părți ale textului de intrare și decid unde să “privească” atunci când generează o răspuns. Acesta este un departajament de la arhitecturile mai vechi, cum ar fi RNN-urile, care au încercat să comprime esența întregului text de intrare într-o singură “stare” sau “memorie”.

Funcționarea atenției poate fi comparată cu un sistem de recuperare a cheilor și valorilor. În încercarea de a prevedea următorul cuvânt dintr-o propoziție, fiecare cuvânt anterior oferă o “cheie” care sugerează potențiala sa relevanță, și, în funcție de cât de bine se potrivesc aceste chei cu contextul curent (sau întrebarea), ele contribuie cu o “valoare” sau greutate la predicție.

Aceste modele avansate de învățare profundă s-au integrat deja în diverse aplicații, de la îmbunătățirile motorului de căutare Google cu BERT la GitHub’s Copilot, care utilizează capacitatea Modelelor Limbajului Mare (LLM) pentru a converti fragmente de cod simple în coduri sursă complete.

Modelele Limbajului Mare (LLM), cum ar fi GPT-4, Bard și LLaMA, sunt structuri colosale proiectate pentru a descifra și genera limbaj uman, cod și multe altele. Mărimea lor imensă, care variază de la miliarde la trilioane de parametri, este una dintre caracteristicile lor definitorii. Aceste LLM-uri sunt alimentate cu cantități uriașe de date text, permițându-le să înțeleagă nuanțele limbajului uman. O trăsătură remarcabilă a acestor modele este aptitudinea lor pentru “învățarea cu puține exemple”. În contrast cu modelele convenționale, care necesită cantități mari de date de antrenament specifice, LLM-urile pot generaliza dintr-un număr foarte limitat de exemple (sau “șoturi”)

Starea Modelelor Limbajului Mare (LLM) la mijlocul anului 2023

Cum sunt utilizate LLM-urile?

LLM-urile pot fi utilizate în mai multe moduri, incluzând:

1. Utilizare directă: Utilizarea unui LLM preantrenat pentru generarea textului sau procesarea limbajului. De exemplu, utilizarea GPT-4 pentru a scrie un articol fără niciun fel de antrenament suplimentar.
2. Reglare fină: Adaptarea unui LLM preantrenat pentru o sarcină specifică, o metodă cunoscută sub numele de transfer de învățare. Un exemplu ar fi personalizarea T5 pentru a genera rezumate pentru documente dintr-o anumită industrie.
3. Recuperare de informații: Utilizarea LLM-urilor, cum ar fi BERT sau GPT, ca parte a unor arhitecturi mai mari pentru a dezvolta sisteme care pot căuta și categorisi informații.

Atenție multi-cap: De ce una când poți avea mai multe?

Cu toate acestea, a te baza doar pe un singur mecanism de atenție poate fi limitant. Diferite cuvinte sau secvențe într-un text pot avea tipuri variate de relevanță sau asocieri. Aici intervine atenția multi-cap. În loc de un singur set de greutăți de atenție, atenția multi-cap utilizează multiple seturi, permițând modelului să capteze o varietate mai bogată de relații în textul de intrare. Fiecare “cap” de atenție poate se concentra pe diferite părți sau aspecte ale intrării, iar cunoașterea lor combinată este utilizată pentru predicția finală.

ChatGPT: Cel mai popular instrument de Inteligență Artificială Generativă

Începând cu GPT’s în 2018, modelul a fost esențialmente construit pe fundația a 12 straturi, 12 capete de atenție și 120 de milioane de parametri, în principal antrenat pe un set de date numit BookCorpus. Acesta a fost un start impresionant, oferind o privire de ansamblu asupra viitorului modelelor de limbaj.

GPT-2, lansat în 2019, a avut o creștere de patru ori a numărului de straturi și capete de atenție. În mod semnificativ, numărul său de parametri a crescut la 1,5 miliarde. Această versiune îmbunătățită și-a derivat antrenamentul din WebText, un set de date îmbogățit cu 40GB de text din diverse legături de pe Reddit.

GPT-3, lansat în mai 2020, a avut 96 de straturi, 96 de capete de atenție și un număr masiv de parametri de 175 miliarde. Ceea ce a diferențiat GPT-3 a fost diversitatea datelor de antrenament, care includeau CommonCrawl, WebText, Wikipedia în limba engleză, corpora de cărți și alte surse, totalizând 570 GB.

Intricalele modului de funcționare al ChatGPT rămân un secret bine păzit. Cu toate acestea, un proces numit “învățare prin întărire din feedback uman” (RLHF) este cunoscut a fi crucial. Originar dintr-un proiect anterior de ChatGPT, această tehnică a fost instrumentală în a perfecționa modelul GPT-3.5 pentru a fi mai aliniat cu instrucțiunile scrise.

Antrenamentul ChatGPT implică o abordare în trei etape:

1. Reglare fină supravegheată: Implică curățarea intrărilor și ieșirilor conversaționale scrise de oameni pentru a rafina modelul GPT-3.5 de bază.
2. Modelare a recompensei: Oamenii evaluează diverse ieșiri ale modelului pe baza calității, ajutând la antrenarea unui model de recompensă care punctează fiecare ieșire în funcție de contextul conversației.
3. Învățare prin întărire: Contextul conversației servește ca fundal unde modelul de bază propune un răspuns. Acest răspuns este evaluat de modelul de recompensă, iar procesul este optimizat folosind un algoritm numit proximal policy optimization (PPO).

Pentru cei care abia încep să exploreze ChatGPT, o ghid complet poate fi găsit aici. Dacă doriți să vă adânciți în ingineria prompturilor cu ChatGPT, avem și un ghid avansat care prezintă cele mai recente și mai avansate tehnici de prompt, disponibil la ‘ChatGPT & Ingineria Avansată a Prompturilor: Conducerea Evoluției IA‘.

Modele de Difuzie și Multimodale

În timp ce modele precum VAE și GAN generează ieșirile printr-o singură trecere, fiind astfel blocate în ceea ce produc, modelele de difuzie au introdus conceptul de “rafinare iterativă”. Prin această metodă, ele se întorc, rafinează greșelile din pașii anteriori și produc gradual un rezultat mai rafinat.

Central în modelele de difuzie este arta “corupției” și “rafinării”. În faza de antrenament, o imagine tipică este coruptă progresiv prin adăugarea de niveluri variate de zgomot. Această versiune zgomotoasă este apoi alimentată modelului, care încearcă să “dedeze” sau să “curățe” imaginea. Prin multiple runde ale acestui proces, modelul devine priceput în restaurare, înțelegând atât aberațiile subtile, cât și pe cele semnificative.

Procesul de generare a unor noi imagini după antrenament este interesant. Începând cu o intrare complet aleatorie, aceasta este rafinată continuu folosind predicțiile modelului. Scopul este de a atinge o imagine impecabilă cu un număr minim de pași. Controlul nivelului de corupție se face prin “programul de zgomot”, un mecanism care guvernează cât de mult zgomot se aplică în diferite etape. Un programator, așa cum se vede în biblioteci precum “diffusers“, dictează natura acestor versiuni zgomotoase pe baza algoritmilor stabiliți.

O arhitectură esențială pentru multe modele de difuzie este UNet, o rețea neuronală convoluvională specializată pentru sarcini care necesită ieșiri care oglindesc dimensiunea spațială a intrărilor. Este o combinație de straturi de subspecimen și supraspecimen, conectate în mod intricat pentru a păstra datele de înaltă rezoluție, esențiale pentru ieșirile legate de imagini.

Adâncindu-ne în lumea modelelor generative, DALL-E 2 de la OpenAI apare ca un exemplu strălucit al fuziunii capacităților de inteligență artificială textuală și vizuală. Utilizează o structură în trei etape:

DALL-E 2 prezintă o arhitectură în trei etape:

1. Encoder de text: Transformă promptul textual într-o încorporare conceptuală într-un spațiu latent. Acest model nu pornește de la zero. Se bazează pe setul de date de preantrenare Contrastive Language–Image Pre-training (CLIP) de la OpenAI. CLIP servește ca o punte între datele vizuale și textuale, învățând concepte vizuale utilizând limbajul natural. Prin mecanismul de învățare contrastivă, identifică și asociază imagini cu descrierile lor textuale corespunzătoare.
2. Priorul: Încorporarea textului derivată din encoder este apoi convertită într-o încorporare de imagine. DALL-E 2 a testat atât metodele autoregresive, cât și cele de difuzie pentru această sarcină, cu difuzia demonstrând rezultate superioare. Modelele autoregresive, așa cum se observă în Transformatori și PixelCNN, generează ieșiri în secvențe. Pe de altă parte, modelele de difuzie, cum ar fi cel utilizat în DALL-E 2, transformă zgomotul aleator în încorporări de imagine predictibile, cu ajutorul încorporărilor textuale.
3. Decoderul: Climaxul procesului, această parte generează ieșirea vizuală finală pe baza promptului textual și a încorporării de imagine din faza anterioară. Arhitectura decoderului DALL-E 2 se datorează unui alt model, GLIDE, care poate produce imagini realiste din prompturi textuale.

Utilizatorii Python interesați de Langchain ar trebui să verifice tutorialul nostru detaliat, care acoperă totul, de la fundamente până la tehnici avansate.

Aplicații ale Inteligenței Artificiale Generative

Domenii Textuale

Începând cu textul, Inteligența Artificială Generativă a fost fundamental schimbată de chatbot-uri precum ChatGPT. Bazându-se puternic pe Procesarea Limbajului Natural (NLP) și pe modelele de limbaj mare (LLM), aceste entități sunt capabile să efectueze sarcini care variază de la generarea de cod și traducerea limbajului la rezumare și analiză de sentiment. ChatGPT, de exemplu, a devenit foarte popular, devenind o unealtă esențială pentru milioane de oameni. Acest lucru este întărit și de platformele de inteligență conversațională, bazate pe LLM-uri precum GPT-4, PaLM și BLOOM, care produc cu ușurință text, asistă la programare și oferă chiar și raționament matematic.

Din punct de vedere comercial, aceste modele devin tot mai valoroase. Companiile le utilizează pentru o multitudine de operațiuni, incluzând managementul riscului, optimizarea stocurilor și previzionarea cererii. Exemple notabile includ Bing AI, Google’s BARD și ChatGPT API.

Artă

Lumea imaginilor a cunoscut transformări dramatice cu Inteligența Artificială Generativă, mai ales de la introducerea DALL-E 2 în 2022. Această tehnologie, care poate genera imagini din prompturi textuale, are implicații atât artistice, cât și profesionale. De exemplu, Midjourney a utilizat această tehnologie pentru a produce imagini realiste impresionante. Un articol recent dezvăluie Midjourney într-un ghid detaliat, explicând atât platforma, cât și nuanțele ingineriei prompturilor. Mai mult, platforme precum Alpaca AI și Photoroom AI utilizează Inteligența Artificială Generativă pentru funcționalități avansate de editare a imaginilor, cum ar fi eliminarea fundalului, ștergerea obiectelor și chiar restaurarea fețelor.

Producția de Videoclipuri

Producția de videoclipuri, deși încă în stadiul incipient în domeniul Inteligenței Artificiale Generative, arată progrese promițătoare. Platforme precum Imagen Video, Meta Make A Video și Runway Gen-2 împing limitele a ceea ce este posibil, chiar dacă ieșirile realiste sunt încă pe orizont. Aceste modele oferă o utilitate substanțială pentru crearea de videoclipuri digitale cu umani, cu aplicații precum Synthesia și SuperCreator conducând drumul. Notabil, Tavus AI oferă o propunere de vânzare unică, personalizând videoclipuri pentru membri individuali ai audienței, un avantaj pentru afaceri.

Crearea de Cod

Codarea, un aspect indispensabil al lumii noastre digitale, nu a rămas neatinsă de Inteligența Artificială Generativă. Deși ChatGPT este un instrument preferat, au fost dezvoltate și alte aplicații de inteligență artificială pentru scopuri de codare. Aceste platforme, cum ar fi GitHub Copilot, Alphacode și CodeComplete, servesc ca asistenți de codare și pot chiar genera cod din prompturi textuale. Ceea ce este interesant este adaptabilitatea acestor unelte. Codex, motorul din spatele GitHub Copilot, poate fi personalizat pentru a se potrivi stilului de codare al unui individ, subliniind potențialul de personalizare al Inteligenței Artificiale Generative.

Cu unelte precum ChatGPT devenind tot mai accesibile, acum este momentul perfect pentru a testa apele și a experimenta. Indiferent dacă sunteți artist, programator sau entuziast al tehnologiei, domeniul Inteligenței Artificiale Generative este plin de posibilități care așteaptă să fie explorate. Revoluția nu se află pe orizont; ea este aici și acum. Așadar, intrați în ea!