Primul an al ChatGPT: Reshaping the Future of AI Interaction

Reflectând asupra primului an al ChatGPT, este clar că acest instrument a schimbat semnificativ scena AI. Lansat la sfârșitul anului 2022, ChatGPT s-a remarcat prin stilul său prietenos și conversațional, care a făcut interacțiunea cu AI să se simtă mai mult ca o discuție cu o persoană decât cu o mașină. Această abordare nouă a atras rapid atenția publicului. În doar cinci zile de la lansare, ChatGPT a atras deja un milion de utilizatori. Până la începutul anului 2023, acest număr a crescut la aproximativ 100 de milioane de utilizatori lunar, iar până în octombrie, platforma a înregistrat aproximativ 1,7 miliarde de vizite la nivel global. Aceste numere vorbesc despre popularitatea și utilitatea sa.

De-a lungul anului trecut, utilizatorii au găsit tot felul de modalități creative de a utiliza ChatGPT, de la sarcini simple, cum ar fi scrierea de e-mailuri și actualizarea CV-urilor, până la începerea unor afaceri de succes. Dar nu este vorba doar despre modul în care oamenii îl folosesc; tehnologia în sine a crescut și s-a îmbunătățit. Inițial, ChatGPT a fost un serviciu gratuit care oferea răspunsuri detaliate în text. Acum, există ChatGPT Plus, care include ChatGPT-4. Această versiune actualizată este antrenată pe mai multe date, oferă mai puține răspunsuri greșite și înțelege mai bine instrucțiunile complexe.

Una dintre cele mai importante actualizări este că ChatGPT poate interacționa în mai multe moduri – poate asculta, vorbi și chiar procesa imagini. Acest lucru înseamnă că puteți vorbi cu el prin aplicația sa mobilă și îi puteți arăta imagini pentru a obține răspunsuri. Aceste schimbări au deschis noi posibilități pentru AI și au schimbat modul în care oamenii percep și gândesc despre rolul AI în viețile noastre.

De la începuturile sale ca demo tehnologic până la statutul său actual de jucător important în lumea tehnologiei, călătoria ChatGPT este destul de impresionantă. Inițial, a fost văzut ca o modalitate de a testa și îmbunătăți tehnologia prin feedback de la public. Dar a devenit rapid o parte esențială a peisajului AI. Acest succes arată cât de eficient este să se finezeze modelele de limbaj mari (LLM) cu învățare supravegheată și feedback de la oameni. Ca rezultat, ChatGPT poate gestiona o gamă largă de întrebări și sarcini.

Cursa pentru dezvoltarea celor mai capabile și versatile sisteme AI a condus la o proliferare a modelelor atât deschise, cât și proprietare, cum ar fi ChatGPT. Înțelegerea capacităților lor generale necesită evaluări cuprinzătoare pe o gamă largă de sarcini. Această secțiune explorează aceste evaluări, aruncând lumină asupra modului în care diferitele modele, inclusiv ChatGPT, se compară între ele.

Evaluarea LLM: Evaluările

1. MT-Bench: Acest benchmark testează conversația multi-turn și capacitatea de a urma instrucțiuni în opt domenii: scriere, role-play, extragere de informații, raționament, matematică, codare, cunoștințe STEM și științe umaniste/sociale. Modelele LLM puternice, cum ar fi GPT-4, sunt utilizate ca evaluatori.
2. AlpacaEval: Bazat pe setul de evaluare AlpacaFarm, acest evaluator automat de LLM benchmark modelele împotriva răspunsurilor de la LLM avansate, cum ar fi GPT-4 și Claude, calculând rata de câștig a modelelor candidate.
3. Open LLM Leaderboard: Utilizând Language Model Evaluation Harness, acest lider al LLM evaluează LLM pe șapte evaluări cheie, inclusiv provocări de raționament și teste de cunoștințe generale, în ambele setări zero-shot și few-shot.
4. BIG-bench: Acest benchmark colaborativ acoperă peste 200 de sarcini lingvistice noi, cuprinzând o gamă diversă de subiecte și limbi. Acesta își propune să sondeze LLM și să prevadă capacitățile sale viitoare.
5. ChatEval: Un cadru de dezbateri multi-agente care permite echipelor să discute și să evalueze autonom calitatea răspunsurilor de la diferite modele pe întrebări deschise și sarcini de generare a limbajului natural.

Performanță Comparativă

În ceea ce privește evaluările generale, LLM deschise au arătat progrese remarcabile. Llama-2-70B, de exemplu, a obținut rezultate impresionante, în special după fine-tuning cu date de instruire. Varianta sa, Llama-2-chat-70B, a excelat în AlpacaEval cu o rată de câștig de 92,66%, depășind GPT-3.5-turbo. Cu toate acestea, GPT-4 rămâne liderul, cu o rată de câștig de 95,28%.

Zephyr-7B, un model mai mic, a demonstrat capacități comparabile cu LLM mai mari de 70B, în special în AlpacaEval și MT-Bench. Între timp, WizardLM-70B, fine-tuning cu o gamă diversă de date de instruire, a obținut cel mai mare punctaj printre LLM deschise pe MT-Bench. Cu toate acestea, a rămas în urmă GPT-3.5-turbo și GPT-4.

O intrare interesantă, GodziLLa2-70B, a obținut un punctaj competitiv pe Open LLM Leaderboard, demonstrând potențialul modelelor experimentale care combină seturi de date diverse. Similar, Yi-34B, dezvoltat de la zero, s-a remarcat cu punctaje comparabile cu GPT-3.5-turbo și doar puțin în urma GPT-4.

UltraLlama, cu fine-tuning pe date diverse și de înaltă calitate, a egalat GPT-3.5-turbo în evaluările propuse și a evenimentat-o în domenii de cunoștințe mondiale și profesionale.

Scalarea: Ascensiunea LLM Gigant

Principalele modele LLM de la 2020

O tendință notabilă în dezvoltarea LLM a fost scalarea parametrilor modelului. Modele cum ar fi Gopher, GLaM, LaMDA, MT-NLG și PaLM au împins limitele, culminând cu modele cu până la 540 de miliarde de parametri. Aceste modele au arătat capacități excepționale, dar natura lor închisă a limitat aplicarea lor mai largă. Această limitare a stimulat interesul pentru dezvoltarea LLM deschise, o tendință care câștigă momentum.

În paralel cu scalarea dimensiunilor modelului, cercetătorii au explorat strategii alternative. În loc să facă modelele mai mari, s-au concentrat pe îmbunătățirea pre-antrenării modelelor mai mici. Exemple includ Chinchilla și UL2, care au arătat că mai mult nu este întotdeauna mai bine; strategii mai inteligente pot oferi rezultate eficiente.

Catalizatorul ChatGPT

Introducerea ChatGPT de către OpenAI a marcat un punct de cotitură în cercetarea NLP. Pentru a concura cu OpenAI, companii cum ar fi Google (GOOGL ) și Anthropic au lansat propriile modele, Bard și Claude, respectiv. Deși aceste modele arată performanțe comparabile cu ChatGPT în multe sarcini, ele rămân în urma celui mai recent model de la OpenAI, GPT-4. Succesul acestor modele se datorează în principal învățării prin întărire din feedback uman (RLHF), o tehnică care primește o atenție crescută pentru îmbunătățirea ulterioară.

Zvonuri și Speculații despre Q* (Q-Star) de la OpenAI

Raportele recente sugerează că cercetătorii de la OpenAI ar fi obținut o avansare semnificativă în AI cu dezvoltarea unui nou model numit Q* (pronunțat Q stea). Presupus, Q* are capacitatea de a efectua matematică la nivel de școală primară, o realizare care a generat discuții între experți despre potențialul său ca o piatră de hotar spre inteligență artificială generală (AGI). Deși OpenAI nu a comentat aceste rapoarte, capacitățile presupuse ale Q* au generat o excitare și speculații considerabile pe rețelele sociale și printre entuziaștii AI.

Dezvoltarea Q* este remarcabilă deoarece modelele de limbaj existente, cum ar fi ChatGPT și GPT-4, deși capabile de anumite sarcini matematice, nu sunt deosebit de pricepute în a le gestiona în mod fiabil. Provocarea constă în nevoia ca modelele AI să nu numai să recunoască modele, cum fac în prezent prin învățare profundă și transformatori, ci și să raționeze și să înțeleagă concepte abstracte. Matematica, fiind un benchmark pentru raționament, necesită ca sistemul AI să planifice și să execute multiple pași, demonstrând o înțelegere profundă a conceptelor abstracte. Această capacitate ar marca un salt semnificativ în capacitățile AI, posibil extinzându-se dincolo de matematică către alte sarcini complexe.

Cu toate acestea, experții avertizează împotriva supraevaluării acestei dezvoltări. Deși un sistem AI care rezolvă în mod fiabil probleme matematice ar fi o realizare impresionantă, nu semnifică neapărat apariția inteligenței artificiale superioare sau a AGI. Cercetarea actuală AI, inclusiv eforturile OpenAI, s-a concentrat pe probleme elementare, cu variații de succes în sarcini mai complexe.

Potențialele aplicații ale avansurilor precum Q* sunt vaste, de la tutoriat personalizat până la asistență în cercetarea științifică și inginerie. Cu toate acestea, este important să se gestioneze așteptările și să se recunoască limitările și preocupările legate de securitate asociate cu astfel de avansuri. Îngrijorările cu privire la riscurile existențiale ale AI, o preocupare fundamentală a OpenAI, rămân pertinente, în special pe măsură ce sistemele AI încep să interacționeze mai mult cu lumea reală.

Mișcarea LLM Deschisă

Pentru a stimula cercetarea LLM deschisă, Meta a lansat seria de modele Llama, declanșând o undă de noi dezvoltări bazate pe Llama. Acest lucru include modele fine-tuning cu date de instruire, cum ar fi Alpaca, Vicuna, Lima și WizardLM. Cercetarea se ramifică și în îmbunătățirea capacităților agenților, raționamentului logic și modelării contextului lung în cadrul framework-ului Llama.

În plus, există o tendință în creștere de a dezvolta LLM puternice de la zero, cu proiecte cum ar fi MPT, Falcon, XGen, Phi, Baichuan, Mistral, Grok și Yi. Aceste eforturi reflectă un angajament de a democratiza capacitățile LLM închise, făcând instrumente avansate de AI mai accesibile și eficiente.

Impactul ChatGPT și al Modelelor Deschise în Sănătate

Ne uităm spre un viitor în care LLM vor asista la scrierea de note clinice, completarea formularelor pentru rambursări și sprijinirea medicilor în planificarea diagnosticului și tratamentului. Acest lucru a atras atenția atât a gigantilor tehnologici, cât și a instituțiilor de sănătate.

Discuțiile Microsoft (MSFT ) cu Epic, unul dintre principalii furnizori de software pentru înregistrări medicale electronice, semnalează integrarea LLM în sănătate. Inițiativele sunt deja în desfășurare la UC San Diego Health și Stanford University Medical Center. Similar, parteneriatele Google cu Mayo Clinic și lansarea de către Amazon (AMZN ) Web Services a HealthScribe, un serviciu de documentare clinică AI, marchează pași semnificativi în această direcție.

Cu toate acestea, aceste implementări rapide ridică îngrijorări cu privire la cedarea controlului asupra medicinei către interese corporatiste. Natura proprietară a acestor LLM face dificilă evaluarea lor. Posibila modificare sau încetare a acestora din motive de profit ar putea compromite îngrijirea pacientului, confidențialitatea și siguranța.

Nevoia urgentă este de a aborda o abordare deschisă și incluzivă a dezvoltării LLM în sănătate. Instituțiile de sănătate, cercetătorii, clinicienii și pacienții trebuie să colaboreze la nivel global pentru a construi LLM deschise pentru sănătate. Această abordare, similară Consorțiului Trillion Parameter, ar permite împărtășirea de resurse computaționale, financiare și expertiză.