El GPT-4 ens aproparà a una autèntica revolució de la IA?

Han passat gairebé tres anys des que es va introduir GPT-3, el maig de 2020. Des d'aleshores, el model de generació de text d'IA ha despertat molt d'interès per la seva capacitat de crear text que sembla i soni com si fos escrit per un humà. Ara sembla que la propera iteració del programari, GPT-4, està a la volta de la cantonada, amb una data de llançament estimada a principis del 2023.

Malgrat la naturalesa molt esperada d'aquestes notícies d'IA, els detalls exactes de GPT-4 han estat bastant incomplets. OpenAI, l'empresa darrere de GPT-4, no ha revelat públicament molta informació sobre el nou model, com ara les seves característiques o les seves habilitats. No obstant això, els avenços recents en el camp de la IA, especialment pel que fa al processament del llenguatge natural (PNL), poden oferir algunes pistes sobre què podem esperar de GPT-4.

Què és la GPT?

Abans d'entrar en els detalls, és útil establir primer una línia de base sobre què és GPT. GPT significa Generative Pre-Trained Transformer i fa referència a un model de xarxa neuronal d'aprenentatge profund que s'entrena amb dades disponibles a Internet per crear grans volums de text generat per màquina. GPT-3 és la tercera generació d'aquesta tecnologia i és un dels models de generació de text d'IA més avançats disponibles actualment.

Penseu en GPT-3 que funciona una mica com els assistents de veu, com ara Siri o Alexa, només a una escala molt més gran. En lloc de demanar a Alexa que reprodueixi la teva cançó preferida o que Siri escrigui el teu text, pots demanar a GPT-3 que escrigui un llibre electrònic sencer en només uns minuts o que generi 100 idees de publicacions a les xarxes socials en menys d'un minut. Tot el que ha de fer l'usuari és proporcionar una indicació, com ara "Escriu-me un article de 500 paraules sobre la importància de la creativitat". Sempre que el missatge sigui clar i específic, GPT-3 pot escriure gairebé qualsevol cosa que li demanis.

Des del seu llançament al públic en general, GPT-3 ha trobat moltes aplicacions empresarials. Les empreses l'utilitzen per a resumir textos, traducció d'idiomes, generació de codi i automatització a gran escala de gairebé qualsevol tasca d'escriptura.

Dit això, tot i que GPT-3 és sens dubte molt impressionant per la seva capacitat de crear text semblant a un humà altament llegible, està lluny de ser perfecte. Els problemes solen sorgir quan se'ls demana que escrigui articles més llargs, especialment quan es tracta de temes complexos que requereixen informació. Per exemple, una sol·licitud per generar codi informàtic per a un lloc web pot tornar un codi correcte però subòptim, de manera que un codificador humà encara ha d'entrar i fer millores. És un problema similar amb els documents de text grans: com més gran sigui el volum de text, més probable és que apareguin errors, de vegades divertits, que un escriptor humà necessita corregir.

En poques paraules, GPT-3 no és un reemplaçament complet dels escriptors o codificadors humans, i no s'ha de considerar com un. En lloc d'això, GPT-3 s'ha de veure com un assistent d'escriptura, un que pot estalviar molt de temps a la gent quan necessiten generar idees d'articles de bloc o esquemes aproximats per a còpies publicitàries o comunicats de premsa.

Més paràmetres = millor?

Una cosa que cal entendre sobre els models d'IA és com utilitzen els paràmetres per fer prediccions. Els paràmetres d'un model d'IA defineixen el procés d'aprenentatge i proporcionen una estructura per a la sortida. El nombre de paràmetres d'un model d'IA s'ha utilitzat generalment com a mesura del rendiment. Com més paràmetres, més potent, suau i previsible és el model, almenys segons el hipòtesi d'escala.

Per exemple, quan es va llançar GPT-1 el 2018, tenia 117 milions de paràmetres. El GPT-2, llançat un any més tard, tenia 1.2 milions de paràmetres, mentre que el GPT-3 va augmentar encara més el nombre fins als 175 milions de paràmetres. Segons una entrevista d'agost de 2021 amb Amb cable, Andrew Feldman, fundador i CEO de Cerebras, una empresa que s'associa amb OpenAI, va esmentar que GPT-4 tindria uns 100 bilions de paràmetres. Això faria que GPT-4 fos 100 vegades més potent que GPT-3, un salt quàntic en la mida dels paràmetres que, comprensiblement, ha fet molta il·lusió a molta gent.

Tanmateix, malgrat l'elevada afirmació de Feldman, hi ha bones raons per pensar que GPT-4 no tindrà de fet 100 bilions de paràmetres. Com més gran és el nombre de paràmetres, més car es fa un model d'entrenar i ajustar-lo a causa de la gran quantitat de potència computacional necessària.

A més, hi ha més factors que només el nombre de paràmetres que determinen l'eficàcia d'un model. Prengui per exemple Megatron-Turing NLG, un model de generació de text construït per Nvidia i Microsoft, que té més de 500 mil milions de paràmetres. Malgrat la seva mida, MT-NLG no s'acosta a GPT-3 en termes de rendiment. En resum, més gran no vol dir necessàriament millor.

És probable que GPT-4 tingui més paràmetres que GPT-3, però cal veure si aquest nombre serà un ordre de magnitud superior. En canvi, hi ha altres possibilitats intrigants que OpenAI està perseguint, com ara un model més lleuger que se centra en millores qualitatives en el disseny i l'alineació algorítmica. L'impacte exacte d'aquestes millores és difícil de predir, però el que se sap és que un model escàs pot reduir els costos informàtics mitjançant el que s'anomena càlcul condicional, és a dir, no tots els paràmetres del model d'IA s'activaran tot el temps, cosa que és similar a com funcionen les neurones del cervell humà.

Aleshores, què serà capaç de fer GPT-4?

Fins que OpenAI no surti amb una nova declaració o fins i tot llança GPT-4, ens queda especular sobre com serà diferent de GPT-3. Independentment, podem fer algunes prediccions

Tot i que el futur del desenvolupament de l'aprenentatge profund d'IA és multimodal, probablement GPT-4 es mantindrà només de text. Com a humans, vivim en un món multisensorial ple de diferents entrades sonores, visuals i textuals. Per tant, és inevitable que el desenvolupament de la IA eventualment produeixi un model multimodal que pugui incorporar una varietat d'inputs.

Tanmateix, un bon model multimodal és significativament més difícil de dissenyar que un model només de text. La tecnologia encara no hi és i, segons el que sabem sobre els límits de la mida dels paràmetres, és probable que OpenAI es centri a expandir i millorar un model només de text.

També és probable que GPT-4 depengui menys de la indicació precisa. Un dels inconvenients de GPT-3 és que les sol·licituds de text s'han d'escriure amb cura per obtenir el resultat que voleu. Quan les sol·licituds no s'escriuen amb cura, podeu acabar amb resultats que no són veritables, tòxics o fins i tot reflecteixen opinions extremistes. Això forma part del que es coneix com el "problema d'alineació" i fa referència als reptes per crear un model d'IA que entengui completament les intencions de l'usuari. En altres paraules, el model d'IA no està alineat amb els objectius o intencions de l'usuari. Atès que els models d'IA s'entrenen mitjançant conjunts de dades de text d'Internet, és molt fàcil que els biaixos humans, les falsedats i els prejudicis es trobin cap a les sortides del text.

Dit això, hi ha bones raons per creure que els desenvolupadors estan avançant en el problema d'alineació. Aquest optimisme prové d'alguns avenços en el desenvolupament d'InstructGPT, una versió més avançada de GPT-3 que s'entrena amb comentaris humans per seguir les instruccions i les intencions dels usuaris més de prop. Els jutges humans van trobar que InstructGPT depenia molt menys que GPT-3 d'una bona indicació.

No obstant això, cal tenir en compte que aquestes proves només es van fer amb empleats d'OpenAI, un grup força homogeni que potser no difereix gaire en opinions de gènere, religioses o polítiques. És probable que el GPT-4 se sotmeti a un entrenament més divers que millorarà l'alineació per a diferents grups, encara que queda per veure fins a quin punt.

El GPT-4 substituirà els humans?

Malgrat la promesa de GPT-4, és poc probable que substitueixi completament la necessitat d'escriptors i programadors humans. Encara queda molta feina per fer en tot, des de l'optimització de paràmetres fins a la multimodalitat i l'alineació. Pot ser que passin molts anys abans de veure un generador de text que pugui aconseguir una comprensió realment humana de les complexitats i els matisos de l'experiència de la vida real.

Tot i així, encara hi ha bones raons per estar entusiasmat amb l'arribada de GPT-4. L'optimització de paràmetres, en lloc d'un simple creixement de paràmetres, probablement conduirà a un model d'IA que tingui molta més potència de càlcul que el seu predecessor. I una alineació millorada probablement farà que GPT-4 sigui molt més fàcil d'utilitzar.

A més, encara estem només al començament del desenvolupament i l'adopció d'eines d'IA. Es troben constantment més casos d'ús de la tecnologia i, a mesura que la gent guanya més confiança i comoditat amb l'ús de la IA al lloc de treball, és gairebé segur que veurem una adopció generalitzada d'eines d'IA a gairebé tots els sectors empresarials en els propers anys.