¿GPT-4 nos acercará a una verdadera revolución de la IA?

Han pasado casi tres años desde que se presentó GPT-3, en mayo de 2020. Desde entonces, el modelo de generación de texto de IA ha despertado mucho interés por su capacidad para crear texto que se ve y suena como si hubiera sido escrito por un humano. Ahora parece que la próxima iteración del software, GPT-4, está a la vuelta de la esquina, con una fecha de lanzamiento estimada para principios de 2023.

A pesar de la naturaleza tan esperada de esta noticia sobre IA, los detalles exactos sobre GPT-4 han sido bastante vagos. OpenAI, la empresa detrás de GPT-4, no ha revelado públicamente mucha información sobre el nuevo modelo, como sus características o sus capacidades. Sin embargo, los avances recientes en el campo de la IA, particularmente en lo que respecta al procesamiento del lenguaje natural (PLN), pueden ofrecer algunas pistas sobre lo que podemos esperar de GPT-4.

¿Qué es GPT?

Antes de entrar en detalles, es útil establecer primero una línea de base sobre qué es GPT. GPT significa Transformador preentrenado generativo y se refiere a un modelo de red neuronal de aprendizaje profundo que se entrena con datos disponibles en Internet para crear grandes volúmenes de texto generado por máquina. GPT-3 es la tercera generación de esta tecnología y es uno de los modelos de generación de texto de IA más avanzados disponibles en la actualidad.

Piense en GPT-3 como si funcionara un poco como los asistentes de voz, como Siri o Alexa, solo que a una escala mucho mayor. En lugar de pedirle a Alexa que reproduzca su canción favorita o que Siri escriba su texto, puede pedirle a GPT-3 que escriba un libro electrónico completo en solo unos minutos o que genere 100 ideas para publicaciones en redes sociales en menos de un minuto. Todo lo que el usuario debe hacer es proporcionar un aviso, como "Escríbame un artículo de 500 palabras sobre la importancia de la creatividad". Siempre que el mensaje sea claro y específico, GPT-3 puede escribir casi cualquier cosa que le pidas.

Desde su lanzamiento al público en general, GPT-3 ha encontrado muchas aplicaciones comerciales. Las empresas lo utilizan para resumir textos, traducir idiomas, generar códigos y automatizar a gran escala casi cualquier tarea de escritura.

Dicho esto, si bien GPT-3 es sin duda impresionante en su capacidad para crear textos de alta legibilidad y con un diseño similar al de un humano, dista mucho de ser perfecto. Suelen surgir problemas cuando se solicita la redacción de textos más largos, especialmente cuando se trata de temas complejos que requieren conocimiento profundo. Por ejemplo, una solicitud para generar código informático para un sitio web puede devolver código correcto, pero deficiente, por lo que un programador humano debe realizar mejoras. El problema es similar con los documentos de texto extensos: cuanto mayor sea el volumen de texto, mayor será la probabilidad de que surjan errores, a veces desternillantes, que deban ser corregidos por un escritor humano.

En pocas palabras, GPT-3 no es un reemplazo completo para los escritores o codificadores humanos, y no debe considerarse como tal. En cambio, GPT-3 debe verse como un asistente de redacción, uno que puede ahorrar mucho tiempo a las personas cuando necesitan generar ideas para publicaciones de blog o esquemas aproximados para textos publicitarios o comunicados de prensa.

¿Más parámetros = mejor?

Una cosa que hay que entender sobre los modelos de IA es cómo usan los parámetros para hacer predicciones. Los parámetros de un modelo de IA definen el proceso de aprendizaje y proporcionan una estructura para el resultado. La cantidad de parámetros en un modelo de IA generalmente se ha utilizado como una medida de rendimiento. Cuantos más parámetros, más poderoso, suave y predecible es el modelo, al menos de acuerdo con el hipótesis de escala.

Por ejemplo, cuando se lanzó GPT-1 en 2018, tenía 117 millones de parámetros. GPT-2, lanzado un año después, tenía 1.2 millones de parámetros, mientras que GPT-3 elevó el número aún más a 175 millones de parámetros. Según una entrevista de agosto de 2021 con Con conexión de cable, Andrew Feldman, fundador y CEO de Cerebras, empresa asociada con OpenAI, mencionó que GPT-4 tendría alrededor de 100 billones de parámetros. Esto haría que GPT-4 sea 100 veces más potente que GPT-3, un salto cuántico en el tamaño de los parámetros que, comprensiblemente, ha entusiasmado a mucha gente.

Sin embargo, a pesar de la ambiciosa afirmación de Feldman, existen buenas razones para pensar que GPT-4 no tendrá, de hecho, 100 billones de parámetros. Cuanto mayor sea el número de parámetros, más costoso será entrenar y ajustar un modelo debido a la enorme potencia computacional requerida.

Además, hay más factores que solo la cantidad de parámetros que determinan la efectividad de un modelo. Toma por ejemplo Megatrón-Turing NLG, un modelo de generación de texto construido por Nvidia y Microsoft, que tiene más de 500 mil millones de parámetros. A pesar de su tamaño, MT-NLG no se acerca a GPT-3 en términos de rendimiento. En resumen, más grande no significa necesariamente mejor.

Es probable que GPT-4 tenga más parámetros que GPT-3, pero aún está por verse si esa cifra será un orden de magnitud mayor. En cambio, existen otras posibilidades interesantes que OpenAI probablemente esté explorando, como un modelo más eficiente que se centra en mejoras cualitativas en el diseño y la alineación de algoritmos. El impacto exacto de estas mejoras es difícil de predecir, pero lo que sí se sabe es que un modelo disperso puede reducir los costes de computación mediante lo que se denomina computación condicional; es decir, no todos los parámetros del modelo de IA estarán activos constantemente, algo similar al funcionamiento de las neuronas en el cerebro humano.

Entonces, ¿qué podrá hacer GPT-4?

Hasta que OpenAI presente una nueva declaración o incluso lance GPT-4, solo podemos especular sobre cómo se diferenciará de GPT-3. En cualquier caso, podemos hacer algunas predicciones.

Aunque el futuro del desarrollo de aprendizaje profundo de IA es multimodal, es probable que GPT-4 siga siendo solo texto. Como humanos, vivimos en un mundo multisensorial que está lleno de diferentes entradas de audio, visuales y textuales. Por lo tanto, es inevitable que el desarrollo de IA eventualmente produzca un modelo multimodal que pueda incorporar una variedad de insumos.

Sin embargo, un buen modelo multimodal es significativamente más difícil de diseñar que un modelo de solo texto. La tecnología simplemente aún no está allí y, según lo que sabemos sobre los límites en el tamaño de los parámetros, es probable que OpenAI se esté enfocando en expandir y mejorar un modelo de solo texto.

También es probable que GPT-4 dependa menos de indicaciones precisas. Uno de los inconvenientes de GPT-3 es que las indicaciones de texto deben escribirse cuidadosamente para obtener el resultado que desea. Cuando las indicaciones no se escriben cuidadosamente, puede terminar con resultados falsos, tóxicos o incluso que reflejen puntos de vista extremistas. Esto es parte de lo que se conoce como el "problema de alineación" y se refiere a los desafíos en la creación de un modelo de IA que comprenda completamente las intenciones del usuario. En otras palabras, el modelo de IA no está alineado con los objetivos o intenciones del usuario. Dado que los modelos de IA se entrenan con conjuntos de datos de texto de Internet, es muy fácil que los sesgos, las falsedades y los prejuicios humanos lleguen a los resultados de texto.

Dicho esto, hay buenas razones para creer que los desarrolladores están progresando en el problema de la alineación. Este optimismo proviene de algunos avances en el desarrollo de InstructGPT, una versión más avanzada de GPT-3 que se entrena con la retroalimentación humana para seguir las instrucciones y las intenciones del usuario más de cerca. Los jueces humanos encontraron que InstructGPT dependía mucho menos que GPT-3 de buenas indicaciones.

Sin embargo, cabe señalar que estas pruebas solo se realizaron con empleados de OpenAI, un grupo bastante homogéneo que podría no diferir mucho en género, religión o ideología política. Es probable que GPT-4 reciba una capacitación más diversa que mejore la alineación entre los diferentes grupos, aunque aún está por verse en qué medida.

¿GPT-4 reemplazará a los humanos?

A pesar de la promesa de GPT-4, es poco probable que reemplace por completo la necesidad de escritores y programadores humanos. Todavía queda mucho trabajo por hacer en todo, desde la optimización de parámetros hasta la multimodalidad y la alineación. Es posible que pasen muchos años antes de que veamos un generador de texto que pueda lograr una comprensión verdaderamente humana de las complejidades y matices de la experiencia de la vida real.

Aun así, todavía hay buenas razones para estar entusiasmado con la llegada de GPT-4. La optimización de parámetros, en lugar del mero crecimiento de parámetros, probablemente conducirá a un modelo de IA que tiene mucho más poder de cómputo que su predecesor. Y la alineación mejorada probablemente hará que GPT-4 sea mucho más fácil de usar.

Además, todavía estamos solo al comienzo del desarrollo y la adopción de herramientas de IA. Constantemente se encuentran más casos de uso para la tecnología, y a medida que las personas ganan más confianza y comodidad con el uso de IA en el lugar de trabajo, es casi seguro que veremos una adopción generalizada de herramientas de IA en casi todos los sectores comerciales en los próximos años.