La IA aprende de la IA: el surgimiento del aprendizaje social entre los grandes modelos lingüísticos

Desde que se presentó OpenAI ChatGPT3.5 a finales de 2022, el papel de los fundacionales grandes modelos de lenguaje (LLM) se ha vuelto cada vez más prominente en inteligencia artificial (IA), particularmente en procesamiento natural del lenguaje (PNL). Estos LLM, diseñados para procesar y generar textos similares a los humanos, aprenden de una amplia gama de textos de Internet, desde libros hasta sitios web. Este proceso de aprendizaje les permite capturar la esencia del lenguaje humano, haciendo que los LLM parezcan solucionadores de problemas de propósito general.

Si bien el desarrollo de LLM ha abierto nuevas puertas, el método de adaptar estos modelos para aplicaciones específicas, conocido como sintonia FINA—trae consigo su propio conjunto de desafíos. El ajuste de un modelo requiere capacitación adicional en conjuntos de datos más específicos, lo que puede generar dificultades como la necesidad de datos etiquetados, el riesgo de que deriva del modelo y sobreajustey la necesidad de importantes recursos.

Para abordar estos desafíos, los investigadores de Google han adoptado recientemente la idea de 'saprendizaje social' para ayudar a la IA a aprender de la IA. La idea clave es que, cuando los LLM se convierten en chatbots, pueden interactuar y aprender unos de otros de una manera similar al aprendizaje social humano. Esta interacción les permite aprender unos de otros, mejorando así su eficacia.

¿Qué es el aprendizaje social?

El aprendizaje social no es una idea nueva. Se basa en una teoría de la década de 1970 de Albert Bandura, lo que sugiere que las personas aprenden observando a los demás. Este concepto aplicado a la IA significa que los sistemas de IA pueden mejorar interactuando entre sí, aprendiendo no sólo de experiencias directas sino también de las acciones de sus pares. Este método promete una adquisición de habilidades más rápida e incluso podría permitir que los sistemas de inteligencia artificial desarrollen su propia “cultura” al compartir conocimientos.

A diferencia de otros métodos de aprendizaje de IA, como prueba y error aprendizaje reforzado or aprendizaje por imitación A partir de ejemplos directos, el aprendizaje social enfatiza el aprendizaje a través de la interacción. Ofrece una forma más práctica y comunitaria para que la IA adquiera nuevas habilidades.

Aprendizaje social en LLM

Un aspecto importante del aprendizaje social es intercambiar conocimientos sin compartir información original y sensible. Como tal, investigadores han empleado una dinámica profesor-alumno en la que los modelos docentes facilitan el proceso de aprendizaje de los modelos estudiantes sin revelar ningún detalle confidencial. Para lograr este objetivo, los modelos de docentes generan ejemplos sintéticos o instrucciones a partir de las cuales los modelos de estudiantes pueden aprender sin compartir los datos reales. Por ejemplo, considere un modelo de profesor capacitado para diferenciar entre mensajes de texto spam y no spam utilizando datos marcados por los usuarios. Si deseamos que otro modelo domine esta tarea sin tocar los datos privados originales, entra en juego el aprendizaje social. El modelo de profesor crearía ejemplos sintéticos o proporcionaría información basada en su conocimiento, lo que permitiría al modelo de estudiante identificar mensajes de spam con precisión sin exposición directa a datos confidenciales. Esta estrategia no solo mejora la eficiencia del aprendizaje, sino que también demuestra el potencial de los LLM para aprender de manera dinámica y adaptable, construyendo potencialmente una cultura de conocimiento colectivo. Una característica vital de este enfoque es su dependencia de ejemplos sintéticos e instrucciones elaboradas. Al generar ejemplos nuevos e informativos distintos del conjunto de datos original, los modelos de docentes pueden preservar la privacidad y al mismo tiempo guiar a los modelos de estudiantes hacia un aprendizaje eficaz. Este enfoque ha sido eficaz, logrando resultados a la par de los obtenidos utilizando los datos reales.

¿Cómo el aprendizaje social aborda los desafíos del ajuste?

El aprendizaje social ofrece una nueva forma de perfeccionar los LLM para tareas específicas. Ayuda a afrontar los desafíos del ajuste de las siguientes maneras:

1. Menos necesidad de datos etiquetados: Al aprender de ejemplos sintéticos compartidos entre modelos, el aprendizaje social reduce la dependencia de datos etiquetados difíciles de obtener.
2. Evitar la sobreespecialización: Mantiene los modelos versátiles al exponerlos a una gama más amplia de ejemplos que los de conjuntos de datos pequeños y específicos.
3. Reducir el sobreajuste: El aprendizaje social amplía la experiencia de aprendizaje, ayudando a los modelos a generalizar mejor y evitar el sobreajuste.
4. Ahorro de recursos: Este enfoque permite un uso más eficiente de los recursos, ya que los modelos aprenden de las experiencias de los demás sin necesidad de acceso directo a grandes conjuntos de datos.

Directrices para el futuro

El potencial para el aprendizaje social en los LLM sugiere varias formas interesantes y significativas para futuras investigaciones en IA:

1. Culturas híbridas de IA: A medida que los LLM participen en el aprendizaje social, podrían comenzar a desarrollar metodologías comunes. Se podrían realizar estudios para investigar los efectos de estas “culturas” emergentes de IA, examinando su influencia en las interacciones humanas y las cuestiones éticas involucradas.
2. Aprendizaje multimodal: Extender el aprendizaje social más allá del texto para incluir imágenes, sonidos y más podría conducir a sistemas de inteligencia artificial con una comprensión más rica del mundo, muy similar a cómo los humanos aprenden a través de múltiples sentidos.
3. Aprendizaje descentralizado: La idea de que los modelos de IA aprendan unos de otros a través de una red descentralizada presenta una forma novedosa de ampliar el intercambio de conocimientos. Esto requeriría abordar desafíos importantes en materia de coordinación, privacidad y seguridad.
4. Interacción humano-IA: Existe potencial en explorar cómo los humanos y la IA pueden beneficiarse mutuamente del aprendizaje social, especialmente en entornos educativos y colaborativos. Esto podría redefinir cómo se producen la transferencia de conocimientos y la innovación.
5. Desarrollo ético de IA: Enseñar IA a abordar dilemas éticos a través del aprendizaje social podría ser un paso hacia una IA más responsable. La atención se centraría en desarrollar sistemas de inteligencia artificial que puedan razonar éticamente y alinearse con los valores sociales.
6. Sistemas de mejora personal: Un ecosistema donde los modelos de IA aprendan y mejoren continuamente a partir de las experiencias de los demás podría acelerar la innovación en IA. Esto sugiere un futuro en el que la IA podrá adaptarse a nuevos desafíos de forma más autónoma.
7. Privacidad en el aprendizaje: Dado que los modelos de IA comparten conocimientos, garantizar la privacidad de los datos subyacentes es crucial. Los esfuerzos futuros podrían explorar métodos más sofisticados para permitir la transferencia de conocimientos sin comprometer la seguridad de los datos.

Lo más importante es...

Los investigadores de Google han sido pioneros en un enfoque innovador llamado aprendizaje social entre modelos de lenguaje grandes (LLM), inspirado en la capacidad humana de aprender observando a otros. Este marco permite a los LLM compartir conocimientos y mejorar capacidades sin acceder ni exponer datos confidenciales. Al generar ejemplos e instrucciones sintéticos, los LLM pueden aprender de manera efectiva, abordando desafíos clave en el desarrollo de la IA, como la necesidad de datos etiquetados, la sobreespecialización, el sobreajuste y el consumo de recursos. El aprendizaje social no solo mejora la eficiencia y la adaptabilidad de la IA, sino que también abre posibilidades para que la IA desarrolle “culturas” compartidas, participe en aprendizaje multimodal, participe en redes descentralizadas, interactúe con humanos de nuevas maneras, navegue por dilemas éticos y garantice la privacidad. Esto marca un cambio significativo hacia sistemas de IA más colaborativos, versátiles y éticos, que prometen redefinir el panorama de la investigación y aplicación de la inteligencia artificial.