El aprendizaje de AI de AI: La emergencia del aprendizaje social entre grandes modelos de lenguaje

Desde que OpenAI presentó ChatGPT 3.5 a finales de 2022, el papel de los modelos de lenguaje grande (LLM) fundamentales ha sido cada vez más prominente en la inteligencia artificial (AI), particularmente en procesamiento de lenguaje natural (NLP). Estos LLM, diseñados para procesar y generar texto similar al humano, aprenden de una amplia variedad de textos de Internet, que van desde libros hasta sitios web. Este proceso de aprendizaje les permite capturar la esencia del lenguaje humano, lo que hace que los LLM parezcan resolverse problemas de propósito general.

Mientras que el desarrollo de los LLM ha abierto nuevas puertas, el método de adaptar estos modelos para aplicaciones específicas, conocido como ajuste fino, plantea sus propios desafíos. El ajuste fino de un modelo requiere capacitación adicional en conjuntos de datos más enfocados, lo que puede generar dificultades como la necesidad de datos etiquetados, el riesgo de deriva del modelo y sobreajuste, y la necesidad de recursos significativos.

Para abordar estos desafíos, los investigadores de Google han adoptado recientemente la idea de ‘aprendizaje social‘ para ayudar a la IA a aprender de la IA. La idea clave es que, cuando los LLM se convierten en chatbots, pueden interactuar y aprender entre sí de una manera similar al aprendizaje social humano. Esta interacción les permite aprender entre sí, mejorando así su eficacia.

¿Qué es el aprendizaje social?

El aprendizaje social no es una idea nueva. Se basa en una teoría de la década de 1970 de Albert Bandura, que sugiere que las personas aprenden observando a los demás. Este concepto aplicado a la IA significa que los sistemas de IA pueden mejorar interactuando entre sí, aprendiendo no solo de experiencias directas sino también de las acciones de sus pares. Este método promete una adquisición de habilidades más rápida y podría incluso permitir que los sistemas de IA desarrollen su propia “cultura” compartiendo conocimientos.

A diferencia de otros métodos de aprendizaje de IA, como el aprendizaje de refuerzo por refuerzo o aprendizaje imitativo de ejemplos directos, el aprendizaje social enfatiza el aprendizaje a través de la interacción. Ofrece una forma más práctica y comunitaria para que la IA adquiera nuevas habilidades.

Aprendizaje social en LLM

Un aspecto importante del aprendizaje social es intercambiar conocimientos sin compartir información original y sensible. Como tal, investigadores han empleado una dinámica de maestro-estudiante donde los modelos de maestro facilitan el proceso de aprendizaje para los modelos de estudiante sin revelar detalles confidenciales. Para lograr este objetivo, los modelos de maestro generan ejemplos sintéticos o direcciones a partir de los cuales los modelos de estudiante pueden aprender sin compartir los datos reales. Por ejemplo, considere un modelo de maestro entrenado para diferenciar entre mensajes de texto spam y no spam utilizando datos marcados por los usuarios. Si deseamos que otro modelo domine esta tarea sin tocar los datos originales y privados, el aprendizaje social entra en juego. El modelo de maestro crearía ejemplos sintéticos o proporcionaría información basada en su conocimiento, permitiendo que el modelo de estudiante identifique mensajes spam con precisión sin exposición directa a los datos sensibles. Esta estrategia no solo mejora la eficiencia del aprendizaje sino que también demuestra el potencial de los LLM para aprender de manera dinámica y adaptable, posiblemente construyendo una cultura de conocimiento colectiva. Una característica vital de este enfoque es su dependencia de ejemplos sintéticos e instrucciones elaboradas. Al generar nuevos ejemplos informativos distintos del conjunto de datos original, los modelos de maestro pueden preservar la privacidad mientras guían a los modelos de estudiante hacia un aprendizaje efectivo. Este enfoque ha sido efectivo, logrando resultados equivalentes a los obtenidos utilizando los datos reales.

¿Cómo aborda el aprendizaje social los desafíos del ajuste fino?

El aprendizaje social ofrece una nueva forma de perfeccionar los LLM para tareas específicas. Ayuda a abordar los desafíos del ajuste fino de las siguientes maneras:

1. Menos necesidad de datos etiquetados: Al aprender de ejemplos sintéticos compartidos entre modelos, el aprendizaje social reduce la dependencia de datos etiquetados difíciles de obtener.
2. Evitar la sobre-especialización: Mantiene a los modelos versátiles al exponerlos a una gama más amplia de ejemplos que los de los conjuntos de datos pequeños y específicos.
3. Reducir el sobreajuste: El aprendizaje social amplía la experiencia de aprendizaje, ayudando a los modelos a generalizar mejor y evitar el sobreajuste.
4. Ahorro de recursos: Este enfoque permite un uso más eficiente de los recursos, ya que los modelos aprenden de las experiencias de los demás sin necesidad de acceso directo a grandes conjuntos de datos.

Direcciones futuras

El potencial del aprendizaje social en los LLM sugiere varias formas interesantes y significativas para la investigación de IA en el futuro:

1. Culturas de IA híbridas: A medida que los LLM participan en el aprendizaje social, podrían comenzar a formar metodologías comunes. Se podrían realizar estudios para investigar los efectos de estas “culturas” de IA emergentes, examinando su influencia en las interacciones humanas y los problemas éticos involucrados.
2. Aprendizaje transmodal: Ampliar el aprendizaje social más allá del texto para incluir imágenes, sonidos y más podría llevar a sistemas de IA con una comprensión más rica del mundo, similar a cómo los humanos aprenden a través de múltiples sentidos.
3. Aprendizaje descentralizado: La idea de que los modelos de IA aprendan entre sí a través de una red descentralizada presenta una forma novedosa de compartir conocimientos a gran escala. Esto requeriría abordar desafíos significativos en coordinación, privacidad y seguridad.
4. Interacción humano-IA: Hay potencial en explorar cómo los humanos y la IA pueden beneficiarse mutuamente del aprendizaje social, especialmente en entornos educativos y colaborativos. Esto podría redefinir cómo se transfieren el conocimiento y la innovación.
5. Desarrollo de IA ética: Enseñar a la IA a abordar dilemas éticos a través del aprendizaje social podría ser un paso hacia una IA más responsable. El enfoque estaría en desarrollar sistemas de IA que puedan razonar éticamente y alinearse con los valores de la sociedad.
6. Sistemas de auto-mejora: Un ecosistema en el que los modelos de IA aprendan y se mejoren continuamente de las experiencias de los demás podría acelerar la innovación de la IA. Esto sugiere un futuro en el que la IA pueda adaptarse a nuevos desafíos de manera más autónoma.
7. Privacidad en el aprendizaje: Con los modelos de IA compartiendo conocimientos, es crucial garantizar la privacidad de los datos subyacentes. Los esfuerzos futuros podrían explorar métodos más sofisticados para permitir la transferencia de conocimientos sin comprometer la seguridad de los datos.

En resumen

Los investigadores de Google han iniciado un enfoque innovador llamado aprendizaje social entre grandes modelos de lenguaje (LLM), inspirado en la capacidad humana de aprender observando a los demás. Este marco permite que los LLM compartan conocimientos y mejoren sus capacidades sin acceder o exponer datos sensibles. Al generar ejemplos sintéticos e instrucciones, los LLM pueden aprender de manera efectiva, abordando desafíos clave en el desarrollo de la IA como la necesidad de datos etiquetados, la sobre-especialización, el sobreajuste y el consumo de recursos. El aprendizaje social no solo mejora la eficiencia y adaptabilidad de la IA, sino que también abre posibilidades para que la IA desarrolle “culturas” compartidas, participe en el aprendizaje transmodal, se integre en redes descentralizadas, interactúe con los humanos de nuevas maneras, navegue por dilemas éticos y garantice la privacidad. Esto marca un cambio significativo hacia sistemas de IA más colaborativos, versátiles y éticos, prometiendo redefinir el panorama de la investigación y la aplicación de la inteligencia artificial.