El aprendizaje de AI de AI: La emergencia del aprendizaje social entre los grandes modelos de lenguaje

Desde que OpenAI presentó ChatGPT 3.5 a finales de 2022, el papel de los grandes modelos de lenguaje (LLM) ha sido cada vez más prominente en la inteligencia artificial (IA), particularmente en el procesamiento de lenguaje natural (NLP). Estos LLM, diseñados para procesar y generar texto similar al humano, aprenden de una amplia variedad de textos de Internet, que van desde libros hasta sitios web. Este proceso de aprendizaje les permite capturar la esencia del lenguaje humano, lo que hace que los LLM parezcan resolverse problemas generales.

Mientras que el desarrollo de los LLM ha abierto nuevas puertas, el método de adaptar estos modelos para aplicaciones específicas, conocido como ajuste fino, plantea sus propios desafíos. El ajuste fino de un modelo requiere capacitación adicional en conjuntos de datos más enfocados, lo que puede generar dificultades como la necesidad de datos etiquetados, el riesgo de deriva del modelo y sobreajuste, y la necesidad de recursos significativos.

Para abordar estos desafíos, los investigadores de Google (GOOGL ) han adoptado recientemente la idea de ‘aprendizaje social‘ para ayudar a la IA a aprender de la IA. La idea clave es que, cuando los LLM se convierten en chatbots, pueden interactuar y aprender entre sí de manera similar al aprendizaje social humano. Esta interacción les permite aprender entre sí, lo que mejora su eficacia.

¿Qué es el aprendizaje social?

El aprendizaje social no es una idea nueva. Se basa en una teoría de la década de 1970 de Albert Bandura, que sugiere que las personas aprenden observando a los demás. Este concepto aplicado a la IA significa que los sistemas de IA pueden mejorar interactuando entre sí, aprendiendo no solo de experiencias directas sino también de las acciones de sus pares. Este método promete una adquisición de habilidades más rápida y podría incluso permitir que los sistemas de IA desarrollen su propia “cultura” compartiendo conocimientos.

A diferencia de otros métodos de aprendizaje de IA, como el aprendizaje por refuerzo o el aprendizaje imitativo de ejemplos directos, el aprendizaje social enfatiza el aprendizaje a través de la interacción. Ofrece una forma más práctica y comunitaria para que la IA adquiera nuevas habilidades.

Aprendizaje social en LLM

Un aspecto importante del aprendizaje social es intercambiar conocimientos sin compartir información original y sensible. Como tal, investigadores han empleado una dinámica de maestro-estudiante donde los modelos de maestros facilitan el proceso de aprendizaje para los modelos de estudiantes sin revelar detalles confidenciales. Para lograr este objetivo, los modelos de maestros generan ejemplos sintéticos o instrucciones a partir de los cuales los modelos de estudiantes pueden aprender sin compartir los datos reales. Por ejemplo, considere un modelo de maestro entrenado para diferenciar entre mensajes de texto spam y no spam utilizando datos marcados por usuarios. Si deseamos que otro modelo domine esta tarea sin acceder a los datos originales y privados, el aprendizaje social entra en juego. El modelo de maestro crearía ejemplos sintéticos o proporcionaría instrucciones basadas en su conocimiento, lo que permitiría al modelo de estudiante identificar mensajes de spam con precisión sin exposición directa a los datos sensibles. Esta estrategia no solo mejora la eficiencia del aprendizaje sino que también demuestra el potencial de los LLM para aprender de manera dinámica y adaptable, posiblemente construyendo una cultura de conocimiento colectiva. Una característica vital de este enfoque es su dependencia de ejemplos sintéticos y instrucciones elaboradas. Al generar nuevos ejemplos informativos distintos del conjunto de datos original, los modelos de maestros pueden preservar la privacidad mientras guían a los modelos de estudiantes hacia un aprendizaje efectivo. Este enfoque ha sido efectivo, logrando resultados equivalentes a los obtenidos utilizando los datos reales.

¿Cómo aborda el aprendizaje social los desafíos del ajuste fino?

El aprendizaje social ofrece una nueva forma de refinar los LLM para tareas específicas. Ayuda a abordar los desafíos del ajuste fino de las siguientes maneras:

1. Menos necesidad de datos etiquetados: Al aprender de ejemplos sintéticos compartidos entre modelos, el aprendizaje social reduce la dependencia de los datos etiquetados difíciles de obtener.
2. Evitar la sobrespecialización: Mantiene a los modelos versátiles al exponerlos a una gama más amplia de ejemplos que los de los conjuntos de datos pequeños y específicos.
3. Reducir el sobreajuste: El aprendizaje social amplía la experiencia de aprendizaje, lo que ayuda a los modelos a generalizar mejor y evitar el sobreajuste.
4. Ahorro de recursos: Este enfoque permite un uso más eficiente de los recursos, ya que los modelos aprenden de las experiencias de los demás sin necesidad de acceso directo a grandes conjuntos de datos.

Direcciones futuras

El potencial del aprendizaje social en los LLM sugiere varias formas interesantes y significativas para la investigación futura de IA:

1. Culturas híbridas de IA: A medida que los LLM participan en el aprendizaje social, podrían comenzar a formar metodologías comunes. Se podrían realizar estudios para investigar los efectos de estas “culturas” de IA emergentes, examinando su influencia en las interacciones humanas y los problemas éticos involucrados.
2. Aprendizaje entre modalidades: Ampliar el aprendizaje social más allá del texto para incluir imágenes, sonidos y más podría llevar a sistemas de IA con una comprensión más rica del mundo, similar a cómo los humanos aprenden a través de múltiples sentidos.
3. Aprendizaje descentralizado: La idea de que los modelos de IA aprendan entre sí a través de una red descentralizada presenta una forma novedosa de ampliar el intercambio de conocimientos. Esto requeriría abordar desafíos significativos en coordinación, privacidad y seguridad.
4. Interacción humano-IA: Hay potencial en explorar cómo los humanos y la IA pueden beneficiarse mutuamente del aprendizaje social, especialmente en entornos educativos y colaborativos. Esto podría redefinir cómo se transfieren el conocimiento y la innovación.
5. Desarrollo ético de IA: Enseñar a la IA a abordar dilemas éticos a través del aprendizaje social podría ser un paso hacia sistemas de IA más responsables. El enfoque estaría en desarrollar sistemas de IA que puedan razonar éticamente y alinearse con los valores de la sociedad.
6. Sistemas de auto-mejora: Un ecosistema donde los modelos de IA aprenden y se mejoren continuamente entre sí podría acelerar la innovación en IA. Esto sugiere un futuro donde la IA pueda adaptarse a nuevos desafíos de manera más autónoma.
7. Privacidad en el aprendizaje: Con los modelos de IA compartiendo conocimientos, es crucial garantizar la privacidad de los datos subyacentes. Esfuerzos futuros podrían explorar métodos más sofisticados para permitir la transferencia de conocimientos sin comprometer la seguridad de los datos.

La parte inferior de la línea

Los investigadores de Google han pionero un enfoque innovador llamado aprendizaje social entre los grandes modelos de lenguaje (LLM), inspirado en la capacidad humana de aprender observando a otros. Este marco permite a los LLM compartir conocimientos y mejorar sus capacidades sin acceder o exponer datos sensibles. Al generar ejemplos sintéticos e instrucciones, los LLM pueden aprender de manera efectiva, abordando desafíos clave en el desarrollo de IA como la necesidad de datos etiquetados, la sobrespecialización, el sobreajuste y el consumo de recursos. El aprendizaje social no solo mejora la eficiencia y la adaptabilidad de la IA, sino que también abre posibilidades para que la IA desarrolle “culturas” compartidas, participe en el aprendizaje entre modalidades, participe en redes descentralizadas, interactúe con humanos de nuevas maneras, navegue por dilemas éticos y garantice la privacidad. Esto marca un cambio significativo hacia sistemas de IA más colaborativos, versátiles y éticos, prometiendo redefinir el panorama de la investigación y la aplicación de la inteligencia artificial.