Google Presenta Gemma 2: Elevando el Rendimiento, la Velocidad y la Accesibilidad para los Desarrolladores

Google (GOOGL ) ha presentado Gemma 2, la última iteración de sus modelos de lenguaje ligeros de código abierto, disponibles en tamaños de parámetros de 9 mil millones (9B) y 27 mil millones (27B). Esta nueva versión promete un rendimiento mejorado y una inferencia más rápida en comparación con su predecesor, el modelo Gemma. Gemma 2, derivado de los modelos Gemini de Google, está diseñado para ser más accesible para investigadores y desarrolladores, ofreciendo mejoras sustanciales en velocidad y eficiencia. A diferencia de los modelos multimodales y multilingües Gemini, Gemma 2 se centra únicamente en el procesamiento del lenguaje. En este artículo, exploraremos las características destacadas y los avances de Gemma 2, comparándolo con sus predecesores y competidores en el campo, destacando sus casos de uso y desafíos.

Construyendo Gemma 2

Al igual que su predecesor, los modelos Gemma 2 se basan en una arquitectura de transformador solo decodificador. La variante de 27B se entrena con 13 billones de tokens de datos principalmente en inglés, mientras que el modelo de 9B utiliza 8 billones de tokens, y el modelo de 2,6B se entrena con 2 billones de tokens. Estos tokens provienen de una variedad de fuentes, incluyendo documentos web, código y artículos científicos. El modelo utiliza el mismo tokenizador que Gemma 1 y Gemini, lo que garantiza la consistencia en el procesamiento de datos.

Gemma 2 se preentrena utilizando un método llamado distilación de conocimiento, donde aprende de las probabilidades de salida de un modelo más grande preentrenado. Después del entrenamiento inicial, los modelos se ajustan mediante un proceso llamado ajuste de instrucción. Esto comienza con ajuste fino supervisado (SFT) en una mezcla de texto sintético y humano generado en inglés, seguido de aprendizaje de refuerzo con retroalimentación humana (RLHF) para mejorar el rendimiento general.

Gemma 2: Rendimiento y Eficiencia Mejorados en Diversos Hardware

Gemma 2 no solo supera a Gemma 1 en rendimiento, sino que también compite efectivamente con modelos del doble de su tamaño. Está diseñado para funcionar de manera eficiente en various configuraciones de hardware, incluyendo laptops, escritorios, dispositivos IoT y plataformas móviles. Específicamente optimizado para GPUs y TPUs individuales, Gemma 2 mejora la eficiencia de su predecesor, especialmente en dispositivos con recursos limitados. Por ejemplo, el modelo de 27B sobresale en la ejecución de inferencia en una sola GPU NVIDIA H100 Tensor Core (NVDA ) o un host TPU, lo que lo convierte en una opción rentable para desarrolladores que necesitan un alto rendimiento sin invertir mucho en hardware.

Además, Gemma 2 ofrece a los desarrolladores capacidades de ajuste mejoradas en una amplia gama de plataformas y herramientas. Ya sea utilizando soluciones basadas en la nube como Google Cloud o plataformas populares como Axolotl, Gemma 2 proporciona opciones de ajuste extensas. La integración con plataformas como Hugging Face, NVIDIA TensorRT-LLM y Google’s JAX y Keras permite a investigadores y desarrolladores lograr un rendimiento óptimo y una implementación eficiente en diversas configuraciones de hardware.

Gemma 2 vs. Llama 3 70B

Al comparar Gemma 2 con Llama 3 70B, ambos modelos destacan en la categoría de modelos de lenguaje de código abierto. Los investigadores de Google afirman que Gemma 2 27B ofrece un rendimiento comparable al de Llama 3 70B a pesar de ser mucho más pequeño en tamaño. Además, Gemma 2 9B supera consistentemente a Llama 3 8B en varios benchmarks, como comprensión del lenguaje, codificación y resolución de problemas matemáticos.

Una ventaja notable de Gemma 2 sobre Llama 3 de Meta es su manejo de los idiomas indios. Gemma 2 sobresale debido a su tokenizador, que está diseñado específicamente para estos idiomas y incluye un vocabulario grande de 256k tokens para capturar matices lingüísticos. Por otro lado, Llama 3, a pesar de admitir muchos idiomas, lucha con la tokenización para las escrituras indias debido a un vocabulario y datos de entrenamiento limitados. Esto le da a Gemma 2 una ventaja en tareas que involucran idiomas indios, lo que lo convierte en una mejor opción para desarrolladores e investigadores que trabajan en estas áreas.

Casos de Uso

Basándonos en las características específicas del modelo Gemma 2 y su rendimiento en benchmarks, hemos identificado algunos casos de uso prácticos para el modelo.

• Asistentes Multilingües: El tokenizador especializado de Gemma 2 para varios idiomas, especialmente los idiomas indios, lo convierte en una herramienta efectiva para desarrollar asistentes multilingües adaptados a estos usuarios de idiomas. Ya sea buscando información en hindi, creando materiales educativos en urdu, contenido de marketing en árabe o artículos de investigación en bengalí, Gemma 2 capacita a los creadores con herramientas de generación de lenguaje efectivas. Un ejemplo real de este caso de uso es Navarasa, un asistente multilingüe construido sobre Gemma que admite nueve idiomas indios. Los usuarios pueden producir contenido que resuena con audiencias regionales mientras se adhieren a normas y matices lingüísticos específicos.
• Herramientas Educativas: Con su capacidad para resolver problemas matemáticos y comprender consultas de lenguaje complejas, Gemma 2 se puede utilizar para crear sistemas de tutoría inteligentes y aplicaciones educativas que brindan experiencias de aprendizaje personalizadas.
• Codificación y Asistencia de Código: La competencia de Gemma 2 en benchmarks de codificación indica su potencial como una herramienta poderosa para la generación de código, detección de errores y revisiones de código automatizadas. Su capacidad para funcionar bien en dispositivos con recursos limitados permite a los desarrolladores integrarlo sin problemas en sus entornos de desarrollo.
• Generación de Recuperación Mejorada (RAG): El fuerte rendimiento de Gemma 2 en benchmarks de inferencia basada en texto lo hace adecuado para desarrollar sistemas RAG en varios dominios. Apoya aplicaciones de atención médica al sintetizar información clínica, asiste a sistemas de inteligencia artificial legales al proporcionar asesoramiento legal, permite el desarrollo de chatbots inteligentes para soporte al cliente y facilita la creación de herramientas educativas personalizadas.

Limitaciones y Desafíos

Aunque Gemma 2 muestra avances notables, también enfrenta limitaciones y desafíos principalmente relacionados con la calidad y diversidad de sus datos de entrenamiento. A pesar de que su tokenizador admite varios idiomas, Gemma 2 carece de entrenamiento específico para capacidades multilingües y requiere ajuste fino para manejar eficazmente otros idiomas. El modelo funciona bien con instrucciones claras y estructuradas, pero lucha con tareas abiertas o complejas y matices del lenguaje sutiles como el sarcasmo o las expresiones figurativas. Su precisión factual no siempre es confiable, lo que puede generar información obsoleta o incorrecta, y puede carecer de razonamiento común en ciertos contextos. Aunque se han realizado esfuerzos para abordar alucinaciones, especialmente en áreas sensibles como la medicina o los escenarios de CBRN, todavía existe el riesgo de generar información inexacta en dominios menos refinados como las finanzas. Además, a pesar de los controles para prevenir la generación de contenido no ético, como el discurso de odio o las amenazas de ciberseguridad, existen riesgos continuos de mal uso en otros dominios. Finalmente, Gemma 2 es exclusivamente de texto y no admite el procesamiento de datos multimodales.

Conclusión

Gemma 2 introduce avances notables en los modelos de lenguaje de código abierto, mejorando el rendimiento y la velocidad de inferencia en comparación con su predecesor. Es adecuado para diversas configuraciones de hardware, lo que lo hace accesible sin inversiones significativas en hardware. Sin embargo, persisten desafíos en el manejo de tareas del lenguaje sutiles y garantizar la precisión en escenarios complejos. Aunque es beneficioso para aplicaciones como asesoramiento legal y herramientas educativas, los desarrolladores deben ser conscientes de sus limitaciones en capacidades multilingües y posibles problemas con la precisión factual en contextos sensibles. A pesar de estas consideraciones, Gemma 2 sigue siendo una opción valiosa para desarrolladores que buscan soluciones de procesamiento de lenguaje confiables.