Julien Salinas, Fundador y CTO de NLP Cloud – Serie de Entrevistas

Julien Salinas es el Fundador y CTO de NLP Cloud. La plataforma NLP Cloud ofrece modelos de NLP de alto rendimiento y listos para producción basados en spaCy y HuggingFace transformers, para múltiples casos de uso que incluyen NER, análisis de sentimiento, clasificación de texto, resumen, respuesta a preguntas, generación de texto, traducción, detección de idioma, corrección de gramática y ortografía, clasificación de intención y similitud semántica.

¿Qué te interesó inicialmente en la informática?

Empecé a programar en… la escuela de negocios. Sé que suena sorprendente. En realidad, me di cuenta rápidamente de que los negocios en sí eran aburridos y que me limitaría rápidamente si no tenía las habilidades técnicas para llevar a cabo mis proyectos.

El primer proyecto en ese momento fue un pequeño sitio web para mi profesor de música, luego otro para mi familia, luego comencé a aprender Python… y así sucesivamente. Ahora he sido desarrollador de Python/Go y DevOps durante 15 años.

¿Puedes compartir la historia de la creación de NLP Cloud?

Comenzó hace 2 años cuando me di cuenta de que, como desarrollador, era bastante difícil implementar correctamente los modelos de aprendizaje automático en producción.

Me sorprendió el progreso realizado por frameworks como Hugging Face Transformers y spaCy, y pude aprovechar modelos de NLP muy avanzados en mis proyectos. Pero usar estos modelos en producción era otra bestia y, sorprendentemente, no pude encontrar ningún No-Ops cloud interesante en el mercado para NLP.

Así que decidí crear mi propia plataforma para la implementación de modelos de NLP. Muy rápidamente tuvimos excelentes comentarios de los clientes y agregamos muchas características basadas en estos comentarios (modelos preentrenados, ajuste fino, playground…).

La plataforma NLP Cloud admite la alternativa de código abierto GPT-3 GPT-J. ¿Qué es específicamente GPT-J?

GPT-J fue lanzado por un equipo de investigadores llamado EleutherAI en junio de este año. Creen que GPT-3 debería ser un modelo de código abierto, al igual que sus predecesores (GPT y GPT-2). Aseguran que, aunque debemos estar preocupados por el posible mal uso de modelos de IA potentes como GPT, no es una buena razón para no hacer que estos modelos sean de código abierto. Al contrario: creen que si los modelos de IA permanecen de código abierto, es la mejor manera para que la comunidad entienda cómo funcionan estos modelos bajo el capó, y luego asegurarse de que estos modelos no se comporten de manera incorrecta (misoginia, racismo, …).

GPT-J es un equivalente directo a GPT-3 Curie, ya que ambos se entrenaron con más o menos 6 mil millones de parámetros.

Ambos pueden usarse casi de manera intercambiable.

¿Por qué GPT-J es una alternativa superior a GPT-3?

GPT-3 pertenece a Microsoft y la única forma de que la gente lo use es a través de la API oficial de GPT-3.

Pero esta API es muy costosa y extremadamente restrictiva: debes solicitar acceso a la API y, incluso si tu aplicación es aceptada, tu acceso puede ser cancelado en cualquier momento si consideran que tu modelo de negocio no cumple con sus directrices. Por ejemplo, no puedes generar “texto abierto” (texto largo compuesto por varios párrafos) porque va en contra de su política.

No hay tales restricciones con GPT-J, ya que es de código abierto y cualquier persona puede instalarlo y usarlo.

¿Cuáles fueron algunos de los desafíos técnicos al integrar GPT-J en NLP Cloud?

GPT-J es complejo de instalar debido a su alto consumo de recursos (RAM, CPU, GPU…). Funciona sin una GPU, pero es tan lento que es muy impráctico.

Al final, el hardware necesario para ejecutar GPT-J es muy costoso, así que, para reducir los costos, tuvimos que trabajar en muchos detalles de implementación.

Además, para garantizar la alta disponibilidad de GPT-J en NLP Cloud y hacer que se adapte a la producción, tuvimos que trabajar en estrategias de redundancia y conmutación por error para GPT-J que pueden ser bastante desafiantes.

¿Puedes hablar sobre algunos de los modelos de IA preentrenados que se ofrecen?

Estamos haciendo nuestro mejor esfuerzo para seleccionar el mejor modelo de IA preentrenado por caso de uso.

Para la resumen de texto, el mejor es, en nuestra opinión, el Bart Large CNN de Facebook, que da muy buenos resultados, pero que puede ser bastante lento sin una GPU.

Para la clasificación de texto, implementamos el Bart Large MNLI de Facebook (para la clasificación en inglés) y el XLM Roberta Large XLNI de Joe Davison (para lenguas no inglesas). Ambos son rápidos y muy precisos.

Para la respuesta a preguntas, usamos el Roberta Base Squad 2 de Deepset. Es rápido y preciso, pero para una respuesta a preguntas más avanzada, es posible que desee usar GPT-J.

Y muchos más.

¿Cuáles son algunos de los mejores casos de uso para NLP Cloud?

Los casos de uso que parecen ser los más utilizados son la resumen de texto, la clasificación de texto y la generación de texto con GPT-J para la generación de descripciones de productos, paráfrasis, generación de artículos…

Pero los casos de uso que vemos entre nuestros clientes son extremadamente diversos, y es impresionante presenciar tantas grandes ideas que surgen.

¿Hay algo más que te gustaría compartir sobre NLP Cloud?

Parece que la IA para la comprensión y generación de texto finalmente se está utilizando “de verdad” en productos reales o flujos de trabajo internos, por más y más empresas.

Es genial ver que el NLP ya no es solo un campo de investigación puro, sino que hay casos de uso comerciales reales que pueden aprovechar el NLP.

En NLP Cloud, seguiremos haciendo nuestro mejor esfuerzo para que sea fácil para cualquier persona probar y usar el NLP en producción.

Gracias por la gran entrevista, los lectores que deseen aprender más deben visitar NLP Cloud.