Julien Salinas, Fundador e CTO da NLP Cloud – Série de Entrevistas

Julien Salinas é o Fundador e CTO da NLP Cloud. A plataforma NLP Cloud oferece modelos de NLP de alta performance e prontos para produção com base em spaCy e HuggingFace transformers, para vários casos de uso, incluindo NER, análise de sentimento, classificação de texto, resumo, resposta a perguntas, geração de texto, tradução, detecção de idioma, correção de gramática e ortografia, classificação de intenção e semelhança semântica.

O que inicialmente o interessou em ciência da computação?

Eu comecei a programar na… escola de negócios! Eu sei que isso soa surpreendente. Na verdade, eu rapidamente percebi que os negócios em si eram chatos e que eu seria rapidamente limitado se não tivesse as habilidades técnicas para alcançar meus projetos.

O primeiro projeto na época foi um pequeno site para meu professor de música, então outro para minha família, então eu comecei a aprender Python… e assim por diante. Agora sou desenvolvedor Python/Go e DevOps há 15 anos.

Pode compartilhar a história de criação da NLP Cloud?

Isso começou há 2 anos, quando eu percebi que, como desenvolvedor, era difícil implantar modelos de aprendizado de máquina em produção.

Eu fiquei impressionado com o progresso feito por frameworks como Hugging Face Transformers e spaCy, e eu pude aproveitar modelos de NLP muito avançados em meus projetos. Mas usar esses modelos em produção era outra história e, surpreendentemente, eu não consegui encontrar nenhum No-Ops cloud interessante para NLP no mercado.

Então, eu decidi criar minha própria plataforma para implantação de modelos de NLP. Muito rapidamente, tivemos feedbacks incríveis dos clientes e adicionamos muitos recursos com base nesses feedbacks (modelos pré-treinados, fine-tuning, playground…).

A plataforma NLP Cloud suporta a alternativa de código aberto GPT-3, o GPT-J. O que é GPT-J especificamente?

GPT-J foi lançado por uma equipe de pesquisadores chamada EleutherAI em junho deste ano. Eles acreditam que o GPT-3 deve ser um modelo de código aberto, como seus antecessores (GPT e GPT-2). Eles afirmam que, mesmo que devamos todos estar preocupados com o uso indevido de modelos de IA poderosos como o GPT, não é um bom motivo para não tornar esses modelos de código aberto. Pelo contrário: eles acreditam que, se os modelos de IA permanecerem de código aberto, é a melhor maneira para a comunidade entender como esses modelos funcionam por baixo dos panos e, em seguida, garantir que esses modelos não se comportem de maneira errada (misoginia, racismo, …).

GPT-J é um equivalente direto ao GPT-3 Curie, pois ambos foram treinados com mais ou menos 6 bilhões de parâmetros.

Ambos podem ser usados quase de forma intercambiável.

Por que o GPT-J é uma alternativa superior ao GPT-3?

O GPT-3 pertence à Microsoft (MSFT ) e a única maneira de as pessoas usá-lo é passando pela API oficial do GPT-3.

Mas essa API é muito cara e extremamente restritiva: você precisa solicitar acesso à API e, mesmo se sua aplicação for aprovada, seu acesso pode ser interrompido a qualquer momento se eles considerarem que seu modelo de negócios não está de acordo com suas diretrizes. Por exemplo, você não pode gerar “texto aberto” (texto longo composto por vários parágrafos) porque é contra sua política.

Não há restrições como essas com o GPT-J, pois é de código aberto e qualquer pessoa pode instalá-lo e usá-lo.

Quais foram alguns dos desafios técnicos ao integrar o GPT-J na NLP Cloud?

O GPT-J é complexo de instalar devido ao seu alto consumo de recursos (RAM, CPU, GPU…). Ele funciona sem uma GPU, mas é tão lento que é muito impraticável.

No final, o hardware necessário para executar o GPT-J é muito caro, então, para reduzir os custos, tivemos que trabalhar em muitos detalhes de implementação.

Além disso, para garantir a alta disponibilidade do GPT-J na NLP Cloud e torná-lo adequado para produção, tivemos que trabalhar em estratégias de redundância e failover para o GPT-J, o que pode ser bastante desafiador.

Pode discutir alguns dos modelos de IA pré-treinados oferecidos?

Estamos fazendo o nosso melhor para selecionar o melhor modelo de IA pré-treinado por caso de uso.

Para resumo de texto, o melhor – em nossa opinião – é o Bart Large CNN da Facebook (META ), que fornece resultados muito bons, mas que pode ser um pouco lento sem uma GPU.

Para classificação de texto, implementamos o Bart Large MNLI da Facebook (para classificação em inglês) e o XLM Roberta Large XLNI de Joe Davison (para idiomas não ingleses). Ambos são rápidos e muito precisos.

Para resposta a perguntas, usamos o Roberta Base Squad 2 da Deepset. Ele é rápido e preciso, mas para resposta a perguntas mais avançadas, você pode querer usar o GPT-J.

E muitos outros!

Quais são alguns dos melhores casos de uso para a NLP Cloud?

Os casos de uso que parecem ser usados com mais frequência são resumo de texto, classificação de texto e geração de texto com o GPT-J para geração de descrições de produtos, paráfrase, geração de artigos…

Mas os casos de uso que podemos ver entre nossos clientes são extremamente diversificados, e é impressionante testemunhar tantas ideias incríveis!

Há algo mais que você gostaria de compartilhar sobre a NLP Cloud?

Parece-nos que a IA para compreensão de texto e geração de texto está finalmente sendo usada “para real” em produtos ou fluxos de trabalho internos reais, por mais e mais empresas.

Isso é ótimo para ver que a NLP não é mais apenas um campo de pesquisa puro, mas que existem casos de uso de negócios reais que podem aproveitar a NLP.

Na NLP Cloud, continuaremos a fazer o nosso melhor para tornar fácil para qualquer pessoa testar e usar a NLP em produção.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar NLP Cloud.