Victor Thu, Presidente da Datatron – Série de Entrevistas

Vitor Thu é o Presidente da Datatron, uma plataforma que ajuda as empresas a aproveitar o poder do aprendizado de máquina, acelerando os deploys, detectando problemas precocemente e aumentando a eficiência de gerenciamento de vários modelos em escala.

Sua formação é em Marketing de Produto, Go-to-market e Gerenciamento de Produto, como essa formação o levou a trabalhar em aprendizado de máquina e IA?

Eu amo tecnologia e alguns de meus amigos próximos até me chamam de “sussurro de tecnologia”. Eu gosto de pegar tópicos de tecnologia complexos e traduzi-los em uma linguagem que as pessoas possam relacionar, e me educar sobre novas tecnologias para entender o “porquê” por trás das tecnologias que mais importam para as pessoas.

Meu primeiro encontro com o que eu chamo de “IA moderna” foi quando eu estava assistindo a uma apresentação de um famoso professor de IA de Stanford, Dr. Fei-Fei Li. A apresentação do Dr. Li foi tão cativante que serviu como um ponto de inflexão para mim em minha carreira. Aquela apresentação me convenceu de que era onde eu queria estar em seguida. Eu queria fazer parte da próxima onda de tecnologia onde usamos IA e ML para resolver desafios de negócios.

Desde então, eu estive com várias startups de IA/ML, trabalhando para usar a tecnologia para atender às necessidades reais de negócios. Eu trabalhei muito de perto com cientistas de ML de nível de doutorado, que me forneceram conhecimento tremendo em IA/ML. E ainda estou aprendendo hoje, pois o espaço está evoluindo tão rapidamente.

Então, foi realmente minha paixão por tecnologia e como usá-la para ajudar os outros que me levou a trabalhar em estreita colaboração com IA/ML.

A Datatron se concentra em MLOps, para os leitores que não estão familiarizados com esse termo, poderia descrever especificamente o que é?

MLOps é basicamente codificar e simplificar o processo altamente artesanal de levar modelos de IA e ML do protótipo para a produção.

Um dos maiores mal-entendidos é que, uma vez que os cientistas de dados construíram seus modelos de IA, eles podem colocá-los em produção rapidamente. No entanto, a realidade é que pode levar até um ano antes que um modelo possa ser implantado.

O principal motivo desse atraso é que as pessoas que têm expertise em desenvolver modelos não têm necessariamente expertise em engenharia de software também. Uma boa comparação é com os arquitetos que projetam arranha-céus – eles não são também os desenvolvedores que os constroem.

MLOps é basicamente a ponte entre os desenvolvedores de modelos e a engenharia de software. Em vez de ter que gastar mais de 12 meses para colocar os modelos em produção, MLOps pode reduzir esse longo processo para apenas alguns dias.

Em um artigo que você escreveu para nós em setembro de 2021, você discutiu como “O principal obstáculo para levar soluções para a produção não é a qualidade dos modelos, mas sim a falta de infraestrutura para permitir que as empresas o façam.” Por que isso é um obstáculo tão grande para a maioria das empresas?

Há vários fatores que contribuem para isso.

• A romantização excessiva do software de código aberto “gratuito”. Eu quero enfatizar primeiro que amamos o software de código aberto e acreditamos firmemente que ele ajudou a indústria a avançar por saltos e limites. No entanto, muitos não entendem a complexidade do código aberto em relação à IA e ML. Hoje, há uma escassez grave de talentos de IA/ML. Quando você combina isso com a necessidade de encontrar engenheiros de software (engenheiros de ML ou MLOps) que saibam lidar com as propriedades únicas dos códigos de IA/ML, para então esperar contratar e construir uma plataforma de MLOps de escala empresarial internamente, descobrindo como lidar com os 300+ projetos de MLOps de código aberto, é um convite ao fracasso.
• Falta de infraestrutura para apoiar as equipes de engenharia. As empresas precisam de um melhor ambiente para configurar os engenheiros para o sucesso. Há necessidade de largura de banda e orçamento para fornecer às equipes as ferramentas certas. A IA é uma tecnologia relativamente nova. As empresas que estão fazendo IA nem sempre sabem o que precisam fazer para colocar os modelos em produção rapidamente, é por isso que MLOps é uma ferramenta tão vital.

Como o uso de MLOps resolve o problema de falta de infraestrutura?

MLOps resolve o problema de falta de infraestrutura de quatro maneiras:

1. Nenhuma alteração de código proprietário: Os cientistas de dados querem flexibilidade para construir modelos para atender a casos de uso de negócios em seus ambientes, portanto, qualquer processo de MLOps que exija alterações de código complica a integridade de seus modelos.
2. Automação/programação: Muitas equipes estão programando modelos de forma codificada, o que leva muito tempo. MLOps automatiza todo o processo, economizando muito tempo e energia.
3. Atualizações simplificadas: Os modelos de IA mudam regularmente para se adaptar ao seu ambiente. Às vezes, os cientistas de dados precisam voltar para atualizar os modelos com frequência. Sem MLOps, não há como evitar essa atualização repetitiva.
4. Gerenciamento da infraestrutura subjacente: Para colocar os modelos em produção, é necessário computar a rede e o armazenamento, o que exige propriedades únicas dos modelos de IA/ML. As ferramentas de MLOps têm a capacidade de acessar os recursos certos para dimensioná-los de acordo.

Há também requisitos empresariais que muitas vezes não são considerados ao construir sua própria ferramenta de MLOps, como: controle de acesso baseado em função (RBAC), integração e interoperabilidade, suporte a diferentes ferramentas de ML, tratamento de vulnerabilidades de segurança e a saída inesperada de membros-chave da equipe.

Quais são suas visões pessoais sobre a importância da governança de IA?

Houve inúmeras histórias de horror de modelos de IA que não funcionam corretamente, desde a rotulagem errada de certos grupos de pessoas até a causação de perdas financeiras maciças para empresas de capital aberto.

A governança de IA é extremamente importante para as empresas quando elas têm modelos de IA em produção. Com isso dito, não é diferente de outras governanças de TI ou negócios. Hoje, quando sua TI executa aplicativos na nuvem ou mesmo em seus próprios data centers, eles têm uma série de ferramentas para garantir que os aplicativos estejam funcionando corretamente.

Uma vez que você tenha modelos de IA em execução, é necessário ter mecanismos e ferramentas em lugar para fornecer à empresa e aos cientistas de dados visibilidade sobre o que os modelos estão fazendo.

Especially nessa fase inicial de IA/ML, não há opção de “configurar e esquecer”. No início, você precisa monitorar como seu modelo se comporta e fazer ajustes apropriados. Ter capacidades de monitoramento adequadas para que possam alertá-lo quando seus modelos estão se comportando fora dos limites desejados é fundamental.

O gerenciamento de risco de modelo (MRM) também precisa levar em conta as diferentes pessoas envolvidas no desenvolvimento e implantação do modelo. Quais controles de acesso você tem em vigor para garantir a integridade dos modelos? Ou como você garante que as pessoas de diferentes grupos não usem seus modelos para casos de uso para os quais os modelos não foram projetados? São todas perguntas que as equipes precisam fazer a si mesmas.

Como a Datatron ajuda no gerenciamento de risco de modelo?

MLOps permite atualizações e alterações de modelo rápidas. Por exemplo, se um modelo está rejeitando indevidamente as pessoas em um pedido de empréstimo, MLOps permite que você retire o modelo e reintroduza um novo, gerenciando esse risco de forma simples.

Ele protege os modelos contra viés de deriva e mantém métricas-chave enquanto está em produção por meio de um painel simples que apresenta essas métricas usando dados detalhados e profundos de uma visão geral de alto nível que pode ser facilmente entendida por tomadores de decisão de negócios.

A plataforma de governança de IA da Datatron fornece um nível acima de uma capacidade de monitoramento genérica – fornecendo contexto e lógica adicionais que exibem visibilidade clara do modelo que é mais relevante para os casos de uso do cliente.

Em um post de blog da Datatron, você descreveu como a Datatron estava adotando o mantra de IA Confiável ™. Poderia descrever o que é, na sua visão?

Quando criamos isso, pensamos em como estamos tão confortáveis voando em aviões comerciais hoje porque eles são muito confiáveis.

Apesar de todas essas discussões sobre IA ética, IA responsável, etc., a necessidade-chave é que as empresas possam usar IA/ML de forma confiável – assim como se seus funcionários estivessem pulando em um avião comercial.

Usar termos como IA ética, IA responsável, realmente se originou do problema de que os modelos de IA atuais não estão fazendo o que se supõe que façam, e, portanto, são considerados não confiáveis. As empresas não estão dispostas a usar IA porque não têm confiança de que seus modelos não são tendenciosos. Isso significa que seus modelos são não confiáveis e a Datatron está determinada a mudar isso.

Há algo mais que você gostaria de compartilhar sobre a Datatron?

Nós somos um dos poucos jogadores de MLOps que são comprovados no Super Bowl – trabalhando com sucesso em um cenário de alto estresse, o que não é típico para uma startup ou ferramenta de código aberto. O cliente, Domino’s Pizza , trabalha com a Datatron para operacionalizar facilmente e rapidamente os modelos de IA em produção, que foram então submetidos ao teste final durante o Super Bowl.

MLOps realmente é a forma de ajudar os modelos de IA/ML a entrar em produção enquanto preserva recursos e reduz custos. Nós somos uma fonte sustentável para modelos de IA/ML bem-sucedidos e servimos como um catalisador para a receita. As empresas podem finalmente obter o retorno sobre o investimento de seus projetos de IA e ML. Independentemente de suas margens, você pode produzir resultados usando MLOps.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Datatron.