Yotam Oren, CEO & Cofundador da Mona Labs – Série de Entrevistas

Yotam Oren é o CEO & Cofundador da Mona Labs, uma plataforma que permite que as empresas transformem as iniciativas de IA de experimentos de laboratório em operações de negócios escaláveis, entendendo verdadeiramente como os modelos de ML se comportam em processos e aplicações de negócios reais.

A Mona analisa automaticamente o comportamento dos seus modelos de aprendizado de máquina em segmentos de dados protegidos e no contexto das funções de negócios, a fim de detectar possíveis vieses de IA. A Mona oferece a capacidade de gerar relatórios de equidade completos que atendem aos padrões e regulamentos da indústria, e oferecem confiança de que a aplicação de IA é compatível e livre de qualquer viés.

O que o atraiu inicialmente para a ciência da computação?

A ciência da computação é uma carreira popular na minha família, então sempre foi uma opção viável. Claro, a cultura israelense é muito pró-tecnologia. Nós celebramos tecnólogos inovadores e eu sempre tive a percepção de que a ciência da computação me ofereceria uma oportunidade de crescimento e realização.

Apesar disso, só se tornou uma paixão pessoal quando cheguei à idade universitária. Eu não era um daqueles garotos que começaram a programar no ensino fundamental. Na minha juventude, eu estava muito ocupado jogando basquete para prestar atenção aos computadores. Depois do ensino médio, passei cerca de 5 anos no exército, em funções de liderança operacional/combativa. Então, de certa forma, eu realmente comecei a aprender sobre ciência da computação apenas quando precisei escolher uma especialização universitária. O que capturou minha atenção imediatamente foi que a ciência da computação combinava resolver problemas e aprender uma linguagem (ou linguagens). Duas coisas que me interessavam particularmente. A partir daí, eu estava viciado.

De 2006 a 2008, você trabalhou no mapeamento e navegação para uma pequena startup, quais foram algumas das suas principais conclusões dessa época?

Minha função na Telmap era construir um mecanismo de busca em cima de dados de mapas e localização.

Esses eram os primeiros dias do “big data” nas empresas. Nós nem sequer o chamávamos de “big data”, mas estávamos adquirindo conjuntos de dados enormes e tentando extrair as informações mais impactantes e relevantes para mostrar aos nossos usuários finais.

Uma das realizações surpreendentes que tive foi que as empresas (incluindo a nossa) usavam muito pouco dos seus dados (para não mencionar os dados públicos externos). Havia tanto potencial para novas informações, melhores processos e experiências.

A outra conclusão foi que ser capaz de obter mais dos nossos dados dependia, claro, de ter melhores arquiteturas, melhor infraestrutura e assim por diante.

Pode compartilhar a história de criação por trás da Mona Labs?

Os três cofundadores temos uma longa história com produtos de dados.

Nemo, o diretor de tecnologia, é meu amigo e colega de faculdade, e um dos primeiros funcionários do Google Tel Aviv. Ele começou um produto lá chamado Google Trends, que tinha muitas análises avançadas e aprendizado de máquina baseado em dados de mecanismo de busca. Itai, o outro cofundador e diretor de produto, estava na equipe de Nemo no Google (e ele e eu nos conhecemos através de Nemo). Os dois estavam sempre frustrados que os sistemas impulsionados por IA fossem deixados sem monitoramento após o desenvolvimento e testes iniciais. Apesar da dificuldade em testar adequadamente esses sistemas antes da produção, as equipes ainda não sabiam como seus modelos preditivos se saíam ao longo do tempo. Além disso, parecia que a única vez que eles ouviam algum feedback sobre os sistemas de IA era quando as coisas davam errado e a equipe de desenvolvimento era chamada para um “treinamento de incêndio” para corrigir problemas catastróficos.

Por volta da mesma época, eu era consultor na McKinsey & Co, e uma das maiores barreiras que eu vi para os programas de IA e Big Data escalar em grandes empresas era a falta de confiança que os stakeholders de negócios tinham nesses programas.

O fio comum aqui se tornou claro para Nemo, Itai e para mim em conversas. A indústria precisava da infraestrutura para monitorar os sistemas de IA/ML em produção. Nós criamos a visão de fornecer essa visibilidade para aumentar a confiança dos stakeholders de negócios e permitir que as equipes de IA sempre tivessem controle sobre como seus sistemas estavam se saindo e para iterar de forma mais eficiente.

E foi assim que a Mona foi fundada.

Quais são alguns dos problemas atuais com a falta de transparência da IA?

Em muitas indústrias, as organizações já gastaram dezenas de milhões de dólares em seus programas de IA e viram algum sucesso inicial no laboratório e em implantações em pequena escala. Mas escalar, alcançar adoção ampla e fazer com que o negócio realmente confie na IA tem sido um desafio enorme para quase todos.

Por que isso está acontecendo? Bem, começa com o fato de que uma grande pesquisa não se traduz automaticamente em grandes produtos (Um cliente nos disse: “Modelos de ML são como carros, no momento em que saem do laboratório, perdem 20% do seu valor”). Grandes produtos têm sistemas de apoio. Há ferramentas e processos para garantir que a qualidade seja mantida ao longo do tempo e que os problemas sejam detectados cedo e resolvidos de forma eficiente. Grandes produtos também têm um ciclo de feedback contínuo, têm um ciclo de melhoria e um plano de ação. Consequentemente, grandes produtos exigem transparência profunda e constante de desempenho.

Quando há falta de transparência, você acaba com:

• Problemas que permanecem ocultos por algum tempo e então explodem na superfície, causando “treinamentos de incêndio”
• Investigações e mitigação manuais e demoradas
• Um programa de IA que não é confiável pelos usuários e patrocinadores de negócios e, em última análise, falha em escalar

Quais são alguns dos desafios por trás de tornar os modelos preditivos transparentes e confiáveis?

A transparência é um fator importante para alcançar a confiança, claro. A transparência pode vir em muitas formas. Há transparência de previsão única que pode incluir exibir o nível de confiança para o usuário ou fornecer uma explicação/justificativa para a previsão. A transparência de previsão única é principalmente direcionada a ajudar o usuário a se sentir confortável com a previsão. E então, há transparência geral que pode incluir informações sobre precisão preditiva, resultados inesperados e problemas potenciais. A transparência geral é necessária para a equipe de IA.

A parte mais desafiadora da transparência geral é detectar problemas cedo, alertar o membro da equipe relevante para que eles possam tomar medidas corretivas antes que catástrofes ocorram.

Por que é desafiador detectar problemas cedo:

• Os problemas muitas vezes começam pequenos e borbulham antes de eventualmente explodir na superfície.
• Os problemas muitas vezes começam devido a fatores externos ou incontroláveis, como fontes de dados.
• Há muitas maneiras de “dividir o mundo” e procurar exaustivamente por problemas em pequenos bolsões pode resultar em muito barulho (fadiga de alerta), pelo menos quando isso é feito de forma ingênua.

Outro aspecto desafiador de fornecer transparência é a proliferação maciça de casos de uso de IA. Isso está tornando uma abordagem “tamanho único” quase impossível. Cada caso de uso de IA pode incluir estruturas de dados diferentes, ciclos de negócios diferentes, métricas de sucesso diferentes e, muitas vezes, abordagens técnicas e pilhas diferentes.

Então, é uma tarefa monumental, mas a transparência é fundamental para o sucesso dos programas de IA, então você tem que fazer isso.

Pode compartilhar alguns detalhes sobre as soluções para modelos de NLU / NLP e Chatbots?

A IA conversacional é um dos principais verticais da Mona. Nós estamos orgulhosos de apoiar empresas inovadoras com uma ampla gama de casos de uso de IA conversacional, incluindo modelos de linguagem, chatbots e mais.

Um fator comum entre esses casos de uso é que os modelos operam perto (e às vezes visivelmente) dos clientes, então os riscos de desempenho inconsistente ou mau comportamento são mais altos. Torna-se tão importante para as equipes de IA conversacional entenderem o comportamento do sistema em um nível granular, o que é uma área de força da solução de monitoramento da Mona.

O que a solução da Mona faz de único é sistematicamente peneirar grupos de conversas e encontrar bolsões em que os modelos (ou bots) se comportam mal. Isso permite que as equipes de IA conversacional identifiquem problemas cedo e antes que os clientes os notem. Essa capacidade é um driver crítico de decisão para as equipes de IA conversacional ao selecionar soluções de monitoramento.

Para resumir, a Mona fornece uma solução de ponta a ponta para o monitoramento de IA conversacional. Começa garantindo que haja uma fonte única de informações para o comportamento do sistema ao longo do tempo e continua com o rastreamento contínuo de indicadores de desempenho-chave e insights proativos sobre bolsões de mau comportamento – permitindo que as equipes tomem medidas corretivas preemptivas e eficientes.

Pode oferecer alguns detalhes sobre o motor de insights da Mona?

Claro. Vamos começar com a motivação. O objetivo do motor de insights é apresentar anomalias aos usuários, com apenas a quantidade certa de informações contextuais e sem criar barulho ou levar à fadiga de alerta.

O motor de insights é um fluxo de trabalho analítico único. Nesse fluxo de trabalho, o motor procura anomalias em todos os segmentos dos dados, permitindo a detecção precoce de problemas quando eles ainda estão “pequenos” e antes que afetem todo o conjunto de dados e os KPIs de negócios downstream. Em seguida, ele usa um algoritmo proprietário para detectar as causas raiz das anomalias e garante que cada anomalia seja alertada apenas uma vez, para que o barulho seja evitado. Os tipos de anomalias suportadas incluem: anomalias de série temporal, deriva, outliers, degradação do modelo e mais.

O motor de insights é altamente personalizável via configuração no-code/low-code da Mona. A flexibilidade do motor torna a Mona a solução mais flexível do mercado, cobrindo uma ampla gama de casos de uso (por exemplo, em lote e streaming, com/sem feedback de negócios / verdade fundamental, entre versões de modelo ou entre treinamento e inferência, e mais).

Finalmente, esse motor de insights é suportado por um painel de visualização, no qual as informações podem ser visualizadas, e um conjunto de ferramentas de investigação para permitir a análise de causa raiz e uma exploração mais aprofundada das informações contextuais. O motor de insights também está totalmente integrado a um motor de notificação que permite alimentar informações aos ambientes de trabalho dos usuários, incluindo e-mail, plataformas de colaboração e assim por diante.

Em 31 de janeiro, a Mona lançou sua nova solução de equidade de IA, pode compartilhar conosco detalhes sobre o que é essa funcionalidade e por que ela é importante?

A equidade de IA é sobre garantir que os algoritmos e os sistemas impulsionados por IA tomem decisões imparciais e equitativas. Abordar e prevenir vieses em sistemas de IA é crucial, pois podem resultar em consequências significativas no mundo real. Com a crescente proeminência da IA, o impacto na vida das pessoas seria visível em mais e mais lugares, incluindo a automação de nossas viagens, a detecção de doenças com mais precisão, a melhoria de nossa compreensão do mundo e até mesmo a criação de arte. Se não podemos confiar que seja justo e imparcial, como podemos permitir que continue a se espalhar?

Uma das principais causas de vieses em IA é simplesmente a capacidade dos dados de treinamento de representar o mundo real em sua totalidade. Isso pode decorrer da discriminação histórica, da sub-representação de certos grupos ou até mesmo da manipulação intencional de dados. Por exemplo, um sistema de reconhecimento facial treinado principalmente em indivíduos de pele clara provavelmente terá uma taxa de erro mais alta ao reconhecer indivíduos com tons de pele mais escuros. Da mesma forma, um modelo de linguagem treinado em dados textuais de uma fonte limitada pode desenvolver vieses se os dados forem inclinados para certas visões de mundo, em tópicos como religião, cultura e assim por diante.

A solução de equidade de IA da Mona dá às equipes de IA e de negócios a confiança de que sua IA está livre de vieses. Em setores regulamentados, a solução da Mona pode preparar as equipes para a prontidão para conformidade.

A solução de equidade da Mona é especial porque está na plataforma da Mona – uma ponte entre os dados de IA e os modelos e suas implicações no mundo real. A Mona examina todas as partes do processo de negócios que o modelo de IA serve em produção, para correlacionar entre os dados de treinamento, o comportamento do modelo e os resultados reais do mundo real, a fim de fornecer a avaliação mais abrangente de equidade.

Em segundo lugar, ela tem um motor analítico único que permite a segmentação flexível dos dados para controlar parâmetros relevantes. Isso permite avaliações de correlação precisas no contexto certo, evitando o paradoxo de Simpson e fornecendo uma pontuação de viés “real” profunda para qualquer métrica de desempenho e em qualquer recurso protegido.

Então, no geral, eu diria que a Mona é um elemento fundamental para as equipes que precisam construir e escalar IA responsável.

Qual é a sua visão para o futuro da IA?

Essa é uma grande pergunta.

Acho que é fácil prever que a IA continuará a crescer em uso e impacto em uma variedade de setores e facetas da vida das pessoas. No entanto, é difícil levar a sério uma visão que é detalhada e que tenta cobrir todos os casos de uso e implicações da IA no futuro. Porque ninguém realmente sabe o suficiente para pintar esse quadro de forma crível.

Dito isso, o que sabemos com certeza é que a IA estará nas mãos de mais pessoas e servirá a mais propósitos. A necessidade de governança e transparência, portanto, aumentará significativamente.

A visibilidade real na IA e como ela funciona desempenhará dois papéis principais. Primeiro, ajudará a instilar confiança nas pessoas e a levantar barreiras de resistência para uma adoção mais rápida. Em segundo lugar, ajudará quem opera a IA a garantir que ela não saia do controle.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Mona Labs.