Yotam Oren, CEO & Co-fundador da Mona Labs – Série de Entrevistas

Yotam Oren é o CEO e co-fundador da Mona Labs, uma plataforma que permite às empresas transformar iniciativas de IA de experimentos de laboratório em operações de negócios escaláveis, entendendo verdadeiramente como os modelos de ML se comportam em processos e aplicações de negócios reais.

A Mona analisa automaticamente o comportamento dos seus modelos de aprendizado de máquina em segmentos de dados protegidos e no contexto das funções de negócios, a fim de detectar potenciais vieses de IA. A Mona oferece a capacidade de gerar relatórios de equidade completos que atendem aos padrões e regulamentos da indústria, e oferecem confiança de que a aplicação de IA é conforme e livre de qualquer viés.

O que o atraiu inicialmente para a ciência da computação?

A ciência da computação é uma carreira popular na minha família, então sempre foi uma opção viável. Claro, a cultura israelense é muito pró-tecnologia. Nós celebramos tecnólogos inovadores e sempre tive a percepção de que a ciência da computação me ofereceria uma oportunidade de crescimento e realização.

Apesar disso, só se tornou uma paixão pessoal quando cheguei à idade universitária. Eu não era um daqueles garotos que começaram a programar no ensino fundamental. Na minha juventude, estava muito ocupado jogando basquete para prestar atenção nos computadores. Depois do ensino médio, passei cerca de 5 anos no exército, em papéis de liderança operacional/combatente. Então, de certa forma, eu realmente comecei a aprender sobre ciência da computação mais quando precisei escolher uma especialização universitária. O que capturou minha atenção imediatamente foi que a ciência da computação combinava resolver problemas e aprender uma linguagem (ou linguagens). Duas coisas que eu estava particularmente interessado. A partir daí, fiquei viciado.

De 2006 a 2008, você trabalhou no mapeamento e navegação para uma pequena startup, quais foram algumas das suas principais lições dessa época?

Meu papel na Telmap foi construir um mecanismo de busca em cima de dados de mapa e localização.

Esses eram os primeiros dias de “big data” nas empresas. Nós não estávamos nem chamando de “big data”, mas estávamos adquirindo conjuntos de dados enormes e tentando tirar as informações mais impactantes e relevantes para mostrar aos nossos usuários finais.

Uma das realizações surpreendentes que tive foi que as empresas (incluindo a nossa) usavam muito pouco dos seus dados (para não mencionar os dados disponíveis publicamente). Havia tanto potencial para novas informações, melhores processos e experiências.

A outra lição foi que ser capaz de obter mais dos nossos dados dependia, claro, de ter melhores arquiteturas, melhor infraestrutura e assim por diante.

Pode compartilhar a história de criação da Mona Labs?

Nós três, co-fundadores, estivemos ao redor de produtos de dados durante nossas carreiras.

Nemo, o diretor de tecnologia, é meu amigo de faculdade e colega de classe, e um dos primeiros funcionários do Google (GOOGL ) Tel Aviv. Ele começou um produto lá chamado Google Trends, que tinha muitas análises avançadas e aprendizado de máquina baseado em dados de mecanismo de busca. Itai, o outro co-fundador e diretor de produto, estava na equipe de Nemo no Google (e eu o conheci através de Nemo). Os dois estavam sempre frustrados com o fato de que os sistemas impulsionados por IA eram deixados sem monitoramento após o desenvolvimento e teste inicial. Apesar da dificuldade em testar adequadamente esses sistemas antes da produção, as equipes ainda não sabiam como seus modelos de previsão se saíam ao longo do tempo. Além disso, parecia que a única vez que eles ouviam feedback sobre os sistemas de IA era quando as coisas davam errado e a equipe de desenvolvimento era chamada para uma “drill de incêndio” para consertar problemas catastróficos.

Por volta da mesma época, eu era um consultor na McKinsey & Co, e uma das maiores barreiras que eu vi para os programas de IA e Big Data escalarem em grandes empresas era a falta de confiança que os stakeholders de negócios tinham nesses programas.

A linha comum aqui se tornou clara para Nemo, Itai e para mim em conversas. A indústria precisava da infraestrutura para monitorar os sistemas de IA/ML em produção. Nós criamos a visão de fornecer essa visibilidade para aumentar a confiança dos stakeholders de negócios e permitir que as equipes de IA sempre tivessem um controle sobre como seus sistemas estavam se saindo e para iterar mais eficientemente.

E foi assim que a Mona foi fundada.

Quais são alguns dos problemas atuais com a falta de transparência da IA?

Em muitas indústrias, as organizações já gastaram dezenas de milhões de dólares em seus programas de IA e viram algum sucesso inicial no laboratório e em implantações em pequena escala. Mas escalar, alcançar adoção ampla e fazer com que o negócio realmente dependa da IA tem sido um desafio enorme para quase todos.

Por que isso está acontecendo? Bem, começa com o fato de que uma grande pesquisa não se traduz automaticamente em grandes produtos (um cliente nos disse: “Modelos de ML são como carros, no momento em que saem do laboratório, perdem 20% do seu valor”). Grandes produtos têm sistemas de suporte. Há ferramentas e processos para garantir que a qualidade seja mantida ao longo do tempo e que os problemas sejam detectados cedo e resolvidos de forma eficiente. Grandes produtos também têm um ciclo de feedback contínuo, têm um ciclo de melhoria e um plano de ação. Consequentemente, grandes produtos exigem transparência de desempenho constante.

Quando há falta de transparência, você acaba com:

• Problemas que permanecem ocultos por algum tempo e então explodem na superfície, causando “drills de incêndio”
• Investigações e mitigação manuais e demoradas
• Um programa de IA que não é confiável pelos usuários de negócios e patrocinadores e, em última análise, falha em escalar

Quais são alguns dos desafios por trás da criação de modelos de previsão transparentes e confiáveis?

Transparência é um fator importante para alcançar confiança, claro. A transparência pode vir em muitas formas. Há transparência de previsão única, que pode incluir exibir o nível de confiança ao usuário ou fornecer uma explicação/justificativa para a previsão. A transparência de previsão única é principalmente direcionada a ajudar o usuário a se sentir confortável com a previsão. E então, há transparência geral, que pode incluir informações sobre precisão de previsão, resultados inesperados e problemas potenciais. A transparência geral é necessária para a equipe de IA.

A parte mais desafiadora da transparência geral é detectar problemas cedo, alertar o membro da equipe relevante para que eles possam tomar medidas corretivas antes que catástrofes ocorram.

Por que é desafiador detectar problemas cedo:

• Problemas muitas vezes começam pequenos e fervem, antes de eventualmente explodir na superfície.
• Problemas muitas vezes começam devido a fatores externos ou incontroláveis, como fontes de dados.
• Há muitas maneiras de “dividir o mundo” e procurar exaustivamente por problemas em pequenos bolsos pode resultar em muito barulho (fadiga de alerta), pelo menos quando isso é feito de forma ingênua.

Outro aspecto desafiador de fornecer transparência é a proliferação maciça de casos de uso de IA. Isso torna uma abordagem “tamanho único” quase impossível. Cada caso de uso de IA pode incluir estruturas de dados diferentes, ciclos de negócios diferentes, métricas de sucesso diferentes e, muitas vezes, abordagens técnicas e pilhas diferentes.

Então, é uma tarefa monumental, mas a transparência é fundamental para o sucesso dos programas de IA, então você tem que fazer isso.

Pode compartilhar alguns detalhes sobre as soluções para modelos de NLU/NLP e chatbots?

A IA conversacional é um dos principais verticais da Mona. Nós apoiamos empresas inovadoras com uma ampla gama de casos de uso de IA conversacional, incluindo modelos de linguagem, chatbots e mais.

Um fator comum entre esses casos de uso é que os modelos operam próximos (e às vezes visivelmente) aos clientes, então os riscos de desempenho inconsistente ou comportamento ruim são maiores. Torna-se tão importante para as equipes de IA conversacional entenderem o comportamento do sistema em um nível granular, o que é uma área de força da solução de monitoramento da Mona.

O que a solução da Mona faz que é bastante único é sistematicamente peneirar grupos de conversas e encontrar bolsos nos quais os modelos (ou bots) se comportam mal. Isso permite que as equipes de IA conversacional identifiquem problemas cedo e antes que os clientes os notem. Essa capacidade é um driver crítico de decisão para as equipes de IA conversacional ao selecionar soluções de monitoramento.

Para resumir, a Mona fornece uma solução de ponta a ponta para o monitoramento de IA conversacional. Começa garantindo que haja uma única fonte de informações para o comportamento do sistema ao longo do tempo e continua com o rastreamento contínuo de indicadores de desempenho-chave e insights proativos sobre bolsos de mau comportamento – permitindo que as equipes tomem medidas corretivas preemptivas e eficientes.

Pode oferecer alguns detalhes sobre o motor de insights da Mona?

Certo. Vamos começar com a motivação. O objetivo do motor de insights é apresentar anomalias aos usuários, com apenas a quantidade certa de informações contextuais e sem criar barulho ou levar à fadiga de alerta.

O motor de insights é um fluxo de trabalho analítico único. Nesse fluxo de trabalho, o motor procura anomalias em todos os segmentos dos dados, permitindo a detecção precoce de problemas quando eles ainda estão “pequenos” e antes de afetarem todo o conjunto de dados e os KPIs de negócios downstream. Em seguida, ele usa um algoritmo proprietário para detectar as causas raiz das anomalias e garante que cada anomalia seja alertada apenas uma vez, para que o barulho seja evitado. Os tipos de anomalias suportados incluem: anomalias de série temporal, deriva, outliers, degradação do modelo e mais.

O motor de insights é altamente personalizável via configuração intuitiva de código baixo/nenhum código da Mona. A configurabilidade do motor torna a Mona a solução mais flexível do mercado, cobrindo uma ampla gama de casos de uso (por exemplo, batch e streaming, com/sem feedback de negócios/verdade fundamental, em diferentes versões de modelo ou entre treinamento e inferência, e mais).

Finalmente, esse motor de insights é apoiado por um painel de visualização, no qual as informações podem ser visualizadas, e um conjunto de ferramentas de investigação para permitir a análise de causa raiz e uma exploração mais aprofundada das informações contextuais. O motor de insights também está totalmente integrado a um mecanismo de notificação que permite alimentar as informações aos ambientes de trabalho dos usuários, incluindo e-mail, plataformas de colaboração e assim por diante.

No dia 31 de janeiro, a Mona lançou sua nova solução de justiça de IA, pode compartilhar conosco detalhes sobre esse recurso e por que ele é importante?

A justiça de IA é sobre garantir que os algoritmos e os sistemas impulsionados por IA tomem decisões imparciais e equitativas. Abordar e prevenir vieses nos sistemas de IA é crucial, pois podem resultar em consequências significativas no mundo real. Com a IA se tornando cada vez mais proeminente, o impacto na vida das pessoas seria visível em mais e mais lugares, incluindo a automação de nossas direções, a detecção de doenças com mais precisão, a melhoria de nossa compreensão do mundo e até mesmo a criação de arte. Se não podemos confiar que seja justo e imparcial, como permitir que continue a se espalhar?

Uma das principais causas de vieses nos sistemas de IA é simplesmente a capacidade dos dados de treinamento de representar o mundo real em sua totalidade. Isso pode decorrer da discriminação histórica, da sub-representação de certos grupos ou até mesmo da manipulação intencional de dados. Por exemplo, um sistema de reconhecimento facial treinado em indivíduos com pele clara predominantemente provavelmente terá uma taxa de erro mais alta ao reconhecer indivíduos com tons de pele mais escuros. Da mesma forma, um modelo de linguagem treinado em dados textuais de um conjunto limitado de fontes pode desenvolver vieses se os dados forem inclinados para certas visões de mundo, em tópicos como religião, cultura e assim por diante.

A solução de justiça de IA da Mona dá às equipes de IA e de negócios a confiança de que sua IA está livre de vieses. Em setores regulamentados, a solução da Mona pode preparar as equipes para a conformidade.

A solução de justiça da Mona é especial porque está na plataforma da Mona – uma ponte entre os dados de IA e os modelos e suas implicações no mundo real. A Mona olha para todas as partes do processo de negócios que o modelo de IA serve em produção, para correlacionar entre os dados de treinamento, o comportamento do modelo e os resultados reais no mundo para fornecer a avaliação mais abrangente da justiça.

Em segundo lugar, ela tem um motor analítico único que permite a segmentação flexível dos dados para controlar parâmetros relevantes. Isso permite avaliações de correlação precisas no contexto certo, evitando o paradoxo de Simpson e fornecendo uma pontuação de viés real “para qualquer métrica de desempenho e em qualquer recurso protegido.

Então, no geral, eu diria que a Mona é um elemento fundamental para as equipes que precisam construir e escalar IA responsável.

Qual é a sua visão para o futuro da IA?

Essa é uma grande pergunta.

Acho que é direto prever que a IA continuará a crescer em uso e impacto em uma variedade de setores e facetas da vida das pessoas. No entanto, é difícil levar a sério uma visão que é detalhada e tenta cobrir todos os casos de uso e implicações da IA no futuro. Porque ninguém realmente sabe o suficiente para pintar esse quadro de forma credível.

No entanto, o que sabemos com certeza é que a IA estará nas mãos de mais pessoas e servirá a mais propósitos. A necessidade de governança e transparência, portanto, aumentará significativamente.

Visibilidade real para a IA e como ela funciona desempenhará dois papéis principais. Primeiro, ajudará a instilar confiança nas pessoas e a levantar barreiras de resistência para uma adoção mais rápida. Segundo, ajudará quem opera a IA a garantir que ela não saia do controle.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Mona Labs.