Yotam Oren, CEO e cofundador da Mona Labs – série de entrevistas

Yotam Oren, é o CEO e cofundador da Laboratórios Mona, uma plataforma que permite que as empresas transformem iniciativas de IA de experimentos de laboratório em operações de negócios escaláveis, compreendendo verdadeiramente como os modelos de ML se comportam em processos e aplicativos de negócios reais.

Mona analisa automaticamente o comportamento de seus modelos de aprendizado de máquina em segmentos de dados protegidos e no contexto das funções de negócios, a fim de detectar possíveis distorções de IA. Mona oferece a capacidade de gerar relatórios de imparcialidade completos que atendem aos padrões e regulamentações do setor e oferece a confiança de que o aplicativo de IA está em conformidade e livre de qualquer preconceito.

O que inicialmente o atraiu para a ciência da computação?

A ciência da computação é uma carreira popular na minha família, por isso sempre esteve em mente como uma opção viável. Claro, a cultura israelense é muito pró-tecnologia. Celebramos os tecnólogos inovadores e sempre tive a percepção de que o CS me ofereceria uma pista de crescimento e realização.

Apesar disso, só se tornou uma paixão pessoal quando cheguei à idade universitária. Eu não era uma daquelas crianças que começaram a programar no ensino médio. Na minha juventude, eu estava muito ocupado jogando basquete para prestar atenção aos computadores. Após o colegial, passei quase 5 anos nas forças armadas, em funções de liderança operacional/combate. Então, de certa forma, só comecei a aprender mais sobre ciência da computação quando precisei escolher uma especialização acadêmica na universidade. O que chamou minha atenção imediatamente foi que a ciência da computação combinava resolver problemas e aprender um idioma (ou idiomas). Duas coisas que me interessavam particularmente. A partir de então, fiquei viciado.

De 2006 a 2008, você trabalhou em mapeamento e navegação para uma pequena startup. Quais foram alguns dos seus principais aprendizados dessa época?

Minha função na Telmap era construir um mecanismo de pesquisa com base em mapas e dados de localização.

Esses foram os primeiros dias de “big data” na empresa. Nós nem estávamos chamando assim, mas estávamos adquirindo enormes conjuntos de dados e tentando extrair os insights mais impactantes e relevantes para mostrar aos nossos usuários finais.

Uma das percepções impressionantes que tive foi que as empresas (incluindo nós) faziam uso de tão pouco de seus dados (para não mencionar os dados externos disponíveis publicamente). Havia muito potencial para novos insights, melhores processos e experiências.

A outra conclusão foi que conseguir obter mais dados dependia, é claro, de ter melhores arquiteturas, melhor infraestrutura e assim por diante.

Você poderia compartilhar a história da gênese por trás do Mona Labs?

Nós três, cofundadores, trabalhamos com produtos de dados ao longo de nossas carreiras.

Nemo, o diretor de tecnologia, é meu amigo e colega de faculdade e um dos primeiros funcionários do Google Tel Aviv. Ele lançou um produto chamado Google Trends, que tinha muitas análises avançadas e aprendizado de máquina com base nos dados do mecanismo de pesquisa. Itai, o outro cofundador e diretor de produtos, fazia parte da equipe de Nemo no Google (e ele e eu nos conhecemos por meio do Nemo). Os dois sempre ficaram frustrados com o fato de os sistemas baseados em IA não serem monitorados após o desenvolvimento e teste iniciais. Apesar da dificuldade em testar adequadamente esses sistemas antes da produção, as equipes ainda não sabiam o desempenho de seus modelos preditivos ao longo do tempo. Além disso, parecia que a única vez que eles ouviam algum feedback sobre os sistemas de IA era quando as coisas iam mal e a equipe de desenvolvimento era chamada para um “exercício de incêndio” para corrigir problemas catastróficos.

Na mesma época, eu era consultor na McKinsey & Co, e uma das maiores barreiras que vi na expansão de programas de IA e Big Data em grandes empresas foi a falta de confiança que as partes interessadas das empresas tinham nesses programas.

O fio condutor aqui ficou claro para Nemo, Itai e para mim nas conversas. A indústria precisava da infraestrutura para monitorar sistemas AI/ML em produção. Criamos a visão de fornecer essa visibilidade para aumentar a confiança das partes interessadas nos negócios e permitir que as equipes de IA sempre controlem o desempenho de seus sistemas e iterem com mais eficiência.

E foi aí que a Mona foi fundada.

Quais são alguns dos problemas atuais com a falta de transparência da IA?

Em muitos setores, as organizações já gastaram dezenas de milhões de dólares em seus programas de IA e obtiveram algum sucesso inicial no laboratório e em implantações de pequena escala. Mas expandir, alcançar ampla adoção e fazer com que os negócios realmente dependam da IA ​​tem sido um grande desafio para quase todos.

Por que isso está acontecendo? Bem, começa com o fato de que uma grande pesquisa não se traduz automaticamente em grandes produtos (um cliente nos disse uma vez: “Os modelos de ML são como carros, no momento em que saem do laboratório, perdem 20% de seu valor”). Grandes produtos têm sistemas de suporte. Existem ferramentas e processos para garantir que a qualidade seja sustentada ao longo do tempo e que os problemas sejam detectados com antecedência e resolvidos com eficiência. Grandes produtos também têm um ciclo de feedback contínuo, têm um ciclo de melhoria e um roteiro. Consequentemente, grandes produtos requerem transparência de desempenho profunda e constante.

Quando há falta de transparência, você acaba com:

• Problemas que permanecem ocultos por algum tempo e depois irrompem na superfície causando “exercícios de incêndio”
• Investigações e mitigações longas e manuais
• Um programa de IA em que os usuários e patrocinadores de negócios não confiam e, por fim, não consegue escalar

Quais são alguns dos desafios por trás de tornar os modelos preditivos transparentes e confiáveis?

A transparência é um fator importante para alcançar a confiança, é claro. A transparência pode vir de várias formas. Há uma única transparência de previsão que pode incluir a exibição do nível de confiança para o usuário ou o fornecimento de uma explicação/justificativa para a previsão. A transparência de previsão única visa principalmente ajudar o usuário a se sentir confortável com a previsão. E há a transparência geral, que pode incluir informações sobre precisão preditiva, resultados inesperados e possíveis problemas. A transparência geral é necessária para a equipe de IA.

A parte mais desafiadora da transparência geral é detectar problemas antecipadamente, alertando o membro da equipe relevante para que eles possam tomar medidas corretivas antes que ocorram catástrofes.

Por que é desafiador detectar problemas com antecedência:

• Os problemas geralmente começam pequenos e fervem, antes de finalmente explodirem na superfície.
• Os problemas geralmente começam devido a fatores incontroláveis ​​ou externos, como fontes de dados.
• Existem muitas formas de “dividir o mundo” e procurar exaustivamente problemas em pequenos bolsões pode resultar em muito ruído (fadiga de alerta), pelo menos quando isso é feito de forma ingênua.

Outro aspecto desafiador de fornecer transparência é a proliferação de casos de uso de IA. Isso está tornando quase impossível uma abordagem de tamanho único. Cada caso de uso de IA pode incluir diferentes estruturas de dados, diferentes ciclos de negócios, diferentes métricas de sucesso e, muitas vezes, diferentes abordagens técnicas e até mesmo pilhas.

Então, é uma tarefa monumental, mas a transparência é tão fundamental para o sucesso dos programas de IA, então você tem que fazer isso.

Você poderia compartilhar alguns detalhes sobre as soluções para NLU / NLP Models & Chatbots?

A IA conversacional é uma das principais verticais de Mona. Temos orgulho de apoiar empresas inovadoras com uma ampla variedade de casos de uso de IA conversacional, incluindo modelos de linguagem, chatbots e muito mais.

Um fator comum entre esses casos de uso é que os modelos operam próximos (e às vezes visivelmente) dos clientes, portanto, os riscos de desempenho inconsistente ou mau comportamento são maiores. Torna-se muito importante para as equipes de IA de conversação entender o comportamento do sistema em um nível granular, que é uma área de pontos fortes da solução de monitoramento da Mona.

O que a solução de Mona faz de único é filtrar sistematicamente grupos de conversas e encontrar bolsões nos quais os modelos (ou bots) se comportam mal. Isso permite que as equipes de IA de conversação identifiquem problemas antecipadamente e antes que os clientes os percebam. Esse recurso é um fator crítico de decisão para equipes de IA de conversação ao selecionar soluções de monitoramento.

Para resumir, Mona fornece uma solução de ponta a ponta para monitoramento de IA conversacional. Ele começa garantindo que haja uma única fonte de informações para o comportamento dos sistemas ao longo do tempo e continua com o rastreamento contínuo dos principais indicadores de desempenho e percepções proativas sobre bolsões de mau comportamento – permitindo que as equipes tomem medidas corretivas preventivas e eficientes.

Você poderia oferecer alguns detalhes sobre o mecanismo de percepção de Mona?

Claro. Vamos começar com a motivação. O objetivo do mecanismo de percepção é revelar anomalias aos usuários, com a quantidade certa de informações contextuais e sem criar ruído ou causar fadiga de alerta.

O mecanismo de insight é um fluxo de trabalho analítico único. Nesse fluxo de trabalho, o mecanismo procura anomalias em todos os segmentos dos dados, permitindo a detecção precoce de problemas quando eles ainda são “pequenos” e antes que afetem todo o conjunto de dados e os KPIs de negócios downstream. Em seguida, ele usa um algoritmo proprietário para detectar as causas principais das anomalias e garante que cada anomalia seja alertada apenas uma vez, para evitar ruídos. Os tipos de anomalia suportados incluem: anomalias de séries temporais, desvios, valores discrepantes, degradação do modelo e muito mais.

O mecanismo de percepção é altamente personalizável por meio da configuração intuitiva sem código/baixo código do Mona. A configurabilidade do mecanismo torna o Mona a solução mais flexível do mercado, abrangendo uma ampla variedade de casos de uso (por exemplo, lote e streaming, com/sem feedback comercial/verdade básica, entre versões de modelo ou entre treinamento e inferência e muito mais ).

Por fim, esse mecanismo de insight é suportado por um painel de visualização, no qual os insights podem ser visualizados, e um conjunto de ferramentas de investigação para permitir a análise de causa raiz e uma exploração mais aprofundada das informações contextuais. O mecanismo de percepção também é totalmente integrado a um mecanismo de notificação que permite fornecer informações aos ambientes de trabalho dos próprios usuários, incluindo e-mail, plataformas de colaboração e assim por diante.

Em 31º de janeiro, Mona revelada sua nova solução de justiça de IA, você poderia compartilhar conosco detalhes sobre o que é esse recurso e por que ele é importante?

A justiça da IA ​​trata de garantir que algoritmos e sistemas orientados por IA em geral tomem decisões imparciais e equitativas. Abordar e prevenir vieses em sistemas de IA é crucial, pois eles podem resultar em consequências significativas no mundo real. Com a proeminência crescente da IA, o impacto na vida cotidiana das pessoas seria visível em mais e mais lugares, incluindo automatizar nossa direção, detectar doenças com mais precisão, melhorar nossa compreensão do mundo e até mesmo criar arte. Se não podemos confiar que é justo e imparcial, como permitiremos que continue a se espalhar?

Uma das principais causas de vieses na IA é simplesmente a capacidade dos dados de treinamento do modelo de representar o mundo real por completo. Isso pode resultar de discriminação histórica, sub-representação de certos grupos ou até mesmo manipulação intencional de dados. Por exemplo, um sistema de reconhecimento facial treinado em indivíduos predominantemente de pele clara provavelmente terá uma taxa de erro maior no reconhecimento de indivíduos com tons de pele mais escuros. Da mesma forma, um modelo de linguagem treinado em dados de texto de um conjunto restrito de fontes pode desenvolver vieses se os dados forem distorcidos em relação a certas visões de mundo, em tópicos como religião, cultura e assim por diante.

A solução de imparcialidade de IA da Mona oferece às equipes de IA e de negócios a confiança de que sua IA é livre de preconceitos. Em setores regulamentados, a solução da Mona pode preparar as equipes para a prontidão de conformidade.

A solução de imparcialidade da Mona é especial porque se baseia na plataforma Mona – uma ponte entre dados e modelos de IA e suas implicações no mundo real. Mona analisa todas as partes do processo de negócios que o modelo de IA atende na produção, para correlacionar dados de treinamento, comportamento do modelo e resultados reais do mundo real, a fim de fornecer a avaliação mais abrangente de justiça.

Em segundo lugar, ele possui um mecanismo analítico único que permite uma segmentação flexível dos dados para controlar os parâmetros relevantes. Isso permite avaliações de correlações precisas no contexto certo, evitando o Paradoxo de Simpson e fornecendo uma “pontuação de viés” real e profunda para qualquer métrica de desempenho e em qualquer recurso protegido.

Então, no geral, eu diria que Mona é um elemento fundamental para equipes que precisam construir e dimensionar uma IA responsável.

Qual é a sua visão para o futuro da IA?

Esta é uma grande questão.

Acho que é fácil prever que a IA continuará a crescer em uso e impacto em vários setores da indústria e facetas da vida das pessoas. No entanto, é difícil levar a sério uma visão que é detalhada e ao mesmo tempo tenta cobrir todos os casos de uso e implicações da IA ​​no futuro. Porque ninguém realmente sabe o suficiente para pintar esse quadro com credibilidade.

Dito isto, o que sabemos com certeza é que a IA estará nas mãos de mais pessoas e servirá a mais propósitos. A necessidade de governança e transparência aumentará, portanto, significativamente.

A visibilidade real da IA ​​e de como ela funciona desempenhará dois papéis principais. Em primeiro lugar, ajudará a inspirar confiança nas pessoas e a eliminar as barreiras de resistência para uma adoção mais rápida. Em segundo lugar, ajudará quem opera a IA a garantir que ela não saia do controle.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar Laboratórios Mona.