Sean Mullaney, Diretor de Tecnologia da Algolia – Série de Entrevistas

Sean Mullaney é o Diretor de Tecnologia da Algolia, uma plataforma de busca e descoberta de ponta a ponta, alimentada por IA.

Sean é um ex-executivo da Stripe e do Google (GOOGL ), com experiência em escalonar organizações de engenharia, desenvolver ferramentas de busca e descoberta alimentadas por IA e soluções de API em primeira linha em todo o mundo. Na Algolia, ele supervisiona a tecnologia por trás do segundo maior mecanismo de busca após o Google, que é usado para mais de 1,5 trilhão de buscas por ano. Recentemente, ele liderou o lançamento da AlgoliaNeuralSearch – a busca de vetor e palavra-chave mais rápida, hiper-escalável e econômica do mundo.

O que o atraiu inicialmente para a ciência da computação?

Quando eu tinha 10 anos, meus pais compraram o nosso primeiro computador para casa. A primeira coisa que eu queria fazer era descobrir como escrever um jogo de aventura de texto que eu estava copiando de um livro. Alguns anos depois, comecei a aprender C++, mas projetar e construir jogos de computador permaneceu uma grande paixão minha como um adolescente começando a explorar a ciência da computação.

Você passou mais de 7 anos no Google, onde ajudou a construir e liderar equipes que trabalhavam em estratégia, operações, big data e aprendizado de máquina. Qual foi o seu projeto favorito e o que você aprendeu com essa experiência?

Nós descobrimos como usar todos os grandes dados que tínhamos sobre como os anunciantes usavam nossos produtos para ajudar as equipes de vendas. Nós escrevemos regras personalizadas (mais tarde, redes neurais mais complexas) para prever quais clientes devíamos abordar com quais produtos em quais momentos para maximizar a probabilidade de que o tempo de um vendedor resultasse em aumento de receita. Com mais de 1 milhão de anunciantes no Google, essa ferramenta ajudou significativamente as equipes de vendas a encontrar as agulhas no palheiro.

Em uma recente conclusão do DevBit, você descreveu o propósito da Algolia como permitir que os usuários indexem o mundo e ponham o conteúdo em movimento. Pode explicar o que isso significa?

Em última análise, queremos ajudar nossos clientes a obter valor a partir de seus dados. A internet criou uma explosão tão grande de conteúdo e produtos de comércio eletrônico, e, embora esse desenvolvimento seja certamente um marco importante, a quantidade avassaladora de informações agora disponíveis significa que é mais difícil do que nunca – e está se tornando cada vez mais difícil – encontrar o que você está procurando como usuário. No entanto, quando a busca e a descoberta são alimentadas por IA, a lista crescente de conteúdo pode ser acessada e posta em movimento de forma inteligente para realmente ajudar os usuários, e não apenas sobrecarregá-los.

Em setembro de 2022, a Search.io e seu produto de bandeira NeuralSearch ™ foram adquiridos pela Algolia. Pode discutir o que essa tecnologia de busca é especificamente?

Em resumo, a Algolia NeuralSearch integra a correspondência de palavras-chave com o processamento de linguagem natural baseado em vetores, alimentado por LLMs, em uma única API – uma primeira na indústria. A solução incorpora nossa técnica de Neural Hashing proprietária e inédita, que torna o uso de vetores escalável e 90% mais econômico – um problema que outras empresas de IA, incluindo o ChatGPT, enfrentam. O que é realmente emocionante sobre esse produto inovador é que ele torna a busca de IA escalável para organizações de nível empresarial.

A nova tecnologia também permite que os clientes, como varejistas, entendam e forneçam conteúdo que corresponda a consultas que normalmente são muito conversacionais para fornecer resultados precisos ou algum resultado (consideradas de longa cauda). Essas representam 55% das buscas atuais no site. Como a única solução de busca de IA de ponta a ponta que aplica IA na compreensão da consulta, recuperação e classificação de resultados, a NeuralSearch realmente entende essas consultas e transforma oportunidades perdidas em receita.

Fora da NeuralSearch ™, quais são algumas das outras metodologias de aprendizado de máquina usadas?

Nós incorporamos a IA em três funções principais – compreensão da consulta, recuperação e classificação de resultados. Nós, na Algolia, chamamos isso de sanduíche de busca de IA:

• Compreensão da consulta: A compreensão de linguagem natural avançada (NLU) e a busca de vetor alimentada por IA da Algolia fornecem expressão de linguagem natural em forma livre e categorização de consulta de IA que preparam e estruturam uma consulta para análise. Além disso, o aprendizado adaptativo com base no feedback do usuário ajusta a compreensão da intenção.
• Recuperação: Os resultados mais relevantes são então recuperados e classificados de mais a menos relevantes. O processo de recuperação combina os resultados do Neural Hashing em paralelo com palavras-chave usando o mesmo índice para recuperação e classificação fáceis. Essa abordagem resolve o problema de “resultados nulos” e melhora significativamente as posições de clique e as taxas de clique.
• Classificação: Finalmente, os melhores resultados são impulsionados para o topo pela reclassificação alimentada por IA da Algolia, que leva em conta os muitos sinais anexados à consulta de busca (incluindo a pontuação de correspondência de palavras-chave exata, o perfil de personalização contextual, a popularidade observada dos itens, a pontuação de correspondência semântica, etc.) e aprende a alcançar a relevância máxima.

Além disso, à medida que o índice muda, novos produtos são adicionados, novo conteúdo é carregado ou termos adquirem novos significados, o produto Algolia NeuralSearch alimentado por IA aprenderá e se adaptará automaticamente. Ele não requer nenhum aumento adicional de pessoal ou operações manuais. Ele corresponderá automaticamente palavras-chave ou conceitos – possivelmente uma mistura de ambos – dependendo da consulta ou frase de busca. Isso realmente coloca a busca em piloto automático.

A Algolia recentemente aumentou seu plano gratuito de 10.000 registros para 1 milhão de registros. Qual foi a mentalidade por trás disso, e como o mercado reagiu?

Nós escolhemos especificamente evoluir o preço e o pacote da Algolia para serem ainda mais amigáveis aos desenvolvedores com a introdução de dois novos planos orientados ao desenvolvedor: um plano “construir” que é gratuito e um plano “crescer” que oferece escalabilidade fácil a preços acessíveis. O novo plano de construção aumenta o número de registros gratuitos que um desenvolvedor pode armazenar na Algolia de 10.000 para agora 1 milhão de registros. Isso representa um aumento de 100 vezes no número de registros gratuitos que os desenvolvedores agora podem indexar na Algolia. Além disso, a Algolia reduziu o custo de solicitações de busca no seu plano de crescimento em 50% e registros em 60%.

A ideia por trás de nosso plano de preços atualizado “construir” é fornecer aos desenvolvedores acesso gratuito a todo o conjunto de capacidades de sua plataforma de busca e descoberta alimentada por IA. O plano “crescer”, para quando um desenvolvedor estiver pronto para escalar seu aplicativo, permite que os desenvolvedores tenham preços baseados no uso mais amigáveis para ambientes de produção ao vivo.

Uma nota importante aqui é que qualquer designer, criador ou construtor – seja um engenheiro de software casual ou totalmente comprometido – pode acessar rapidamente e facilmente todas as ferramentas, documentação, código de exemplo, conteúdo educacional e capacidades de integração de plataforma cruzada necessárias para começar a gerenciar seus dados, construir uma interface de busca, configurar análise e muito mais – tudo de graça. Além disso, eles terão acesso imediato a uma comunidade de desenvolvedores em crescimento de mais de 5 milhões de construtores.

Pode discutir as ferramentas de personalização de busca oferecidas?

A Algolia oferece várias ferramentas de personalização de busca para que as empresas usem os dados para melhorar as recomendações, incluindo diferentes tipos de recomendações e maneiras únicas de usar os dados para impulsionar essas recomendações.

Alguns exemplos incluem:

• Tendências: Sugira outros itens que estão em alta e relacionados às buscas que seu cliente realizou.
• Com base em classificações: As pessoas querem comprar produtos com as melhores classificações.
• Personalizado: Com base no que você comprou da última vez, histórico de navegação, localização ou outros fatores, recomendamos esses outros produtos.

Esses métodos baseados em dados podem ajudar a melhorar rapidamente os resultados com base em como os clientes interagem com os produtos, para que você esteja mais propenso a recomendar os produtos que realmente convertem melhor.

Você descreveu a Algolia como sendo o mecanismo de busca híbrido de IA mais escalável do mundo. Como a Algolia foi projetada para escalar de forma tão eficiente?

Tudo volta ao Neural Hashing. Essa solução inovadora comprime e acelera drasticamente cada consulta. É muito mais rápido computar a similaridade hashada do que as similaridades de vetor padrão e retorna resultados em milissegundos.

O Neural Hashing representa uma conquista para colocar a recuperação de IA em produção para uma grande variedade de casos de uso. Combinado com o processamento de consulta e reclassificação alimentados por IA, ele promete liberar o poder total da IA na busca no site. Antes da conquista proprietária da Algolia, a busca baseada em vetores era muito cara para ser executada em produção.

A parte do sanduíche que eu gostaria de enfatizar mais é a carne: recuperação. A razão pela qual dizemos que somos o único mecanismo de busca de IA de ponta a ponta verdadeiro é que houve uma batalha constante nos bastidores na indústria de busca para adicionar IA à recuperação. A recuperação de informações é um processo incrivelmente complexo, e é ainda mais complexo dominar a recuperação de IA de alto desempenho e econômica em escala. Nós dominamos com nossa técnica de Neural Hashing inovadora. Ao fazer isso, basicamente ganhamos a busca do Santo Graal da busca de IA.

Há algo mais que você gostaria de compartilhar sobre a Algolia?

É um momento emocionante para trabalhar na Algolia, e estamos sempre procurando iniciar conversas com pessoas talentosas e apaixonadas que queiram se juntar a nós em nossa jornada para construir a melhor tecnologia de busca do mundo. Se isso soa como você, eu convidaria você a verificar nossas vagas atuais em https://www.algolia.com/careers/.