Sean Mullaney, Chief Technology Officer en Algolia – Serie de entrevistas

Sean Mullaney es el Director de Tecnología de Algolia, una plataforma de búsqueda y descubrimiento impulsada por IA de extremo a extremo.

Sean es un ex ejecutivo de Stripe y Google (GOOGL ) con experiencia en la escalabilidad de organizaciones de ingeniería, el desarrollo de herramientas de búsqueda y descubrimiento impulsadas por IA, y el crecimiento de soluciones de API en todo el mundo. En Algolia, supervisa la tecnología detrás del segundo motor de búsqueda más grande después de Google, que se utiliza para más de 1,5 billones de búsquedas cada año. Recientemente, lideró el lanzamiento de AlgoliaNeuralSearch, la API de búsqueda vectorial y de palabras clave más rápida, hiperescalable y rentable del mundo.

¿Qué te atrajo inicialmente a la informática?

Cuando tenía 10 años, mis padres compraron nuestra primera computadora para el hogar. La primera cosa que quería hacer era averiguar cómo escribir un juego de aventuras de texto que estaba copiando de un libro. Unos años después, comencé a aprender C++, pero diseñar y construir juegos de computadora siguió siendo una gran pasión mía como adolescente que comenzaba a explorar la informática.

Pasaste más de 7 años en Google, donde ayudaste a construir y liderar equipos que trabajaban en estrategia, operaciones, grandes datos y aprendizaje automático. ¿Cuál fue tu proyecto favorito y qué aprendiste de esta experiencia?

Descubrimos cómo utilizar todos los grandes datos que teníamos sobre cómo los anunciantes utilizaban nuestros productos para ayudar a los equipos de ventas. Desarrollamos reglas personalizadas (y más tarde redes neuronales más complejas) para predecir qué clientes debíamos acercarnos con qué productos en qué momentos para maximizar la probabilidad de que el tiempo de un vendedor resultara en un aumento de los ingresos. Con más de 1 millón de anunciantes en Google, esta herramienta ayudó significativamente a los equipos de ventas a encontrar las agujas en los pajares.

En un resumen reciente de DevBit, describiste el propósito de Algolia como permitir a los usuarios indexar el mundo y poner el contenido en movimiento. ¿Podrías elaborar sobre lo que significa esta afirmación?

En última instancia, queremos ayudar a nuestros clientes a obtener valor de sus datos. Internet ha creado una explosión masiva de contenido y productos de comercio electrónico, y aunque este desarrollo es ciertamente un hito importante, la cantidad abrumadora de información ahora disponible significa que es más difícil que nunca, y cada vez más difícil, encontrar lo que realmente estás buscando como usuario. Sin embargo, cuando la búsqueda y el descubrimiento están impulsados por IA, la creciente lista de contenido puede ser accesada e inteligentemente puesta en movimiento para ayudar realmente a los usuarios, en lugar de abrumarlos.

En septiembre de 2022, Search.io y su producto insignia NeuralSearch se adquirieron por Algolia. ¿Podrías discutir qué es específicamente esta tecnología de búsqueda?

En resumen, Algolia NeuralSearch integra la coincidencia de palabras clave con el procesamiento de lenguaje natural basado en vectores, impulsado por LLM, en una sola API, una primicia en la industria. La solución incorpora nuestra técnica de hashing neural propietaria y de primer nivel, que hace que el uso de vectores sea escalable y un 90% más rentable, un problema que enfrentan otras empresas de IA, incluido ChatGPT. Lo que realmente emociona sobre este producto innovador es que hace que la búsqueda de IA sea escalable para organizaciones de nivel empresarial.

La nueva tecnología también permite a los clientes, como los minoristas, comprender y entregar contenido que coincide con consultas que normalmente son demasiado conversacionales para entregar resultados precisos o algún resultado (considerado de cola larga). Estos constituyen el 55% de las búsquedas actuales en el sitio. Como la única solución de búsqueda de IA de extremo a extremo que aplica IA en la comprensión de la consulta, la recuperación y el ranking, NeuralSearch realmente comprende estas consultas y convierte oportunidades perdidas en ingresos.

¿Cuáles son algunas de las otras metodologías de aprendizaje automático que se utilizan?

Incorporamos IA en tres funciones principales: comprensión de la consulta, recuperación y clasificación de los resultados. En Algolia, llamamos a esto el sándwich de búsqueda de IA:

• Comprensión de la consulta: La comprensión del lenguaje natural avanzada (NLU) y la búsqueda vectorial impulsada por IA de Algolia proporcionan una comprensión de expresiones de lenguaje natural en forma libre y una categorización de consultas impulsada por IA que prepara y estructura una consulta para el análisis. Además, el aprendizaje adaptativo basado en la retroalimentación del usuario ajusta la comprensión de la intención.
• Recuperación: Los resultados más relevantes se recuperan y clasifican de más a menos relevantes. El proceso de recuperación combina los resultados de hashing neural en paralelo con palabras clave utilizando el mismo índice para una recuperación y clasificación fáciles. Este enfoque resuelve el problema de los resultados nulos y mejora significativamente las posiciones de los clics y las tasas de clics. Ninguna otra plataforma de búsqueda y descubrimiento en el espacio ofrece esta poderosa capacidad.
• Clasificación: Finalmente, los mejores resultados se mueven hacia arriba mediante la re-clasificación impulsada por IA de Algolia, que tiene en cuenta las muchas señales que se adjuntan a la consulta de búsqueda (incluyendo la puntuación de coincidencia de palabras clave exactas, el perfil de personalización contextual, la popularidad observada de los elementos, la puntuación de coincidencia semántica, etc.) y aprende a alcanzar la relevancia máxima.

Además, a medida que el índice cambia, se agregan nuevos productos, se carga nuevo contenido o los términos adquieren nuevos significados, el producto Algolia NeuralSearch impulsado por IA aprenderá y se ajustará automáticamente. No requiere ningún personal adicional ni operaciones manuales. Coincidirá automáticamente con palabras clave o conceptos, posiblemente una mezcla de ambos, dependiendo de la consulta o frase de búsqueda. Esto realmente pone la búsqueda en piloto automático.

Algolia recientemente aumentó su plan gratuito de 10,000 registros a 1 millón de registros. ¿Cuál fue la mentalidad detrás de esto y cómo ha reaccionado el mercado?

Especificamos que evolucionaríamos el precio y el empaquetado de Algolia para ser aún más amigables para los desarrolladores con la introducción de dos nuevos planes orientados a los desarrolladores: un plan “construir” que es gratuito y un plan “crecer” que ofrece escalabilidad fácil a precios asequibles. El nuevo plan de construcción aumenta la cantidad de registros gratuitos que un desarrollador puede almacenar en Algolia de 10,000 a 1 millón de registros. Esto representa un aumento de 100 veces en la cantidad de registros gratuitos que los desarrolladores pueden indexar en Algolia. Además, Algolia redujo el costo de las solicitudes de búsqueda en su plan de crecimiento en un 50% y los registros en un 60%.

La idea detrás de nuestro plan de precios actualizado “construir” es brindar a los desarrolladores acceso gratuito a la totalidad de las capacidades de su plataforma de búsqueda y descubrimiento impulsada por IA. El plan “crescer”, para cuando un desarrollador esté listo para escalar su aplicación, permite a los desarrolladores una facturación basada en el uso más amigable para entornos de producción en vivo.

Una nota importante aquí es que cualquier diseñador, creador o constructor, ya sea un ingeniero de software casual o completamente comprometido, puede acceder rápidamente y con facilidad a todas las herramientas, documentación, código de ejemplo, contenido educativo y capacidades de integración entre plataformas necesarias para comenzar a gestionar sus datos, construir una interfaz de búsqueda, configurar análisis y más, todo de forma gratuita. Además, tendrán acceso inmediato a una creciente comunidad de desarrolladores de más de 5 millones de constructores.

¿Puedes discutir las herramientas de personalización de búsqueda que se ofrecen?

Algolia ofrece varias herramientas de personalización de búsqueda para que las empresas aprovechen los datos para mejorar las recomendaciones, incluyendo diferentes tipos de recomendaciones y formas únicas de aprovechar los datos para impulsar realmente estas recomendaciones.

Algunos ejemplos incluyen:

• Tendencias: Sugiere otros artículos que son populares y relacionados con las búsquedas que ha realizado su cliente.
• Basado en calificaciones: La gente quiere comprar productos con las mejores calificaciones.
• Personalizado: Basado en lo que compró la última vez, el historial de navegación, la ubicación u otros factores, recomendamos estos otros productos.

Estos métodos basados en datos pueden ayudar a mejorar rápidamente los resultados en función de cómo los clientes interactúan con los productos, por lo que es más probable que recomiende los productos que realmente convierten mejor.

Has descrito a Algolia como el motor de búsqueda híbrido de IA más escalable del mundo. ¿Cómo ha sido diseñada Algolia para escalar de manera tan eficiente?

Todo se remonta al hashing neural. Esta solución de vanguardia comprime y acelera drásticamente cada consulta. Es mucho más rápido calcular la similitud hash que las similitudes vectoriales estándar y devuelve resultados en milisegundos.

El hashing neural representa un avance para poner la recuperación de IA en producción para una gran variedad de casos de uso. Combinado con el procesamiento de consultas y la re-clasificación impulsada por IA, promete liberar el poder total de la búsqueda en el sitio. Antes del avance propietario de Algolia, la búsqueda basada en vectores era demasiado costosa en términos computacionales para ejecutarla en producción.

La parte del sándwich que me gustaría enfatizar es la carne: la recuperación. La razón por la que decimos que somos el único motor de búsqueda de IA de extremo a extremo real es porque ha habido una batalla constante detrás de escena en la industria de la búsqueda para agregar IA a la recuperación. La recuperación de información es un proceso increíblemente complejo, y es aún más complejo dominar la recuperación de IA de alto rendimiento y rentable a escala. Dominamos esto con nuestra técnica de hashing neural innovadora. Al hacerlo, esencialmente ganamos la búsqueda del Santo Grial de la búsqueda de IA.

¿Hay algo más que te gustaría compartir sobre Algolia?

Es un momento emocionante para trabajar en Algolia, y siempre estamos buscando iniciar conversaciones con personas talentosas y apasionadas que quieran unirse a nosotros en nuestro viaje para construir la mejor tecnología de búsqueda del mundo. Si eso suena como tú, te invitaría a echar un vistazo a nuestras oportunidades actuales en https://www.algolia.com/careers/.