Alexandr Yarats, Jefe de Búsqueda en Perplexity – Serie de Entrevistas

Alexandr Yarats es el Jefe de Búsqueda en Perplexity AI. Comenzó su carrera en Yandex en 2017, mientras estudiaba en la Escuela de Análisis de Datos de Yandex. Los primeros años fueron intensos pero gratificantes, lo que impulsó su crecimiento para convertirse en Líder de Equipo de Ingeniería. Impulsado por su aspiración de trabajar con un gigante tecnológico, se unió a Google (GOOGL ) en 2022 como Ingeniero de Software Senior, centrado en el equipo de Asistente de Google (más tarde Google Bard). Luego se trasladó a Perplexity como Jefe de Búsqueda.

Perplexity AI es un motor de búsqueda y investigación conversacional impulsado por chatbot de IA que responde a consultas utilizando texto predictivo de lenguaje natural. Lanzado en 2022, Perplexity genera respuestas utilizando fuentes de la web y cita enlaces dentro de la respuesta de texto.

¿Qué te interesó inicialmente en el aprendizaje automático?

Mi interés en el aprendizaje automático (ML) fue un proceso gradual. Durante mis años escolares, pasé mucho tiempo estudiando matemáticas, teoría de la probabilidad y estadísticas, y tuve la oportunidad de trabajar con algoritmos clásicos de aprendizaje automático como la regresión lineal y KNN. Fue fascinante ver cómo se puede construir una función predictiva directamente a partir de los datos y luego utilizarla para predecir datos no vistos. Este interés me llevó a la Escuela de Análisis de Datos de Yandex, un programa de maestría en aprendizaje automático muy competitivo en Rusia (solo 200 personas son aceptadas cada año). Allí, aprendí mucho sobre algoritmos de aprendizaje automático más avanzados y construí mi intuición. El punto más crucial durante este proceso fue cuando aprendí sobre redes neuronales y aprendizaje profundo. Se hizo muy claro para mí que esto era algo que quería perseguir durante las próximas décadas.

Anteriormente trabajaste en Google como Ingeniero de Software Senior durante un año, ¿cuáles fueron algunos de tus principales conocimientos adquiridos durante esta experiencia?

Antes de unirme a Google, pasé más de cuatro años en Yandex, justo después de graduarme de la Escuela de Análisis de Datos de Yandex. Allí, lideré un equipo que desarrolló varios métodos de aprendizaje automático para Yandex Taxi (un análogo a Uber en Rusia). Me uní a este grupo en su inicio y tuve la oportunidad de trabajar en un equipo pequeño y dinámico que creció rápidamente durante cuatro años, tanto en número de empleados (de 30 a 500 personas) como en capitalización de mercado (se convirtió en el proveedor de servicios de taxi más grande en Rusia, superando a Uber y otros).

Durante este tiempo, tuve el privilegio de construir muchas cosas desde cero y lanzar varios proyectos desde cero hasta uno. Uno de los últimos proyectos en los que trabajé allí fue la construcción de chatbots para soporte de servicio. Allí, tuve un primer vistazo del poder de los grandes modelos de lenguaje y me fascinó lo importante que podrían ser en el futuro. Esta realización me llevó a Google, donde me uní al equipo de Asistente de Google, que más tarde se renombró como Google Bard (uno de los competidores de Perplexity).

En Google, tuve la oportunidad de aprender qué se parece la infraestructura de clase mundial, cómo funcionan la Búsqueda y los LLM, y cómo interactúan entre sí para proporcionar respuestas precisas y precisas. Esta fue una gran experiencia de aprendizaje, pero con el tiempo me frustré con el ritmo lento en Google y la sensación de que nada se hacía nunca. Quería encontrar una empresa que trabajara en búsqueda y LLM, y que se moviera tan rápido, o incluso más rápido, que cuando estaba en Yandex. Afortunadamente, esto sucedió de manera orgánica.

Internamente en Google, comencé a ver capturas de pantalla de Perplexity y tareas que requerían comparar Asistente de Google con Perplexity. Esto despertó mi interés en la empresa, y después de varias semanas de investigación, estuve convencido de que quería trabajar allí, así que me puse en contacto con el equipo y ofrecí mis servicios.

¿Puedes definir tu rol actual y responsabilidades en Perplexity?

Actualmente, estoy sirviendo como jefe del equipo de búsqueda y soy responsable de construir nuestro sistema de recuperación interno que alimenta a Perplexity. Nuestro equipo de búsqueda trabaja en la construcción de un sistema de rastreo web, motor de recuperación y algoritmos de clasificación. Estos desafíos me permiten aprovechar la experiencia que gané en Google (trabajando en Búsqueda y LLM) así como en Yandex. Por otro lado, el producto de Perplexity plantea oportunidades únicas para rediseñar y reconstruir cómo debería verse un sistema de recuperación en un mundo que tiene LLM muy poderosos. Por ejemplo, ya no es importante optimizar los algoritmos de clasificación para aumentar la probabilidad de un clic; en cambio, nos estamos centrando en mejorar la utilidad y la precisión de nuestras respuestas. Esta es una distinción fundamental entre un motor de respuestas y un motor de búsqueda. Mi equipo y yo estamos tratando de construir algo que irá más allá de los tradicionales 10 enlaces azules, y no puedo pensar en nada más emocionante en lo que trabajar actualmente.

¿Puedes elaborar sobre la transición en Perplexity desde el desarrollo de una herramienta de texto a SQL hasta la creación de una búsqueda impulsada por IA?

Inicialmente, trabajamos en la construcción de un motor de texto a SQL que proporciona un motor de respuestas especializado en situaciones en las que necesitas obtener una respuesta rápida basada en tus datos estructurados (por ejemplo, una hoja de cálculo o tabla). Trabajando en un proyecto de texto a SQL, nos permitió ganar una comprensión mucho más profunda de los LLM y RAG, y nos llevó a una realización clave: esta tecnología es mucho más poderosa y general de lo que originalmente pensamos. Rápidamente nos dimos cuenta de que podríamos ir mucho más allá de las fuentes de datos estructurados y abordar datos no estructurados también.

¿Cuáles fueron los principales desafíos e ideas durante este cambio?

Los principales desafíos durante esta transición fueron cambiar a nuestra empresa de ser B2B a B2C y reconstruir nuestra pila de infraestructura para admitir la búsqueda no estructurada. Muy rápidamente durante este proceso de migración, nos dimos cuenta de que es mucho más agradable trabajar en un producto orientado al cliente, ya que comienzas a recibir un flujo constante de comentarios y participación, algo que no vimos mucho cuando estábamos construyendo un motor de texto a SQL y centrándonos en soluciones empresariales.

La generación mejorada de recuperación (RAG) parece ser una piedra angular de las capacidades de búsqueda de Perplexity. ¿Puedes explicar cómo Perplexity utiliza RAG de manera diferente en comparación con otras plataformas, y cómo esto impacta la precisión de los resultados de búsqueda?

RAG es un concepto general para proporcionar conocimiento externo a un LLM. Aunque la idea puede parecer simple a primera vista, construir un sistema como este que sirva a decenas de millones de usuarios de manera eficiente y precisa es un desafío significativo. Tuvimos que ingeniar este sistema desde cero y construir muchos componentes personalizados que resultaron críticos para lograr los últimos bits de precisión y rendimiento. Ingeniamos nuestro sistema donde decenas de LLM (desde grandes hasta pequeños) trabajan en paralelo para manejar una solicitud de usuario rápidamente y de manera rentable. También construimos una infraestructura de entrenamiento y inferencia que nos permite entrenar LLM junto con la búsqueda de extremo a extremo, de modo que estén estrechamente integrados. Esto reduce significativamente las alucinaciones y mejora la utilidad de nuestras respuestas.

Con las limitaciones en comparación con los recursos de Google, ¿cómo Perplexity gestiona sus estrategias de rastreo web y indexación para mantenerse competitiva y garantizar información actualizada?

Construir un índice tan extenso como el de Google requiere un tiempo y recursos considerables. En cambio, nos estamos centrando en temas que nuestros usuarios frecuentemente consultan en Perplexity. Resulta que la mayoría de nuestros usuarios utilizan Perplexity como asistente de trabajo/investigación, y muchas consultas buscan partes de alta calidad, confiables y útiles de la web. Esta es una distribución de ley de potencia, donde puedes lograr resultados significativos con un enfoque 80/20. Basándonos en estas ideas, pudimos construir un índice mucho más compacto optimizado para la calidad y la veracidad. Actualmente, pasamos menos tiempo persiguiendo la cola, pero a medida que escalamos nuestra infraestructura, también perseguiremos la cola.

¿Cómo los grandes modelos de lenguaje (LLM) mejoran las capacidades de búsqueda de Perplexity, y qué los hace particularmente efectivos para analizar y presentar información de la web?

Utilizamos LLM en todas partes, tanto para el procesamiento en tiempo real como para el procesamiento fuera de línea. Los LLM nos permiten centrarnos en las partes más importantes y relevantes de las páginas web. Van más allá de cualquier cosa anterior en maximizar la relación señaligeno, lo que hace que sea mucho más fácil abordar muchas cosas que no eran tratables antes por un equipo pequeño. En general, este es quizás el aspecto más importante de los LLM: nos permiten hacer cosas sofisticadas con un equipo muy pequeño.

¿Qué desafíos tecnológicos o de mercado prevé Perplexity en el futuro?

Al mirar hacia adelante, los desafíos tecnológicos más importantes para nosotros serán centrarse en continuar mejorando la utilidad y precisión de nuestras respuestas. Nosotros apuntamos a aumentar el alcance y la complejidad de los tipos de consultas y preguntas que podemos responder de manera confiable. Junto con esto, nos importa mucho la velocidad y la eficiencia de nuestro sistema y nos centraremos en reducir los costos de servicio tanto como sea posible sin comprometer la calidad de nuestro producto.

En tu opinión, ¿por qué el enfoque de Perplexity hacia la búsqueda es superior al enfoque de Google de clasificar sitios web según enlaces de retroceso y otras métricas de clasificación de motores de búsqueda probadas?

Estamos optimizando una métrica de clasificación completamente diferente a la de los motores de búsqueda clásicos. Nuestro objetivo de clasificación está diseñado para combinar de manera nativa el sistema de recuperación y los LLM. Este enfoque es bastante diferente al de los motores de búsqueda clásicos, que optimizan la probabilidad de un clic o una impresión de anuncio.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Perplexity AI.