Alexandr Yarats, jefe de búsqueda de Perplexity – Serie de entrevistas

Alexandr Yarats es el jefe de búsqueda de Perplejidad IA. Comenzó su carrera en Yandex en 2017, al mismo tiempo que estudiaba en la Escuela de Análisis de Datos de Yandex. Los primeros años fueron intensos pero gratificantes, lo que impulsó su crecimiento hasta convertirse en líder del equipo de ingeniería. Impulsado por su aspiración de trabajar con un gigante tecnológico, se unió a Google en 2022 como ingeniero de software senior, enfocándose en el equipo de Google Assistant (más tarde Google Bard). Luego pasó a Perplexity como Jefe de Búsqueda.

Perplexity AI es un motor de búsqueda conversacional e investigación impulsado por un chatbot de IA que responde consultas utilizando texto predictivo en lenguaje natural. Lanzado en 2022, Perplexity genera respuestas utilizando fuentes de la web y cita enlaces dentro de la respuesta de texto.

¿Qué fue lo que inicialmente te interesó en el aprendizaje automático?

Mi interés por el aprendizaje automático (ML) fue un proceso gradual. Durante mis años escolares, dediqué mucho tiempo a estudiar matemáticas, teoría de la probabilidad y estadística, y tuve la oportunidad de experimentar con algoritmos clásicos de aprendizaje automático como la regresión lineal y KNN. Fue fascinante ver cómo se puede construir una función predictiva directamente a partir de los datos y luego usarla para predecir datos desconocidos. Este interés me llevó a la Escuela Yandex de Análisis de Datos, un programa de maestría en aprendizaje automático altamente competitivo en Rusia (solo se aceptan 200 personas al año). Allí, aprendí mucho sobre algoritmos de aprendizaje automático más avanzados y forjé mi intuición. El punto más crucial de este proceso fue cuando aprendí sobre redes neuronales y aprendizaje profundo. Tuve muy claro que esto era algo que quería seguir durante las próximas dos décadas.

Anteriormente trabajó en Google como ingeniero de software sénior durante un año. ¿Cuáles fueron algunas de las principales conclusiones de esta experiencia?

Antes de unirme a Google, pasé más de cuatro años en Yandex, justo después de graduarme de la Escuela de Análisis de Datos de Yandex. Allí, dirigí un equipo que desarrolló varios métodos de aprendizaje automático para Yandex Taxi (un análogo de Uber en Rusia). Me uní a este grupo desde sus inicios y tuve la oportunidad de trabajar en un equipo muy unido y de ritmo rápido que creció rápidamente durante cuatro años, tanto en plantilla (de 30 a 500 personas) como en capitalización de mercado (se convirtió en el servicio de taxi más grande proveedor en Rusia, superando a Uber y otros).

A lo largo de este tiempo, tuve el privilegio de construir muchas cosas desde cero y lanzar varios proyectos de cero a uno. Uno de los proyectos finales en los que trabajé allí fue la creación de chatbots para soporte de servicios. Allí vislumbré por primera vez el poder de los grandes modelos lingüísticos y quedé fascinado por lo importantes que podrían ser en el futuro. Esta comprensión me llevó a Google, donde me uní al equipo del Asistente de Google, que luego pasó a llamarse Google Bard (uno de los competidores de Perplexity).

En Google, tuve la oportunidad de aprender cómo es la infraestructura de clase mundial, cómo funcionan la búsqueda y los LLM, y cómo interactúan entre sí para brindar respuestas objetivas y precisas. Esta fue una gran experiencia de aprendizaje, pero con el tiempo me sentí frustrado por la lentitud de Google y la sensación de que nunca se hacía nada. Quería encontrar una empresa que trabajara en búsquedas y LLM y que se moviera tan rápido, o incluso más rápido, que cuando estaba en Yandex. Afortunadamente, esto sucedió de forma orgánica.

Internamente en Google, comencé a ver capturas de pantalla de Perplexity y tareas que requerían comparar el Asistente de Google con Perplexity. Esto despertó mi interés en la empresa y, después de varias semanas de investigación, me convencí de que quería trabajar allí, así que me acerqué al equipo y ofrecí mis servicios.

¿Puedes definir tu función y responsabilidades actuales en Perplexity?

Actualmente soy el jefe del equipo de búsqueda y soy responsable de construir nuestro sistema de recuperación interno que impulsa a Perplexity. Nuestro equipo de búsqueda trabaja en la creación de un sistema de rastreo web, un motor de recuperación y algoritmos de clasificación. Estos desafíos me permiten aprovechar la experiencia que adquirí en Google (trabajando en Búsqueda y LLM), así como en Yandex. Por otro lado, el producto de Perplexity plantea oportunidades únicas para rediseñar y rediseñar cómo debería verse un sistema de recuperación en un mundo que tiene LLM muy poderosos. Por ejemplo, ya no es importante optimizar los algoritmos de clasificación para aumentar la probabilidad de un clic; en cambio, nos estamos centrando en mejorar la utilidad y la factibilidad de nuestras respuestas. Ésta es una distinción fundamental entre un motor de respuestas y un motor de búsqueda. Mi equipo y yo estamos tratando de construir algo que vaya más allá de los 10 enlaces azules tradicionales, y no se me ocurre nada más interesante en lo que trabajar actualmente.

¿Puede darnos más detalles sobre la transición en Perplexity desde el desarrollo de una herramienta de texto a SQL hasta el giro hacia la creación de búsquedas impulsadas por IA?

Inicialmente trabajamos en la creación de un motor de texto a SQL que proporcione un motor de respuestas especializado en situaciones en las que necesita obtener una respuesta rápida basada en sus datos estructurados (por ejemplo, una hoja de cálculo o una tabla). Trabajar en un proyecto de texto a SQL nos permitió obtener una comprensión mucho más profunda de los LLM y RAG, y nos llevó a una conclusión clave: esta tecnología es mucho más poderosa y general de lo que pensábamos originalmente. Rápidamente nos dimos cuenta de que podíamos ir mucho más allá de las fuentes de datos bien estructuradas y abordar también los datos no estructurados.

¿Cuáles fueron los desafíos y conocimientos clave durante este cambio?

Los principales desafíos durante esta transición fueron transformar nuestra empresa de B2B a B2C y reconstruir nuestra infraestructura para soportar la búsqueda no estructurada. Durante este proceso de migración, nos dimos cuenta rápidamente de que es mucho más gratificante trabajar en un producto orientado al cliente, ya que se empieza a recibir un flujo constante de retroalimentación y participación, algo que no veíamos con frecuencia cuando desarrollábamos un motor de texto a SQL y nos centrábamos en soluciones empresariales.

La generación aumentada por recuperación (RAG) parece ser un pilar fundamental de las capacidades de búsqueda de Perplexity. ¿Podría explicar cómo Perplexity utiliza RAG de forma diferente a otras plataformas y cómo esto afecta la precisión de los resultados de búsqueda?

RAG es un concepto general para proporcionar conocimiento externo a un LLM. Si bien la idea puede parecer simple a primera vista, construir un sistema que sirva a decenas de millones de usuarios de manera eficiente y precisa es un desafío importante. Tuvimos que diseñar este sistema internamente desde cero y construir muchos componentes personalizados que resultaron críticos para lograr los últimos niveles de precisión y rendimiento. Diseñamos nuestro sistema en el que decenas de LLM (desde grandes a pequeños) trabajan en paralelo para manejar la solicitud de un usuario de manera rápida y rentable. También creamos una infraestructura de capacitación e inferencia que nos permite capacitar a los LLM junto con la búsqueda de un extremo a otro, para que estén estrechamente integrados. Esto reduce significativamente las alucinaciones y mejora la utilidad de nuestras respuestas.

Con las limitaciones en comparación con los recursos de Google, ¿cómo gestiona Perplexity sus estrategias de rastreo e indexación web para mantenerse competitivo y garantizar información actualizada?

Crear un índice tan extenso como el de Google requiere una cantidad considerable de tiempo y recursos. En su lugar, nos centramos en temas que nuestros usuarios consultan con frecuencia en Perplexity. Resulta que la mayoría de nuestros usuarios utilizan Perplexity como herramienta de trabajo/investigación, y muchas consultas buscan sitios web de alta calidad, confiables y útiles. Esta distribución de ley de potencia permite obtener resultados significativos con un enfoque 80/20. Con base en estos conocimientos, pudimos crear un índice mucho más compacto, optimizado para la calidad y la veracidad. Actualmente, dedicamos menos tiempo a buscar la cola, pero a medida que expandimos nuestra infraestructura, también lo haremos.

¿Cómo mejoran los modelos de lenguajes grandes (LLM) las capacidades de búsqueda de Perplexity y qué los hace particularmente efectivos para analizar y presentar información de la web?

Utilizamos LLM en todas partes, tanto para procesamiento en tiempo real como fuera de línea. Los LLM nos permiten centrarnos en las partes más importantes y relevantes de las páginas web. Van más allá de todo lo anterior al maximizar la relación señal-ruido, lo que hace que sea mucho más fácil abordar muchas cosas que antes no eran manejables por un equipo pequeño. En general, este es quizás el aspecto más importante de los LLM: te permiten hacer cosas sofisticadas con un equipo muy pequeño.

De cara al futuro, ¿cuáles son los principales desafíos tecnológicos o de mercado que anticipa Perplexity?

De cara al futuro, los desafíos tecnológicos más importantes para nosotros se centrarán en seguir mejorando la utilidad y precisión de nuestras respuestas. Nuestro objetivo es aumentar el alcance y la complejidad de los tipos de consultas y preguntas que podemos responder de manera confiable. Además de esto, nos preocupamos mucho por la velocidad y la eficiencia del servicio de nuestro sistema y nos centraremos en gran medida en reducir los costos de servicio tanto como sea posible sin comprometer la calidad de nuestro producto.

En su opinión, ¿por qué el enfoque de búsqueda de Perplexity es superior al enfoque de Google de clasificar sitios web según vínculos de retroceso y otras métricas de clasificación de motores de búsqueda probadas?

Estamos optimizando una métrica de clasificación completamente diferente a la de los motores de búsqueda clásicos. Nuestro objetivo de clasificación está diseñado para combinar de forma nativa el sistema de recuperación y los LLM. Este enfoque es bastante diferente del de los motores de búsqueda clásicos, que optimizan la probabilidad de un clic o de una impresión de anuncio.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Perplejidad IA.