Александр Ярац, руководитель поиска в Perplexity – Интервью

Александр Ярац является руководителем поиска в Perplexity AI. Он начал свою карьеру в Yandex в 2017 году, одновременно изучая в Школе анализа данных Yandex. Первые годы были интенсивными, но полезными, что способствовало его росту и становлению лидером инженерной команды. Под влиянием своего желания работать с технологическим гигантом, он присоединился к Google (GOOGL ) в 2022 году в качестве старшего программного инженера, сосредоточившись на команде Google Assistant (позже Google Bard). Затем он перешел в Perplexity на должность руководителя поиска.

Perplexity AI – это исследовательский и поисковый движок, работающий на основе чат-ботов и предсказательного текста, который отвечает на запросы с помощью естественного языка. Запущенный в 2022 году, Perplexity генерирует ответы на основе источников из интернета и ссылок внутри текстового ответа.

Что изначально заинтересовало вас в машинном обучении?

Мой интерес к машинному обучению (ML) был постепенным процессом. Во время учебы в школе я много времени уделял изучению математики, теории вероятностей и статистики, и имел возможность работать с классическими алгоритмами машинного обучения, такими как линейная регрессия и KNN. Было fascинiruyuschim видеть, как можно построить предсказательную функцию直接 из данных и затем использовать ее для предсказания незнакомых данных. Этот интерес привел меня к Школе анализа данных Yandex, конкурентной программе магистратуры по машинному обучению в России (только 200 человек принимаются каждый год). Там я многое узнал о более продвинутых алгоритмах машинного обучения и развил свое чутье. Самым важным моментом в этом процессе было, когда я узнал о нейронных сетях и глубоком обучении. Стало очень ясно, что это то, чем я хочу заниматься в течение следующих нескольких десятилетий.

Вы ранее работали в Google в качестве старшего программного инженера в течение года, какие были ваши основные выводы из этого опыта?

До того, как присоединиться к Google, я провел более четырех лет в Yandex, сразу после окончания Школы анализа данных Yandex. Там я возглавлял команду, которая разработала различные методы машинного обучения для Yandex Taxi (аналог Uber в России). Я присоединился к этой группе на этапе ее создания и имел возможность работать в тесной и динамичной команде, которая быстро росла в течение четырех лет, как по численности (с 30 до 500 человек), так и по рыночной капитализации (она стала крупнейшим поставщиком услуг такси в России, обогнав Uber и других).

На протяжении этого времени у меня была возможность построить многое с нуля и запустить несколько проектов с нуля до одного. Одним из последних проектов, над которым я работал, было создание чат-ботов для службы поддержки. Там я впервые познакомился с возможностями крупных языковых моделей и был очарован тем, насколько важными они могут быть в будущем. Это осознание привело меня к Google, где я присоединился к команде Google Assistant, которая позже была переименована в Google Bard (один из конкурентов Perplexity).

В Google у меня была возможность узнать, как выглядит инфраструктура мирового класса, как работают поиск и LLM, и как они взаимодействуют друг с другом, чтобы предоставлять фактические и точные ответы. Это был отличный опыт обучения, но со временем я стал разочаровываться в медленном темпе Google и чувстве, что ничего никогда не делается. Я хотел найти компанию, которая работает над поиском и LLM, и движется так же быстро, или даже быстрее, чем когда я был в Yandex. К счастью, это произошло органично.

Внутри Google я начал видеть скриншоты Perplexity и задачи, которые требовали сравнения Google Assistant с Perplexity. Это вызвало мой интерес к компании, и после нескольких недель исследований я был убежден, что хочу работать там, поэтому я обратился к команде и предложил свои услуги.

Можете ли вы определить свою текущую роль и обязанности в Perplexity?

Я в настоящее время являюсь руководителем команды поиска и отвечаю за создание нашей внутренней системы поиска, которая питает Perplexity. Наша команда поиска работает над созданием системы веб-краулинга, движка поиска и алгоритмов ранжирования. Эти задачи позволяют мне использовать опыт, который я получил в Google (работа над поиском и LLM), а также в Yandex. С другой стороны, продукт Perplexity представляет уникальные возможности для перестройки и перепроектирования системы поиска в мире, где есть очень мощные LLM. Например, уже не так важно оптимизировать алгоритмы ранжирования для увеличения вероятности клика; вместо этого мы сосредоточены на улучшении полезности и фактичности наших ответов. Это фундаментальное различие между движком ответов и поисковым движком. Моя команда и я пытаемся построить что-то, что пойдет дальше традиционных 10 синих ссылок, и я не могу придумать ничего более интересного для работы в настоящее время.

Можете ли вы подробнее рассказать о переходе в Perplexity от разработки инструмента text-to-SQL к созданию поиска на основе ИИ?

Изначально мы работали над созданием движка text-to-SQL, который предоставляет специализированный движок ответов в ситуациях, когда вам нужно получить быстрый ответ на основе структурированных данных (например, электронной таблицы или таблицы). Работа над проектом text-to-SQL позволила нам глубже понять LLM и RAG, и привела нас к ключевому осознанию: эта технология намного более мощная и общая, чем мы изначально думали. Мы быстро поняли, что мы можем выйти за рамки хорошо структурированных источников данных и решить задачи неструктурированных данных.

Какие были ключевые задачи и выводы во время этого перехода?

Ключевые задачи во время этого перехода были связаны с переходом нашей компании от B2B к B2C и перестройкой нашей инфраструктуры для поддержки неструктурированного поиска. Очень быстро во время этого процесса мы поняли, что работать над продуктом, ориентированным на клиента, намного более приятно, поскольку вы начинаете получать постоянный поток обратной связи и вовлеченности, чего мы не видели много, когда строили движок text-to-SQL и фокусировались на решениях для предприятий.

Движок RAG (Retrieval-augmented generation) кажется одним из ключевых элементов возможностей поиска Perplexity. Можете ли вы объяснить, как Perplexity использует RAG по-другому, чем другие платформы, и как это влияет на точность результатов поиска?

RAG – это общая концепция для предоставления внешних знаний LLM. Хотя идея может показаться простой на первый взгляд, построение такой системы, которая может обслуживать десятки миллионов пользователей эффективно и точно, является значительной задачей. Нам пришлось разработать эту систему с нуля и построить многие специальные компоненты, которые оказались важными для достижения последних бит точности и производительности. Мы разработали нашу систему так, чтобы десятки LLM (от больших до маленьких) работали параллельно для быстрого и экономически эффективного обработки одного запроса пользователя. Мы также построили инфраструктуру обучения и вывода, которая позволяет нам обучать LLM вместе с поиском конец в конец, так что они тесно интегрированы. Это значительно уменьшает галлюцинации и улучшает полезность наших ответов.

Как Perplexity управляет своей стратегией веб-краулинга и индексирования, чтобы оставаться конкурентоспособной и обеспечивать актуальную информацию, учитывая ограничения по сравнению с ресурсами Google?

Создание индекса, столь же обширного, как у Google, требует значительного времени и ресурсов. Вместо этого мы фокусируемся на темах, которые наши пользователи часто запрашивают в Perplexity. Оказывается, что большинство наших пользователей используют Perplexity как помощника для работы и исследования, и многие запросы ищут высококачественные, достоверные и полезные части интернета. Это распределение по закону власти, где вы можете достичь значительных результатов с помощью подхода 80/20. Основываясь на этих выводах, мы смогли построить гораздо более компактный индекс, оптимизированный для качества и истинности. В настоящее время мы тратим меньше времени на преследование хвоста, но по мере масштабирования нашей инфраструктуры мы также будем преследовать хвост.

Как крупные языковые модели (LLM) улучшают возможности поиска Perplexity, и что делает их особенно эффективными в парсинге и представлении информации из интернета?

Мы используем LLM везде, как для реального времени, так и для офлайн-обработки. LLM позволяют нам фокусироваться на наиболее важных и актуальных частях веб-страниц. Они превосходят все, что было раньше, в максимизации отношения сигнал-шум, что делает намного проще решать многие задачи, которые ранее были неосуществимы для небольшой команды. В целом, это, возможно, самый важный аспект LLM: они позволяют вам делать сложные вещи с очень маленькой командой.

Каковы основные технологические или рыночные задачи, которые Perplexity ожидает в будущем?

Когда мы смотрим вперед, наиболее важными технологическими задачами для нас будут сосредоточены вокруг продолжения улучшения полезности и точности наших ответов. Мы стремимся увеличить объем и сложность типов запросов и вопросов, на которые мы можем ответить надежно. Вместе с этим мы заботимся о скорости и эффективности обслуживания нашей системы и будем сосредоточены на снижении затрат на обслуживание как можно больше, не компрометируя качество нашей продукции.

По вашему мнению, почему подход Perplexity к поиску лучше, чем подход Google, основанный на ранжировании веб-сайтов по обратным ссылкам и другим проверенным метрикам ранжирования поисковых систем?

Мы оптимизируем совершенно другую метрику ранжирования, чем классические поисковые системы. Наша цель ранжирования разработана для того, чтобы объединить систему поиска и LLM. Этот подход отличается от подхода классических поисковых систем, которые оптимизируют вероятность клика или показа рекламы.

Благодарим за отличное интервью, читатели, которые хотят узнать больше, могут посетить Perplexity AI.