Олександр Ярац, керівник пошукової системи Perplexity – Інтерв’ю

Олександр Ярац є керівником пошукової системи Perplexity AI. Він розпочав свою кар’єру в Yandex у 2017 році, одночасно навчаючись у школі даних Yandex. Перші роки були інтенсивними, але плідними, що сприяло його зростанню як керівника інженерної команди. Підштовхнутий своєю амбіцією працювати з технологічним гігантом, він приєднався до Google (GOOGL ) у 2022 році як старший інженер-програміст, зосередившись на команді Google Assistant (пізніше Google Bard). Потім він перейшов до Perplexity на посаду керівника пошукової системи.

Perplexity AI – це пошукова система, що використовує чат-боти та працює з природною мовою, яка відповідає на запитання за допомогою передбачувального тексту. Запущена у 2022 році, Perplexity генерує відповіді за допомогою джерел з вебу та посилань у текстовій відповіді.

Що спочатку привернуло вашу увагу до машинного навчання?

Мій інтерес до машинного навчання (ML) був поступовим процесом. Під час навчання у школі я багато часу присвячував вивченню математики, теорії ймовірності та статистики, і мав можливість працювати з класичними алгоритмами машинного навчання, такими як лінійна регресія та KNN. Це було цікаво бачити, як можна створити передбачувальну функцію безпосередньо з даних і потім використовувати її для передбачення невидимих даних. Цей інтерес привів мене до школи даних Yandex, конкурентної програми магістратури з машинного навчання в Росії (тільки 200 осіб приймаються щороку). Там я багато дізнався про більш просунуті алгоритми машинного навчання та побудував свою інтуїцію. Найважливішим моментом під час цього процесу було те, коли я дізнався про нейронні мережі та глибоке навчання. Стало дуже rõко, що це те, чого я хочу досягти протягом наступних кількох десятиліть.

Ви раніше працювали в Google як старший інженер-програміст протягом року, які були вашими ключовими висновками з цього досвіду?

Перед тим, як приєднатися до Google, я провів понад чотири роки в Yandex, одразу після закінчення школи даних Yandex. Там я очолював команду, яка розробляла різні методи машинного навчання для Yandex Taxi (аналог Uber у Росії). Я приєднався до цієї групи на початку її створення і мав можливість працювати у тісній та динамічній команді, яка швидко росла протягом чотирьох років, як за чисельністю працівників (з 30 до 500 осіб), так і за ринковою капіталізацією (стала найбільшим постачальником таксі в Росії, обігнавши Uber та інші).

Під час цього часу я мав можливість створити багато речей з нуля та запустити кілька проєктів з нуля до одного. Одним з останніх проєктів, над яким я працював там, було створення чат-ботів для служби підтримки. Там я вперше побачив силу великих мовних моделей та був вражений тим, наскільки важливими вони можуть бути в майбутньому. Це розуміння привело мене до Google, де я приєднався до команди Google Assistant, яка пізніше була перейменована в Google Bard (один з конкурентів Perplexity).

В Google я мав можливість дізнатися, як виглядає інфраструктура світового класу, як працюють пошук та LLM, та як вони взаємодіють один з одним, щоб надавати фактичні та точні відповіді. Це був великий досвід, але з часом я став розчаровуватися повільним темпом у Google та відчуттям, що нічого ніколи не робиться. Я хотів знайти компанію, яка працює над пошуком та LLM, і рухається так само швидко, або навіть швидше, ніж коли я був у Yandex. На щастя, це відбулося органічно.

Внутрішньо у Google я почав бачити знімки екрана Perplexity та завдання, які вимагали порівняння Google Assistant з Perplexity. Це спонукало мій інтерес до компанії, і після кількох тижнів дослідження я був переконаний, що хочу працювати там, тому я звернувся до команди та запропонував свої послуги.

Як ви визначаєте свою поточну роль та відповідальність у Perplexity?

Я зараз очолюю команду пошукової системи та відповідаю за будівництво нашої внутрішньої системи пошуку, яка живить Perplexity. Наша команда пошукової системи працює над будівництвом системи веб-краулінгу, пошукового двигуна та алгоритмів ранжування. Ці завдання дозволяють мені скористатися досвідом, який я отримав у Google (працюючи над пошуком та LLM), а також у Yandex. З іншого боку, продукт Perplexity пропонує унікальні можливості для переробки та перепроєктування того, як повинна виглядати система пошуку у світі з дуже потужними LLM. Наприклад, тепер вже не важливо оптимізувати алгоритми ранжування для збільшення ймовірності кліку; натомість ми зосереджуємося на поліпшенні корисності та фактичності наших відповідей. Це фундаментальна відмінність між пошуковою системою та системою відповідей. Моя команда та я намагаємося створити щось, що піде далі традиційних 10 синіх посилань, і я не можу подумати про щось більш цікаве для роботи над цим зараз.

Як ви поясните перехід у Perplexity від розробки інструменту текст-до-SQL до створення пошукової системи, що використовує штучний інтелект?

Спочатку ми працювали над будівництвом інструменту текст-до-SQL, який надає спеціалізовану систему відповідей у ситуаціях, коли вам потрібно отримати швидку відповідь на основі структурованих даних (наприклад, електронної таблиці або таблиці). Робота над проєктом текст-до-SQL дозволила нам глибше зрозуміти LLM та RAG, і привела нас до ключового розуміння: ця технологія значно потужніша та загальніша, ніж ми спочатку думали. Ми швидко зрозуміли, що можемо зайти значно далі структурованих джерел даних та зайнятися неструктурованими даними.

Які були ключові виклики та висновки під час цього переходу?

Ключовими викликами під час цього переходу були зміна компанії з B2B на B2C та перебудова нашої інфраструктурної бази для підтримки неструктурованого пошуку. Дуже швидко під час цього процесу ми зрозуміли, що значно приємніше працювати над продуктом, орієнтованим на клієнта, оскільки ви починаєте отримувати постійний потік відгуку та взаємодії, чого ми не бачили багато, коли будували інструмент текст-до-SQL та зосереджувалися на корпоративних рішеннях.

Як ви поясните використання Perplexity технології генерації, доповненої пошуком (RAG), та як це впливає на точність результатів пошуку?

RAG – це загальна концепція надання зовнішніх знань LLM. Хоча ідея може здатися простою на перший погляд, будівництво такої системи, яка ефективно та точно обслуговує десятки мільйонів користувачів, є суттєвим викликом. Нам довелося інженерно створити цю систему з нуля та побудувати багато спеціальних компонентів, які виявилися критичними для досягнення останніх бітів точності та продуктивності. Ми побудували нашу систему так, щоб десятки LLM (від великих до малих) працювали паралельно для обробки одного запиту користувача швидко та ефективно. Ми також побудували інфраструктуру навчання та висновку, яка дозволяє нам навчати LLM разом з пошуком з кінця в кінець, так що вони тісно інтегровані. Це суттєво знижує галюцинації та покращує корисність наших відповідей.

Як Perplexity керує своїми стратегіями веб-краулінгу та індексації, щоб залишатися конкурентоспроможним та забезпечувати актуальну інформацію?

Будівництво індексу, такого ж обсягу, як у Google, вимагає значного часу та ресурсів. Натомість ми зосереджуємося на темах, які наші користувачі часто запитують у Perplexity. Виявляється, що більшість наших користувачів використовують Perplexity як помічника для роботи/досліджень, і багато запитів шукають високоякісні, довірені та корисні частини вебу. Це розподіл влади, де ви можете досягти суттєвих результатів за допомогою підходу 80/20. На основі цих висновків ми змогли побудувати значно компактніший індекс, оптимізований для якості та істини. Наразі ми витрачаємо менше часу на гонитву за хвостом, але оскільки ми розширюємо нашу інфраструктуру, ми також будемо переслідувати хвост.

Як великі мовні моделі (LLM) покращують пошукові можливості Perplexity, та що робить їх особливо ефективними у парсингу та презентації інформації з вебу?

Ми використовуємо LLM всюди, як для реального часу, так і для офлайн-процесів. LLM дозволяють нам зосередитися на найбільш важливих та актуальних частинах веб-сторінок. Вони перевершують все, що було раніше, у максимізації співвідношення сигнал/шум, що робить його значно легшим для вирішення багатьох речей, які раніше були не досяжні для маленької команди. Загалом, це, можливо, найважливіший аспект LLM: вони дозволяють вам робити складні речі з дуже маленькою командою.

Як ви бачите майбутнє технологічних чи ринкових викликів для Perplexity?

Оглядаючи майбутнє, найважливішими технологічними викликами для нас будуть зосереджені навколо подальшого покращення корисності та точності наших відповідей. Ми намагаємося збільшити сферу та складність типів запитів та питань, на які ми можемо надати надійні відповіді. Разом з цим ми дуже турбуємося про швидкість та ефективність нашої системи та будемо зосереджені на зниженні витрат на обслуговування якомога нижче без компромісу якості нашого продукту.

Чому, на вашу думку, підхід Perplexity до пошуку переважає підхід Google щодо ранжування сайтів за посиланнями та іншими довереними пошуковими метриками?

Ми оптимізуємо зовсім іншу метрику ранжування, ніж класичні пошукові системи. Наша метрика ранжування розроблена для того, щоб поєднувати систему пошуку та LLM. Цей підхід значно відрізняється від класичних пошукових систем, які оптимізують ймовірність кліку або показу реклами.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, рекомендуємо відвідати Perplexity AI.