Шон Маллейни, технический директор Algolia – Интервью

Шон Маллейни является техническим директором компании Algolia, платформы поиска и открытия, работающей на основе искусственного интеллекта.

Шон ранее работал в Stripe и Google (GOOGL ), где он занимался масштабированием инженерных организаций, разработкой инструментов поиска и открытия на основе искусственного интеллекта, а также глобальным развитием решений на основе API. В Algolia он курирует технологии, лежащие в основе второго по величине поискового движка после Google, который обрабатывает более 1,5 триллионов поисковых запросов в год. Недавно он руководил запуском AlgoliaNeuralSearch – самого быстрого, гипермасштабируемого и экономически эффективного векторного и ключевого поискового API.

Что первоначально привлекло вас к информатике?

Когда мне было 10 лет, мои родители привезли первый компьютер домой. Первое, что я хотел сделать, – было понять, как написать текстовую приключенческую игру, которую я копировал из книги. Через несколько лет я начал изучать C++, но проектирование и создание компьютерных игр оставалось для меня большим увлечением в подростковом возрасте, когда я только начинал探索 информатику.

Вы провели более 7 лет в Google, где помогали создавать и руководить командами, занимающимися стратегией, операциями, большими данными и машинным обучением. Какой был ваш любимый проект, и что вы узнали из этого опыта?

Мы выяснили, как использовать все большие данные, которые у нас были о том, как рекламодатели используют наши продукты, чтобы помочь командам продаж. Мы разработали пользовательские правила (позже более сложные нейронные сети), чтобы предсказать, какие клиентов нам следует обратиться с какими продуктами в какие моменты времени, чтобы максимизировать вероятность того, что время продажника приведет к увеличению дохода. С более чем 1 миллионом рекламодателей на Google, этот инструмент существенно помог командам продаж найти нужные результаты.

В недавнем обзоре DevBit вы описали цель Algolia как возможность для пользователей индексировать мир и запустить контент в движение. Можете ли вы подробнее рассказать о том, что это значит?

В конечном итоге мы хотим помочь нашим клиентам получить ценность из их данных. Интернет создал такую огромную экспансию контента и электронной коммерции, и хотя это развитие является значительным этапом, огромное количество информации, теперь доступной, означает, что найти то, что вы ищете, становится все труднее и труднее. Однако, когда поиск и открытие работают на основе искусственного интеллекта, растущий список контента может быть интеллектуально доступен и запущен в движение, чтобы действительно помочь пользователям, а не перегрузить их.

В сентябре 2022 года Search.io и его флагманский продукт NeuralSearch были приобретены Algolia. Можете ли вы рассказать о этой технологии поиска?

Algolia NeuralSearch объединяет совпадение ключевых слов с векторной обработкой естественного языка, работающей на основе больших языковых моделей, в одном API – впервые в отрасли. Решение включает в себя нашу проприетарную и беспрецедентную технику Neural Hashing, которая делает использование векторов масштабируемым и на 90% более экономически эффективным – проблему, с которой сталкиваются другие компании, работающие с искусственным интеллектом, включая ChatGPT. Что действительно интересно в этом прорывном продукте, так это то, что он делает истинный поиск на основе искусственного интеллекта масштабируемым для организаций класса предприятия.

Новая технология также позволяет клиентам, таким как ритейлеры, понимать и доставлять контент, соответствующий запросам, которые обычно слишком разговорны, чтобы доставить точные или какие-либо результаты (рассматриваются как длиннохвостые). Эти составляют 55% текущих поисков на сайте. Как единственное решение поиска на основе искусственного интеллекта, которое применяет искусственный интеллект к пониманию запроса, извлечению и ранжированию результатов, NeuralSearch действительно понимает эти запросы и превращает упущенные возможности в доход.

Помимо NeuralSearch, какие еще методологии машинного обучения используются?

Мы включили искусственный интеллект в три основные функции – понимание запроса, извлечение и ранжирование результатов. Мы в Algolia называем это “сэндвичем поиска на основе искусственного интеллекта”:

• Понимание запроса: Продвинутое понимание естественного языка (NLU) и поиск на основе векторов, управляемый искусственным интеллектом, обеспечивают понимание естественного языка и категоризацию запроса, подготовленную и структурированную для анализа. Кроме того, адаптивное обучение на основе обратной связи пользователя уточняет понимание намерений.
• Извлечение: Самые релевантные результаты затем извлекаются и ранжируются от наиболее до наименее релевантных. Процесс извлечения объединяет результаты Neural Hashing параллельно с ключевыми словами, используя один и тот же индекс для простого извлечения и ранжирования. Этот подход решает проблему “нулевых результатов” и существенно улучшает позиции кликов и показатели кликов.
• Ранжирование: Наконец, лучшие результаты выдвигаются на первый план с помощью ранжирования на основе искусственного интеллекта от Algolia, которое учитывает многие сигналы, прикрепленные к поисковому запросу, (включая точное совпадение ключевых слов, контекстный профиль персонализации, наблюдаемую популярность элементов, семантический балл совпадения и т. д.) и учится достигать максимальной релевантности.

Кроме того, по мере изменения индекса, добавления новых продуктов, загрузки нового контента или изменения значения терминов, продукт Algolia NeuralSearch на основе искусственного интеллекта будет учиться и корректироваться автоматически. Это не требует дополнительного штата или ручных операций. Он будет автоматически соответствовать ключевым словам или понятиям – возможно, смеси того и другого – в зависимости от запроса или поисковой фразы. Это действительно запускает поиск на автопилоте.

Algolia недавно увеличил бесплатный план с 10 000 записей до 1 миллиона записей. Какова была мысль за этим, и как отреагировал рынок?

Мы специально изменили ценообразование и пакеты Algolia, чтобы сделать их еще более дружественными для разработчиков, введя два новых плана, ориентированных на разработчиков: бесплатный план “Build” и план “Grow” с легкой масштабируемостью по доступным ценам. Новый план “Build” увеличивает количество бесплатных записей, которые разработчик может хранить в Algolia, с 10 000 до 1 миллиона записей. Это представляет собой увеличение на 100 раз количества бесплатных записей, которые разработчики теперь могут индексировать в Algolia. Кроме того, Algolia снизил стоимость поисковых запросов в плане “Grow” на 50% и записей на 60%.

Идея нашего обновленного плана “Build” заключается в том, чтобы предоставить разработчикам бесплатный доступ ко всему набору возможностей платформы поиска и открытия на основе искусственного интеллекта. План “Grow”, когда разработчик готов масштабировать свое приложение, позволяет разработчикам использовать более дружественное ценообразование на основе использования для живых производственных сред.

Одним из важных моментов здесь является то, что любой дизайнер, создатель или разработчик – будь то случайный или полностью посвященный программист – может быстро и легко получить доступ ко всем инструментам, документации, образцам кода, образовательному контенту и возможностям кросс-платформенной интеграции, необходимым для начала работы с управлением данными, созданием интерфейса поиска, настройкой аналитики и многим другим – все бесплатно. Кроме того, они получат немедленный доступ к растущему сообществу разработчиков, насчитывающему более 5 миллионов строителей.

Можете ли вы обсудить инструменты персонализации поиска, которые предлагаются?

Algolia предлагает несколько инструментов персонализации поиска, чтобы компании могли использовать данные для улучшения рекомендаций, включая различные виды рекомендаций и уникальные способы использования данных для фактического стимулирования этих рекомендаций.

Некоторые примеры включают:

• Трендовые: Предлагайте другие элементы, которые являются трендовыми и связаны с поисками, которые ваш клиент выполнил.
• Рейтинговые: Люди хотят покупать продукты с лучшими рейтингами.
• Персонализированные: На основе того, что вы покупали в прошлый раз, истории просмотров, местоположения или других факторов, мы рекомендуем эти другие продукты.

Эти методы, основанные на данных, могут помочь быстро улучшить и усовершенствовать результаты на основе того, как клиенты взаимодействуют с продуктами, поэтому вы более вероятно будете рекомендовать продукты, которые действительно конвертируются.

Вы описали Algolia как наиболее масштабируемый гибридный поисковый движок на основе искусственного интеллекта в мире. Как Algolia был спроектирован для масштабирования так эффективно?

Все это возвращается к Neural Hashing. Это инновационное решение сжимает и существенно ускоряет каждый запрос. Это намного быстрее вычислять хэш-сходство, чем стандартное сходство векторов, и возвращает результаты за миллисекунды.

Neural Hashing представляет собой прорыв для запуска извлечения на основе искусственного интеллекта в производство для огромного количества вариантов использования. В сочетании с обработкой запросов на основе искусственного интеллекта и повторным ранжированием это обещает выпустить полную силу искусственного интеллекта в поиск на сайте. До прорывного решения Algolia векторный поиск был слишком вычислительно дорогим для запуска в производство.

Та часть “сэндвича”, на которую я хотел бы сосредоточиться больше всего, – это “мясо”: извлечение. Причина, по которой мы говорим, что мы являемся единственной真正щей конечной платформой поиска на основе искусственного интеллекта, заключается в том, что существует постоянная борьба за кулисами в отрасли поиска, чтобы добавить искусственный интеллект в извлечение. Извлечение информации – это невероятно сложный процесс, и еще более сложно освоить высокопроизводительное, экономически эффективное извлечение на основе искусственного интеллекта в масштабе. Мы освоили это с помощью нашей прорывной техники Neural Hashing. Таким образом, мы по сути выиграли квест за “Священный Грааль” поиска на основе искусственного интеллекта.

Есть ли что-то еще, что вы хотели бы поделиться об Algolia?

Это интересное время для работы в Algolia, и мы всегда ищем возможности начать разговоры с талантливыми, увлеченными людьми, которые хотят присоединиться к нам в нашем пути по созданию лучшей технологии поиска в мире. Если это звучит как вы, я приглашаю вас ознакомиться с нашими текущими вакансиями на https://www.algolia.com/careers/.