Шон Маллейні, начальник відділу технологій Algolia – Інтерв’ю

Шон Маллейні є начальником відділу технологій у Algolia, платформі для пошуку та відкриття, що працює на основі штучного інтелекту.

Шон раніше працював у Stripe та Google (GOOGL ), має досвід у розширенні організацій інженерії, розробці інструментів пошуку та відкриття на основі штучного інтелекту, а також у глобальному зростанні рішень, орієнтованих на API. У компанії Algolia він керує технологіями другого за величиною пошукового двигуна після Google, який використовується для понад 1,5 трильйонів пошукових запитів щороку. Недавно він керував запуском AlgoliaNeuralSearch – найшвидшої, гіпермасштабованої та економічно ефективної векторної та ключової пошукової API.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Коли мені було 10 років, мої батьки купили наш перший комп’ютер. Перша річ, яку я хотів зробити, – це вивчити, як написати текстову гру-пригоду, яку я копіював з книги. Через кілька років я почав вивчати C++, але проектування та будівництво комп’ютерних ігор залишилися великою пристрастю моєї юності, коли я тільки починав вивчати комп’ютерні науки.

Ви провели понад 7 років у Google, де ви допомагали будувати та керувати командами, що працювали над стратегією, операціями, великими даними та машинним навчанням. Який був ваш улюблений проєкт, і що ви вивчили з цього досвіду?

Ми вирішили, як використовувати великі дані про те, як рекламодавці використовували наші продукти, щоб допомогти командам продажів. Ми розробили спеціальні правила (пізніше – більш складні нейронні мережі), щоб передбачити, яких клієнтів нам слід звернутися з якими продуктами в який час, щоб максимізувати ймовірність того, що час продажника приведе до зростання доходів. З понад 1 мільйоном рекламодавців на Google цей інструмент значно допоміг командам продажів знайти потрібні рішення.

У недавньому підсумку DevBit ви описали мету Algolia як можливість дати користувачам змогу індексувати світ та поставити контент у рух. Чи можете ви роз’яснити, що це означає?

У кінцевому підсумку ми хочемо допомогти нашим клієнтам отримати вигоду від їхніх даних. Інтернет створив такий величезний вибух контенту та електронної комерції, і хоча це певний значний етап, величезна кількість інформації, яка зараз доступна, означає, що тепер важче знайти те, що ви шукаєте як користувач. Однак коли пошук та відкриття підтримуються штучним інтелектом, зростаючий перелік контенту може бути інтелектуально доступним та поставлений у рух, щоб真正 допомогти користувачам, а не просто їх переповнити.

У вересні 2022 року Search.io та його власний флагманський продукт NeuralSearch™ були придбані Algolia. Чи можете ви обговорити, що таке ця пошукова технологія?

У двох словах, Algolia NeuralSearch інтегрує підтримку ключових слів з векторною обробкою природної мови, підтримуваною великими мовними моделями, у одному API – це перший випадок у галузі. Рішення включає нашу власну та першою в своєму роді техніку нейронного хешування, яка робить використання векторів масштабованим та на 90% більш економічним для використання – це проблема, з якою стикаються інші компанії штучного інтелекту, включаючи ChatGPT. Що справді цікаво у цьому проривному продукті, так це те, що воно робить справжній пошук штучного інтелекту масштабованим для організацій рівня підприємства.

Нова технологія також дозволяє клієнтам, таким як рітейлери, зрозуміти та доставити контент, який відповідає запитам, які зазвичай є надто розмовними, щоб доставити точні або будь-які результати (розглядаються як довгі хвости). Ці складають 55% поточних пошукових запитів на сайті. Як єдина повна пошукова рішення штучного інтелекту, яке застосовує штучний інтелект до розуміння запиту, отримання та ранжування результатів, NeuralSearch справжньо розуміє ці запити та перетворює втрачені можливості на доходи.

Поза межами Neuralsearch™, які інші методи машинного навчання використовуються?

Ми включили штучний інтелект у три основні функції – розуміння запиту, отримання результатів та ранжування результатів. У Algolia ми називаємо це “пошуковим сендвічем штучного інтелекту”:

• Розуміння запиту: Розуміння природної мови Algolia та пошук векторів на основі штучного інтелекту забезпечують вільне природне мовлення та категоризацію запитів на основі штучного інтелекту, які готують та структурують запит для аналізу. Крім того, адаптивне навчання на основі зворотного зв’язку користувачів дофінує розуміння намірів.
• Отримання результатів: Потім найбільш відповідні результати отримуються та ранжуються від найбільш до менш відповідних. Процес отримання результатів поєднує результати нейронного хешування паралельно з ключовими словами за допомогою одного індексу для легкого отримання та ранжування. Цей підхід вирішує проблему “порожніх результатів” та значно покращує позиції кліків та показники клікування. Жодна інша пошукова платформа у сфері пошуку та відкриття не пропонує такої потужної можливості.
• Ранжування: Нарешті, найкращі результати піднімаються до верху завдяки ранжуванню на основі штучного інтелекту Algolia, яке враховує багато сигналів, пов’язаних із пошуковим запитом, (включаючи точний бал відповідності ключових слів, контекстний профіль персоналізації, спостережувану популярність елементів, семантичний бал відповідності тощо) та вчиться досягати максимальної відповідності.

Крім того, оскільки індекс змінюється, додаються нові продукти, завантажується новий контент або терміни набувають нового значення, продукт Algolia NeuralSearch на основі штучного інтелекту буде навчатися та коригуватися автоматично. Це не потребує додаткового штату чи ручних операцій. Це автоматично збігатиме ключові слова чи концепції – можливо, поєднання обох – залежно від запиту чи пошукової фрази. Це справді ставить пошук на автопілот.

Algolia нещодавно збільшив свій безкоштовний план з 10 000 записів до 1 мільйона записів. Яка була думка за цим, і як ринок відреагував?

Ми спеціально змінили цінову політику та пакети Algolia, щоб зробити їх ще більш дружніми до розробників завдяки введенню двох нових планів, орієнтованих на розробників: безкоштовного плану “Будувати” та плану “Розвивати”, який пропонує легке масштабування за доступними цінами. Новий план “Будувати” збільшує кількість безкоштовних записів, які розробник може зберігати в Algolia, з 10 000 до 1 мільйона записів. Це представляє собою збільшення на 100 разів кількості безкоштовних записів, які розробники тепер можуть індексувати в Algolia. Крім того, Algolia скоротила вартість пошукових запитів у плані “Розвивати” на 50% та записів на 60%.

Ідея нашого оновленого плану “Будувати” полягає в тому, щоб надати розробникам безкоштовний доступ до повного набору можливостей платформи пошуку та відкриття на основі штучного інтелекту. План “Розвивати”, коли розробник готовий масштабувати своє застосування, надає розробникам більш дружній до використання цінову політику для живих виробничих середовищ.

Одна важлива річ тут полягає в тому, що будь-який дизайнер, творець чи будівельник – незалежно від того, чи є він випадковим чи повністю присвяченим інженером-програмістом – може швидко та легко отримати доступ до всіх інструментів, документації, зразків коду, освітніх матеріалів та можливостей інтеграції для початку роботи з управлінням даними, побудови пошукового інтерфейсу, конфігурації аналітики та іншого – все це безкоштовно. Крім того, вони матимуть негайний доступ до зростаючої спільноти розробників, яка нараховує понад 5 мільйонів будівельників.

Чи можете ви обговорити інструменти персоналізації пошуку, які пропонуються?

Algolia пропонує кілька інструментів персоналізації пошуку для того, щоб компанії могли використовувати дані для поліпшення рекомендацій, включаючи різні види рекомендацій та унікальні способи використання даних для фактичного приводу цих рекомендацій.

Наприклад:

• Трендові: Пропонуйте інші товари, які є популярними та пов’язані з пошуковими запитами вашого клієнта.
• Рейтингові: Люди хочуть купувати товари з найкращими рейтингами.
• Персоналізовані: На основі того, що ви купували востаннє, історії перегляду, місця розташування чи інших факторів, ми рекомендуємо інші товари.

Ці методи, засновані на даних, можуть швидко покращити результати на основі того, як клієнти взаємодіють з продуктами, тому ви більш імовірно порекоменуєте товари, які фактично конвертують найкраще.

Ви описали Algolia як найбільш масштабовану гібридну пошукову систему штучного інтелекту у світі. Як Algolia була спроєктована для такого ефективного масштабування?

Все повертається до нейронного хешування. Це інноваційне рішення стискає та значно прискорює кожен пошуковий запит. Воно значно швидше обчислює хеш-podobність, ніж стандартну подібність векторів, та повертає результати за мілісекунди.

Нейронне хешування представляє прорив для введення пошукового відновлення штучного інтелекту у виробництво для величезної кількості випадків використання. У поєднанні з обробкою запитів на основі штучного інтелекту та перерахуванням воно обіцяє розблокувати повну силу штучного інтелекту для пошуку на сайті. До прориву Algolia векторний пошук був надто обчислювально дорогим для виконання у виробництві.

Частина “сендвіча”, на яку я хотів би звернути увагу найбільше, – це “м’ясо”: отримання результатів. Причина, по якій ми кажемо, що ми єдина справжня повна пошукова система штучного інтелекту, полягає в тому, що була постійна боротьба за сценою у сфері пошуку, щоб додати штучний інтелект до отримання результатів. Відновлення інформації – це надзвичайно складний процес, і ще складніше освоїти високоефективне та економічне відновлення штучного інтелекту у масштабі. Ми освоїли це нашим проривним методом нейронного хешування. Роблячи це, ми фактично виграли пошук “Священного Грааля” штучного інтелекту.

Чи є щось інше, що ви хотіли б поділитися про Algolia?

Це цікавий час для роботи в Algolia, і ми завжди хочемо розпочинати розмови з талановитими, пристрасними людьми, які хочуть приєднатися до нас у нашому шляху побудови найкращої технології пошуку у світі. Якщо це звучить як ви, я запрошую вас ознайомитися з нашими поточними вакансіями на https://www.algolia.com/careers/.