Шон Маллані, головний технічний директор Algolia – серія інтерв’ю

Шон Маллані є головним технічним директором компанії Algolia, наскрізну платформу пошуку та виявлення на основі ШІ.

Шон — колишній керівник Stripe і Google, який має досвід масштабування інженерних організацій, розробку інструментів пошуку та виявлення на основі штучного інтелекту, а також розробку рішень на основі API у всьому світі. У Algolia він контролює технологію, що стоїть за другою за величиною пошуковою системою після Google, яка використовується для понад 1.5 трильйона пошукових запитів щороку. Нещодавно він очолив компанію, яка запустила AlgoliaNeuralSearch – найшвидший у світі, гіпермасштабований і економічно ефективний API векторного пошуку та пошуку за ключовими словами.

Що вас спочатку привабило в інформатиці?

Коли мені було 10 років, батьки купили в дім наш перший комп’ютер. Найперше, що я хотів зробити, це зрозуміти, як написати текстову пригодницьку гру, яку я скопіював із книги. Кілька років потому я почав вивчати C++, але проектування та створення комп’ютерних ігор залишалося справді великою моєю пристрастю, коли я був підлітком, що тільки почав вивчати інформатику.

Ви пропрацювали в Google понад 7 років, де допомагали створювати та керувати командами, які працюють над стратегією, операціями, великими даними та машинним навчанням. Який був ваш улюблений проект і чого ви навчилися з цього досвіду?

Ми з’ясували, як використати всі наявні у нас великі дані про те, як рекламодавці використовували наші продукти, щоб допомогти відділам продажів. Ми написали спеціальні правила (пізніше складніші нейронні мережі), щоб передбачити, до яких клієнтів ми маємо звертатися з якими продуктами в який час, щоб максимізувати ймовірність того, що час продавця призведе до збільшення доходу. Маючи понад 1 мільйон рекламодавців у Google, цей інструмент значно допоміг командам продажів знайти голки в стогах сіна.

У нещодавньому підсумку DevBit ви описали мету Algolia як надання користувачам можливості індексувати світ і запускати вміст. Чи могли б ви уточнити, що означає це твердження?

Зрештою, ми хочемо допомогти нашим клієнтам отримати користь від своїх даних. Інтернет спричинив такий величезний вибух вмісту та продуктів електронної комерції, і, хоча цей розвиток, безумовно, є важливою віхою, величезна кількість інформації, доступної зараз, означає, що також важче, ніж будь-коли, і стає все важче, щоб знайти те, що ви насправді шукаєте як користувач. Однак, коли пошук і відкриття базується на штучному інтелекті, можна інтелектуально отримати доступ до зростаючого списку вмісту та запустити його, щоб справді допомогти користувачам, а не просто перевантажити їх.

У вересні 2022 року Algolia придбала Search.io та його власний флагманський продукт NeuralSearch™. Чи можете ви обговорити, що це за технологія пошуку конкретно?

У двох словах, Algolia NeuralSearch об’єднує підбір ключових слів із векторною обробкою природної мови на базі LLM у єдиному API – першому в галузі. Рішення включає нашу власну першу в своєму роді техніку нейронного хешування, яка робить використання векторів масштабованим і на 90% економічнішим у використанні – проблема, з якою стикаються інші компанії зі штучного інтелекту, зокрема ChatGPT. Що справді захоплююче в цьому революційному продукті, так це те, що він робить справжній пошук ШІ масштабованим для організацій корпоративного рівня.

Нова технологія також дозволяє клієнтам, таким як роздрібні торговці, розуміти та надавати вміст, який відповідає запитам, які зазвичай надто розмовні, щоб надавати точні чи будь-які результати (вважаються довгохвостими). Вони становлять 55% поточних пошукових запитів на сайті. Як єдине наскрізне пошукове рішення зі штучним інтелектом, яке застосовує штучний інтелект для розуміння, пошуку та ранжування запитів, NeuralSearch справді розуміє ці запити та перетворює втрачені можливості на дохід.

Які інші методології машинного навчання використовуються, окрім Neuralsearch™?

Ми включили ШІ в три основні функції: розуміння запитів, пошук запитів і ранжування результатів. Ми в Algolia називаємо це пошуковим сендвічем AI:

• Розуміння запиту: Розширене розуміння природної мови (NLU) Algolia та векторний пошук, керований ШІ, забезпечують розуміння виразів природної мови у вільній формі та категоризацію запитів за допомогою ШІ, яка готує та структурує запит для аналізу. Крім того, адаптивне навчання на основі відгуків користувачів покращує розуміння наміру.
• Отримання: Потім витягуються найбільш релевантні результати та ранжуються від найбільш до найменш релевантних. Процес пошуку об’єднує результати нейронного хешування паралельно з ключовими словами, використовуючи той самий індекс для легкого пошуку та ранжування. Цей підхід вирішує проблему «нульових результатів» і значно покращує позиції кліків і показники кліків. Жодна інша пошукова платформа в просторі пошуку та відкриття не пропонує такої потужної можливості.
• Рейтинг: Зрештою, найкращі результати висуваються на перше місце завдяки переранжуванню Algolia на основі штучного інтелекту, яке враховує багато сигналів, пов’язаних із пошуковим запитом (зокрема, точний показник відповідності ключових слів, профіль контекстної персоналізації, спостережувану популярність елементів). , оцінка семантичної відповідності тощо) і вчиться досягати максимальної релевантності.

Крім того, у міру того, як індекс змінюється, додаються нові продукти, завантажується новий вміст або коли терміни набувають нового значення, продукт Algolia NeuralSearch на базі штучного інтелекту навчатиметься та налаштовуватиметься автоматично. Для цього не потрібна додаткова кількість персоналу чи ручні операції. Залежно від запиту чи пошукової фрази він автоматично зіставлятиме ключові слова чи поняття — можливо, поєднання обох — залежно від запиту чи пошукової фрази. Це справді переводить пошук на автопілот.

Algolia нещодавно збільшила свій безкоштовний план з 10000 1 записів і підняла його до XNUMX мільйона записів. Яке мислення стояло за цим і як відреагував ринок?

Ми спеціально вирішили розвинути ціни та пакети Algolia, щоб вони були ще зручнішими для розробників, представивши два нових плани, орієнтовані на розробників: безкоштовний план «складання» та план «Розвиток», який пропонує легку масштабованість за доступними цінами. Новий план збірки збільшує кількість безкоштовних записів, які розробник може зберігати в Algolia, з 10,000 1 до тепер 100 мільйона записів. Це означає 50-кратне збільшення кількості безкоштовних записів, які розробники тепер можуть індексувати в Algolia. Крім того, Algolia знизила вартість пошукових запитів у своєму плані Grow на 60% і записів на XNUMX%.

Ідея нашого оновленого тарифного плану «Build» полягає в тому, щоб надати розробникам безкоштовний доступ до повного набору можливостей платформи пошуку та виявлення на основі штучного інтелекту. План «Розростання», коли розробник готовий масштабувати свою програму, дає розробникам більш зручну для розробників ціноутворення на основі використання для робочих налаштувань.

Важливим зауваженням є те, що будь-який дизайнер, творець або розробник — незалежно від того, чи є він випадковим інженером-програмістом, — може швидко та легко отримати доступ до всіх інструментів, документації, прикладів коду, навчального контенту та можливостей крос-платформної інтеграції. розпочати керування своїми даними, створення інтерфейсу пошуку, налаштування аналітики тощо – і все це безкоштовно. Крім того, вони матимуть миттєвий доступ до зростаючої спільноти розробників, що налічує понад 5 мільйонів розробників.

Чи можете ви обговорити запропоновані інструменти персоналізації пошуку?

Algolia пропонує компаніям кілька інструментів персоналізації пошуку для використання даних для кращого покращення рекомендацій, включаючи різні види рекомендацій і унікальні способи використання даних для фактичного створення цих рекомендацій.

Кілька прикладів включають:

• Тенденції: Запропонуйте інші товари, які користуються популярністю та пов’язані з пошуковими запитами, які виконував ваш клієнт.
• На основі рейтингів: Люди хочуть купувати товари з найкращими оцінками.
• Персоналізовані: На основі того, що ви купували минулого разу, історії веб-перегляду, місцезнаходження чи інших факторів, ми рекомендуємо ці інші продукти.

Ці методи, керовані даними, можуть допомогти швидко покращити та покращити результати на основі того, як клієнти взаємодіють із продуктами, тож ви, швидше за все, порекомендуєте продукти, які справді найкраще конвертуються.

Ви описали Algolia як найбільш масштабовану гібридну пошукову систему AI у світі. Як Algolia була розроблена для настільки ефективного масштабування?

Все повертається до нейронного хешування. Це передове рішення стискає та значно прискорює кожен запит. Обчислити хешовану подібність набагато швидше, ніж стандартну векторну подібність, і результати повертаються за мілісекунди.

Нейронне хешування є проривом у впровадженні пошуку ШІ для величезної кількості випадків використання. У поєднанні з обробкою запитів і зміною рейтингу за допомогою штучного інтелекту він обіцяє розкрити всю потужність пошуку на місці штучного інтелекту. До власного прориву Algolia векторний пошук був надто дорогим з обчислювальної точки зору, щоб працювати у виробництві.

Частина сендвіча, на якій я хотів би зосередитися найбільше, — це м’ясо: пошук. Причина, чому ми кажемо, що ми єдина справжня наскрізна пошукова система штучного інтелекту, полягає в тому, що за лаштунками пошукової індустрії точиться постійна боротьба за додавання штучного інтелекту до пошуку. Отримання інформації є неймовірно складним процесом, і ще складніше освоїти високопродуктивний, економічно ефективний пошук ШІ в масштабі. Ми освоїли це за допомогою нашої революційної техніки нейронного хешування. Роблячи це, ми, по суті, перемогли в пошуках Святого Грааля ШІ-пошуку.

Чи є ще щось, чим ви хотіли б поділитися про Algolia?

Зараз цікаво працювати в Algolia, і ми завжди прагнемо почати розмову з талановитими, захопленими людьми, які хочуть приєднатися до нас на шляху до створення найкращої у світі технології пошуку. Якщо це схоже на вас, я б запросив вас перевірити наші поточні відкриття за адресою https://www.algolia.com/careers/.