Трей Дойг, технічний директор та співзасновник Pathlight – Серія інтерв’ю

Трей Дойг – технічний директор та співзасновник Pathlight. Трей має понад десять років досвіду роботи в галузі технологій, працював інженером в IBM, Creative Commons та Yelp. Трей був головним інженером для Yelp Reservations і був відповідальним за інтеграцію функціональності SeatMe на Yelp.com. Трей також очолював розробку веб-додатка SeatMe, коли компанія розширила свою діяльність для підтримки зростання клієнтів у 10 разів.

Pathlight допомагає командам, які працюють з клієнтами, підвищувати свою ефективність і продуктивність за допомогою реального аналізу розмов з клієнтами і діяльності команди. Платформа Pathlight самостійно аналізує мільйони даних, щоб надати кожному рівню організації можливість зрозуміти, що відбувається на передовій лінії бізнесу, і визначити найкращі дії для створення повторючого успіху.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Я займаюся комп’ютерами з тих пір, як тільки можу пам’ятати. Коли мені було 12 років, я почав вивчати програмування і самостійно вивчив Scheme і Lisp, а потім почав створювати різні речі для себе і своїх друзів, в основному в галузі веб-розробки.

Много пізніше, коли я подавав заяву до коледжу, я вже засумнівався у комп’ютерах і вирішив вступити до школи дизайну. Але після того, як мене відхилили і поставили у список очікування в деяких школах, я вирішив вступити до програми комп’ютерних наук і ніколи не шкодував про це. Відмова у прийомі до школи дизайну виявилася однією з найбільш корисних відмов у моєму житті!

Ви працювали в компанії IBM, Yelp та інших компаніях. Конкретно в Yelp, які були деякими з найбільш цікавих проектів, над якими ви працювали, і які були ваші основні висновки з цього досвіду?

Я приєднався до Yelp через придбання SeatMe, нашої попередньої компанії, і з першого дня мені було доручено інтегрувати нашу систему бронювання у головну сторінку Yelp.com.

Після декількох місяців ми змогли успішно запустити цю систему на масштабі Yelp, завдяки внутрішній інфраструктурі Yelp, побудованій для Elasticsearch. Це також було завдяки великому інженерному керівництву, яке дозволило нам рухатися вільно і робити те, що ми робили найкраще: швидко випускати продукти.

Як технічний директор та співзасновник компанії Pathlight, яка займається розмовною інтелектом, ви допомагаєте будувати інфраструктуру LLM Ops з нуля. Чи можете ви розповісти про деякі різні елементи, які потрібно зібрати при розгортанні інфраструктури LLM Ops, наприклад, як ви керуєте шаром управління промптами, шаром потоку пам’яті, шаром управління моделями тощо?

У кінці 2022 року ми присвятили себе серйозному завдання розвитку та експериментів з великими мовними моделями (LLM), що швидко привело до успішного запуску нашого продукту Conversation Intelligence, який працює з генерацією штучного інтелекту, всього за чотири місяці. Цей інноваційний продукт об’єднує взаємодію клієнтів з різних каналів – текст, аудіо чи відео – у єдину платформу, що дозволяє досягти безпрецедентної глибини аналізу та розуміння настроїв клієнтів.

Під час проходження цього складного процесу ми ретельно транскрибуємо, очищуємо та оптимізуємо дані, щоб вони були ідеально підходящими для обробки LLM. Критичним аспектом цього робочого процесу є генерація ембеддінгів з транскрипцій, крок, фундаментальний для ефективності наших моделей тегування, класифікації та складних підсумків на основі RAG.

Що справді відрізняє це підприємство, це новизна та незвіданість галузі. Ми знаходимося у унікальній позиції, одночасно просуваючи та відкриваючи найкращі практики. Видатним прикладом цього дослідження є інженерія промптів – моніторинг, налагодження та забезпечення контролю якості промптів, генерованих нашим додатком. Ми свідчимо про появу стартапів, які зараз пропонують комерційні інструменти, призначені для цих вищих потреб, включаючи функції співробітництва, просунуті журнали та індексацію.

Однак для нас акцент залишається незмінним на зміцненні фундаментальних шарів нашої інфраструктури LLM Ops. Від настройки оркестрації, розміщення моделей до створення надійних інференційних API, ці нижчі компоненти критично важливі для нашої місії. Каналізуючи свої ресурси та інженерні можливості сюди, ми забезпечуємо, що наш продукт не тільки швидко виходить на ринок, але й стоїть на твердому, надійному фундаменті.

Як ландшафт еволюціонує і з’являється більше комерційних інструментів для вирішення вищого рівня складностей, наша стратегія позиціонує нас для безшовної інтеграції цих рішень, подальшого вдосконалення нашого продукту та прискорення нашої подорожі у сфері розмовної інтелектуальності.

Основою Pathlight CI є багатомодельний бекенд, які є деякими з викликів використання більш ніж однієї LLM та боротьби з їхніми різними лімітами швидкості?

LLM та генерація штучного інтелекту рухаються з неймовірною швидкістю, що робить абсолютно критичним для будь-якого бізнес-додатка, який сильно залежить від цих технологій, бути здатним триматися кроку з останніми та найкращими навченими моделями, незалежно від того, чи це пропрієтарні керовані послуги, чи розгортання моделей FOSS у вашій інфраструктурі. Особливо коли вимоги вашої служби зростають, а ліміти швидкості перешкоджають необхідному пропуску.

Галюцинації є загальною проблемою для будь-якої компанії, яка будує та розгортає LLM. Як Pathlight вирішує цю проблему?

Галюцинації, у сенсі того, про що, я думаю, люди загалом говорять, є величезною проблемою при роботі з LLM у серйозному режимі. Є певний рівень невизначеності/непередбачуваності, який відбувається у тому, що очікується від ідентичного промпту. Є багато способів підходу до цієї проблеми, деякі з яких включають доопрацювання (де максимізація використання найвищих якостей моделей, доступних для генерації даних доопрацювання).

Pathlight пропонує різні рішення, які відповідають різним ринковим сегментам, таким як подорожі та гостинність, фінанси, ігри, роздрібна торгівля та електронна комерція, контактні центри тощо. Чи можете ви розповісти, як генерація штучного інтелекту, яка використовується, відрізняється за лашками для кожного з цих ринків?

Негайна можливість звернутися до такого широкого спектра сегментів є однією з найбільш унікально цінних сторін генерації штучного інтелекту. Мати можливість доступу до моделей, навчених на всьому інтернеті, з таким широким спектром знань у всіх видах доменів, є унікальною якістю цього прориву, який ми зараз переживаємо. Це те, як штучний інтелект доведе себе з часом, у його повсюдності, і він, безумовно, готовий зробити це скоро, враховуючи свій поточний шлях.

Чи можете ви розповісти, як Pathlight використовує машинне навчання для автоматизації аналізу даних та відкриття прихованих інсайтів?

Так, безумовно! У нас є глибока історія створення та випуску багатьох проектів машинного навчання протягом багатьох років. Генеративна модель за нашою останньою функцією Insight Streams є чудовим прикладом того, як ми використали машинне навчання для створення продукту, який безпосередньо спрямований на відкриття того, чого ви не знаєте про своїх клієнтів. Ця технологія використовує концепцію штучного інтелекту, який здатний генерувати постійно еволюційний набір інсайтів, який робить як свіжість, так і глибину ручного аналізу неможливими. З часом ці потоки можуть природно навчатися на самих собі та

Аналіз даних або дані вчені, бізнес-аналітики, продажі чи операції клієнтів, або все, що компанія призначає для аналізу даних клієнтів, повністю завалені важливими запитами весь час. Глибокий аналіз, той, який зазвичай вимагає багатьох шарів складних систем і даних.

Яке ваше особисте бачення щодо типу проривів, яких ми повинні очікувати у хвилі LLM та штучного інтелекту загалом?

Моє особисте бачення надзвичайно оптимістичне щодо галузі навчання та налаштування LLM, щоб продовжувати швидко просуватися, а також досягати успіхів у ширших доменах, і багатомодальність стає нормою. Я вважаю, що FOSS вже “так же хороша, як” GPT4 у багатьох аспектах, але вартість розміщення цих моделей продовжить бути проблемою для більшості компаній.