Трей Дойг, технический директор и сооснователь Pathlight – Интервью

Трей Дойг является техническим директором и сооснователем Pathlight. Трей имеет более чем десятилетний опыт работы в технологической отрасли, работая инженером в IBM, Creative Commons и Yelp. Трей был ведущим инженером по бронированию в Yelp и отвечал за интеграцию функциональности SeatMe на Yelp.com. Трей также возглавлял разработку веб-приложения SeatMe, когда компания расширила свою деятельность для поддержки роста клиентов в 10 раз.

Pathlight помогает командам, работающим с клиентами, повысить производительность и эффективность с помощью реальных данных о разговорах с клиентами и производительности команд. Платформа Pathlight анализирует миллионы данных для того, чтобы каждому уровню организации было понятно, что происходит на передовой бизнеса, и определить лучшие действия для достижения повторяющихся успехов.

Что изначально привлекло вас к информатике?

Я занимаюсь компьютерами с тех пор, как себя помню. Когда мне было 12 лет, я начал программировать и самостоятельно научился Scheme и Lisp, а затем начал создавать все sorts вещей для себя и своих друзей, в основном в веб-разработке.

Много позже, когда я подавал заявление в колледж, я на самом деле уже устал от компьютеров и решил поступить в дизайнерскую школу. После того, как меня отклонили и поставили в список ожидания в нескольких из этих школ, я решил поступить в программу информатики и никогда не оглядывался назад. То, что меня не приняли в дизайнерскую школу, оказалось одним из самых полезных отказов в моей жизни!

Вы работали в IBM, Yelp и других компаниях. В Yelp, в частности, какие были самые интересные проекты, над которыми вы работали, и какие были ваши основные выводы из этого опыта?

Я присоединился к Yelp после приобретения SeatMe, нашей предыдущей компании, и с первого дня мне было поручено интегрировать нашу систему бронирования в главную страницу Yelp.com.

Через несколько месяцев мы смогли успешно внедрить эту систему на масштабе Yelp, благодаря прочной инфраструктуре, которую Yelp построил для Elasticsearch. Это также было благодаря отличному техническому руководству, которое позволило нам работать свободно и делать то, что мы делали лучше всего: быстро выпускать новые функции.

Как технический директор и сооснователь компании, занимающейся разговорным интеллектом, Pathlight, вы помогаете строить инфраструктуру LLM Ops с нуля. Можете ли вы рассказать о различных элементах, которые необходимо собрать при развертывании инфраструктуры LLM Ops, например, как вы управляете слоем управления запросами, слоем потока памяти, слоем управления моделями и т. д.

В конце 2022 года мы посвятили себя серьезному делу разработки и экспериментов с большими языковыми моделями (LLM), что быстро привело к успешному запуску нашей родной для GenAI продукта Conversation Intelligence всего через четыре месяца. Этот инновационный продукт объединяет взаимодействия с клиентами из различных каналов – будь то текст, аудио или видео – в единую, комплексную платформу, позволяющую глубоко анализировать и понимать настроения клиентов.

При навигации по этому сложному процессу мы тщательно транскрибируем, очищаем и оптимизируем данные для идеального соответствия обработке LLM. Критическим аспектом этого рабочего процесса является генерация вложений из транскриптов, что является фундаментальным шагом для эффективности наших тегов RAG, моделей классификации и сложных суммирований.

Что действительно отличает это начинание, так это новизна и неисследованность этой области. Мы находимся в уникальном положении, когда одновременно создаем и открываем лучшие практики вместе с более широким сообществом. Примером этого исследования является инженерия запросов – мониторинг, отладка и обеспечение контроля качества запросов, генерируемых нашим приложением. Удивительно, что мы наблюдаем всплеск стартапов, которые теперь предоставляют коммерческие инструменты, адаптированные для этих более высокоуровневых потребностей, включая функции сотрудничества, расширенную журналирование и возможности индексирования.

Однако для нас основной задачей остается укрепление фундаментальных слоев нашей инфраструктуры LLM Ops. От тонкой настройки оркестровки, размещения моделей до создания надежных API вывода, эти низкоуровневые компоненты имеют решающее значение для нашей миссии. Канализируя наши ресурсы и инженерные возможности сюда, мы гарантируем, что наш продукт не только быстро выходит на рынок, но и стоит на прочном, надежном фундаменте.

По мере того, как ландшафт эволюционирует и появляются более коммерческие инструменты для решения более высокоуровневых сложностей, наша стратегия позволяет нам без проблем интегрировать эти решения, еще больше улучшая наш продукт и ускоряя наш путь в переопределении разговорного интеллекта.

Основой Pathlight CI является много-LLM-бэкэнд, какие проблемы возникают при использовании более чем одной LLM и решении их различных ограничений скорости?

LLM и GenAI развиваются с бешеной скоростью, что делает абсолютно критическим, чтобы любое бизнес-приложение, сильно полагающееся на эти технологии, могло идти в ногу с последними и лучшими обученными моделями, будь то проприетарные сервисы или развертывание моделей FOSS в вашей собственной инфраструктуре. Особенно когда требования вашей службы увеличиваются, а ограничения скорости препятствуют необходимому пропускному каналу.

Галлюцинации являются общей проблемой для любой компании, строящей и развертывающей LLM, как Pathlight решает эту проблему?

Галлюцинации, в том смысле, в котором, я думаю, люди обычно имеют в виду, являются огромной проблемой при работе с LLM в серьезном режиме. Существует определенный уровень неопределенности/непредсказуемости, который возникает в ожидаемом результате даже идентичного запроса. Есть много способов подойти к этой проблеме, некоторые из которых включают тонкую настройку (где максимально используется最高 качество моделей, доступных для генерации данных для тонкой настройки).

Pathlight предлагает различные решения, которые удовлетворяют различным рыночным сегментам, таким как путешествия и гостеприимство, финансы, игры, розничная торговля и электронная коммерция, контактные центры и т. д. Можете ли вы рассказать, как генеративный ИИ, используемый за кулисами, различается для каждого из этих рынков?

Способность сразу решать так широкий спектр сегментов является одной из самых уникально ценных сторон Генеративного ИИ. Иметь доступ к моделям, обученным на всём интернете, с таким огромным диапазоном знаний в различных областях, является уникальным качеством прорыва, который мы переживаем сейчас. Это то, как ИИ докажет себя со временем, в его повсеместности, и он, безусловно, готов сделать это скоро, учитывая его текущий путь.

Можете ли вы рассказать, как Pathlight использует машинное обучение для автоматизации анализа данных и открытия скрытых прозрений?

Да, конечно! У нас есть длинная история создания и выпуска нескольких проектов машинного обучения на протяжении многих лет. Генеративная модель, стоящая за нашей последней функцией Insight Streams, является отличным примером того, как мы использовали машинное обучение для создания продукта, напрямую предназначенного для открытия того, чего вы не знаете о ваших клиентах. Эта технология использует концепцию ИИ-агента, который может производить постоянно развивающийся набор прозрений, что делает невозможным анализ и глубину ручного анализа. Со временем эти потоки могут естественно учиться на себе и

Анализ данных или данные ученые, бизнес-аналитики, продажи или операции с клиентами, или любые другие люди, ответственные за анализ данных поддержки клиентов, полностью завалены важными запросами все время. Глубокий вид анализа, который обычно требует слоев и слоев сложных систем и данных.

Каково ваше личное мнение о типе прорывов, которые мы должны ожидать в области LLM и ИИ в целом?

Мое личное мнение невероятно оптимистично в отношении области обучения и настройки LLM, которая будет продолжать развиваться очень быстро, а также делать успехи в более широких областях, и многомодальность станет нормой. Я считаю, что FOSS уже “так же хорош, как” GPT4 во многих отношениях, но стоимость размещения этих моделей будет продолжать быть проблемой для большинства компаний.