Интервью
Трей Дойг, технический директор и сооснователь Pathlight – Серия интервью
Трей Дойг является сооснователем и техническим директором Pathlight. Трей имеет более чем десятилетний опыт работы в технологической отрасли, работая инженером в IBM, Creative Commons и Yelp. Трей был ведущим инженером по бронированиям Yelp и отвечал за интеграцию функциональности SeatMe на Yelp.com. Трей также возглавлял разработку веб-приложения SeatMe, когда компания расширялась для поддержки роста клиентов в 10 раз.
Pathlight помогает командам, работающим с клиентами, повысить производительность и эффективность с помощью информации в режиме реального времени о разговорах с клиентами и производительности команд. Платформа Pathlight автономно анализирует миллионы точек данных, чтобы дать возможность каждому уровню организации понять, что происходит на передовой своего бизнеса, и определить лучшие действия для создания повторяющихся успехов.
Что изначально привлекло вас к информатике?
Я экспериментировал с компьютерами столько, сколько себя помню. Когда мне исполнилось 12 лет, я начал программировать и сам научился Scheme и Lisp, и вскоре после этого начал создавать все sorts вещей для себя и своих друзей, в основном в веб-разработке.
Много позже, когда я подавал заявление в колледж, я на самом деле стал скучать по компьютерам и поставил цель поступить в дизайн-школу. После того, как меня отвергли и поставили в список ожидания в нескольких из этих школ, я решил поступить в программу информатики и никогда не оглядывался назад. Тот факт, что меня не приняли в дизайн-школу, оказался одним из самых полезных отказов в моей жизни!
Вы занимали должности в IBM, Yelp и других компаниях. В Yelp, в частности, над какими проектами вы работали и какие были ваши ключевые выводы из этого опыта?
Я присоединился к Yelp через приобретение SeatMe, нашей предыдущей компании, и с первого дня мне было поручено интегрировать нашу систему поиска бронирований на главную страницу Yelp.com.
Через несколько коротких месяцев мы смогли успешно обеспечить работу этого поискового движка в масштабе Yelp, в основном благодаря прочной инфраструктуре, которую Yelp построила внутри для Elasticsearch. Это также было связано с отличным руководством инженеров, которое позволило нам работать свободно и делать то, что мы делали лучше всего: быстро выпускать новые функции.
Как технический директор и сооснователь компании по разговорному интеллекту Pathlight, вы помогаете строить инфраструктуру LLM Ops с нуля. Можете ли вы обсудить некоторые из различных элементов, которые необходимо собрать при развертывании инфраструктуры LLM Ops, например, как вы управляете слоем управления подсказками, слоем потока памяти, слоем управления моделью и т. д.
В конце 2022 года мы посвятили себя серьезному делу разработки и экспериментов с Большими Языковыми Моделями (LLM), что быстро привело к успешному запуску нашего продукта Conversation Intelligence, родного для GenAI, всего через четыре месяца после этого. Этот инновационный продукт объединяет взаимодействия клиентов из различных каналов – будь то текст, аудио или видео – в единую, комплексную платформу, позволяющую добиться беспрецедентной глубины анализа и понимания настроений клиентов.
При навигации по этому сложному процессу мы тщательно транскрибируем, очищаем и оптимизируем данные, чтобы они были идеально подходящими для обработки LLM. Критическим аспектом этого рабочего процесса является генерация вложений из транскриптов, шаг, фундаментальный для эффективности наших тегов на основе RAG, моделей классификации и сложных суммирований.
То, что действительно отличает это предприятие, – это новизна и неисследованность области. Мы находимся в уникальном положении, когда одновременно создаем и открываем лучшие практики вместе с более широким сообществом. Примером этого исследования является инженерия подсказок – мониторинг, отладка и обеспечение контроля качества подсказок, генерируемых нашим приложением. Удивительно, что мы наблюдаем всплеск стартапов, которые теперь предоставляют коммерческие инструменты, адаптированные для этих более высокоуровневых потребностей, включая функции сотрудничества и расширенные возможности журналирования и индексации.
Однако для нас акцент остается неизменным – укрепление основополагающих слоев нашей инфраструктуры LLM Ops. От тонкой настройки оркестровки, размещения моделей до создания прочных API вывода, эти нижние компоненты критически важны для нашей миссии. Канализируя наши ресурсы и инженерные возможности сюда, мы гарантируем, что наш продукт не только выходит на рынок быстро, но и стоит на прочном, надежном фундаменте.
По мере того, как ландшафт эволюционирует и появляются более коммерческие инструменты для решения более высокоуровневых сложностей, наша стратегия ставит нас в позицию, чтобы без проблем интегрировать эти решения, еще больше улучшая наш продукт и ускоряя наш путь в переопределении разговорного интеллекта.
Фундамент Pathlight CI основан на много-LLM-бэкенде, какие есть проблемы при использовании более одного LLM и решении их разных ограничений скорости?
LLM и GenAI развиваются с бешеной скоростью, что делает абсолютно критическим, чтобы любое бизнес-приложение, сильно полагающееся на эти технологии, было способно идти в ногу с последними и лучшими обученными моделями, будь то проприетарные управляемые услуги или развертывание моделей FOSS в своей инфраструктуре. Особенно когда требования вашей службы увеличиваются, а ограничения скорости не позволяют обеспечить необходимый поток.
Галлюцинации – это общая проблема для любой компании, которая строит и развертывает LLM, как Pathlight решает эту проблему?
Галлюцинации, в том смысле, в котором, я думаю, люди обычно имеют в виду, являются огромной проблемой при работе с LLM в серьезном режиме. Существует определенный уровень неопределенности/непредсказуемости, который происходит в том, что ожидается от даже идентичной подсказки. Есть много способов подойти к этой проблеме, некоторые из них включают тонкую настройку (где максимальное использование самых качественных моделей, доступных для цели генерации настраиваемых данных).
Pathlight предлагает различные решения, которые удовлетворяют разным рыночным сегментам, таким как путешествия и гостеприимство, финансы, игры, розничная торговля и электронная коммерция, контактные центры и т. д. Можете ли вы обсудить, как Generative AI, используемый за кулисами, отличается для каждого из этих рынков?
Способность сразу же решать такую широкую гамму сегментов – это одна из самых уникально ценных сторон GenerativeAI. Иметь доступ к моделям, обученным на всём интернете, с таким огромным диапазоном знаний во всех видах областей, – это уникальное качество прорыва, который мы переживаем сейчас. Это то, как AI докажет себя со временем, в своей повсеместности, и он, безусловно, готов к этому, учитывая его текущий путь.
Можете ли вы обсудить, как Pathlight использует машинное обучение для автоматизации анализа данных и открытия скрытых прозрений?
Да, определенно! У нас есть глубокая история создания и выпуска нескольких проектов машинного обучения на протяжении многих лет. Генеративная модель, стоящая за нашей последней функцией Insight Streams, – это отличный пример того, как мы использовали ML для создания продукта,直接 направленного на открытие того, чего вы не знаете о своих клиентах. Эта технология использует концепцию AI-агента, способного производить постоянно развивающийся набор прозрений, который делает и свежесть, и глубину ручного анализа невозможными. Со временем эти потоки могут естественным образом учиться на себе и
Анализ данных или данные ученые, бизнес-аналитики, продажи или клиентские операции или все, что компания назначает ответственным за анализ данных поддержки клиентов, полностью завалены важными запросами все время. Глубокий вид анализа, тот, который обычно требует слоев и слоев сложных систем и данных.
Каково ваше личное мнение о том, какие прорывы мы должны ожидать в области LLM и AI в целом?
Мое личное мнение невероятно оптимистично в отношении области обучения и настройки LLM, чтобы продолжать развиваться очень быстро, а также делать успехи в более широких областях и многомодальном, становящемся нормой. Я считаю, что FOSS уже “так же хорош, как” GPT4 во многих отношениях, но стоимость размещения этих моделей будет продолжать быть проблемой для большинства компаний.
