Даниэль Чолек, руководитель отдела исследований и разработок в InvGate – Интервью

Даниэль – страстный профессионал в области информационных технологий с более чем 15-летним опытом работы в отрасли. Он имеет степень доктора философии в области компьютерных наук и долгую карьеру в технологических исследованиях. Его интересы охватывают несколько областей, такие как искусственный интеллект, программная инженерия и высокопроизводительные вычисления.

Даниэль является руководителем отдела исследований и разработок в InvGate, где он возглавляет инициативы по исследованиям и разработкам. Он работает вместе с командами по разработке продуктов и бизнес-развитию, чтобы проектировать, реализовывать и контролировать стратегию компании в области исследований и разработок. Когда он не занимается исследованиями, он преподает.

InvGate предоставляет организациям инструменты для обеспечения бесперебойного обслуживания во всех отделах, от информационных технологий до сервисных служб.

Когда и как вы впервые стали интересоваться компьютерными науками?

Мой интерес к компьютерным наукам восходит к моему раннему детству. Я всегда был очарован электронными устройствами, часто пытаясь понять, как они работают. Когда я вырос, это любопытство привело меня к программированию. Я все еще помню, как весело было писать свои первые программы. С того момента у меня не было сомнений, что я хочу сделать карьеру в области компьютерных наук.

Вы сейчас возглавляете инициативы по исследованиям и разработкам и реализуете новые генеративные приложения искусственного интеллекта. Можете ли вы рассказать о некоторых из ваших работ?

Конечно. В нашем отделе исследований и разработок мы решаем сложные проблемы, которые могут быть трудными для представления и эффективного решения. Наша работа не ограничивается генеративными приложениями искусственного интеллекта, но recent достижения в этой области создали много возможностей, которые мы хотим использовать.

Одной из наших основных целей в InvGate всегда было оптимизировать удобство использования нашего программного обеспечения. Мы делаем это, отслеживая, как оно используется, выявляя узкие места и тщательно работая над их устранением. Одним из таких узких мест, с которым мы часто сталкиваемся, связано с пониманием и использованием естественного языка. Это была особенно трудная проблема, которую было трудно решить без использования больших языковых моделей (LLM).

Однако с recent появлением доступных LLM мы смогли оптимизировать эти случаи использования. Наши возможности теперь включают предоставление рекомендаций по написанию, автоматическое создание статей базы знаний и суммирование обширных текстов, среди многих других языковых функций.

В InvGate ваша команда применяет стратегию, называемую “агностическим ИИ”. Можете ли вы определить, что это значит и почему это важно?

Агностический ИИ в своей основе заключается в гибкости и адаптивности. По сути, это означает, что мы не привязываемся к одной модели ИИ или поставщику. Вместо этого мы стремимся сохранить свои варианты открытыми, используя лучшее, что предлагает каждый поставщик ИИ, избегая при этом риска быть запертым в одной системе.

Вы можете представить это так: должны ли мы использовать GPT от OpenAI, Gemini от Google или Llama-2 от Meta для наших генеративных функций ИИ? Должны ли мы выбрать модель оплаты по мере использования, управляемый экземпляр или самохостинг? Это не тривиальные решения, и они могут даже измениться со временем, когда новые модели будут выпущены и новые поставщики войдут на рынок.

Подход агностического ИИ гарантирует, что наша система всегда готова адаптироваться. Наша реализация имеет три ключевых компонента: интерфейс, маршрутизатор и сами модели ИИ. Интерфейс абстрагирует детали реализации системы ИИ, делая ее более простой для взаимодействия с другими частями нашего программного обеспечения. Маршрутизатор решает, куда отправить каждый запрос на основе различных факторов, таких как тип запроса и возможности доступных моделей ИИ. Наконец, модели выполняют фактические задачи ИИ, которые могут требовать индивидуальной предварительной обработки данных и форматирования результатов.

Можете ли вы описать методологические аспекты, которые руководят вашим процессом принятия решений при выборе наиболее подходящих моделей и поставщиков ИИ для конкретных задач?

Для каждой новой функции, которую мы разрабатываем, мы начинаем с создания эталонной оценки. Эта оценка предназначена для оценки эффективности различных моделей ИИ в решении задачи. Но мы не только фокусируемся на производительности, мы также учитываем скорость и стоимость каждой модели. Это дает нам всесторонний взгляд на ценность каждой модели, позволяя нам выбрать наиболее экономически эффективный вариант для маршрутизации запросов.

Однако наш процесс не заканчивается там. В быстро развивающейся области ИИ новые модели постоянно выпускаются, а существующие регулярно обновляются. Поэтому, когда новая или обновленная модель становится доступной, мы повторно запускаем нашу эталонную оценку. Это позволяет нам сравнить производительность новой или обновленной модели с производительностью нашей текущей модели. Если новая модель превосходит текущую, мы обновляем наш модуль маршрутизатора, чтобы отразить это изменение.

Каковы некоторые из проблем бесперебойного переключения между различными моделями и поставщиками ИИ?

Бесперебойное переключение между различными моделями и поставщиками ИИ действительно представляет собой набор уникальных проблем.

Во-первых, каждый поставщик ИИ требует входных данных, отформатированных определенным образом, и модели ИИ могут реагировать по-разному на один и тот же запрос. Это означает, что нам необходимо оптимизировать отдельно для каждой модели, что может быть довольно сложным, учитывая разнообразие вариантов.

Во-вторых, модели ИИ имеют разные возможности. Например, некоторые модели могут генерировать вывод в формате JSON, функция, которая оказывается полезной во многих наших реализациях. Другие могут обрабатывать большие объемы текста, позволяя нам использовать более полный контекст для некоторых задач. Управление этими возможностями для максимизации потенциала каждой модели является важной частью нашей работы.

Наконец, нам необходимо обеспечить, чтобы ответы, сгенерированные ИИ, были безопасны для использования. Генеративные модели ИИ иногда могут производить “галлюцинации” или генерировать ответы, которые являются ложными, неуместными или даже потенциально вредными. Чтобы смягчить это, мы реализуем строгие фильтры постобработки для обнаружения и фильтрации неуместных ответов.

Как интерфейс спроектирован внутри вашей системы агностического ИИ, чтобы обеспечить эффективное абстрагирование сложностей лежащих в основе технологий ИИ для удобного взаимодействия с пользователем?

Проектирование нашего интерфейса является совместной работой между командами исследований и разработки и инженерными командами. Мы работаем над каждой функцией, определяя требования и доступные данные для каждой функции. Затем мы проектируем API, который без проблем интегрируется с продуктом, реализуя его в нашем внутреннем сервисе ИИ. Это позволяет инженерным командам сосредоточиться на бизнес-логике, в то время как наш сервис ИИ занимается сложностями работы с различными поставщиками ИИ.

Этот процесс не основан на передовом исследовании, а rather на применении проверенных методов программной инженерии.

Учитывая глобальные операции, как InvGate решает проблему региональной доступности и соблюдения местных правил обработки данных?

Обеспечение региональной доступности и соблюдения местных правил обработки данных является важной частью наших операций в InvGate. Мы тщательно выбираем поставщиков ИИ, которые могут не только работать в масштабе, но и поддерживать высшие стандарты безопасности и соблюдать региональные правила.

Например, мы рассматриваем только поставщиков, которые соблюдают правила, такие как Общий регламент по защите данных (GDPR) в ЕС. Это гарантирует, что мы можем безопасно развертывать наши услуги в разных регионах, зная, что мы работаем в рамках местного правового регулирования.

Основные поставщики облачных услуг, такие как AWS, Azure и Google Cloud, удовлетворяют этим требованиям и предлагают широкий спектр возможностей ИИ, что делает их подходящими партнерами для наших глобальных операций. Кроме того, мы постоянно отслеживаем изменения в местных правилах обработки данных, чтобы обеспечить постоянное соблюдение, корректируя наши практики по мере необходимости.

Как подход InvGate к разработке решений ИТ эволюционировал за последнее десятилетие, особенно с интеграцией генеративного ИИ?

За последнее десятилетие подход InvGate к разработке решений ИТ претерпел значительные изменения. Мы расширили наш набор функций с помощью передовых возможностей, таких как автоматизированные рабочие процессы, обнаружение устройств и база данных конфигурации (CMDB). Эти функции значительно упростили операции ИТ для наших пользователей.

Недавно мы начали интегрировать генеративный ИИ в наши продукты. Это стало возможным благодаря recent достижениям в области поставщиков LLM, которые начали предлагать доступные решения. Интеграция генеративного ИИ позволила нам улучшить наши продукты с помощью ИИ-инструментов поддержки, сделав наши решения более эффективными и удобными для пользователей.

Хотя это еще ранние дни, мы прогнозируем, что ИИ станет повсеместным инструментом в операциях ИТ. Поэтому мы планируем продолжать развивать наши продукты, интегрируя в них технологии ИИ.

Можете ли вы объяснить, как генеративный ИИ внутри центра ИИ улучшает скорость и качество ответов на обычные инциденты ИТ?

Генеративный ИИ внутри нашего центра ИИ значительно улучшает как скорость, так и качество ответов на обычные инциденты ИТ. Он делает это через многоступенчатый процесс:

Первоначальный контакт: Когда пользователь сталкивается с проблемой, он может открыть чат с нашим ИИ-инструментом виртуального агента (VA) и описать проблему. VA самостоятельно ищет в базе знаний компании и в общедоступной базе данных руководств по устранению неполадок ИТ, предоставляя рекомендации в разговорной форме. Это часто решает проблему быстро и эффективно.

Создание тикета: Если проблема более сложна, VA может создать тикет, автоматически извлекая соответствующую информацию из разговора.

Назначение тикета: Система назначает тикет агенту поддержки на основе категории тикета, приоритета и опыта агента в решении подобных проблем.

Взаимодействие агента: Агент может связаться с пользователем для получения дополнительной информации или для уведомления его о том, что проблема решена. Взаимодействие улучшается с помощью ИИ, предоставляя рекомендации по написанию для улучшения коммуникации.

Эскалация: Если проблема требует эскалации, автоматические функции суммирования помогают менеджерам быстро понять проблему.

Анализ после инцидента: После закрытия тикета ИИ выполняет анализ коренной причины, помогая в анализе после инцидента и отчетах. Агент также может использовать ИИ для создания статьи базы знаний, облегчая решение подобных проблем в будущем.

Хотя мы уже реализовали большинство этих функций, мы постоянно работаем над дальнейшими улучшениями.

С предстоящими функциями, такими как более умный виртуальный агент MS Teams, какие улучшения можно ожидать в опыте поддержки разговора?

Одним из перспективных направлений является расширение разговорного опыта в “копилот”, не только способный отвечать на вопросы и выполнять простые действия, но и более сложные действия от имени пользователей. Это может быть полезно для улучшения возможностей самообслуживания пользователей, а также для предоставления дополнительных мощных инструментов агентам. В конечном итоге, такие мощные разговорные интерфейсы сделают ИИ повсеместным спутником.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить InvGate.