Дэниел Чиолек, руководитель отдела исследований и разработок InvGate – серия интервью

Дэниел — страстный ИТ-специалист с более чем 15-летним опытом работы в отрасли. У него есть докторская степень. Доктор компьютерных наук и долгая карьера в области технологических исследований. Его интересы охватывают множество областей, таких как искусственный интеллект, разработка программного обеспечения и высокопроизводительные вычисления.

Дэниел — руководитель отдела исследований и разработок в InvGate, где он возглавляет научно-исследовательские инициативы. Он работает вместе с командами по развитию продуктов и бизнеса над разработкой, внедрением и мониторингом стратегии исследований и разработок компании. Когда он не занимается исследованиями, он преподает.

InvGate расширяет возможности организаций, предоставляя инструменты для бесперебойного обслуживания всех отделов, от ИТ до объектов.

Когда и как вы впервые заинтересовались информатикой?

Мой интерес к информатике зародился еще в раннем детстве. Меня всегда восхищали электронные устройства, и я часто исследовал их и пытался понять, как они работают. Когда я стал старше, это любопытство привело меня к программированию. Я до сих пор помню, как мне было весело писать свои первые программы. С этого момента у меня не было сомнений в том, что я хочу продолжить карьеру в области компьютерных наук.

В настоящее время вы возглавляете научно-исследовательские инициативы и внедряете новые приложения генеративного искусственного интеллекта. Можете ли вы обсудить некоторые из ваших работ?

Абсолютно. В нашем отделе исследований и разработок мы решаем сложные проблемы, которые сложно представить и эффективно решить. Наша работа не ограничивается генеративными приложениями искусственного интеллекта, но недавние достижения в этой области создали множество возможностей, которые мы стремимся использовать.

Одной из наших главных целей в InvGate всегда была оптимизация удобства использования нашего программного обеспечения. Мы делаем это, отслеживая, как оно используется, выявляя узкие места и усердно работая над их устранением. Одно из таких узких мест, с которым мы часто сталкиваемся, связано с пониманием и использованием естественного языка. Эту проблему было особенно сложно решить без использования моделей большого языка (LLM).

Однако с недавним появлением экономически эффективных программ LLM мы смогли оптимизировать эти варианты использования. Наши возможности теперь включают предоставление рекомендаций по написанию, автоматическое составление статей базы знаний и обобщение обширных фрагментов текста, а также множество других языковых функций.

В InvGate ваша команда применяет стратегию, которая называется «независимый ИИ». Не могли бы вы объяснить, что это значит и почему это важно?

Агностический ИИ в основном ориентирован на гибкость и адаптируемость. По сути, речь идет о том, чтобы не привязываться к какой-либо одной модели или поставщику ИИ. Вместо этого мы стремимся оставить наши возможности открытыми, используя лучшее, что предлагает каждый поставщик ИИ, избегая при этом риска быть привязанными к одной системе.

Вы можете подумать об этом так: должны ли мы использовать GPT от OpenAI, Gemini от Google или Llama-2 от Meta для наших функций генеративного ИИ? Должен ли мы выбрать облачное развертывание с оплатой по факту использования, управляемый экземпляр или развертывание на собственном хостинге? Это нетривиальные решения, и они могут даже меняться со временем по мере выпуска новых моделей и выхода на рынок новых поставщиков.

Подход Agnostic AI гарантирует, что наша система всегда готова адаптироваться. Наша реализация состоит из трех ключевых компонентов: интерфейса, маршрутизатора и самих моделей ИИ. Интерфейс абстрагирует детали реализации системы искусственного интеллекта, упрощая взаимодействие с ней других частей нашего программного обеспечения. Маршрутизатор решает, куда отправлять каждый запрос, на основе различных факторов, таких как тип запроса и возможности доступных моделей искусственного интеллекта. Наконец, модели выполняют реальные задачи ИИ, для которых могут потребоваться специальные процессы предварительной обработки данных и форматирования результатов.

Можете ли вы описать методологические аспекты, которыми вы руководствуетесь в процессе принятия решений при выборе наиболее подходящих моделей ИИ и поставщиков для конкретных задач?

Для каждой новой функции, которую мы разрабатываем, мы начинаем с создания эталона оценки. Этот бенчмарк предназначен для оценки эффективности различных моделей ИИ при решении поставленной задачи. Но мы фокусируемся не только на производительности, мы также учитываем скорость и стоимость каждой модели. Это дает нам целостное представление о ценности каждой модели и позволяет выбрать наиболее экономичный вариант маршрутизации запросов.

Однако на этом наш процесс не заканчивается. В быстро развивающейся области искусственного интеллекта постоянно выпускаются новые модели, а существующие регулярно обновляются. Поэтому всякий раз, когда становится доступной новая или обновленная модель, мы повторно запускаем тест оценки. Это позволяет нам сравнить производительность новой или обновленной модели с производительностью нашей текущей модели. Если новая модель превосходит текущую, мы обновляем наш модуль маршрутизатора, чтобы отразить это изменение.

Каковы некоторые проблемы плавного переключения между различными моделями и поставщиками ИИ?

Беспрепятственное переключение между различными моделями и поставщиками ИИ действительно представляет собой ряд уникальных задач.

Во-первых, каждому поставщику ИИ требуются входные данные, отформатированные определенным образом, и модели ИИ могут по-разному реагировать на одни и те же запросы. Это означает, что нам необходимо оптимизировать каждую модель индивидуально, что может быть довольно сложно, учитывая разнообразие опций.

Во-вторых, модели ИИ имеют разные возможности. Например, некоторые модели могут генерировать выходные данные в формате JSON — функция, которая оказывается полезной во многих наших реализациях. Другие могут обрабатывать большие объемы текста, что позволяет нам использовать более полный контекст для некоторых задач. Управление этими возможностями для максимизации потенциала каждой модели является важной частью нашей работы.

Наконец, нам необходимо обеспечить безопасность использования ответов, генерируемых ИИ. Генеративные модели ИИ иногда могут вызывать «галлюцинации» или генерировать ложные, вырванные из контекста или даже потенциально вредные ответы. Чтобы смягчить это явление, мы реализуем строгие фильтры постобработки для обнаружения и фильтрации неподходящих ответов.

Как спроектирован интерфейс в вашей независимой системе искусственного интеллекта, чтобы он эффективно абстрагировал сложности базовых технологий искусственного интеллекта для удобного взаимодействия с пользователем?

Дизайн нашего интерфейса — результат совместных усилий научно-исследовательских и инженерных групп. Мы работаем над каждой функцией, определяя требования и доступные данные для каждой функции. Затем мы разрабатываем API, который легко интегрируется с продуктом, реализуя его в нашем внутреннем AI-сервисе. Это позволяет командам разработчиков сосредоточиться на бизнес-логике, в то время как наша служба ИИ берет на себя сложности взаимодействия с различными поставщиками ИИ.

Этот процесс основан не на передовых исследованиях, а на применении проверенных методов разработки программного обеспечения.

Учитывая глобальные операции, как InvGate справляется с проблемой региональной доступности и соответствия местным нормам в отношении данных?

Обеспечение региональной доступности и соответствия местным нормам в отношении данных является важной частью нашей деятельности в InvGate. Мы тщательно выбираем поставщиков ИИ, которые могут не только работать в больших масштабах, но также поддерживать высочайшие стандарты безопасности и соблюдать региональные правила.

Например, мы рассматриваем только поставщиков, которые соблюдают такие правила, как Общий регламент по защите данных (GDPR) в ЕС. Это гарантирует, что мы можем безопасно развертывать наши услуги в разных регионах, будучи уверенными в том, что мы действуем в рамках местной правовой базы.

Крупнейшие поставщики облачных услуг, такие как AWS, Azure и Google Cloud, удовлетворяют этим требованиям и предлагают широкий спектр функций искусственного интеллекта, что делает их подходящими партнерами для наших глобальных операций. Кроме того, мы постоянно отслеживаем изменения в местных правилах использования данных, чтобы обеспечить их постоянное соблюдение, и при необходимости корректируем нашу практику.

Как изменился подход InvGate к разработке ИТ-решений за последнее десятилетие, особенно с интеграцией генеративного искусственного интеллекта?

За последнее десятилетие подход InvGate к разработке ИТ-решений значительно изменился. Мы расширили нашу базу функций за счет таких расширенных возможностей, как автоматизированные рабочие процессы, обнаружение устройств и база данных управления конфигурацией (CMDB). Эти функции значительно упростили ИТ-операции для наших пользователей.

Недавно мы начали интегрировать GenAI в наши продукты. Это стало возможным благодаря недавним достижениям поставщиков LLM, которые начали предлагать экономически эффективные решения. Интеграция GenAI позволила нам улучшить наши продукты с помощью поддержки искусственного интеллекта, сделав наши решения более эффективными и удобными для пользователя.

Хотя это еще только начало, мы прогнозируем, что ИИ станет повсеместным инструментом в ИТ-операциях. Таким образом, мы планируем продолжать развивать наши продукты путем дальнейшей интеграции технологий искусственного интеллекта.

Можете ли вы объяснить, как генеративный искусственный интеллект в AI Hub повышает скорость и качество реагирования на распространенные ИТ-инциденты?

Генеративный искусственный интеллект в нашем Центре искусственного интеллекта значительно повышает скорость и качество реагирования на распространенные ИТ-инциденты. Это делается посредством многоэтапного процесса:

Первоначальный контакт: Когда пользователь сталкивается с проблемой, он или она может открыть чат с нашим виртуальным агентом (VA) на базе искусственного интеллекта и описать проблему. VA автономно осуществляет поиск в базе знаний компании (KB) и общедоступной базе данных с руководствами по устранению неполадок ИТ, предоставляя рекомендации в диалоговой форме. Часто это решает проблему быстро и эффективно.

Создание билетов: Если проблема более сложная, виртуальный собеседник может создать заявку, автоматически извлекая соответствующую информацию из разговора.

Назначение билетов: система назначает заявку агенту поддержки на основе категории заявки, приоритета и опыта агента по решению аналогичных проблем.

Взаимодействие агента: агент может связаться с пользователем для получения дополнительной информации или уведомить его о том, что проблема решена. Взаимодействие улучшается с помощью ИИ, предоставляющего письменные рекомендации для улучшения общения.

Эскалация: если проблема требует эскалации, функции автоматического обобщения помогают менеджерам быстро понять проблему.

Посмертный анализ: после закрытия заявки ИИ выполняет анализ первопричин, помогая в посмертном анализе и составлении отчетов. Агент также может использовать ИИ для составления статьи в базе знаний, что облегчит решение подобных проблем в будущем.

Хотя мы уже реализовали большинство этих функций, мы постоянно работаем над дальнейшими улучшениями и улучшениями.

Каковы ожидаемые улучшения в диалоговой поддержке с появлением новых функций, таких как более умный виртуальный агент MS Teams?

Одним из многообещающих путей вперед является расширение диалогового опыта до уровня «второго пилота», способного не только отвечать на вопросы и выполнять простые действия, но и выполнять более сложные действия от имени пользователей. Это может быть полезно для улучшения возможностей самообслуживания пользователей, а также для предоставления агентам дополнительных мощных инструментов. В конечном итоге эти мощные диалоговые интерфейсы сделают ИИ повсеместным спутником.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить InvGate.