Даніель Чолек, керівник відділу досліджень і розробок InvGate – Серія інтерв’ю

Даніель — захоплений ІТ-професіонал із понад 15-річним досвідом роботи в галузі. Має ступінь доктора філософії. в галузі комп’ютерних наук і довгу кар’єру в дослідженні технологій. Його інтереси належать до кількох сфер, таких як штучний інтелект, розробка програмного забезпечення та високопродуктивні обчислення.

Деніел є керівником відділу досліджень і розробок компанії InvGate, де він керує науково-дослідними ініціативами. Разом із командами відділу розвитку продуктів і бізнесу він працює над розробкою, впровадженням і моніторингом стратегії R&D компанії. Коли він не досліджує, він викладає.

InvGate розширює можливості організацій, надаючи інструменти для безперебійного надання послуг між відділами, від ІТ до об’єктів.

Коли і як ви вперше зацікавилися інформатикою?

Інтерес до інформатики почався з раннього дитинства. Мене завжди захоплювали електронні пристрої, я часто досліджував і намагався зрозуміти, як вони працюють. Коли я підріс, ця цікавість привела мене до програмування. Я досі пам’ятаю, як весело я отримував свої перші програми. З того моменту в мене не було жодних сумнівів, що я хочу продовжити кар’єру в області інформатики.

Зараз ви очолюєте науково-дослідні ініціативи та впроваджуєте нові генеративні програми ШІ. Чи можете ви обговорити деякі ваші роботи?

Абсолютно. У нашому відділі досліджень і розробок ми вирішуємо складні проблеми, які може бути важко представити та ефективно вирішити. Наша робота не обмежується генеративними програмами штучного інтелекту, але останні досягнення в цій галузі створили безліч можливостей, які ми прагнемо використовувати.

Однією з наших головних цілей у InvGate завжди була оптимізація зручності використання нашого програмного забезпечення. Ми робимо це, відстежуючи його використання, виявляючи вузькі місця та старанно працюючи над їх усуненням. Одна з таких проблем, з якою ми часто стикаємося, пов’язана з розумінням і використанням природної мови. Цю проблему було особливо важко вирішити без використання великих мовних моделей (LLM).

Однак завдяки нещодавній появі економічно ефективних LLM ми змогли оптимізувати ці варіанти використання. Наші можливості тепер включають надання рекомендацій щодо написання тексту, автоматичне складання статей бази знань і узагальнення великих фрагментів тексту, серед багатьох інших мовних функцій.

У InvGate ваша команда застосовує стратегію, яка називається «агностичний ШІ». Чи можете ви визначити, що це означає і чому це важливо?

Агностичний штучний інтелект — це принципово гнучкість і адаптивність. По суті, мова йде про те, щоб не прив’язуватися до однієї моделі чи постачальника штучного інтелекту. Натомість ми прагнемо залишати наші можливості відкритими, використовуючи найкраще, що пропонує кожен постачальник штучного інтелекту, уникаючи при цьому ризику бути заблокованими в одній системі.

Ви можете подумати про це так: чи варто нам використовувати GPT від OpenAI, Gemini від Google або Llama-2 від Meta для наших генеративних функцій ШІ? Чи маємо ми вибрати хмарне розгортання з оплатою за використання, керований екземпляр чи розгортання на власному хості? Це не тривіальні рішення, і вони можуть навіть змінюватися з часом, коли випускаються нові моделі та нові постачальники виходять на ринок.

Підхід Agnostic AI гарантує, що наша система завжди готова до адаптації. Наша реалізація має три ключові компоненти: інтерфейс, маршрутизатор і самі моделі ШІ. Інтерфейс абстрагує деталі реалізації системи штучного інтелекту, полегшуючи взаємодію з нею іншим частинам нашого програмного забезпечення. Маршрутизатор вирішує, куди надсилати кожен запит на основі різних факторів, таких як тип запиту та можливості доступних моделей ШІ. Нарешті, моделі виконують фактичні завдання штучного інтелекту, для яких може знадобитися спеціальна попередня обробка даних і процеси форматування результатів.

Чи можете ви описати методологічні аспекти, які керують вашим процесом прийняття рішень під час вибору найбільш прийнятних моделей ШІ та постачальників для конкретних завдань?

Для кожної нової функції, яку ми розробляємо, ми починаємо зі створення тесту оцінки. Цей бенчмарк призначений для оцінки ефективності різних моделей ШІ у вирішенні поставленого завдання. Але ми зосереджуємося не лише на продуктивності, ми також враховуємо швидкість і вартість кожної моделі. Це дає нам цілісне уявлення про вартість кожної моделі, дозволяючи вибрати найбільш економічно ефективний варіант для маршрутизації запитів.

Однак на цьому наш процес не закінчується. У галузі штучного інтелекту, яка швидко розвивається, постійно випускаються нові моделі, а існуючі регулярно оновлюються. Отже, щоразу, коли стає доступною нова або оновлена ​​модель, ми повторно запускаємо наш контрольний тест. Це дає нам змогу порівняти продуктивність нової чи оновленої моделі з продуктивністю нашого поточного вибору. Якщо нова модель перевершує поточну, ми оновлюємо наш модуль маршрутизатора, щоб відобразити цю зміну.

У чому полягають труднощі плавного перемикання між різними моделями ШІ та постачальниками?

Плавне перемикання між різними моделями штучного інтелекту та постачальниками справді представляє низку унікальних проблем.

По-перше, кожен постачальник штучного інтелекту вимагає вхідних даних, відформатованих певним чином, і моделі штучного інтелекту можуть по-різному реагувати на ті самі запити. Це означає, що нам потрібно оптимізувати індивідуально для кожної моделі, що може бути досить складним з огляду на різноманітність варіантів.

По-друге, моделі ШІ мають різні можливості. Наприклад, деякі моделі можуть генерувати вихідні дані у форматі JSON, функція, яка виявляється корисною в багатьох наших реалізаціях. Інші можуть обробляти великі обсяги тексту, що дозволяє нам використовувати більш повний контекст для деяких завдань. Управління цими можливостями для максимального використання потенціалу кожної моделі є важливою частиною нашої роботи.

Нарешті, ми повинні переконатися, що відповіді, згенеровані ШІ, безпечні у використанні. Генеративні моделі штучного інтелекту іноді можуть викликати «галюцинації» або генерувати відповіді, які є хибними, поза контекстом або навіть потенційно шкідливими. Щоб пом’якшити це, ми впроваджуємо суворі фільтри дезінфекції після обробки, щоб виявляти та відфільтровувати неприйнятні відповіді.

Як розроблено інтерфейс у вашій агностичній системі ШІ, щоб забезпечити ефективне абстрагування складності базових технологій ШІ для зручної взаємодії?

Дизайн нашого інтерфейсу є результатом спільної роботи команд дослідників і розробників та інженерів. Ми працюємо окремо, визначаючи вимоги та доступні дані для кожної функції. Потім ми розробляємо API, який легко інтегрується з продуктом, реалізуючи його у нашій внутрішній AI-Service. Це дозволяє командам інженерів зосередитися на бізнес-логіці, тоді як наш AI-Service справляється зі складнощами роботи з різними постачальниками штучного інтелекту.

Цей процес базується не на передових дослідженнях, а на застосуванні перевірених методів розробки програмного забезпечення.

З огляду на глобальні операції, як InvGate справляється з проблемою регіональної доступності та відповідності місцевим нормам щодо даних?

Забезпечення регіональної доступності та дотримання місцевих норм щодо даних є важливою частиною нашої діяльності в InvGate. Ми ретельно відбираємо постачальників штучного інтелекту, які можуть не тільки працювати в масштабах, але й підтримувати найвищі стандарти безпеки та відповідати регіональним нормам.

Наприклад, ми розглядаємо лише постачальників, які дотримуються таких правил, як Загальний регламент захисту даних (GDPR) у ЄС. Це гарантує, що ми можемо безпечно розгортати наші послуги в різних регіонах, з упевненістю, що ми працюємо в рамках місцевого законодавства.

Основні хмарні постачальники, такі як AWS, Azure та Google Cloud, відповідають цим вимогам і пропонують широкий спектр функцій ШІ, що робить їх придатними партнерами для наших глобальних операцій. Крім того, ми постійно стежимо за змінами в місцевих нормативних актах щодо даних, щоб забезпечити постійну відповідність, за потреби коригуючи нашу практику.

Як змінився підхід InvGate до розробки ІТ-рішень за останнє десятиліття, зокрема завдяки інтеграції Generative AI?

За останнє десятиліття підхід InvGate до розробки ІТ-рішень значно змінився. Ми розширили нашу базу функцій розширеними можливостями, такими як автоматизовані робочі процеси, виявлення пристроїв і база даних керування конфігураціями (CMDB). Ці функції значно спростили ІТ-операції для наших користувачів.

Нещодавно ми почали інтегрувати GenAI у наші продукти. Це стало можливим завдяки нещодавньому прогресу в LLM-провайдерах, які почали пропонувати економічно ефективні рішення. Інтеграція GenAI дозволила нам покращити наші продукти за допомогою підтримки штучного інтелекту, зробивши наші рішення ефективнішими та зручнішими.

Хоча це ще рано, ми прогнозуємо, що штучний інтелект стане повсюдним інструментом в ІТ-операціях. Таким чином, ми плануємо продовжувати розвивати наші продукти шляхом подальшої інтеграції технологій ШІ.

Чи можете ви пояснити, як генеративний штучний інтелект у центрі штучного інтелекту покращує швидкість і якість реагування на типові ІТ-інциденти?

Генеративний штучний інтелект у нашому центрі штучного інтелекту значно підвищує як швидкість, так і якість реагування на типові ІТ-інциденти. Це робиться за допомогою багатоетапного процесу:

Початковий контакт: Коли користувач стикається з проблемою, він або вона може відкрити чат із нашим віртуальним агентом (VA) на основі штучного інтелекту та описати проблему. VA автономно здійснює пошук у базі знань компанії (KB) і загальнодоступній базі даних посібників з усунення несправностей ІТ, надаючи вказівки в розмовній манері. Це часто вирішує проблему швидко та ефективно.

Створення квитка: Якщо проблема складніша, VA може створити заявку, автоматично вилучаючи відповідну інформацію з розмови.

Призначення квитка: система призначає заявку агенту підтримки на основі категорії заявки, пріоритету та досвіду роботи агента з подібними проблемами.

Взаємодія агента: агент може зв’язатися з користувачем, щоб отримати додаткову інформацію або повідомити, що проблему вирішено. Взаємодія покращена за допомогою штучного інтелекту, що надає рекомендації щодо написання для покращення спілкування.

ескалація: якщо проблема вимагає ескалації, функції автоматичного підсумовування допомагають менеджерам швидко зрозуміти проблему.

Посмертний аналіз: після того, як заявка закрита, штучний інтелект виконує аналіз першопричини, допомагаючи в посмертному аналізі та звітах. Агент також може використовувати штучний інтелект для створення статті бази знань, полегшуючи вирішення подібних проблем у майбутньому.

Хоча ми вже впровадили більшість із цих функцій, ми постійно працюємо над подальшими вдосконаленнями та вдосконаленнями.

З майбутніми функціями, такими як інтелектуальніший віртуальний агент MS Teams, які очікуються покращення в розмовній підтримці?

Одним із багатообіцяючих шляхів розвитку є розширення розмовного досвіду на «другого пілота», здатного не лише відповідати на запитання та виконувати прості дії, але й виконувати більш складні дії від імені користувачів. Це може бути корисним для покращення можливостей самообслуговування користувачів, а також для надання додаткових потужних інструментів для агентів. Згодом ці потужні розмовні інтерфейси зроблять штучний інтелект повсюдним компаньйоном.

Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати InvGate.