Даніель Чіолек, керівник відділу досліджень і розробок InvGate – Серія інтерв’ю

Даніель – це пристрасний професіонал в галузі інформаційних технологій з більш ніж 15-річним досвідом у галузі. Він має ступінь доктора філософії з комп’ютерних наук і довгу кар’єру в галузі технологічних досліджень. Його інтереси охоплюють декілька напрямків, таких як штучний інтелект, інженерія програмного забезпечення та високопродуктивні обчислення.

Даніель є керівником відділу досліджень і розробок в InvGate, де він очолює ініціативи з досліджень і розробок. Він працює разом з командами з розвитку продукції і бізнесу для розробки, реалізації та моніторингу стратегії компанії з досліджень і розробок. Коли він не займається дослідженнями, він викладає.

InvGate надає організаціям інструменти для надання безперервної служби по відділам, від ІТ до служби обслуговування.

Коли і як ви спочатку стали цікавитися комп’ютерними науками?

Мій інтерес до комп’ютерних наук сходить до раннього дитинства. Я завжди був зацікавлений електронними пристроями, часто намагаючись зрозуміти, як вони працюють. Коли я став старшим, ця цікавість привела мене до програмування. Я все ще пам’ятаю, як мені було весело писати свої перші програми. З того моменту не було жодних сумнівів, що я хочу продовжити кар’єру в галузі комп’ютерних наук.

Ви зараз очолюєте ініціативи з досліджень і розробок і реалізуєте нові генеративні застосування штучного інтелекту. Чи можете ви розповісти про деякі зі своїх робіт?

Так, безумовно. У нашому відділі досліджень і розробок ми займаємося складними проблемами, які можуть бути складними для представлення і ефективного вирішення. Наша робота не обмежується лише генеративними застосуваннями штучного інтелекту, але останні досягнення в цій галузі створили велику кількість можливостей, які ми хочемо використати.

Одним з наших основних завдань в InvGate завжди було оптимізувати зручність використання нашого програмного забезпечення. Ми робимо це, моніторячи, як воно використовується, визначаючи瓶ці та докладно працюючи над їх усуненням. Одним із таких瓶ців, з яким ми часто зустрічаємося, є пов’язаний із розумінням і використанням природної мови. Це була особливо складна проблема, яку було складно вирішити без використання великомасштабних моделей мови (LLM).

Однак з недавнім появленням доступних LLM ми змогли оптимізувати ці випадки використання. Наші можливості тепер включають надання рекомендацій щодо написання, автоматичне складання статей знань, підсумовування великих текстів та багато інших мовних функцій.

У InvGate ваша команда застосовує стратегію, яку називають “агностичним штучним інтелектом”. Чи можете ви визначити, що це означає і чому це важливо?

Агностичний штучний інтелект фундаментально пов’язаний з гнучкістю та адаптивністю. По суті, це означає, що ми не зобов’язані використовувати одну модель штучного інтелекту чи постачальника. Натомість ми намагаємось зберігати свої варіанти відкритими, використовуючи найкраще, що пропонує кожен постачальник штучного інтелекту, при цьому уникając ризику бути заблокованим в одному системі.

Ви можете подумати про це так: чи повинні ми використовувати GPT від OpenAI, Gemini від Google чи Llama-2 від Meta для наших генеративних застосунків штучного інтелекту? Чи повинні ми вибрати оплату за використання в хмарі, керований екземпляр чи самохостований екземпляр? Це не тривіальні рішення, і вони можуть навіть змінитися з часом, коли виходять нові моделі та нові постачальники вступають на ринок.

Підхід агностичного штучного інтелекту гарантує, що наша система завжди готова адаптуватися. Наша реалізація складається з трьох основних компонентів: інтерфейсу, маршрутизатора та самих моделей штучного інтелекту. Інтерфейс абстрагує деталі реалізації системи штучного інтелекту, роблячи його легшим для інших частин нашого програмного забезпечення взаємодіяти з ним. Маршрутизатор вирішує, куди відправити кожен запит на основі різних факторів, таких як тип запиту та можливості доступних моделей штучного інтелекту. Нарешті, моделі виконують фактичні завдання штучного інтелекту, які можуть потребувати спеціальної обробки даних та форматування результатів.

Чи можете ви описати методологічні аспекти, які керують процесом прийняття рішень щодо вибору найбільш підходящих моделей штучного інтелекту та постачальників для конкретних завдань?

Для кожного нового функціоналу, який ми розробляємо, ми починаємо з створення оцінювальної бази. Ця база призначена для оцінки ефективності різних моделей штучного інтелекту у вирішенні завдання. Але ми не зосереджуємося лише на продуктивності, ми також розглядаємо швидкість та вартість кожної моделі. Це дає нам цілісний погляд на кожну модель, дозволяючи нам вибирати найбільш економічно ефективний варіант для маршрутизації запитів.

Однак наш процес не закінчується там. У галузі штучного інтелекту, яка швидко розвивається, нові моделі постійно виходять, а існуючі моделі регулярно оновлюються. Тому, коли нова або оновлена модель стає доступною, ми повторно запускаємо нашу оцінювальну базу. Це дозволяє нам порівняти продуктивність нової або оновленої моделі з продуктивністю нашого поточного вибору. Якщо нова модель перевершує поточну, ми оновлюємо наш модуль маршрутизатора, щоб відобразити цю зміну.

Які є деякі з викликів безперервного переключення між різними моделями штучного інтелекту та постачальниками?

Безперервне переключення між різними моделями штучного інтелекту та постачальниками дійсно представляє собою набір унікальних викликів.

По-перше, кожен постачальник штучного інтелекту вимагає вхідних даних, відформатованих певним чином, а моделі штучного інтелекту можуть реагувати по-різному на одні й ті ж запити. Це означає, що нам потрібно оптимізувати індивідуально для кожної моделі, що може бути досить складним ураховуючи різноманітність варіантів.

По-друге, моделі штучного інтелекту мають різні можливості. Наприклад, деякі моделі можуть генерувати вихідні дані у форматі JSON, що є корисним у багатьох наших реалізаціях. Інші можуть обробляти великі об’єми тексту, що дозволяє нам використовувати більш повний контекст для деяких завдань. Керування цими можливостями для максимізації потенціалу кожної моделі є важливою частиною нашої роботи.

Нарешті, нам потрібно забезпечити, щоб відповіді, згенеровані штучним інтелектом, були безпечними для використання. Генеративні моделі штучного інтелекту іноді можуть генерувати “галюцинації” або генерувати відповіді, які є хибними, поза контекстом або навіть потенційно шкідливими. Для мінімізації цього ризику ми реалізуємо суворі фільтри санітарної обробки для виявлення та фільтрації неприйнятних відповідей.

Як інтерфейс спроектований у вашій системі агностичного штучного інтелекту для забезпечення ефективного абстрагування складностей основних технологій штучного інтелекту для зручної взаємодії користувача?

Проектування нашого інтерфейсу є спільною роботою між відділами досліджень і розробок та інженерними командами. Ми працюємо над кожною функцією окремо, визначаючи вимоги та доступні дані для кожної функції. Потім ми проектуємо API, яке безшовно інтегрується з продуктом, реалізуючи його у нашому внутрішньому сервісі штучного інтелекту. Це дозволяє інженерним командам зосередитися на логіці бізнесу, тоді як наш сервіс штучного інтелекту займається складностями взаємодії з різними постачальниками штучного інтелекту.

Цей процес не залежить від передових досліджень, а скоріше від застосування перевірених практик інженерії програмного забезпечення.

Враховуючи глобальні операції, як InvGate підходить до виклику регіональної доступності та дотримання місцевих правил щодо даних?

Забезпечення регіональної доступності та дотримання місцевих правил щодо даних є важливою частиною наших операцій в InvGate. Ми ретельно вибираємо постачальників штучного інтелекту, які можуть не лише працювати у великих масштабах, але й дотримуватися високих стандартів безпеки та відповідати регіональним правилам.

Наприклад, ми розглядаємо лише тих постачальників, які відповідають правилам, таким як Регламент загальної захисту даних (GDPR) в ЄС. Це дозволяє нам впевнено розгортати наші послуги в різних регіонах, маючи впевненість, що ми діємо у межах місцевого законодавчого rámця.

Основні постачальники хмарних послуг, такі як AWS, Azure та Google Cloud, задовольняють ці вимоги та пропонують широкий спектр функцій штучного інтелекту, що робить їх придатними партнерами для наших глобальних операцій. Крім того, ми постійно моніторимо зміни місцевих правил щодо даних, щоб забезпечити подальшу відповідність, коригуючи нашу практику за необхідністю.

Як підхід InvGate до розробки рішень ІТ еволюціонував за останні десять років, особливо з інтеграцією генеративного штучного інтелекту?

За останні десять років підхід InvGate до розробки рішень ІТ суттєво еволюціонував. Ми розширили наш набір функцій за рахунок передових можливостей, таких як автоматизовані робочі процеси, виявлення пристроїв та база даних конфігурації (CMDB). Ці функції суттєво спрощують операції ІТ для наших користувачів.

Нещодавно ми почали інтегрувати генеративний штучний інтелект у наші продукти. Це стало можливим завдяки недавнім досягненням у сфері постачальників LLM, які почали пропонувати доступні рішення. Інтеграція генеративного штучного інтелекту дозволила нам вдосконалити наші продукти за рахунок штучного інтелекту, що зробило наші рішення більш ефективними та зручними для користувача.

Хоча це ще ранні дні, ми передбачаємо, що штучний інтелект стане універсальним інструментом у операціях ІТ. Як такий, ми плануємо продовжувати еволюціонувати наші продукти шляхом подальшої інтеграції технологій штучного інтелекту.

Чи можете ви пояснити, як генеративний штучний інтелект у центрі штучного інтелекту підвищує швидкість та якість відповідей на звичайні інциденти ІТ?

Генеративний штучний інтелект у нашому центрі штучного інтелекту суттєво підвищує швидкість та якість відповідей на звичайні інциденти ІТ. Він робить це через багаторівневий процес:

Перший контакт: Коли користувач зустрічає проблему, він може відкрити чат з нашим штучним інтелектом (VA) та описати проблему. VA самостійно шукає інформацію у базі знань компанії та публічній базі даних керівництв з усунення неполадок ІТ, надаючи керівництво у формі діалогу. Це часто вирішує проблему швидко та ефективно.

Створення тикету: Якщо проблема більш складна, VA може створити тикет, автоматично витягуючи відповідну інформацію з розмови.

Призначення тикету: Система призначає тикет агенту служби підтримки на основі категорії тикету, пріоритету та досвіду агента у вирішенні подібних проблем.

Взаємодія агента: Агент може зв’язатися з користувачем для отримання додаткової інформації або повідомити про вирішення проблеми. Взаємодія підтримується штучним інтелектом, який пропонує рекомендації щодо поліпшення спілкування.

Ескалація: Якщо проблема вимагає ескалації, автоматичні функції підсумовування допомагають менеджерам швидко зрозуміти проблему.

Аналіз після інциденту: Після закриття тикету штучний інтелект проводить аналіз кореневої причини, допомагаючи у проведенні післяінцидентного аналізу та звітності. Агент також може використовувати штучний інтелект для складання статті бази знань, що полегшує вирішення подібних проблем у майбутньому.

Хоча ми вже реалізували більшість цих функцій, ми продовжимо працювати над подальшими вдосконаленнями та поліпшеннями.

З майбутніми функціями, такими як розумний віртуальний агент MS Teams, які очікувані поліпшення досвіду підтримки у діалозі?

Одним із перспективних напрямків є розширення досвіду діалогу до “копілота”, який не лише відповідає на питання та виконує прості дії, але й здатний виконувати більш складні дії від імені користувачів. Це може бути корисним для поліпшення можливостей самообслуговування користувачів, а також для надання додаткових потужних інструментів агентам. Врешті-решт, ці потужні інтерфейси діалогу зроблять штучний інтелект універсальним компаньйоном.

Дякуємо за велике інтерв’ю. Читачам, які бажають дізнатися більше, рекомендуємо відвідати InvGate.