Ефраїн Рух, технічний директор EMEA у Digitate – Серія інтерв’ю

Ефраїн Рух є технічним директором для EMEA у Digitate, де він очолює регіональну технологічну стратегію з сильним акцентом на корпоративному штучному інтелекті, автоматизації та великомасштабних операційних трансформаціях. Він тісно співпрацює з клієнтами по всій Європі, на Близькому Сході та в Африці, щоб допомогти організаціям розгортати штучний інтелект відповідально, підкреслюючи практичну реалізацію, управління та вимірювані результати. Рух є частим учасником промислових дискусій щодо агентського штучного інтелекту, зрілості MLOps та реалій переходу від пілотних проектів штучного інтелекту до систем виробництва.

Digitate – це компанія з розробки корпоративного програмного забезпечення та дочірня компанія Tata Consultancy Services, яка спеціалізується на автоматизації, керованій штучним інтелектом, для ІТ та бізнес-операцій. Її основна платформа, ignio, забезпечує автономні операції шляхом поєднання машинного навчання, графів знань та інтелектуальної автоматизації для виявлення проблем, прогнозування результатів та самозалікування систем у складних корпоративних середовищах. Digitate обслуговує великі глобальні організації, які шукають спосіб зменшити операційну складність, одночасно покращуючи стійкість та ефективність за допомогою прикладного штучного інтелекту.

Враховуючи ваш широкий досвід технічного керівництва у Digitate та ваш попередній практичний досвід у сфері ІТ-операцій, архітектури та корпоративних систем, як змінилося ваше бачення важливості пояснюваного штучного інтелекту порівняно з моделями чорної скриньки, на яких все ще спираються багато організацій сьогодні?

Ранні покоління автоматизації були в основному реактивними та заснованими на правилах, що робило поведінку чорної скриньки більш терпимою, оскільки результати були дуже передбачуваними. Коли системи штучного інтелекту тепер рухаються до проактивних агентів, які можуть мислити та генерувати власну відповідь, толерантність до непрозорості зникає. Лідери ІТ відповідають за підтримання критично важливих систем у робочому стані quanh годину, і ця відповідальність залишає дуже мало місця для експериментів з системами, чиї висновки не можуть бути перевірені. Пояснюваність тому перейшла від технічної функції до операційної вимоги, яка забезпечує довіру у великомасштабному середовищі. Щоб довіряти цим новим агентам штучного інтелекту, важливо, щоб вони поділилися своєю лінією мислення (по суті, як вони прийшли до рішення) та своїми висновками.

Чому довіра та пояснюваність стають найбільшими бар’єрами для ширшого впровадження просунутого штучного інтелекту в корпоративному ІТ?

Корпоративне ІТ працює під постійною відповідальністю та ризиком. Коли системи штучного інтелекту приймають рішення автономно, особливо у попередніх або самооздоровчих моделях, команди нагляду повинні бути здатні зрозуміти, чому було прийнято певну дію. Без видимості доказів, контексту та логіки прийняття рішень штучний інтелект вводить невизначеність, а не зменшує її. Ця відсутність прозорості та невизначеності впливає на довіру, тому сповільнює впровадження серед команд ІТ більше, ніж точність моделі або продуктивність могли б зробити.

Як виглядає справжня пояснюваність у штучному інтелекті, керованому ІТ-операціями, і як вона може допомогти командам перевірити рішення до того, як системи будуть діяти автономно?

Справжня пояснюваність є практичною та орієнтованою на оператора. Це означає, що технологія повинна чітко показувати дані, використані для висновків, перевірити, що система розуміє правильний операційний контекст, та пояснити рекомендуємий курс дії у людських термінах. Це також включає історичну перевірку, наприклад, чи були прийняті подібні рішення раніше та які були результати. Це дозволяє командам швидко перевірити дії та впевнено розширити автономне виконання, де ризик низький. Якщо люди не можуть швидко сприймати та діяти згідно з висновками, то інструмент пояснюваність не служить своїй меті.

Як відсутність пояснюваність перекладеться у реальні операційні, фінансові чи бізнес-ризики для великих організацій?

Якщо б ви керували фабрикою, а важливий вузол обладнання не мав сигналів, які б позначали проблему з технічним обслуговуванням, то врешті-решт він вийшов би з ладу без попередження команди – що призвело б до продукції низької якості або непланової простоївки. Аналогічно, штучний інтелект без пояснюваність може перетворити малі проблеми з даними на великі бізнес-інциденти. Система прогнозування потужності на основі штучного інтелекту, яка працює на неповних даних, може зменшити потужність інфраструктури, щоб заощадити кошти, тільки щоб спричинити серйозне погіршення продуктивності під час пікових періодів обробки. У випадку корпоративних систем штучного інтелекту ви часто бачите вплив поганої пояснюваність через пропущені SLA, фінансові штрафи та вплив на клієнтів. Аналогічно, агресивне придушення сигналів може приховати критичні збої, дозволяючи аваріям залишатися непоміченими, поки це не стане справжньою надзвичайною ситуацією.

З вашої точки зору, яку роль повинні відігравати платформи штучного інтелекту у наданні їх висновків для перевірки та зрозумілості для команд ІТ, які керують критично важливими системами?

Хорошо спроектована система штучного інтелекту або платформа має пояснюваність, закладену в неї. Автономні системи повинні задокументувати дані, використані, логіку, застосовувану, дії, рекомендовані або прийняті, та результати, які відбулися. Ці дані повинні бути представлені в операційній мові, яку використовують команди ІТ, наприклад, залежності, історичні інциденти та бізнес-вплив, а не абстрактні оцінки штучного інтелекту. Перевірка є суттєвою для відповідальності, навчання та довгострокової довіри.

Які архітектурні або проектні підходи допомагають підприємствам рухатися від непрозорої автоматизації до більш прозорої, скляної коробки прийняття рішень?

Підприємства приймають архітектури, які ґрунтуються на високоякісних операційних даних та чітко відокремлюють перевірку даних від логіки прийняття рішень. Прозорі системи забезпечують, що штучний інтелект працює з правильними входами та припущеннями до дії. Багато організацій також використовують стадійну автономію, починаючи з рекомендацій та прогресуючи до обмеженої автономної реалізації, коли зростає впевненість. Відкритий доступ до даних та чіткі політичні рівні є критичними для уникнення поведінки чорної скриньки при збільшенні автономії. Все ще є багато місця для росту галузі пояснюваність, і я думаю, що ми побачимо бум функцій пояснюваність цього року.

Як організації знаходять правильний баланс між автономними діями штучного інтелекту та людським наглядом, не сповільнюючи операцій?

Баланс досягається за допомогою ризик-орієнтованих контролю, а не загального нагляду. Низькоризикові, високочастотні завдання можуть бути автоматизовані повністю з обмеженнями, тоді як рішення з вищим впливом залишаються людськими до тих пір, поки системи не продемонструють надійність. Коли пояснюваність покращується та штучний інтелект постійно доводить свою правильну думку, автономія природно розширюється без введення операційної тертя.

Яку пораду ви дали б технічним директорам та керівникам ІТ, які хочуть розширити штучний інтелект по всім ІТ-операціям, але зустрічають внутрішню опозицію через проблеми з видимістю та відповідальністю?

Почніть з прозорості, а не автономії. Вовчіть свої команди ІТ на ранній стадії та пріоритезуйте видимість як у проектуванні, так і у розгортанні, щоб побудувати довіру. Опозиція зазвичай походить від відсутності розуміння рішень штучного інтелекту, а не від опозиції до інновацій самої по собі. Потім зосередьтеся на випадках використання, які зменшують шум, ліквідують втому від сигналів та чітко пояснюють, як приймаються рішення, перш ніж дозволити системам діяти незалежно.

Як лідери повинні переглянути управління, перевірку та моделі довіри, коли системи штучного інтелекту приймають більше відповідальності за прийняття рішень?

Управління повинно перейти від статичних процесів затвердження до безперервної перевірки. Лідери повинні визначити, де дозволена автономія, які докази необхідні та коли необхідне людське втручання. Довіра повинна бути заслужена через вимірювані результати, такі як точність, зменшення інцидентів та швидші часи вирішення, а не припущення про складність моделі.

Як ви бачите майбутнє пояснюваного та прозорого штучного інтелекту, яке змінює майбутнє автономних ІТ-операцій протягом наступних кількох років?

Пояснюваний штучний інтелект буде фундаментальною частиною пазла при будівництві проактивних та автономних ІТ-операцій для безпечного масштабування, не втрачаючи довіри команди ІТ. Генеративний штучний інтелект уже покращує прозорість, дозволяючи системам розкрити докази, перевірити факти та пояснити рішення у людських термінах. За наступні кілька років цей рівень пояснюваність стане стандартним, дозволяючи організаціям рухатися за межі експериментів та глибоко інтегрувати штучний інтелект у операції, управління та робочі процеси як довіреного партнера, а не непрозорого приймаючого рішення. За наступні кілька років агенти штучного інтелекту будуть на місці для управління різними діяльностями організації, вони стануть частиною нашого повсякденного життя, але для цього нам потрібно бути здатними довіряти їм, а точність та прозорість є ключовими аспектами для досягнення цієї мети.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Digitate.