Эфраим Рух, технический директор EMEA в Digitate – Интервью

Эфраим Рух является техническим директором EMEA в Digitate, где он руководит региональной технологической стратегией с сильным акцентом на корпоративном ИИ, автоматизации и крупномасштабных операционных преобразованиях. Он тесно сотрудничает с клиентами по всей Европе, на Ближнем Востоке и в Африке, чтобы помочь организациям развертывать ИИ ответственно, подчеркивая практическую реализацию, управление и измеримые результаты. Рух является частым участником отраслевых дискуссий об агентском ИИ, зрелости MLOps и реалиях перехода от пилотных проектов ИИ к производственным системам.

Digitate – это компания по разработке корпоративного программного обеспечения и дочерняя компания Tata Consultancy Services (TCS.BO ), специализирующаяся на автоматизации, основанной на ИИ, для ИТ и бизнес-операций. Ее основная платформа, ignio, обеспечивает автономные операции, сочетая машинное обучение, графы знаний и интеллектуальную автоматизацию для обнаружения проблем, прогнозирования результатов и самоподдержки систем во всей сложной корпоративной среде. Digitate обслуживает крупные глобальные организации, стремящиеся сократить операционную сложность, одновременно повышая устойчивость и эффективность за счет применения ИИ.

Учитывая ваш обширный опыт технического руководства в Digitate и ваш ранний практический опыт в области ИТ-операций, архитектуры и корпоративных систем, как изменилось ваше представление об важности объяснимого ИИ по сравнению с моделями черного ящика, которые многие организации все еще используют сегодня?

Ранние поколения автоматизации были в основном реактивными и основанными на правилах, что делало поведение черного ящика более терпимым, поскольку результаты были очень предсказуемыми. По мере того, как системы ИИ переходят к проактивным агентам, которые могут рассуждать и генерировать свои собственные ответы, терпимость к непрозрачности исчезает. Руководители ИТ отвечают за поддержание критически важных систем в режиме 24/7, и эта ответственность оставляет очень мало места для экспериментов с системами, чья логика не может быть проверена. Объяснимость, таким образом, сместилась от технической функции к операционному требованию, которое обеспечивает доверие в масштабе. Чтобы доверять этим новым агентам ИИ, важно, чтобы они делились своей линией мысли (по сути, как они пришли к решению) и результатами рассуждений.

Почему доверие и объяснимость возникают как самые большие барьеры для более широкого внедрения передовых ИИ-решений в корпоративных ИТ-системах?

Корпоративные ИТ-системы работают под постоянной ответственностью и риском. Когда системы ИИ принимают решения автономно, особенно в предотвращающих или самоисцеляющих операционных моделях, команды надзора должны быть в состоянии понять, почему было принято определенное действие. Без видимости доказательств, контекста и логических решений ИИ вводит неопределенность, а не снижает ее. Это отсутствие прозрачности и неопределенности влияет на доверие, поэтому замедляет внедрение среди команд ИТ больше, чем точность модели или производительность.

Что такое真正щая объяснимость в ИИ-решениях для ИТ-операций, и как она может помочь командам проверить решения до того, как системы будут действовать автономно?

Истинная объяснимость является практической и ориентированной на оператора. Это означает, что технология должна четко показывать данные, используемые для рассуждений, проверять, что система понимает правильный операционный контекст, и объяснять рекомендуемый курс действий на понятном человеку языке. Это также включает историческую проверку, такую как были ли приняты подобные решения ранее и какие были результаты. Это позволяет командам быстро проверять действия и уверенно расширять автономное выполнение, где риск низок. Если люди не могут быстро понять и действовать на основе вывода, то инструмент объяснимости не выполняет свою функцию.

Как отсутствие объяснимости переводится в реальные операционные, финансовые или деловые риски для крупных организаций?

Если бы вы управляли фабрикой и важная часть оборудования не имела сигналов, чтобы предупредить о проблеме с техническим обслуживанием, оно в конечном итоге начало бы работать неправильно, не предупреждая команду – что привело бы к плохому качеству продукции или непланируемому простою. Аналогично, ИИ без объяснимости может превратить небольшие проблемы с данными в крупные бизнес-инциденты. Система прогнозирования емкости на основе ИИ, работающая на неполных данных, может снизить емкость инфраструктуры, чтобы сэкономить затраты, только чтобы вызвать серьезное ухудшение производительности во время пиковых периодов обработки. В случае с корпоративными системами ИИ вы часто видите влияние плохой объяснимости через пропущенные SLA, финансовые штрафы и влияние на клиентов. Аналогично, агрессивное подавление оповещений может скрыть критические сбои, позволяя авариям оставаться незамеченными до тех пор, пока это не станет настоящей чрезвычайной ситуацией.

С вашей точки зрения, какую роль должны играть платформы ИИ в обеспечении объяснимости и понимания их рассуждений для команд ИТ, работающих с критически важными системами?

Хорошо спроектированный агент ИИ или платформа имеет встроенную объяснимость. Автономные системы должны документировать используемые данные, примененную логику, рекомендуемые или предпринятые действия и последующие результаты. Эта информация должна быть представлена на операционном языке, который используют команды ИТ, таком как зависимости, исторические инциденты и бизнес-воздействие, а не абстрактные баллы ИИ. Проверяемость имеет решающее значение для подотчетности, обучения и долгосрочного доверия.

Какие архитектурные или проектные подходы помогают предприятиям перейти от непрозрачной автоматизации к более прозрачным, прозрачным решениям?

Предприятия принимают архитектуры, которые основывают решения ИИ на высококачественных операционных данных и четко отделяют проверку данных от логических решений. Прозрачные системы обеспечивают, что ИИ работает с правильными входными данными и предположениями, прежде чем действовать. Многие организации также используют ступенчатую автономию, начиная с рекомендаций и прогрессируя к ограниченному автономному выполнению по мере роста уверенности. Открытый доступ к данным и четкие политические слои имеют решающее значение для избежания поведения черного ящика при увеличении автономности. Еще много места для роста отрасли в объяснимости, и я думаю, что мы увидим взрыв объяснимых функций в этом году.

Как организации находят правильный баланс между автономными действиями ИИ и человеческим надзором, не замедляя операции?

Баланс достигается за счет контроля на основе риска, а не за счет общего надзора. Низкорисковые, высокочастотные задачи могут быть автоматизированы от начала до конца с ограничениями, в то время как решения с более высоким воздействием остаются проверенными людьми до тех пор, пока системы не продемонстрируют надежность. По мере улучшения объяснимости и последовательной демонстрации ИИ здравого суждения автономия расширяется естественным образом без введения операционного трения.

Какой совет вы дадите руководителям ИТ и техническим директорам, которые хотят масштабировать ИИ в ИТ-операциях, но сталкиваются с внутренним сопротивлением из-за проблем с видимостью и подотчетностью?

Начните с прозрачности, а не с автономии. Вовлеките свои команды ИТ на ранней стадии и приоритизируйте видимость как на стадии проектирования, так и на стадии развертывания, чтобы построить доверие. Сопротивление обычно возникает из-за отсутствия информации о решениях ИИ, а не из-за оппозиции инновациям самих по себе. Затем сосредоточьтесь на случаях использования, которые снижают шум, устраняют усталость от оповещений и четко объясняют, как принимаются решения, прежде чем позволять системам действовать самостоятельно.

Когда системы ИИ принимают на себя больше ответственности за принятие решений, как руководство должно пересмотреть управление, проверку и модели доверия?

Управление должно сместиться от статических процессов утверждения к непрерывной проверке. Руководство должно определить, где допускается автономия, какие доказательства требуются и когда необходимо вмешательство человека. Доверие должно быть заслужено через измеримые результаты, такие как точность, снижение инцидентов и более быстрые времена решения, а не предположения о сложности модели.

Взглянув вперед, как вы видите объяснимый и прозрачный ИИ, меняющий будущее автономных ИТ-операций в течение следующих нескольких лет?

Объяснимый ИИ будет фундаментальной частью головоломки при построении проактивных и автономных ИТ-операций для безопасного масштабирования, не теряя при этом доверия команды ИТ. Генеративный ИИ уже улучшает прозрачность, позволяя системам раскрывать доказательства, проверять факты и объяснять решения на понятном человеку языке. В течение следующих нескольких лет этот уровень объяснимости станет стандартом, позволяя организациям выйти за рамки экспериментов и глубоко внедрить ИИ в операции, управление и рабочие процессы как доверенного партнера, а не непрозрачного принятия решений. В течение следующих нескольких лет агенты ИИ будут находиться на месте для управления различными hoạtностями организации, они станут частью нашей повседневной жизни, но для этого нам нужно быть в состоянии доверять им, и точность и прозрачность являются ключевыми аспектами для достижения этой цели.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Digitate.