Інтерв’ю

Sadeepa Wijesekara, віцепрезидент із напряму Private Cloud AI в HPE — серія інтерв’ю

Antoine Tardif
Додайте Unite.AI до бажаних джерел у Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Ключові моментиЕкономіка штучного інтелекту стає бізнес-дисципліною лише тоді, коли пілотні проєкти…
Показати більше
  • Економіка штучного інтелекту стає бізнес-дисципліною лише тоді, коли пілотні проєкти масштабуються до виробництва і фінанси долучаються до розмови.
  • Вартість за токен вимірює споживання, тоді як вартість за бізнес-результат показує, чи інвестиція справді має сенс.
  • Агентні робочі процеси можуть драматично множити споживання токенів, навіть коли ціни на інференс продовжують знижуватися.

Sadeepa Wijesekara — віцепрезидент із напряму Private Cloud AI у Hewlett Packard Enterprise (HPE), де він керує розробкою корпоративного програмного забезпечення та платформ ШІ для середовищ приватної хмари. Він зосереджується на тому, щоб допомагати організаціям безпечно впроваджувати ШІ в масштабах компанії, поєднуючи рішення щодо інфраструктури з потребами бізнесу. Він підходить до економіки виробничого використання ШІ з погляду інженера, зокрема розглядає керування робочими навантаженнями, вибір моделей і витрати на забезпечення надійності дедалі автономніших систем.

Hewlett Packard Enterprise (HPE) пропонує корпоративні технології у сферах ШІ, хмарних обчислень, мереж, обчислювальної техніки та зберігання даних. Її портфель Private Cloud AI дає змогу організаціям запускати робочі навантаження ШІ на інфраструктурі, яку вони контролюють, а також використовувати гібридну хмару й зовнішні сервіси. У цьому інтерв’ю Wijesekara пояснює, чому витрати на ШІ слід оцінювати з огляду на бізнес-результати, як агентні робочі процеси змінюють споживання ресурсів, а також які фінансові й операційні чинники впливають на рішення щодо моделей, оркестрації та інфраструктури.

HPE масштабувала впровадження ШІ серед понад 70 000 працівників. Чого цей досвід навчив вас щодо того, коли економіка ШІ перестає бути питанням ІТ і стає ширшим напрямом управління бізнесом?

Економіка ШІ стає ширшим напрямом управління бізнесом, коли компанії переходять від пілотних проєктів до виробничого використання. Пілотний проєкт може показати, чи здатен ШІ виконати певне завдання, але через невелику кількість користувачів він може приховати неефективність. Коли кількість користувачів зростає з 10 до 10 000, потрібно враховувати витрати, затримки й надійність, а також розуміти, яку цінність створює ШІ. На цьому етапі до обговорення мають долучитися фінансові фахівці та керівники, відповідальні за бізнес-процеси, які підтримує ШІ. ІТ-відділ може виміряти ресурси, які споживає застосунок, але бізнес-керівники мають визначити, чи виправдовують результати ці інвестиції.

Оцінюючи генеративний ШІ, багато організацій і досі приділяють значну увагу таким показникам, як вартість одного токена. Чому, на вашу думку, вартість досягнення бізнес-результату є змістовнішим показником і як компаніям варто розраховувати її на практиці?

Вартість одного токена показує, скільки ресурсів ШІ ви спожили, але не свідчить про те, чи дало це споживання корисний результат. Спершу компаніям слід визначити бізнес-результат, а потім розрахувати загальну вартість його досягнення. Модель — лише одна зі складових цих витрат; до них також належать програмне забезпечення, зберігання даних, передавання даних, управління та людські ресурси. Порівнявши ці витрати зі створеною цінністю в межах конкретного бізнес-процесу, компанії зможуть краще оцінити економічну доцільність інвестицій.

У міру того як ШІ переходить від індивідуальних помічників до агентних і мультиагентних систем, здатних виконувати довгі послідовності завдань, наскільки різко може зрости споживання ресурсів, навіть якщо базова вартість інференсу й далі знижуватиметься?

Споживання ресурсів може дуже швидко зрости, адже один запит користувача може спричинити значно більший обсяг роботи за лаштунками. Перш ніж надати результат, агент може шукати інформацію, викликати інструменти та виконувати кілька кроків. В одному показовому порівнянні HPE звичайний обмін повідомленнями з чатботом потребував близько 400 токенів, тоді як агентний запит RAG — близько 21 500. Навіть якщо ціни на токени знижуються, загальне споживання все одно може різко зрости, коли ШІ береться за складніші завдання.

Як компаніям оцінити, чи справді певний сценарій використання ШІ створює економічну цінність, а не просто підвищує показники продуктивності або дає змогу проводити вражаючі демонстрації?

Перш ніж масштабувати сценарій використання, його слід пов’язати з бізнес-обґрунтуванням, що містить чіткі ключові показники ефективності. Компаніям потрібно розуміти вартість бізнес-процесу й те, як вона зміниться після впровадження ШІ. Також потрібно розрізняти поліпшення окремої діяльності та поліпшення бізнес-результату. Зекономлений час має більше значення, якщо завдяки цьому вдається розв’язати більше проблем клієнтів, зменшити кількість помилок або виконати роботу, яка раніше залишалася невиконаною. Під час оцінювання потрібно враховувати якість результату й додаткові витрати на перевірку чи перероблення. Успішна демонстрація доводить наявність певної можливості; вимірюване поліпшення бізнес-процесу є підставою для рішення розширити її застосування. У деяких випадках такий аналіз може показати, що ШІ — не найкраще рішення.

Маршрутизацію моделей та оркестрацію ШІ дедалі частіше обговорюють як способи контролювати витрати. Наскільки значну цінність компанії можуть отримати, динамічно обираючи для кожного завдання між меншими моделями, моделями передового рівня, спеціалізованими моделями та традиційним програмним забезпеченням?

Дуже важливо добирати модель відповідно до завдання. Ми бачили, як компанії передавали дуже різні робочі навантаження одній і тій самій дорогій передовій моделі, адже спочатку для них було найважливіше запустити ШІ в роботу. За невеликої кількості користувачів це може бути прийнятним, але зі зростанням масштабів використання витрати швидко збільшуються. Передова модель може бути доречною для складних міркувань, тоді як для типового завдання може вистачити меншої моделі. Спеціалізована модель може краще відповідати певній галузі, а передбачуване завдання з чіткими правилами традиційне програмне забезпечення може виконати ефективніше. Оркестрація допомагає поєднати ці варіанти в межах робочого процесу, залучаючи потужнішу модель, коли цього потребує завдання. У міру того як моделі з відкритими вагами стають потужнішими, компанії також отримують більше можливостей виконувати певні робочі навантаження на власній інфраструктурі, а не платити за зовнішні моделі. На рівні підприємства такі рішення щодо маршрутизації можуть істотно знизити витрати, водночас забезпечуючи потрібну бізнесу якість.

На якому етапі економічна доцільність виконання робочих навантажень ШІ змінюється: замість оренди обчислювальних ресурсів через API чи публічну хмару стає вигідніше володіти більшою частиною базової інфраструктури або контролювати її? Які змінні підприємствам слід враховувати, ухвалюючи таке рішення?

Я сприймаю це як вибір між орендою та купівлею. Оренда може бути доцільною, поки компанії експериментують або попит істотно коливається. Коли обсяги використання зростають і стають передбачуванішими, володіти більшою частиною інфраструктури або контролювати її може стати економічно вигідно. Власна інфраструктура також дає змогу проводити додаткові експерименти зі ШІ в періоди низького завантаження, ефективніше використовуючи вже здійснені інвестиції. Компаніям потрібно враховувати характеристики робочих навантажень, а також витрати на електроенергію, управління та підтримання систем в актуальному стані. Для багатьох великих підприємств оптимальним підходом, імовірно, буде поєднання приватної інфраструктури із зовнішніми сервісами залежно від робочого навантаження.

HPE розширює свою інфраструктуру приватного ШІ, оскільки підприємства переводять у виробничу експлуатацію дедалі більше робочих навантажень. У яких випадках, на вашу думку, приватний ШІ має найбільшу економічну перевагу порівняно з використанням ШІ виключно через послуги публічної хмари?

Приватний ШІ може мати значну економічну перевагу для тривалих робочих навантажень, коли компанії можуть ефективно використовувати наявні в них потужності. За одним з аналізів HPE, проведеним за певних припущень щодо робочого навантаження, вартість HPE Private Cloud AI оцінювалася приблизно в $45 за вузло-годину, порівняно з приблизно $102 для еквівалентної конфігурації орендованої хмарної інфраструктури. Ці результати відрізнятимуться залежно від робочого навантаження, тому їх потрібно перераховувати для кожного середовища. Приватний ШІ також дає компаніям змогу обрати іншу фінансову модель: інфраструктура стає активом, який приносить цінність організації.

Агенти ШІ спричиняють витрати, що виходять за межі інференсу, зокрема на отримання даних, виклики інструментів, моніторинг, безпеку та управління. Які витрати організації найімовірніше недооцінюють, плануючи бюджет на агентний ШІ у великих масштабах?

На мою думку, компанії, імовірно, недооцінюють обсяг роботи, потрібної для того, щоб агенти залишалися надійними, безпечними й корисними з часом. Окрім інференсу, є витрати на отримання й підготовку даних, доступ до зовнішніх інструментів і передавання інформації між системами. Повторні виклики інструментів або невдалі спроби можуть збільшувати витрати, не даючи змоги виконати завдання до кінця. Компаніям також потрібно закладати бюджет на оцінювання результатів, моніторинг поведінки агентів, керування дозволами доступу та підтримання засобів безпеки й контролю. У розрахунках слід враховувати й людський нагляд, зокрема час, який працівники витрачають на перевірку винятків або виправлення помилок. Щоб зрозуміти вартість успішно виконаного завдання, потрібно бачити весь цей робочий процес.

Ви наголошували на важливості відстеження споживання ресурсів ШІ в межах окремих бізнес-кейсів. Який вигляд має ефективна система внутрішнього вимірювання і як часто організаціям варто переглядати, чи й досі виправдовує застосунок ШІ постійні витрати на обчислення та експлуатацію?

Система має безпосередньо пов’язувати використання ресурсів із бізнес-кейсом. Компаніям потрібно знати, який застосунок споживає ресурси та який результат він має забезпечити. У HPE ми відстежуємо KPI та базові питомі витрати для кожного сценарію використання, щоб визначити, чи дає він очікувані результати. Я хотів би бачити такі дані також на рівні окремих підрозділів і бізнес-процесів, щоб фінансовий директор міг порівняти вартість процесу сьогодні з його вартістю за використання ШІ. Це має бути безперервний процес, адже з часом можуть змінюватися і використання, і економічна доцільність застосунку. Компаніям також слід проводити повторну оцінку, коли істотно змінюються модель, ціна чи робочий процес, адже такі зміни можуть впливати як на вартість застосунку, так і на його цінність.

Як, на вашу думку, змінюватиметься економіка корпоративного ШІ протягом наступних трьох-п’яти років, коли ШІ стане невіддільною частиною більшості бізнес-процесів? Чи зрештою управління споживанням ШІ буде подібним до таких практик, як FinOps для хмарних обчислень, чи організаціям знадобиться цілком нова операційна модель?

На мою думку, економіка ШІ розвиватиметься на основі практик FinOps, таких як прозорість витрат, їх розподіл і підзвітність, доповнюючи їх оцінюванням якості та цінності роботи, яку виконує ШІ. Коли агенти братимуть на себе більше етапів бізнес-процесів, компаніям потрібно буде розуміти, скільки коштує успішне завершення такого процесу, зокрема з урахуванням повторних спроб, втручання людини та відповідності результату встановленим вимогам. Очікую, що це стане спільною відповідальністю ІТ-фахівців, фінансистів і працівників операційних підрозділів. Ми лише починаємо розробляти узгоджені підходи, які дадуть змогу порівнювати результати в різних організаціях і галузях. З часом я хотів би бачити стандартні показники, що допоможуть компаніям оцінювати ефективність використання ШІ та відображати її у звітах про прибутки та збитки (P&L).

Дякую за чудове інтерв’ю! Читачам, які хочуть дізнатися більше про ШІ у приватній хмарі, корпоративну інфраструктуру та масштабування робочих навантажень ШІ, варто відвідати HPE.

Антуан — далекоглядний лідер і партнер-засновник Unite.AI, якого надихає незмінна пристрасть до формування та просування майбутнього штучного інтелекту й робототехніки. Як підприємець, що заснував кілька компаній, він вірить, що ШІ змінить суспільство так само докорінно, як електрика, і часто із захопленням говорить про потенціал проривних технологій та загального штучного інтелекту (AGI).

Як футуролог, він присвячує себе дослідженню того, як ці інновації формуватимуть наш світ. Він також є засновником Securities.io — платформи, зосередженої на інвестиціях у передові технології, що переосмислюють майбутнє та змінюють цілі галузі.