Навріна Сінгх, генеральний директор і засновник Credo AI – Серія інтерв’ю

Навріна Сінгх є генеральним директором і засновником Credo AI, компанії, яка розробляє перший комплексний платформу SaaS для управління штучним інтелектом, що дозволяє компаніям і окремим особам краще розуміти і доставляти довірчий і етичний штучний інтелект, залишатися попереду нових правил і політик і створювати запис штучного інтелекту, який є аудиторним і прозорим протягом усієї організації. Компанія працювала в режимі стелс і тихо будувала вражаючий портфель клієнтів, який включає одного з найбільших урядових підрядників і фінансових послугових компаній у світі, серед інших брендів Fortune 100.

Ви виросли в маленькому місті в Індії з скромними початками, як ви знайшли себе привабленим до інженерії і галузі штучного інтелекту?

Я походжу з середньокласичної сім’ї; мій тато був у війську протягом чотирьох десятиліть, а моя мама була вчителькою, яка стала дизайнером моди. З раннього віку вони завжди заохочували мою цікавість, любов до наукових відкриттів і надавали мені безпечне місце для дослідження “що якщо”.

Коли я виростав в Індії, жінкам не надавали такої ж кількості можливостей, як чоловікам. Багато рішень уже були прийняті для дівчини на основі того, що було прийнятним для суспільства. Єдиним способом вибратися і забезпечити добру життя для своєї сім’ї було через освіту.

Після закінчення школи я володіла своїм першим комп’ютером, який був моїм вікном у світ. Я була дуже зацікавлена в апаратному забезпеченні і проводила години в Інтернеті, вивчаючи, як розібрати материнські плати, створювати програми робототехніки, вивчати кодування, переробляти електрику в своєму будинку (йогох!) і багато іншого. Інженерія стала моєю безпечною зоною, де я могла експериментувати, досліджувати, створювати і переживати світ, який я хотіла бути частиною через свої винаходи. Я була надихнута і збуджена тим, як технології могли бути потужним інструментом для впливаю на зміни, особливо для жінок.

Виростаючи, мої засоби були обмежені, але можливості не були. Я завжди мріяла про те, щоб прийти до Сполучених Штатів, щоб створити сильнішу основу в технологіях для вирішення найбільших проблем, які стоять перед людством. Я іммігрувала сюди в 2001 році, щоб продовжити своє інженерне навчання в Університеті Вісконсин-Медісон.

За майже два десятиліття в інженерії я мала привілей працювати над багатьма передовими технологіями, від мобільних до доповненої реальності.

У 2011 році я почала вивчати штучний інтелект для створення нових бізнесів в Qualcomm (QCOM ). Я також провела час, створюючи бізнес і програми в галузі штучного інтелекту через мовлення, бачення і NLP в Microsoft (MSFT ) і Qualcomm за останні десять років. Коли я дізнавалася більше про штучний інтелект і машинне навчання, стало очевидним, що ця передова технологія буде масово порушувати нашу життя за межами того, що ми можемо уявити.

Створення штучного інтелекту також зробило мене усвідомило, як технологія може зробити послугу нашим людям і спільнотам, якщо її не контролювати. Ми, як лідери, повинні взяти на себе надзвичайну відповідальність за технології, які ми будемо створювати. Ми повинні бути проактивними у максимізації їхніх переваг для людства і мінімізації ризику. Після всього “те, що ми робимо, робить нас”. Будування відповідально є критично важливим, що надихнуло наступну фазу моєї кар’єри – будівництво управління штучним інтелектом.

Коли ви вперше серйозно подумали про управління штучним інтелектом?

Коли я була головою інновацій в Qualcomm, ми досліджували можливості, які штучний інтелект міг принести нашим новим бізнесам. Наша перша робота була зосереджена на колаборативних роботах, які використовувалися в ланцюзі поставок. Це був мій перший досвід з “реальними” ризиками штучного інтелекту, особливо щодо фізичної безпеки людей, які працювали поряд з цими роботизованими системами.

Під час цього часу ми провели значний час з стартапами, такими як Soul Machines, вивчаючи нові випадки використання і шукаючи способи партнерства з ними для прискорення нашої роботи. Soul Machines випустила нову версію своєї дитини-аватара, “Baby X”. Дивлячись на цю нейронну мережу, яка активно навчалася з світу навколо неї, зробило мене призупинитися і подумати про непередбачувані наслідки цієї технології. Моя дочка Зія народилася приблизно в той же час, і ми ласкаво називали її “Baby Z” після Soul Machines “Baby X”. Я говорила про це досить багато, включаючи виступ на жінках у продукті в 2019 році.

Навчальні процеси Baby X і Baby Z були дивно схожі! Коли Зія виростала, ми надавали їй початковий словник і інструменти для навчання. З часом вона почала розуміти світ і складати все сама. Baby X, штучний інтелект дитини, також навчався через візуальні сенсори і розпізнавання мови, і швидко будував глибоке розуміння людського світу.

Ці перші моменти штучного інтелекту зробили мені зрозумілим, що було критично важливо знайти способи управління ризиком і встановлення ефективних бар’єрів навколо цієї потужної технології, щоб забезпечити її використання для добра.

Чи можете ви поділитися історією походження Credo AI?

Після Qualcomm мене запросили очолити комерціалізацію технологій штучного інтелекту в Microsoft у групі бізнес-розробки і, згодом, в групі продукту. Під час моєї каденції я мала привілей працювати над спектром технологій штучного інтелекту з застосуваннями в випадках від розмовного штучного інтелекту до контрактної інтелектуальності, і від візуальних інспекцій до мовного відкриття продукту.

Однак, насіння управління штучним інтелектом, посаджене в Qualcomm, продовжувало рости, коли я продовжувала свідчити про зростаючий “дефіцит нагляду” у розвитку технологій штучного інтелекту. Як лідер продукту, який працював з командами даних і інженерії, ми були мотивовані створити високопродуктивне застосування штучного інтелекту, яке працює на машинному навчанні, і швидко розгорнути його на ринку.

Ми розглядали дотримання вимог і управління як перевірку, яка сповільнює темп інновацій. Однак, мої зростаючі побоювання щодо дефіциту управління між технічними і наглядовими фахівцями у сфері ризику, дотримання вимог і аудиту, мотивували мене продовжувати дослідження проблем реалізації управління штучним інтелектом.

Усі незвідані питання про управління штучним інтелектом спонукали мене шукати відповіді. Тому я почала закладати основу для некомерційної організації під назвою MERAT (Ринок для інструментів етичного і відповідального штучного інтелекту) з метою створення екосистеми для стартапів і Global 2000, які зосереджені на відповідальному розвитку штучного інтелекту.

Через ранні експерименти в MERAT стало зрозумілим, що не було стартапів, які б забезпечували багатосторонні інструменти для комплексного управління штучним інтелектом і машинним навчанням – поки не з’явилася Credo AI. Ця прогалина була моєю можливістю реалізувати місію навмисного керівництва штучним інтелектом. Моя гіпотеза продовжувала підтверджуватися, що наступний рубіж революції штучного інтелекту буде керуватися управлінням. Підприємства, які приймають управління, вийдуть лідерами у довірчих брендах.

Мене підходили до AI Фонду, інкубатора, заснованого Ендрю Нгом, відомим експертом у галузі штучного інтелекту. AI Фонд зосереджувався на тих самих темах аудиторності штучного інтелекту і управління, з якими я займалася протягом останнього десятиліття.

Credo AI була заснована 28 лютого 2020 року з фінансуванням від AI Фонду.

Credo означає “набір цінностей, який керує вашими діями”. З Credo AI наша мета – наділити підприємства можливістю створювати штучний інтелект з найвищими етичними стандартами.

У попередньому інтерв’ю ви обговорювали, як бренди в майбутньому будуть довірені не тільки тому, як вони будують і розгортають штучний інтелект, але і тому, як вони масштабують штучний інтелект, щоб він служив людству. Чи можете ви розповісти про це?

Штучний інтелект – одна з технологій, які змінюють гру, і пропонує трансформаційні можливості для економіки і суспільства. Він на шляху до внесення майже 16 трильйонів доларів у глобальну економіку до 2030 року.

Однак, останні кілька років звернули увагу на великі загрози штучного інтелекту (і ні, це не роботизовані володарі!) вже тут. Наприклад, судові алгоритми, оптимізовані для мінімальної рецидивної поведінки (повторної злочинної поведінки), можуть вводити упередженість і відмовляти у парафії тим, хто цього заслуговує.

Соціальні алгоритми, оптимізовані для взаємодії, можуть розділити націю.

Несправедливі алгоритми можуть бути причиною того, що ви не отримуєте роботу або вступу до університету.

Чим більше автономію ми надаємо нашим інструментам, тим ширша гама непередбачуваних наслідків. Надзвичайна масштабність генерує надзвичайний вплив, але не завжди той вплив, який ми мали на увазі (я пишу про це в Маніфесті Credo AI).

Я передбачаю, що підприємства, які інвестують у управління штучним інтелектом, щоб допомогти їм будувати технології відповідально і зобов’язатися використовувати дані етично, зможуть заслужити довір’я серед зацікавлених сторін – клієнтів, споживачів, інвесторів, працівників і інших.

Як Credo AI допомагає компаніям нести відповідальність?

Відповідальність означає зобов’язання прийняти відповідальність за свої дії. У контексті розробки і розгортання штучного інтелекту це означає, що підприємства повинні не тільки погодитися на те, що “добре виглядає для них”, але і навмисно зробити кроки для демонстрації дії щодо цих узгоджених цілей і прийняття відповідальності за результати.

Credo AI має на меті бути шерпом для підприємств у їхніх ініціативах щодо етичного і відповідального штучного інтелекту, щоб утримувати їх відповідальними перед різними зацікавленими сторонами: користувачами, працівниками, регуляторами, аудиторами, інвесторами, виконавцями і іншими. Тому Credo AI створила реальну, контекстно-залежну, комплексну і безперервну рішення для доставки етичного і відповідального штучного інтелекту у масштабі.

Будування відповідальності і довір’я до штучного інтелекту – це динамічний процес. Організації повинні погодитися на корпоративні цінності, кодифікувати ці цінності, побудувати їх у свою організаційну інфраструктуру, спостерігати вплив і повторити процес з різними голосами, які надають вхід на кожному етапі. Credo AI забезпечує цю відповідальність через комплексне і реальне рішення для управління дотриманням вимог і оцінки ризику для розгортань штучного інтелекту у масштабі.

За допомогою рішення з управління Credo AI підприємства можуть:

• Погодитися на вимоги управління для своїх випадків використання штучного інтелекту і моделей, з настраюваними пакетами політики і інструментами підтримки рішень для вибору метрик оцінки моделей.
• Оцінити і допитати дані і моделі машинного навчання щодо цих узгоджених цілей
• Аналізувати технічні характеристики у діючий вплив ризику для бізнесу на кожному етапі розробки і розгортання моделі, щоб ви могли впіймати і виправити проблеми управління, перш ніж вони стануть величезними проблемами

Записуючи рішення і дії на кожному етапі, Credo AI захоплює походження рішень, які пішли у створення моделей, як докази. Ці докази будуть записом, спільним всередині підприємств з зацікавленими сторонами і зовні з аудиторами, який будує довір’я до намірів штучного інтелекту.

Ці докази допоможуть командам розробки передбачати і запобігати непередбачуваним наслідкам і стандартизуватимуть спосіб оцінки ефективності і довір’я до моделей штучного інтелекту.

Ми находимося на початку надання управління штучним інтелектом через комплексні оцінки і забезпечення, і ми раді працювати з більшими підприємствами для просування відповідальності.

Як Credo AI допомагає компаніям перейти від управління штучним інтелектом як післядуми?

У сучасному світі немає ясності щодо того, що насправді означає “відповідальний”, “етичний” і “довірчий” штучний інтелект, і як підприємства можуть доставити це. Ми допомагаємо переформулювати цей ключовий запит для підприємств, використовуючи платформу SaaS Credo AI для демонстрації “економіки етики”.

За допомогою Credo AI підприємства можуть не тільки доставляти справедливий, відповідний і аудиторний штучний інтелект, але і будувати довір’я клієнтів.

Будування довір’я клієнтів може розширити клієнтську базу компанії і розблокувати більше продажів. Наприклад, компанії можуть забезпечити найкращий можливий досвід клієнта, використовуючи етичний штучний інтелект у своїх чат-ботах обслуговування клієнтів, або відповідально використовувати штучний інтелект для розуміння діяльності користувача і пропозиції додаткового контенту або продуктів для них. Надзвичайно задоволені клієнти тоді пропонують найкращу рекламу, ділиться своїм досвідом з друзями і сім’єю.

Крім того, підприємства також можуть побачити, як співробітництво між технічними і наглядовими функціями може допомогти їм заощадити кошти завдяки швидшому часу дотримання вимог, інформованому управлінню ризиком, зниженому брендовому і регуляторному ризику. Ми допомагаємо організаціям розгортати етичний штучний інтелект, будуючи міст між технічними метриками і відчутними бізнес-результатами. Як і багато хто зараз розуміє, просування етичного штучного інтелекту передбачає значно більше, ніж перевірка коробки “дотримання вимог”. Але воно має силу доставити навіть більше, ніж внесок у більш справедливий світ, який би був гідним результатом сам по собі.

Коли компанія дотримується високих етичних стандартів, вона може очікувати реальних бізнес-результатів, таких як збільшення доходу. Зміна перспективи з абстрактної “м’якої” концепції на об’єктивне бізнес-рішення було ключовим способом для нас допомогти позиціонувати управління штучним інтелектом як критичну частину економічного і соціального двигуна компанії.

Нещодавно адміністрація Байдена створила Національний комітет з питань штучного інтелекту. На вашу думку, які є наслідки цього для бізнесу штучного інтелекту?

Уряди по всьому світу йдуть повним ходом на регулювання штучного інтелекту, і підприємства повинні готуватися. Створенням Національного комітету з питань штучного інтелекту і інвестиціями в Білий дім OSTP адміністрації Байдена зробили перший хороший крок для реалізації дій щодо обговорень навколо законопроекту про права людини для управління системами штучного інтелекту. Однак, ще багато роботи потрібно зробити, щоб реалізувати, що таке Відповідальний штучний інтелект для нашої країни і економіки.

Я вважаю, що 2022 рік має всі шанси стати роком дії для відповідального штучного інтелекту. Це сигнал для підприємств, які хочуть реалізувати або зміцнити свій етичний каркас штучного інтелекту. Тепер час для компаній оцінити свій існуючий каркас на наявність прогалин або, для компаній, які не мають підходу, реалізувати солідний каркас для довірчого штучного інтелекту, щоб забезпечити їм успіх у лідерстві у віці штучного інтелекту.

Ми повинні очікувати більше жорстких і м’яких регуляцій. Окрім дій Білої справи, є багато імпульсу від інших законодавців і агентств, таких як проект Закону про алгоритмічну відповідальність Сенату, керівництво Федеральної торгової комісії (FTC) щодо упередженості штучного інтелекту і багато іншого.

Якщо ми переходимо у майбутнє, наскільки важливим буде етика штучного інтелекту і управління штучним інтелектом за п’ять років?

Ми находимося на початку управління штучним інтелектом. Щоб підкреслити, наскільки критично управління штучним інтелектом, ось деякі з моїх передбачень на найближчі роки:

• Етичне управління штучним інтелектом стане першою організаційною пріоритетністю

Підприємства продовжують інвестувати і отримувати вигоду від використання штучного інтелекту у своїх бізнесах. IDC передбачає витрату у розмірі 340 мільярдів доларів на штучний інтелект у 2022 році. Без управління підприємства будуть неохоче інвестувати у штучний інтелект через побоювання щодо упередженості, безпеки, точності, дотримання вимог цих систем.

Без довір’я споживачі також будуть неохоче приймати продукти на основі штучного інтелекту або ділитися даними для будівництва цих систем. За наступні п’ять років етичне управління штучним інтелектом стане пріоритетом у кімнаті ради директорів і важливим показником, який компанії повинні будуть розкрити і повідомити, щоб будувати довір’я серед своїх зацікавлених сторін.

• Нові соціотехнічні категорії роботи виникнуть у підприємствах

Ми вже бачимо, як організації, орієнтовані на етику, інвестують значні кошти у майбутнє своє розвиток, щоб забезпечити справедливий, відповідний і аудиторний штучний інтелект.

Щоб лідерство у штучному інтелекті, підприємства повинні прискорити навчання про ландшафт регулювання штучного інтелекту і реалізації структур відповідальності у масштабі. Коли галузь реалізації етичного штучного інтелекту розвивається, може виникнути нова соціотехнічна категорія роботи, яка допоможе фасилітувати ці розмови і взяти на себе відповідальність у цій галузі. Ця нова частина робочої сили могла б функціонувати як посередники між технічними і наглядовими функціями, допомагаючи розробляти спільні стандарти і цілі.

• Нові досвіди, засновані на штучному інтелекті, вимагатимуть суворішого управління

Управління передбачуваними і непередбачуваними наслідками штучного інтелекту є критично важливим, особливо коли ми вступаємо у Метавсесвіт і web3. Ризики штучного інтелекту існують у реальному світі і віртуальному світі, але вони ще більше посилюються у віртуальному світі.

Пірнаючи у Метавсесвіт без належного нагляду за штучним інтелектом, підприємства піддають своїх клієнтів ризику для проблем, таких як крадіжка особистості і шахрайство. Це важливо, щоб проблеми штучного інтелекту були вирішені у реальному світі зараз, щоб зберегти клієнтів у безпеці у Метавсесвіті.

• Нові екосистеми управління штучним інтелектом виникнуть

Світ прокинувся до ідеї, що управління штучним інтелектом представляє базовий блок для реалізації відповідального штучного інтелекту. За наступні кілька років ми побачимо конкурентний і динамічний ринок постачальників послуг, які надаватимуть інструменти, послуги, освіту і інші можливості для підтримки цієї величезної потреби.

Крім того, ми також побачимо консолідацію і доповнення існуючих платформ MLOps і GRC, щоб привнести можливості управління і оцінки до штучного інтелекту.

Чи є щось інше, що ви хотіли б поділитися про Credo AI?

Етичне управління штучним інтелектом – це інвестиція, яка забезпечує майбутнє, яку ви не можете собі дозволити не зробити, і сьогодні є найкращим днем для початку.

Дякую за детальне інтерв’ю і за те, що ви поділилися всіма своїми ідеями щодо управління штучним інтелектом і етики, читачам, які бажають дізнатися більше, слід відвідати Credo AI.