Наврина Сингх, генеральная директорка и основательница Credo AI – Серия интервью

Наврина Сингх является генеральной директоркой и основательницей Credo AI, компании, разрабатывающей первую комплексную платформу SaaS для управления ИИ, которая позволяет компаниям и отдельным лицам лучше понимать и создавать достоверный и этический ИИ, опережать новые правила и политики и создавать запись ИИ, которая доступна для аудита и прозрачна на протяжении всей организации. Компания работала в режиме скрытности и тихо строила впечатляющий портфель клиентов, который включает одного из крупнейших подрядчиков правительства и финансовых услуг в мире, среди других брендов Fortune 100.

Вы выросли в небольшом городке в Индии с скромными началами, как вы оказались привлечены к инженерии и области ИИ?

Я из семьи среднего класса; мой отец служил в армии четыре десятилетия, а моя мать была учителем, ставшим дизайнером моды. С раннего возраста они всегда поощряли мое любопытство, любовь к научным открытиям и предоставляли мне безопасное место для изучения “что, если”.

Когда я росла в Индии, женщинам не предоставлялись столько же возможностей, сколько мужчинам. Многие решения уже были приняты для девушки, основанные на том, что было приемлемо для общества. Единственный способ вырваться и обеспечить хорошую жизнь для своей семьи был через образование.

После окончания средней школы я владела своим первым компьютером, который был моим окном в мир. Я действительно интересовалась аппаратным обеспечением и проводила часы в Интернете, изучая, как разобрать материнские платы, создавать робототехнические приложения, учиться программировать, переделывать электрику в своем доме (ой!) и многое другое. Инженерия стала моим безопасным пространством, где я могла экспериментировать, исследовать, создавать и испытывать мир, частью которого я хотела быть через свои изобретения. Меня вдохновляла и волновала возможность того, как технологии могут быть мощным инструментом для изменения, особенно для женщин.

Растя, мои ресурсы были ограничены, но возможности — нет. Я всегда мечтала приехать в Соединенные Штаты, чтобы построить более прочный фундамент в технологиях для решения самых больших проблем, с которыми сталкивается человечество. Я иммигрировала сюда в 2001 году, чтобы продолжить свое инженерное путешествие в Университете Висконсин-Мэдисон.

На протяжении почти двух десятилетий в инженерии я имела привилегию работать над множеством передовых технологий, от мобильных до дополненной реальности.

В 2011 году я начала исследовать искусственный интеллект, чтобы создать новые бизнесы в Qualcomm (QCOM ). Я также провела время, создавая бизнесы и приложения в области ИИ в области речи, зрения и NLP в Microsoft (MSFT ) и Qualcomm за последнее десятилетие. Когда я узнала больше об ИИ и машинном обучении, стало очевидно, что эта передовая технология будет массово нарушать нашу жизнь за пределами того, что мы можем представить.

Создание искусственного интеллекта в масштабе предприятия также заставило меня осознать, как эта технология может нанести вред нашим людям и сообществам, если ее не контролировать. Мы, как лидеры, должны взять на себя экстремальную ответственность за технологии, которые мы создаем. Мы должны быть проактивными в максимизации их пользы для человечества и минимизации их риска. Ведь “то, что мы создаем, делает нас”. Поэтому построение ответственно является критическим, что вдохновило следующую фазу моей карьеры – построение управления ИИ.

Когда вы впервые серьезно подумали об управлении ИИ?

Когда я была главой инноваций в Qualcomm, мы исследовали возможности, которые ИИ мог бы принести нашим бизнесам. Наша первоначальная работа была сосредоточена на коллаборативных роботах, используемых в цепочке поставок. Это был мой первый опыт с “реальными” рисками ИИ, особенно в отношении физической безопасности людей, работающих рядом с этими роботизированными системами.

В это время мы провели значительное время со стартапами, такими как Soul Machines, изучая новые варианты использования и находя способы партнерства с ними для ускорения нашей работы. Soul Machines выпустила новую версию своего бэйби-аватара, “Бэйби Икс”. Смотрение на этого нейронного бэйби, активно обучающегося из мира вокруг нее, заставило меня задуматься и подумать о непредвиденных последствиях этой технологии. Моя дочь Зия родилась примерно в то же время, и мы ласково прозвали ее “Бэйби З” в честь Soul Machines “Бэйби Икс”. Я много говорила об этом, включая основной доклад Women In Product в 2019 году.

Обучение “Бэйби Икс” и “Бэйби З” было поразительно похоже! Когда Зия росла, мы предоставляли ей первоначальный словарный запас и инструменты для обучения. Со временем она начала понимать мир и складывать все вместе сама. “Бэйби Икс”, нейронное бэйби, также училось через датчики зрения и распознавания речи и быстро строило глубокое понимание человеческого мира.

Эти ранние моменты ИИ сделали ясным для меня, что важно найти способы управления рисками и установления эффективных ограничений вокруг этой мощной технологии, чтобы обеспечить ее развертывание во благо.

Можете ли вы рассказать историю создания Credo AI?

После Qualcomm меня пригласили возглавить коммерциализацию технологий ИИ в Microsoft в группе бизнес-развития и, впоследствии, в группе продукта. Во время моего пребывания я была рада работать над спектром технологий ИИ с применением в случаях от разговорного ИИ до интеллектуального анализа договоров, и от визуальных проверок до поиска продуктов с помощью речи.

Однако семя управления ИИ, посаженное в Qualcomm, продолжало расти, когда я продолжала наблюдать растущего “дефицита надзора” в развитии технологий ИИ. Как лидер продукта, работающий с командами данных и инженерии, мы были мотивированы создать высокопроизводительное приложение ИИ, работающее на машинном обучении, и быстро развернуть его на рынке.

Мы рассматривали соблюдение и управление как проверку, замедляющую темп инноваций. Однако мои растущие опасения по поводу дефицита управления между техническими и надзорными профессионалами в области риска, соблюдения и аудита мотивировали меня продолжать исследовать проблемы реализации управления ИИ.

Все безответные вопросы об управлении ИИ побудили меня искать ответы. Итак, я начала закладывать основу для некоммерческой организации под названием MERAT (Рынок для инструментов этического и ответственного ИИ) с целью создания экосистемы для стартапов и Global 2000, фокусирующихся на ответственной разработке ИИ.

Через ранние эксперименты в MERAT стало ясно, что не было стартапов, которые бы включали многосторонние инструменты для обеспечения комплексного управления ИИ и ML-приложениями – пока не появилась Credo AI. Этот пробел был моей возможностью реализовать миссию намеренного руководства ИИ. Моя гипотеза постоянно подтверждалась, что следующий рубеж революции ИИ будет руководствоваться управлением. Предприятия, которые принимают управление, выйдут лидерами в доверенных брендах.

Со мной связался AI Fund, инкубатор, основанный Эндрю Нгом, известным экспертом в области ИИ. AI Фонд фокусировался на тех же темах возможности аудита и управления ИИ, которыми я занималась в течение последнего десятилетия.

Credo AI была зарегистрирована 28 февраля 2020 года с финансированием от AI Фонда.

Credo означает “набор ценностей, который руководит вашими действиями”. С Credo AI наша видение – дать возможность предприятиям создавать ИИ с самыми высокими этическими стандартами.

В одном из предыдущих интервью, вы обсуждали, как доверие к брендам в будущем будет зависеть не только от того, как они создают и развертывают ИИ, но и тому, как они масштабируют ИИ, чтобы он служил человечеству. Можете ли вы рассказать об этом?

Искусственный интеллект – одна из преобразующих технологий этого века и предлагает трансформирующие возможности для экономики и общества. Он на пути к внесению почти 16 триллионов долларов в глобальную экономику к 2030 году.

Однако прошлые несколько лет подчеркнули значительные угрозы ИИ (и нет, это не роботы-перевороты!) уже здесь. Например, алгоритмы судебной системы, оптимизирующие минимальную рецидивность (повторное преступление), могут ввести предвзятость и отказать в условно-досрочном освобождении тем, кто этого заслуживает.

Социальные алгоритмы, оптимизирующие вовлеченность, могут разделить нацию.

Несправедливые алгоритмы могут быть причиной того, что вы не получите работу или поступление в университет.

Чем больше автономности мы предоставляем нашим инструментам, тем шире диапазон непредвиденных последствий. Необычный масштаб генерирует необычный эффект, но не всегда тот эффект, который мы намереваемся (я пишу об этом в манифесте Credo AI).

Я предсказываю, что предприятия, которые инвестируют в управление ИИ, чтобы помочь им строить технологии ответственно и обязаться использовать данные этично, смогут заслужить доверие среди заинтересованных сторон – клиентов, потребителей, инвесторов, сотрудников и других.

Как Credo AI помогает компаниям оставаться подотчетными?

Ответственность означает обязательство принять ответственность за свои действия. В контексте разработки и развертывания ИИ это означает, что предприятия должны не только согласиться на то, что “хорошо выглядит для них”, но и предпринять намеренные шаги, чтобы продемонстрировать действие на этих согласованных целях и принять ответственность за результаты.

Credo AI стремится быть шерпом для предприятий в их этических и ответственных инициативах по ИИ, чтобы держать их подотчетными разнообразным заинтересованным сторонам: пользователям, сотрудникам, регулирующим органам, аудиторам, инвесторам, исполнительным директорам и другим. Таким образом, Credo AI стала пионером комплексного и непрерывного решения, работающего в реальном времени с учетом контекста для предоставления этичного и ответственного ИИ в масштабе.

Строительство подотчетности и доверия в ИИ – это динамический процесс. Организации должны согласиться на корпоративные ценности, кодифицировать эти ценности, построить их в свою организационную инфраструктуру, наблюдать за воздействием и повторять процесс с разнообразными голосами, предоставляющими входные данные на каждом этапе. Credo AI позволяет эту подотчетность через комплексное решение, работающее в реальном времени для управления соблюдением и измерения риска для развертывания ИИ в масштабе.

Используя решение управления Credo AI, предприятия могут:

• Согласиться на требования управления для своих случаев использования ИИ и моделей, с настраиваемыми пакетами политики и инструментами поддержки принятия решений для выбора метрик оценки модели.
• Оценить и исследовать данные и модели ML по согласованным целям
• Анализировать технические характеристики в действенный воздействие риска для бизнеса на каждом этапе разработки и развертывания модели, чтобы вы могли поймать и исправить проблемы с управлением, прежде чем они станут массивными проблемами

Записывая решения и действия на каждом этапе, Credo AI захватывает происхождение решений, которые привели к созданию моделей, в качестве доказательств. Эти доказательства будут записью, общей внутри предприятия с заинтересованными сторонами и внешними аудиторами, которая строит доверие к намерениям ИИ.

Эти доказательства помогут командам разработки предсказать и предотвратить непредвиденные последствия и будут стандартизировать способ оценки эффективности и достоверности моделей ИИ.

Мы находимся на ранней стадии включения управления ИИ через комплексные оценки и обеспечение качества и рады работать с большим количеством предприятий для продвижения подотчетности.

Как Credo AI помогает компаниям перейти от того, что управление ИИ является после мысли?

В сегодняшнем мире существует неясность вокруг того, что действительно означает “ответственный”, “этический” и “достоверный” ИИ, и как предприятия могут доставить это. Мы помогаем переформулировать этот ключевой вопрос для предприятий, используя платформу SaaS Credo AI, чтобы продемонстрировать “экономику этики”.

С Credo AI предприятия могут не только предоставлять справедливый, соответствующий и аудиторский ИИ, но и строить доверие клиентов.

Строительство доверия клиентов может расширить клиентскую базу компании и разблокировать больше продаж. Например, компании могут предоставить лучший возможный опыт клиентов, используя этический ИИ в своих чат-ботах обслуживания клиентов или ответственно использовать ИИ, чтобы понять активность пользователей и предложить дополнительный контент или продукты для них. Очень довольные клиенты затем предлагают лучшую рекламу, делясь своим опытом с друзьями и семьей.

Кроме того, предприятия также могут увидеть, как сотрудничество между техническими и надзорными функциями может помочь им сэкономить деньги из-за более быстрого соблюдения, информированного управления рисками, снижения брендовых и регулирующих рисков. Мы помогаем организациям развертывать этический ИИ, строя мост между техническими метриками и осязаемыми бизнес-результатами. Когда все больше людей осознают, что продвижение этического ИИ включает в себя гораздо больше, чем простая проверка “регуляторного соответствия”, но это имеет силу доставить даже больше, чем вклад в более справедливый мир, который был бы достойным результатом сам по себе.

Когда компания поддерживает высокие этические стандарты, она может ожидать реальных бизнес-результатов, таких как увеличение дохода. Переход перспективы от абстрактной “мягкой” концепции к объективному бизнес-решению был ключевым способом, с помощью которого мы помогаем позиционировать управление ИИ как критическую часть экономического и социального двигателя компании.

Недавно администрация Байдена создала Национальный консультативный комитет по искусственному интеллекту. Каковы, по вашему мнению, последствия этого для бизнеса ИИ?

Правительства по всему миру идут полным ходом на регулирование ИИ, и предприятиям необходимо подготовиться. Создание администрацией Байдена Национального консультативного комитета по ИИ и инвестиции в Белом доме OSTP – это хороший первый шаг к приведению действий к обсуждениям вокруг декларации прав, связанных с управлением системами ИИ. Однако много работы предстоит сделать, чтобы реализовать, что такое Ответственный ИИ для нашей страны и экономики.

Я считаю, что 2022 год имеет все шансы стать годом действий для ответственного ИИ. Это сигнал пробуждения для предприятий, стремящихся реализовать или укрепить свою этическую основу ИИ. Сейчас время для компаний оценить свою существующую основу для пробелов или, для компаний, не имеющих подхода, реализовать прочную основу для достоверного ИИ, чтобы подготовить себя к успеху в эпоху ИИ.

Мы должны ожидать больше жестких и мягких правил. В дополнение к действиям Белого дома есть много импульса, исходящего от других политиков и агентств, таких как проект закона о подотчетности алгоритмов Сената, руководство Федеральной торговой комиссии (FTC) по предвзятости ИИ и многое другое.

Если мы переместимся в будущее, насколько важным будет этика ИИ и управление ИИ через пять лет?

Мы находимся на ранней стадии управления ИИ. Чтобы подчеркнуть, насколько критически важно управление ИИ, вот некоторые из моих прогнозов на следующие несколько лет:

• Этическое управление ИИ станет приоритетом организации

Предприятия продолжают инвестировать и получать выгоду от использования ИИ в своих бизнесах. IDC прогнозирует расходы на ИИ в размере 340 миллиардов долларов в 2022 году. Без управления предприятия будут неохотно инвестировать в ИИ из-за опасений по поводу предвзятости, безопасности, точности и соблюдения этих систем.

Без доверия потребители также будут неохотно принимать продукты на основе ИИ или делиться данными для построения этих систем. В течение следующих пяти лет этическое управление ИИ станет приоритетом в совете директоров и важным показателем, который компании должны будут раскрывать и сообщать, чтобы построить доверие среди своих заинтересованных сторон.

• Новые социотехнические категории работы появятся внутри предприятия

Мы уже видим, что этически-ориентированные организации инвестируют значительные средства в будущее развитие, чтобы обеспечить справедливый, соответствующий и аудиторский ИИ.

Чтобы лидировать в ИИ, предприятиям необходимо будет еще больше ускорить обучение об ИИ-регуляторном ландшафте и реализации структур подотчетности в масштабе. Когда возникает область этического ИИ, может появиться новая социотехническая категория работы, которая будет облегчать эти разговоры и брать на себя ответственность в этой области. Этот новый компонент рабочей силы может функционировать как посредники между техническими и надзорными органами, помогая разработать общие стандарты и цели.

• Новые ИИ-опыты будут требовать более строгого управления

Управление предвиденными и непредвиденными последствиями искусственного интеллекта имеет решающее значение, особенно когда мы вступаем в Metaverse и web3-мир. Риски ИИ существуют в реальном мире и виртуальном мире, но они еще больше усиливаются в последнем.

Прыгая в Metaverse без надлежащего надзора за ИИ, предприятия подвергают своих клиентов риску проблем, таких как кража личности и мошенничество. Поэтому важно решить проблемы ИИ и управления в реальном мире сейчас, чтобы сохранить безопасность потребителей в Metaverse.

• Новые экосистемы управления ИИ появятся

Мир проснулся к идее, что управление ИИ представляет собой базовый строительный блок для реализации Ответственного ИИ. В течение следующих нескольких лет мы увидим конкурентный и динамичный рынок поставщиков услуг, которые будут предоставлять инструменты, услуги, образование и другие возможности для поддержки этой огромной потребности.

Кроме того, мы также увидим консолидацию и дополнение существующих платформ MLops и GRC, чтобы принести возможности управления и оценки ИИ.

Есть ли что-то еще, что вы хотели бы поделиться о Credo AI?

Этическое управление ИИ – это инвестиция, рассчитанная на будущее, которую вы не можете позволить себе не сделать, и сегодня – лучший день, чтобы начать.

Спасибо за подробное интервью и за обмен всеми своими идеями по управлению ИИ и этике. Читателям, которые хотят узнать больше, следует посетить Credo AI.