Наврина Сингх, генеральный директор и основатель Credo AI – Интервью

Наврина Сингх является генеральным директором и основателем Credo AI, компании, разрабатывающей первую комплексную платформу SaaS для управления ИИ, которая позволяет компаниям и отдельным лицам лучше понимать и создавать достоверный и этический ИИ, опережать новые правила и политики и создавать запись ИИ, которая является аудиторской и прозрачной на протяжении всей организации. Компания работала в режиме скрытности и тихо строила впечатляющий портфель клиентов, который включает одного из крупнейших подрядчиков правительства и финансовых услуг в мире, среди других брендов Fortune 100.

Вы выросли в небольшом городке в Индии с скромными началами, как вы оказались привлечены к инженерии и области ИИ?

Я来自 среднего класса; мой отец служил в армии четыре десятилетия, а моя мать была учителем, ставшим дизайнером моды. С раннего возраста они всегда поощряли мое любопытство, любовь к научным открытиям и предоставляли мне безопасное место для изучения “что, если”.

Когда я рос в Индии, женщинам не предоставлялись столько же возможностей, сколько мужчинам. Многие решения уже были приняты для девушки, основанные на том, что было приемлемо для общества. Единственный способ вырваться и обеспечить хорошую жизнь для своей семьи был через образование.

После окончания средней школы я владел своим первым компьютером, который был моим окном в мир. Я действительно интересовался аппаратным обеспечением и проводил часы в Интернете, изучая, как разобрать материнские платы, создавать робототехнические приложения, учиться программировать, переделывать электрику в своем доме (ой!) и многое другое. Инженерия стала моим безопасным пространством, где я мог экспериментировать, исследовать, создавать и испытывать мир, который я хотел быть частью через свои изобретения. Меня вдохновляла и волновала возможность того, как технологии могут быть мощным инструментом для изменения, особенно для женщин.

Растя, мои возможности были ограничены, но возможности не были. Я всегда мечтал приехать в Соединенные Штаты, чтобы построить более прочный фундамент в технологиях для решения самых больших проблем, с которыми сталкивается человечество. Я иммигрировал сюда в 2001 году, чтобы продолжить свое инженерное путешествие в Университете Висконсин-Мэдисон.

На протяжении почти двух десятилетий в инженерии я имел привилегию работать над множеством передовых технологий, от мобильных до дополненной реальности.

В 2011 году я начал исследовать искусственный интеллект, чтобы создать новые бизнесы в Qualcomm (QCOM ). Я также провел время, создавая бизнесы и приложения в области ИИ в области речи, зрения и NLP в Microsoft (MSFT ) и Qualcomm за последнее десятилетие. Когда я узнал больше об ИИ и машинном обучении, стало очевидно, что эта передовая технология будет массово нарушать нашу жизнь за пределами того, что мы можем представить.

Создание искусственного интеллекта в масштабе предприятия также заставило меня осознать, как эта технология может нанести вред нашим людям и сообществам, если ее не контролировать. Мы, как лидеры, должны взять на себя экстремальную ответственность за технологии, которые мы создаем. Мы должны быть проактивными в максимизации их пользы для человечества и минимизации их риска. Ведь “то, что мы создаем, делает нас”. Поэтому построение ответственно является критическим, что вдохновило следующую фазу моей карьеры – построение управления ИИ.

Когда вы впервые серьезно подумали об управлении ИИ?

Когда я был главой инноваций в Qualcomm, мы исследовали возможности, которые ИИ мог бы принести нашим бизнесам. Наша первоначальная работа была сосредоточена на коллаборативных роботах, используемых в цепочке поставок. Это был мой первый опыт с “реальными” рисками ИИ, особенно в отношении физической безопасности людей, работающих рядом с этими роботизированными системами.

В это время мы провели значительное время со стартапами, такими как Soul Machines, изучая новые варианты использования и находя способы партнерства с ними для ускорения нашей работы. Soul Machines выпустила новую версию своего бэйби-аватара, “Бэйби Икс”. Смотрение на этого нейронного бэйби, активно обучающегося из мира вокруг нее, заставило меня задуматься и подумать о непредвиденных последствиях этой технологии. Моя дочь Зия родилась примерно в то же время, и мы ласково прозвали ее “Бэйби З” в честь Soul Machines “Бэйби Икс”. Я много говорил об этом, включая женский продукт-ключевой доклад в 2019 году.

Обучение “Бэйби Икс” и “Бэйби З” было жутко похоже! Когда Зия росла, мы предоставляли ей первоначальный словарный запас и инструменты для обучения. Со временем она начала понимать мир и складывать все вместе сама. “Бэйби Икс”, нейронное бэйби, также училось через датчики зрения и распознавания речи и быстро строило глубокое понимание человеческого мира.

Эти ранние моменты ИИ сделали ясным для меня, что важно найти способы управления рисками и установления эффективных ограничений вокруг этой мощной технологии, чтобы обеспечить ее развертывание во благо.

Можете ли вы рассказать историю создания Credo AI?

После Qualcomm меня пригласили возглавить коммерциализацию технологий ИИ в Microsoft в группе бизнес-развития и, впоследствии, в группе продукта. Во время моего пребывания я был счастлив работать над спектром технологий ИИ с применением в случаях от разговорного ИИ до контрактной разведки, и от визуальных проверок до речевого продукта-обнаружения.

Однако семя управления ИИ, посаженное в Qualcomm, продолжало расти, когда я продолжал свидетелем растущего “дефицита надзора” в развитии технологий ИИ. Как лидер продукта, работающий с командами данных и инженерии, мы были мотивированы создать высокопроизводительное приложение ИИ, работающее на машинном обучении, и быстро развернуть его на рынке.

Мы рассматривали соблюдение и управление как проверку, замедляющую темп инноваций. Однако мои растущие опасения по поводу дефицита управления между техническими и надзорными профессионалами в области риска, соблюдения и аудита мотивировали меня продолжать исследовать проблемы реализации управления ИИ.

Все безответные вопросы об управлении ИИ побудили меня искать ответы. Итак, я начал закладывать основу для некоммерческой организации под названием MERAT (Рынок для инструментов этического и ответственного ИИ) с целью создания экосистемы для стартапов и Global 2000, фокусирующихся на ответственной разработке ИИ.

Через ранние эксперименты в MERAT стало ясно, что не было стартапов, которые бы включали многосторонние инструменты для обеспечения комплексного управления ИИ и ML-приложениями – пока не появилась Credo AI. Этот пробел был моей возможностью реализовать миссию намеренного руководства ИИ. Моя гипотеза постоянно подтверждалась, что следующий рубеж революции ИИ будет руководствоваться управлением. Предприятия, которые принимают управление, выйдут лидерами в доверенных брендах.

Меня подошел AI Фонд, инкубатор, основанный Эндрю Нгом, известным экспертом в области ИИ. AI Фонд фокусировался на тех же темах аудиторской отчетности и управления ИИ, которые я занимался в течение последнего десятилетия.

Credo AI была зарегистрирована 28 февраля 2020 года с финансированием от AI Фонда.

Credo означает “набор ценностей, который руководит вашими действиями”. С Credo AI наша видение – дать возможность предприятиям создавать ИИ с самыми высокими этическими стандартами.

В одном из предыдущих интервью, вы обсуждали, как бренды в будущем будут доверять не “только” тому, как они строят и развертывают ИИ, но и тому, как они масштабируют ИИ, чтобы он служил человечеству. Можете ли вы рассказать об этом?

Искусственный интеллект – одна из игровых технологий этого века и предлагает трансформирующие возможности для экономики и общества. Он на пути к внесению почти 16 триллионов долларов в глобальную экономику к 2030 году.

Однако прошлые несколько лет подчеркнули значительные угрозы ИИ (и нет, это не роботы-перевороты!) уже здесь. Например, алгоритмы судебной системы, оптимизирующие минимальную рецидивность (повторное преступление), могут ввести предвзятость и отказать в условно-досрочном освобождении тем, кто этого заслуживает.

Социальные алгоритмы, оптимизирующие вовлеченность, могут разделить нацию.

Несправедливые алгоритмы могут быть причиной того, что вы не получите работу или поступление в университет.

Чем больше автономности мы предоставляем нашим инструментам, тем шире диапазон непредвиденных последствий. Необычный масштаб генерирует необычный эффект, но не всегда тот эффект, который мы намереваемся (я пишу об этом в манифесте Credo AI).

Я предсказываю, что предприятия, которые инвестируют в управление ИИ, чтобы помочь им строить технологии ответственно и обязаться использовать данные этично, смогут заслужить доверие среди заинтересованных сторон – клиентов, потребителей, инвесторов, сотрудников и других.

Как Credo AI помогает компаниям оставаться подотчетными?

Ответственность означает обязательство принять ответственность за свои действия. В контексте разработки и развертывания ИИ это означает, что предприятия должны не только согласиться на то, что “хорошо выглядит для них”, но и предпринять намеренные шаги, чтобы продемонстрировать действие на этих согласованных целях и принять ответственность за результаты.

Credo AI стремится быть шерпом для предприятий в их этических и ответственных инициативах по ИИ, чтобы держать их подотчетными разнообразным заинтересованным сторонам: пользователям, сотрудникам, регулирующим органам, аудиторам, инвесторам, исполнительным директорам и другим. Таким образом, Credo AI стала пионером реального, контекстно-ориентированного, комплексного и непрерывного решения для предоставления этичного и ответственного ИИ в масштабе.

Строительство подотчетности и доверия в ИИ – это динамический процесс. Организации должны согласиться на корпоративные ценности, кодифицировать эти ценности, построить их в свою организационную инфраструктуру, наблюдать за воздействием и повторять процесс с разнообразными голосами, предоставляющими входные данные на каждом этапе. Credo AI позволяет эту подотчетность через комплексное и реальное решение для управления соблюдением и измерения риска для развертывания ИИ в масштабе.

Используя решение управления Credo AI, предприятия могут:

• Согласиться на требования управления для своих случаев использования ИИ и моделей, с настраиваемыми пакетами политики и инструментами поддержки принятия решений для выбора метрик оценки модели.
• Оценить и допросить данные и модели ML по согласованным целям
• Анализировать технические характеристики в действенный воздействие риска для бизнеса на каждом этапе разработки и развертывания модели, чтобы вы могли поймать и исправить проблемы с управлением, прежде чем они станут массивными проблемами

Записывая решения и действия на каждом этапе, Credo AI захватывает происхождение решений, которые привели к созданию моделей, в качестве доказательств. Эти доказательства будут записью, общей внутри предприятия с заинтересованными сторонами и внешними аудиторами, которая строит доверие к намерениям ИИ.

Эти доказательства помогут командам разработки предсказать и предотвратить непредвиденные последствия и будут стандартизировать способ оценки эффективности и достоверности моделей ИИ.

Мы находимся на ранней стадии включения управления ИИ через комплексные оценки и гарантии и рады работать с большим количеством предприятий для продвижения подотчетности.

Как Credo AI помогает компаниям перейти от того, что управление ИИ является после мысли?

В сегодняшнем мире существует неясность вокруг того, что действительно означает “ответственный”, “этический” и “достоверный” ИИ, и как предприятия могут доставить это. Мы помогаем переформулировать этот ключевой вопрос для предприятий, используя платформу SaaS Credo AI, чтобы продемонстрировать “экономику этики”.

С Credo AI предприятия могут не только предоставлять справедливый, соответствующий и аудиторский ИИ, но и строить доверие клиентов.

Строительство доверия клиентов может расширить клиентскую базу компании и разблокировать больше продаж. Например, компании могут предоставить лучший возможный опыт клиентов, используя этический ИИ в своих чат-ботах обслуживания клиентов или ответственно использовать ИИ, чтобы понять активность пользователей и предложить дополнительный контент или продукты для них. Очень довольные клиенты затем предлагают лучшую рекламу, делясь своим опытом с друзьями и семьей.

Кроме того, предприятия также могут увидеть, как сотрудничество между техническими и надзорными функциями может помочь им сэкономить деньги из-за более быстрого соблюдения, информированного управления рисками, снижения брендовых и регулирующих рисков. Мы помогаем организациям развертывать этический ИИ, строя мост между техническими метриками и осязаемыми бизнес-результатами. Когда все больше людей осознают, что продвижение этического ИИ включает в себя гораздо больше, чем простая проверка “регуляторного соответствия”, но это имеет силу доставить даже больше, чем вклад в более справедливый мир, который был бы достойным результатом сам по себе.

Когда компания поддерживает высокие этические стандарты, она может ожидать реальных бизнес-результатов, таких как увеличение дохода. Переход перспективы от абстрактной “мягкой” концепции к объективному бизнес-решению был ключевым способом, с помощью которого мы помогаем позиционировать управление ИИ как критическую часть экономического и социального двигателя компании.

Недавно администрация Байдена создала Национальный консультативный комитет по искусственному интеллекту. Каковы, по вашему мнению, последствия этого для бизнеса ИИ?

Правительства по всему миру идут полным ходом на регулирование ИИ, и предприятиям необходимо подготовиться. Создание администрацией Байдена Национального консультативного комитета по ИИ и инвестиции в Белом доме OSTP – это хороший первый шаг к приведению действий к обсуждениям вокруг законопроекта о правах, регулирующих системы ИИ. Однако много работы предстоит сделать, чтобы реализовать, что такое Ответственный ИИ для нашей страны и экономики.

Я считаю, что 2022 год имеет все шансы стать годом действий для ответственного ИИ. Это сигнал пробуждения для предприятий, стремящихся реализовать или укрепить свою этическую основу ИИ. Сейчас время для компаний оценить свою существующую основу для пробелов или, для компаний, не имеющих подхода, реализовать прочную основу для достоверного ИИ, чтобы подготовить себя к успеху в эпоху ИИ.

Мы должны ожидать больше жестких и мягких правил. В дополнение к действиям Белого дома есть много импульса, исходящего от других политиков и агентств, таких как проект закона о подотчетности алгоритмов Сената, руководство Федеральной торговой комиссии (FTC) по предвзятости ИИ и многое другое.

Если мы переместимся в будущее, насколько важным будет этика ИИ и управление ИИ через пять лет?

Мы находимся на ранней стадии управления ИИ. Чтобы подчеркнуть, насколько критически важно управление ИИ, вот некоторые из моих прогнозов на следующие несколько лет:

• Этическое управление ИИ станет приоритетом организации

Предприятия продолжают инвестировать и получать выгоду от использования ИИ в своих бизнесах. IDC прогнозирует расходы на ИИ в размере 340 миллиардов долларов в 2022 году. Без управления предприятия будут неохотно инвестировать в ИИ из-за опасений по поводу предвзятости, безопасности, точности и соблюдения этих систем.

Без доверия потребители также будут неохотно принимать продукты или делиться данными для построения этих систем. В течение следующих пяти лет этическое управление ИИ станет приоритетом в совете директоров и важным показателем, который компании должны будут раскрывать и сообщать, чтобы построить доверие среди своих заинтересованных сторон.

• Новые социотехнические категории работы появятся внутри предприятия

Мы уже видим, что этически-ориентированные организации инвестируют значительные средства в будущее развитие, чтобы обеспечить справедливый, соответствующий и аудиторский ИИ.

Чтобы лидировать в ИИ, предприятиям необходимо будет еще больше ускорить обучение об ИИ-регуляторном ландшафте и реализации структур подотчетности в масштабе. Когда возникает область этического ИИ, может появиться новая социотехническая категория работы, которая будет облегчать эти разговоры и брать на себя ответственность в этой области. Этот новый компонент рабочей силы может функционировать как посредники между техническими и надзорными органами, помогая разработать общие стандарты и цели.

• Новые ИИ-опыты будут требовать более строгого управления

Управление предвиденными и непредвиденными последствиями искусственного интеллекта имеет решающее значение, особенно когда мы вступаем в Metaverse и web3-мир. Риски ИИ существуют в реальном мире и виртуальном мире, но они еще больше усиливаются в последнем.

Прыгая в Metaverse без надлежащего надзора за ИИ, предприятия подвергают своих клиентов риску проблем, таких как кража личности и мошенничество. Поэтому важно решить проблемы ИИ и управления в реальном мире сейчас, чтобы сохранить безопасность потребителей в Metaverse.

• Новые экосистемы управления ИИ появятся

Мир проснулся к идее, что управление ИИ представляет собой базовый строительный блок для реализации Ответственного ИИ. В течение следующих нескольких лет мы увидим конкурентный и динамичный рынок поставщиков услуг, которые будут предоставлять инструменты, услуги, образование и другие возможности для поддержки этой огромной потребности.

Кроме того, мы также увидим консолидацию и дополнение существующих платформ MLops и GRC, чтобы принести возможности управления и оценки ИИ.

Есть ли что-то еще, что вы хотели бы поделиться о Credo AI?

Этическое управление ИИ – это будущее инвестиций, которые вы не можете не сделать, и сегодня – лучший день, чтобы начать.

Спасибо за подробное интервью и за обмен всеми своими идеями по управлению ИИ и этике. Читателям, которые хотят узнать больше, следует посетить Credo AI.