Интервью
Наврина Сингх, генеральный директор и основатель Credo AI — серия интервью
Наврина Сингх — генеральный директор и основатель Кредо AI, компания, разрабатывающая первую комплексную платформу SaaS для управления ИИ, которая позволяет компаниям и частным лицам лучше понимать и предоставлять надежный и этичный ИИ, опережать новые правила и политики и создавать записи ИИ, которые можно проверять и прозрачно для всей организации. Компания работает незаметно и незаметно создает впечатляющий портфель клиентов, в который входит один из крупнейших в мире государственных подрядчиков и компаний, предоставляющих финансовые услуги, а также другие бренды из списка Fortune 100.
Вы выросли в маленьком городке в Индии со скромным началом. Как вас привлекла инженерия и область искусственного интеллекта?
Я родом из семьи среднего класса; мой папа прослужил в армии четыре десятилетия, а мама была учителем, ставшим модельером. С раннего возраста они всегда поощряли мою любознательность, любовь к научным открытиям и предоставляли мне безопасное место для изучения «а что, если».
Когда я росла в Индии, у женщин было не так много возможностей, как у мужчин. За девушку уже было принято множество решений, основанных на том, что было приемлемо обществом. Единственный способ оторваться и обеспечить хорошую жизнь для своей семьи — это образование.
После окончания средней школы у меня появился первый компьютер, который стал моим окном в мир. Я действительно увлекался аппаратным обеспечением и проводил часы в Интернете, изучая, как разбирать материнские платы, создавать приложения для робототехники, учиться кодировать, переделывать электрику в моем доме (офигеть!) и многому другому. Инженерное дело стало моим безопасным пространством, где я мог экспериментировать, исследовать, строить и испытывать мир, частью которого я хотел стать благодаря своим изобретениям. Я был вдохновлен и взволнован тем, как технологии могут быть мощным инструментом, влияющим на изменения, особенно для женщин.
Когда я рос, мои средства были ограничены, а возможности – нет. Я всегда мечтал приехать в Соединенные Штаты, чтобы заложить более прочную основу в области технологий для решения самых больших проблем, стоящих перед человечеством. Я иммигрировал сюда в 2001 году, чтобы продолжить свое инженерное путешествие в Висконсинском университете в Мэдисоне.
За почти два десятилетия работы в инженерии я имел честь работать с самыми разными передовыми технологиями, от мобильных устройств до дополненной реальности.
В 2011 году я начал изучать искусственный интеллект для создания новых развивающихся предприятий в Qualcomm. В течение последнего десятилетия я также занимался созданием предприятий и приложений с использованием искусственного интеллекта в области речи, видения и НЛП в Microsoft и Qualcomm. Когда я узнал больше об искусственном интеллекте и машинном обучении, стало очевидно, что эта передовая технология изменит нашу жизнь настолько, что мы даже не можем себе представить.
Создание искусственного интеллекта масштаба предприятия также заставило меня осознать, как технология может оказать медвежью услугу и нанести вред нашим людям и сообществам, если ее не остановить. Мы, как лидеры, должны взять на себя исключительную ответственность за технологии, которые мы создаем. Мы должны проявлять инициативу в максимизации его пользы для человечества и минимизации его риска. В конце концов, «то, что мы делаем, делает нас». Поэтому ответственное строительство имеет решающее значение, что вдохновило меня на следующий этап моей карьеры в области управления искусственным интеллектом.
Когда вы впервые начали серьезно задумываться об управлении ИИ?
Когда я был руководителем отдела инноваций в Qualcomm, мы изучали возможности, которые ИИ мог бы привнести в наш развивающийся бизнес. Наша первоначальная работа была сосредоточена на коллаборативных роботах, которые использовались в цепочке поставок. Это было мое первое знакомство с «реальными» рисками ИИ, особенно в отношении физической безопасности людей, которые работали вместе с этими робототехническими системами.
За это время мы провели много времени со стартапами, такими как Soul Machines, изучая новые варианты использования и находя способы сотрудничества с ними для ускорения нашей работы. Soul Machines выпустили новую версию своего детского аватара Baby X. Наблюдение за этим ребенком с нейронной сетью, который активно учится в окружающем мире, заставило меня задуматься о непреднамеренных последствиях этой технологии. Моя дочь Зия родилась примерно в то же время, и мы с любовью назвали ее Малышку «Z» в честь Малышки из Soul Machines «X». Я довольно много говорил об этом, в том числе и на Основной доклад «Женщины в продукте» в 2019 году.
Учебные путешествия Baby X и Baby Z были очень похожи! Когда Зия росла, мы давали ей начальный словарный запас и инструменты для обучения. Со временем она начала понимать мир и сама собирать вещи. Ребенок X, ребенок с нейронной сетью, аналогичным образом обучался с помощью датчиков зрения и распознавания речи и быстро достиг глубокого понимания человеческого мира.
Эти ранние моменты ИИ дали мне понять, что очень важно найти способы управления рисками и установить эффективные ограждения вокруг этой мощной технологии, чтобы гарантировать, что она будет развернута навсегда.
Не могли бы вы поделиться историей происхождения Credo AI?
После Qualcomm меня наняли руководить коммерциализацией технологий искусственного интеллекта в Microsoft в группе развития бизнеса, а затем и в группе продуктов. Во время моего пребывания в должности мне посчастливилось работать над спектром технологий ИИ с приложениями в вариантах использования, от разговорного ИИ до разведки контрактов, а также от визуальных проверок до обнаружения продуктов с помощью речи.
Тем не менее, семена управления ИИ, посеянные в Qualcomm, продолжали расти, поскольку я продолжал наблюдать растущий «дефицит надзора» в развитии технологий искусственного интеллекта. Как руководитель продукта, работающий с командой специалистов по обработке и анализу данных, мы были заинтересованы в создании высокопроизводительного приложения искусственного интеллекта на основе машинного обучения и его быстром развертывании на рынке.
Мы рассматривали соблюдение нормативных требований и управление как препятствие на пути к внедрению инноваций. Однако моя растущая обеспокоенность по поводу дефицита управления между техническими специалистами и специалистами по надзору в области управления рисками, соответствия требованиям и аудита побудила меня продолжить изучение проблем, связанных с реализацией управления ИИ.
Все оставшиеся без ответа вопросы об управлении ИИ побудили меня искать ответы. Поэтому я начал закладывать основу для некоммерческой организации MERAT (рынок этичных и ответственных инструментов ИИ) с целью создания экосистемы для стартапов и глобальных 2000-х, ориентированных на ответственное развитие ИИ.
Благодаря ранним экспериментам в MERAT стало ясно, что до Credo AI не существовало стартапов, позволяющих использовать инструменты с участием многих заинтересованных сторон для комплексного управления приложениями ИИ и машинного обучения. Этот пробел был моей возможностью реализовать миссию намеренного управления ИИ. Моя гипотеза продолжала подтверждаться, что следующий рубеж революции ИИ будет определяться управлением. Предприятия, использующие управление, станут лидерами в области надежных брендов.
Ко мне обратился AI Fund, инкубатор, основанный Эндрю Нг, известным экспертом по искусственному интеллекту. Фонд AI был сосредоточен на тех же темах аудита и управления ИИ, которыми я был поглощен в течение последнего десятилетия.
Credo AI был зарегистрирован 28 февраля.th, 2020 г., при финансовой поддержке AI Fund.
Кредо означает «набор ценностей, которыми вы руководствуетесь в своих действиях». С Credo AI наше видение состоит в том, чтобы дать предприятиям возможность создавать ИИ в соответствии с самыми высокими этическими стандартами.
В предыдущее интервью, вы обсуждали, как брендам в будущем будут доверять не «только» на основе того, как они создают и внедряют ИИ, но и на том, как они масштабируют ИИ, чтобы он служил человечеству. Не могли бы вы уточнить это?
Искусственный интеллект — одна из революционных технологий этого века, которая предлагает возможности для преобразования экономики и общества. К 16 году компания намерена внести в мировую экономику почти 2030 триллионов долларов.
Однако последние несколько лет привлекли внимание к основным угрозам ИИ (и нет, это не роботы-повелители!) уже здесь. Например, судебные алгоритмы, оптимизирующие минимальный рецидив (возврат к преступному поведению), могут внести предвзятость и отказать в условно-досрочном освобождении тем, кто этого заслуживает.
Социальные алгоритмы, оптимизирующие взаимодействие, могут разделить нацию.
Несправедливые алгоритмы могут стать причиной того, что вас не устроят на работу или не поступят в университет.
Чем больше автономии мы даем нашим инструментам, тем шире диапазон непреднамеренных последствий. Чрезвычайный масштаб порождает экстраординарное воздействие, но не всегда то, на которое мы рассчитываем (я пишу об этом в Манифест Credo AI).
Я предсказываю, что предприятия, которые инвестируют в управление ИИ, чтобы помочь им ответственно создавать технологии и придерживаться этического использования данных, смогут вызвать доверие между заинтересованными сторонами — клиентами, потребителями, инвесторами, сотрудниками и другими.
Как Credo AI помогает обеспечивать подотчетность компаний?
Подотчетность означает обязательство брать на себя ответственность за свои действия. В контексте разработки и развертывания ИИ это означает, что предприятия должны не только согласовать то, что «хорошо для них выглядит», но и предпринять преднамеренные шаги, чтобы продемонстрировать действия по достижению этих согласованных целей и взять на себя ответственность за результаты.
Credo AI стремится быть шерпой для предприятий в их этических и ответственных инициативах в области ИИ, чтобы привлечь их к ответственности перед различными заинтересованными сторонами: пользователями, сотрудниками, регулирующими органами, аудиторами, инвесторами, руководителями и другими. Следовательно, Credo AI является пионером в реальном времени, управляемом контекстом, комплексном и непрерывном решении для предоставления этичного и ответственного ИИ в масштабе.
Повышение ответственности и доверия к ИИ — это динамичный процесс. Организации должны согласовать корпоративные ценности, систематизировать эти ценности, встроить их в свою организационную инфраструктуру, наблюдать за воздействием и повторять процесс с разными мнениями, предоставляющими информацию на каждом этапе. Credo AI обеспечивает эту подотчетность с помощью комплексного решения в режиме реального времени для управления соответствием и измерения рисков для развертывания ИИ в масштабе.
Используя решение для управления Credo AI, предприятия могут:
- Согласуйте требования к управлению для своих вариантов использования и моделей ИИ с помощью настраиваемых пакетов политик и инструментов поддержки принятия решений для выбора показателей оценки моделей.
- Оценивайте и исследуйте данные и модели машинного обучения в соответствии с этими согласованными целями.
- Проанализируйте технические характеристики и превратите их в действенные риски для бизнеса на каждом этапе разработки и развертывания модели, чтобы вы могли выявлять и устранять проблемы управления до того, как они станут серьезными проблемами.
Записывая решения и действия в каждой точке, Credo AI фиксирует происхождение решений, которые использовались при создании моделей, в качестве доказательства. Это свидетельство будет представлять собой отчет, которым будут делиться внутри предприятия заинтересованные стороны и внешние аудиторы, что укрепляет доверие к намерениям ИИ.
Эти данные помогут командам разработчиков прогнозировать и предотвращать непредвиденные последствия и стандартизируют способы оценки эффективности и надежности моделей ИИ.
Мы находимся в самом начале пути к внедрению управления ИИ с помощью комплексных оценок и гарантий и рады работать с большим количеством предприятий для обеспечения подотчетности.
Как Credo AI помогает компаниям отказаться от второстепенного внимания к управлению ИИ?
В современном мире отсутствует ясность в отношении того, что такое действительно «ответственный», «этичный» и «заслуживающий доверия» ИИ и как предприятия могут его реализовать. Мы помогаем предприятиям переформулировать этот ключевой вопрос, используя платформу Credo AI SaaS для демонстрации «экономики этики».
С Credo AI предприятия могут не только предоставлять справедливый, соответствующий требованиям и проверяемый ИИ, но и завоевывать доверие клиентов.
Завоевание доверия потребителей может расширить клиентскую базу компании и открыть больше продаж. Например, компании могут обеспечить наилучшее качество обслуживания клиентов, используя этический ИИ в своих чат-ботах для обслуживания клиентов, или ответственно использовать ИИ, чтобы понимать действия пользователей и предлагать им дополнительный контент или продукты. Чрезвычайно довольные клиенты затем предлагают лучшую рекламу, делясь своим опытом с друзьями и семьей.
Кроме того, предприятие также может увидеть, как совместная работа технических и надзорных функций может помочь им сократить расходы за счет более быстрого соблюдения требований, информированного управления рисками, снижения брендовых и нормативных рисков. Мы помогаем организациям внедрять этический ИИ, наводя мост между техническими показателями и ощутимыми бизнес-результатами. Все больше и больше людей осознают, что защита этического ИИ — это гораздо больше, чем просто проверка поля «соблюдение нормативных требований». Но она способна принести даже больше, чем вклад в более справедливый мир, который сам по себе был бы достойным результатом.
Когда компания соблюдает высокие этические стандарты, она может рассчитывать на реальные деловые результаты, такие как увеличение доходов. Переход от абстрактной «мягкой» концепции к объективному бизнес-решению стал для нас ключевым способом помочь позиционировать управление ИИ как важнейшую часть экономического и социального двигателя компании.
Недавно администрация Байдена создала Национальный консультативный комитет по искусственному интеллекту. На ваш взгляд, каковы последствия этого для бизнеса ИИ?
Правительства по всему миру активно контролируют ИИ, и предприятиям следует к этому подготовиться. Продуманное создание администрацией Байдена Национального консультативного комитета по ИИ и инвестиции в программу Белого дома OSTP — это хороший первый шаг к активизации обсуждений билля о правах, регулирующего системы ИИ. Однако предстоит ещё многое сделать, чтобы понять, что ответственный ИИ будет означать для нашей страны и экономики.
Я считаю, что 2022 год позиционируется как год действий для ответственного ИИ. Это тревожный сигнал для предприятий, стремящихся внедрить или укрепить свои этические принципы ИИ. Настало время для компаний оценить существующую структуру на предмет пробелов или, для компаний, которым не хватает подхода, внедрить надежную основу для надежного ИИ, чтобы настроить их на успех и лидерство в эпоху ИИ.
Следует ожидать появления более жестких и мягких правил. В дополнение к действиям Белого дома, есть много импульсов, исходящих от других политиков и агентств, таких как законопроект Сената об алгоритмической подотчетности, руководство Федеральной торговой комиссии (FTC) в отношении предвзятости ИИ и многое другое.
Если мы перенесемся в будущее, насколько важными будут этика и управление ИИ через пять лет?
Мы находимся на начальном этапе управления ИИ. Чтобы подчеркнуть, насколько критично управление ИИ, вот некоторые из моих прогнозов на следующие несколько лет:
- Этическое управление ИИ станет главным приоритетом организации
Предприятия продолжают инвестировать и пожинать плоды использования ИИ в своем бизнесе. IDC прогнозирует, что в 340 году на ИИ будет потрачено 2022 миллиардов долларов. Без управления предприятия будут неохотно инвестировать в ИИ из-за опасений по поводу предвзятости, безопасности, точности и соответствия этих систем.
Без доверия потребители также не захотят принимать продукты на основе ИИ или делиться данными для создания этих систем. В течение следующих пяти лет этичное управление ИИ станет приоритетом совета директоров и важной метрикой, которую компании должны будут раскрывать и отчитываться, чтобы завоевать доверие заинтересованных сторон.
- На предприятии появятся новые социально-технические категории должностей
Мы уже видим, как организации, продвигающие этику, вкладывают значительные средства в будущую проверку своих разработок, чтобы обеспечить честные, соответствующие требованиям и проверяемые приложения ИИ.
Чтобы стать лидером в области искусственного интеллекта, предприятиям необходимо дополнительно ускорить изучение нормативно-правовой базы в области искусственного интеллекта и масштабных внедрений структур подотчетности. По мере развития зарождающейся области этического внедрения ИИ может возникнуть новая категория социально-технических должностей, которая будет способствовать этим разговорам и брать на себя ответственность в этой области. Этот новый компонент рабочей силы может выступать в качестве посредника между техническими и надзорными органами, помогая разрабатывать общие стандарты и цели.
- Новые возможности на основе ИИ потребуют более строгого управления
Управление предполагаемыми и непреднамеренными последствиями искусственного интеллекта имеет решающее значение, особенно когда мы входим в мир Метавселенной и web3. Риски ИИ существуют в реальном и виртуальном мире, но в последнем они еще более усиливаются.
Погружаясь с головой в Метавселенную из-за отсутствия надзора за ИИ, предприятия подвергают своих клиентов риску таких проблем, как кража личных данных и мошенничество. Крайне важно, чтобы проблемы ИИ и управления решались в реальном мире сейчас, чтобы обеспечить безопасность потребителей в Метавселенной.
- Появятся новые экосистемы этического управления ИИ
Мир осознал, что управление ИИ представляет собой основной строительный блок для внедрения ответственного ИИ. В течение следующих нескольких лет мы увидим появление конкурентного и динамичного рынка поставщиков услуг, предоставляющих инструменты, услуги, образование и другие возможности для удовлетворения этой огромной потребности.
Кроме того, мы также увидим консолидацию и расширение существующих платформ MLops и GRC, чтобы предоставить ИИ возможности управления и оценки.
Есть ли что-то еще, что вы хотели бы рассказать о Credo AI?
Этическое управление ИИ — это инвестиция с расчетом на будущее, которую вы не можете себе позволить сделать, и сегодня лучший день, чтобы начать.
Спасибо за подробное интервью и за то, что поделились своими мыслями об управлении и этике ИИ. Читатели, желающие узнать больше, должны посетить Кредо AI.
