크레도 AI의 Navrina Singh CEO와의 인터뷰 – 인터뷰 시리즈

Navrina Singh는 크레도 AI의 CEO이자 설립자입니다. 크레도 AI는 기업과 개인이 신뢰할 수 있고 윤리적인 AI를 이해하고 제공할 수 있도록 도와주는 첫 번째 포괄적인 AI 거버넌스 SaaS 플랫폼을 설계했습니다. 이 회사는 스타트업을 운영하며 Quietly 인상적인 고객 포트폴리오를 구축했습니다. 이 포트폴리오에는 세계에서 가장 큰 정부 계약자와 금융 서비스 회사 등 여러 Fortune 100 브랜드가 포함됩니다.

중소도시 인디아에서 겸손한 출신으로 성장하여 어떻게 엔지니어링과 AI 분야에 관심을 갖게 되셨나요?

저는 중산층 가정에서 자랐습니다. 아버지는 4십년간 軍에서 근무하시고 어머니는 교사 출신의 패션 디자이너였습니다. 어린 시절부터 저에게 호기심과 과학적 발견에 대한 사랑을 키워주셨고, “what if”에 대한 안전한 탐구 공간을 제공해주셨습니다.

인디아에서 자랐을 때, 여성들은男性보다 많은 기회를 갖지 못했습니다. 사회적으로 받아들여지는 기준에 따라 이미 많은 결정들이 이루어졌습니다. 좋은 삶을 위해 가족을 위해 교육을 통해 기회를 얻는 것이 유일한 방법이었습니다.

고등학교를 졸업하고, 저는 첫 번째 컴퓨터를 소유했는데, 그것은 저에게 세계를 보여주는 창이었습니다. 저는 하드웨어에 관심이 많았고, 온라인에서 मद보드 분해, 로봇 응용 프로그램, 코딩, 전기 공급 시스템 수정 등에 대해 많은 시간을 보냈습니다. 엔지니어링은 저에게 실험, 탐구, 구축, 그리고 발명할 수 있는 안전한 공간이었습니다. 기술이 변화를 일으키는 강력한 도구가 될 수 있다는 것을 알게 되었습니다. 특히 여성들에게.

제한된 수단에도 불구하고, 가능성은 제한되지 않았습니다. 저는 미국으로 와서 기술을 더 मजब固하게 구축하여 인류가 직면한 가장 큰 도전을 해결하기 위해 꿈꾸었습니다. 2001년에 저는 위스콘신 매디슨 대학교에서 엔지니어링을 공부하기 위해 미국으로 이민했습니다.

거의 2십년간의 엔지니어링 경력 동안, 저는 여러 프론티어 기술을 다루었습니다. 모바일, 증강 현실 등 다양한 기술을 경험했습니다.

2011년에 저는 퀄컴에서 새로운 비즈니스 구축을 위해 인공 지능을 탐구하기 시작했습니다. 또한 마이크로소프트와 퀄컴에서 음성, 비전, NLP 등 다양한 AI 기술을 개발했습니다.

(QCOM ) (MSFT )

AI와 기계 학습에 대해 더 많이 배우면서, 이 기술이 우리의 삶을 상상할 수 없을 정도로 크게 변화시킬 것이라는 것을 깨달았습니다. 또한, 기술이 우리의 공동체와 사람들에게 해를 끼칠 수 있으므로, 우리는 기술을 책임감 있게 구축해야 합니다. 우리는 기술의 이점을 최대화하고 위험을 최소화해야 합니다. “우리가 만든 것은 우리를 만든다”는 말이 있습니다. 책임감 있게 구축하는 것이 중요합니다. 이것이 저의 경력의 다음 단계에서 AI 거버넌스를 구축하는 데 영감을 주었습니다.

AI 거버넌스에 대해 심각하게 생각하기 시작한 때는 언제였나요?

퀄컴의 혁신 책임자로 일할 때, 우리는 기업의 새로운 비즈니스에 AI를 적용하는 가능성을 탐구했습니다. 초기에는 공급망에서 협력 로봇을 사용하는 것에 중점을 두었습니다. 이것이 실제로 AI의 위험에 대한 제 첫 번째 노출이었습니다. 특히 로봇과 함께 일하는 사람들의 물리적 안전에 관한 것입니다.

그 당시에, 우리는 스타트업과 협력하여 새로운 사용 사례를 학습하고 우리의 작업을 가속화하기 위해 파트너십을 맺었습니다. Soul Machines는 신경망 기반의 베이비 아바타 “Baby X”를 출시했습니다. 이 아바타는 주변 세계에서 학습하고 적극적으로 학습하는 것을 보면서, 저는 이 기술의 의도하지 않은 결과에 대해 반성하게 되었습니다. 제 딸 지아는 그 때 태어났고, 우리는 Soul Machines의 베이비 “X”를 따라 “베이비 Z”라고 별명을 붙였습니다. 저는 이에 대해 2019年の Women In Product Keynote에서 이야기했습니다.

베이비 X와 베이비 Z의 학습 과정은 매우 유사했습니다! 지아가 자라면서, 우리는 그녀에게 초기 어휘와 도구를 제공했습니다. 시간이 지나면서, 그녀는 세계를 이해하고 스스로 것을 조립하기 시작했습니다. 신경망 베이비 X도 비전 센서와 음성 인식으로 학습하고, 인간 세계에 대한 깊은 이해를 빠르게 구축했습니다.

이 초기의 AI 경험은 이 강력한 기술을 사용하여 좋은 것을 달성하기 위해 필요한 위험 관리와 효과적인 가이드를 찾는 것이 중요하다는 것을 저에게 보여주었습니다.

크레도 AI의 기원에 대한 이야기를 공유해주실 수 있나요?

퀄컴 이후, 저는 마이크로소프트에서 AI 기술의 상업화를 이끌기 위해 招待되었습니다. 그 후, 제품 그룹에서 일했습니다. 그 동안, 저는 대화형 AI에서 계약 지능까지, 시각 검사에서 음성 기반 제품 검색까지 다양한 AI 기술을 다루었습니다.

그러나, 퀄컴에서 심어놓은 AI 거버넌스의 씨앗은 계속 자라났습니다. 저는 AI 기술 개발과 배포에서 점점 증가하는 “감독 적자”를 목격했습니다. 제품 책임자로 일하면서, 저는 데이터 과학 및 엔지니어링 팀과 함께 고성능 AI 애플리케이션을 구축하고 빠르게 시장에 배포하는 것을 목표로 했습니다.

그러나, 저의 증가하는 우려는 기술과 감독 전문가 사이의 격차로 인해 AI 거버넌스에 대한 도전을 계속 탐구하도록 저를 동기づ렸습니다. 모든 질문에 대한 답변을 찾기 위해, 저는 비영리 단체 MERAT (Marketplace for Ethical and Responsible AI tools)을 설립하기 시작했습니다. 이 단체의 목표는 스타트업과 Global 2000s를 위한 책임감 있는 AI 개발을 위한 생태계를 구축하는 것이었습니다.

MERAT에서 초기 실험을 통해, 포괄적인 AI 및 기계 학습 애플리케이션을 위한 다중 이해관계자 도구를 제공하는 스타트업이 없다는 것을 알게 되었습니다. 이것은 저의 기회였습니다. 크레도 AI를 통해 의도적으로 AI를 안내하는 미션을 실현하기 위해, 저는 2020년 2월 28일에 AI 펀드의 자금을 받아 크레도 AI를 설립했습니다.

크레도라는 단어는 “행동을導く 가치관의 집합”을 의미합니다. 크레도 AI의 비전은 기업이最高의 윤리 기준을 갖춘 AI를 만들 수 있도록 도와주는 것입니다.

이전 인터뷰에서, 브랜드가 미래에 AI를 구축하고 배포하는 것뿐만 아니라, 인간을 위한 서비스로 AI를 확장하는 것에 대한 신뢰를 얻을 것이라고 चर했습니다. 이것에 대해 더 자세히 설명해주실 수 있나요?

인공 지능은 이 세기의 게임 변경 기술 중 하나이며, 경제와 사회에 대한 변革적인 기회를 제공합니다. 2030년까지 글로벌 경제에 16조 달러를 기여할 것으로 예상됩니다.

그러나, 최근 몇 년 동안, 주요 AI 위협이 이미 존재한다는 사실이 강조되었습니다. 예를 들어, 재범 최적화를 위한 사법 알고리즘은偏見를 도입하고, 기존에 犯罪行為를 저지른 사람들에게 구금을 거부할 수 있습니다.

사회 알고리즘은 국가를 분열시킬 수 있습니다.

공정하지 않은 알고리즘은 당신이 일자리나 대학 입학을 얻지 못하는 이유가 될 수 있습니다.

도구에 더 많은 자율성을 부여할수록,意図하지 않은 결과의 범위가 더 넓어집니다. 비범한 규모는 비범한 영향을 미칩니다. 그러나, 항상 우리가 의도하는 영향은 아닙니다 (저는 크레도 AI 매니페스토에서 이에 대해 작성했습니다).

저는 AI 거버넌스를 통해 책임감 있게 기술을 구축하고, 데이터의 윤리적인 사용에 대한 약속을 하는 기업이, 이해관계자들 사이에서 신뢰를 구축할 수 있을 것이라고 예상합니다.

크레도 AI는 어떻게 기업을 책임감 있게 합니다?

책임감이라는 것은, 자신의 행동에 대한 책임을 인정하는 것을 의미합니다. AI 개발과 배포의 맥락에서, 이는 기업이 “좋은 것이 무엇인지”에 동의해야 함을 의미합니다. 또한, 그 목표를 달성하기 위한 의도적인 조치를 취하고, 결과에 대한 책임을 지는 것을 의미합니다. 크레도 AI는 기업이 다양한 이해관계자에게 책임을 지는 것을 도와주는 셰르파 역할을 합니다. 이를 통해, 기업은 사용자, 직원, 규제 당국, 감사인, 투자자, 경영진 등 다양한 이해관계자에게 책임을 지는 것을 도와줍니다.

크레도 AI의 거버넌스 솔루션을 사용하여, 기업은 다음을 수행할 수 있습니다.

• AI 사용 사례와 모델에 대한 거버넌스 요구 사항에 대한 맞춤형 정책 팩과 의사 결정 지원 도구를 통해 동의합니다.
• 데이터와 ML 모델을 해당 목표에 대해 평가합니다.
• 기술 사양을 모델 개발과 배포의 모든 단계에서 사업에 대한 작용 가능한 위험 영향으로 분석하여, 거버넌스 문제를 큰 문제가 되기 전에 발견하고 수정할 수 있습니다.

모든 단계에서 결정과 행동을 기록함으로써, 크레도 AI는 모델을 생성한 결정의 기원을 증거로 캡처합니다. 이 증거는 기업 내부의 이해관계자와 외부의 감사인에게 공유되는 기록이 됩니다. 이는 AI의 의도에 대한 신뢰를 구축하는 데 도움이 됩니다.

이 증거는 개발 팀이 意図하지 않은 결과를 예측하고 방지하는 데 도움이 되며, AI 모델의 효ิภาพ와 신뢰성을 평가하는 방식을 표준화하는 데 도움이 됩니다.

우리는 AI 거버넌스를 통해 포괄적인 평가와 보증을 가능하게 하는 초기 단계에 있습니다. 우리는 더 많은 기업과 협력하여 책임감 있는 AI를 촉진하기 위해 열심히 일하고 있습니다.

크레도 AI는 기업이 AI 거버넌스를 사후 검토에서 벗어나도록 어떻게 도와줍니다?

현재, “책임감 있는”, “윤리적인”, “신뢰할 수 있는” AI가 무엇인지, 그리고 기업이 어떻게 이를 달성할 수 있는지에 대한 명확성이 부족합니다. 크레도 AI는 기업이 이 핵심적인 질문을 다시 정의하도록 도와줍니다. 크레도 AI의 SaaS 플랫폼을 사용하여, 기업은 “윤리의 경제학”을 입증할 수 있습니다.

크레도 AI를 사용하면, 기업은 공정하고, 규정 준수하며, 감사가 가능한 AI를 제공할 수 있습니다. 또한, 고객의 신뢰를 구축할 수 있습니다.

고객의 신뢰를 구축하면, 고객 기반을 넓히고, 더 많은 판매를 할 수 있습니다. 예를 들어, 기업은 고객 서비스 챗봇에서 윤리적인 AI를 사용하여 고객에게 최상의 경험을 제공할 수 있습니다. 또는, AI를 사용하여 사용자 활동을 이해하고, 추가 콘텐츠 또는 제품을 제안할 수 있습니다. 매우 만족한 고객은 친구와 가족에게 경험을 공유하여 최고의 광고를 제공합니다.

또한, 기업은 기술과 감독 기능 간의 협력을 통해 규정 준수에 더 빠르게 도달하고, 위험을 관리하며, 브랜드와 규제 위험을 낮출 수 있습니다. 우리는 기업이 윤리적인 AI를 구축하고, 기술과 감독 기능 간의 다리 역할을 하여, 기술과 비즈니스 결과를 연결하는 데 도움을 줍니다. 많은 사람들이 깨닫고 있는 것처럼, 윤리적인 AI를 옹호하는 것은 규제 준수를 확인하는 것보다 더 많은 것을 의미합니다. 그러나, 더 공정한 세계에 대한 기여는 가치 있는 결과일 것입니다.

기업이 높은 윤리 기준을 지키면, 실제 비즈니스 결과를 기대할 수 있습니다. 예를 들어, 수입이 증가할 수 있습니다. 윤리적인 AI를 중요하게 여기지 않으면, 기업은 위험을 무릅쓰게 됩니다. AI 거버넌스를 중요하게 여기는 것은 비즈니스 결정입니다.

최근 바이든 행정부는 국가 인공 지능 자문위원회를 설립했습니다. AI 비즈니스에 대한 의미는 무엇입니까?

전 세계 정부는 AI를 규제하기 위해 전력으로 움직이고 있습니다. 기업은 준비해야 합니다. 바이든 행정부의 국가 AI 자문위원회와 백악관 OSTP의 투자 등은 AI 시스템을 규제하기 위한 권리 청구에 대한 논의에 행동을 취하는 좋은 첫 단계입니다. 그러나, 책임감 있는 AI가 무엇인지에 대한 의미를 실현하기 위해 더 많은 일이 필요합니다.

저는 2022년이 책임감 있는 AI의 행동의 해가 될 것이라고 믿습니다. 이는 기업이 기존의 윤리적 프레임워크를 평가하거나, 접근 방식이 없는 경우, 신뢰할 수 있는 AI를 위한 견고한 프레임워크를 구축하기 위한 호출입니다. 이제는 기업이 성공을 위해 준비되기 위해 책임감 있는 AI를 위한 프레임워크를 구축하기 위한 최好的 때입니다.

우리는 더 많은 강력하고 약한 규제가 등장할 것으로 예상합니다. 백악관의 행동 외에도, 다른 정책 입안자와 기관에서 많은 동력이 발생하고 있습니다. 예를 들어, 상원의 알고리즘 책임성 법안 초안, 연방 거래위원회(FTC)의 AI 편향에 대한 지침 등이 있습니다.

미래로 전진하여, 5년 후에 AI 윤리와 AI 거버넌스의 중요성은 어떠할까요?

우리는 AI 거버넌스의 초기 단계에 있습니다. AI 거버넌스가 얼마나 중요한지 강조하기 위해, 다음은 저의 예측입니다.

• 윤리적인 AI 거버넌스는 최상위 조직 우선순위가 될 것입니다

기업은 비즈니스에서 AI를 사용하는 데 투자하고, 그 이점을 얻고 있습니다. IDC는 2022년에 AI에 3,400억 달러를 투자할 것으로 예상합니다. 거버넌스가 없으면, 기업은 편향, 보안, 정확성, 규정 준수 등에 대한 우려로 인해 AI에 투자하기를 주저할 것입니다.

• 새로운 사회 기술 직군이 기업 내에서 등장할 것입니다

우리는 이미 윤리적으로 앞서가는 기업이 미래를 위한 개발을 보장하기 위해大量으로 투자하고 있습니다. AI 규제 환경과 책임 구조 구축에 대한 학습을 가속화하기 위해, 기업은 기술과 감독 간의 대화와 공통의 표준 및 목표를 개발하는 데 중개자 역할을 하는 새로운 사회 기술 직군을 필요로 할 것입니다.

• 새로운 AI 기반 경험은 더 엄격한 거버넌스를 요구할 것입니다

인공 지능의 의도된 결과와 의도하지 않은 결과를 관리하는 것이 중요합니다. 특히 메타버스와 웹 3 세계에 들어서면서, 가상 세계에서보다 더 크게 증폭됩니다. 메타버스에 무방비로 뛰어들면, 기업은 고객을 위험에 빠뜨릴 수 있습니다. 현실 세계에서 AI와 거버넌스 문제를 해결하는 것이 중요합니다.

• 윤리적인 AI 거버넌스에 대한 새로운 생태계가 등장할 것입니다

세계는 AI 거버넌스가 책임감 있는 AI를 구현하는 기본 빌딩 블록임을 인식했습니다. 향후 수년 동안, 서비스 제공업체, 도구, 교육 및 기타 기능을 지원하기 위한 경쟁적이고 역동적인 시장의 등장으로, 대규모 수요를 충족하기 위한 시장의 등장으로 기대됩니다.

또한, 기존의 MLops 및 GRC 플랫폼의 통합과 보강을 통해, AI에 대한 거버넌스와 평가 기능을 제공할 것으로 예상됩니다.

크레도 AI에 대해 더 공유하고 싶은 것이 있나요?

윤리적인 AI 거버넌스는 미래를 위한 투자입니다. 오늘부터 시작하세요.

감사합니다. 크레도 AI에 대한 자세한 정보는 크레도 AI를 방문하세요.