크레도 AI의 Navrina Singh CEO와의 인터뷰 – 인터뷰 시리즈

Navrina Singh는 크레도 AI의 CEO이자 설립자입니다. 크레도 AI는 기업과 개인이 신뢰할 수 있고 윤리적인 AI를 이해하고 제공할 수 있도록 도와주는 첫 번째 포괄적인 AI 거버넌스 SaaS 플랫폼을 설계했습니다. 새 규정과 정책에 앞서 대응하고 조직 전반에서 감사 가능하고 투명한 AI 기록을 만들도록 돕습니다. 이 회사는 비공개로 운영하며 조용히 인상적인 고객 포트폴리오를 구축했습니다. 이 포트폴리오에는 세계에서 가장 큰 정부 계약자와 금융 서비스 회사 등 여러 Fortune 100 브랜드가 포함됩니다.

중소도시 인디아에서 겸손한 출신으로 성장하여 어떻게 엔지니어링과 AI 분야에 관심을 갖게 되셨나요?

저는 중산층 가정에서 자랐습니다. 아버지는 40년간 군에서 근무하시고 어머니는 교사 출신의 패션 디자이너였습니다. 어린 시절부터 저에게 호기심과 과학적 발견에 대한 사랑을 키워주셨고, “what if”에 대한 안전한 탐구 공간을 제공해주셨습니다.

인디아에서 자랐을 때, 여성들은 남성보다 많은 기회를 갖지 못했습니다. 사회적으로 받아들여지는 기준에 따라 이미 많은 결정들이 이루어졌습니다. 좋은 삶을 위해 가족을 위해 교육을 통해 기회를 얻는 것이 유일한 방법이었습니다.

고등학교를 졸업하고, 저는 첫 번째 컴퓨터를 소유했는데, 그것은 저에게 세계를 보여주는 창이었습니다. 저는 하드웨어에 관심이 많았고, 온라인에서 메인보드 분해, 로봇 응용 프로그램, 코딩, 전기 공급 시스템 수정 등에 대해 많은 시간을 보냈습니다. 엔지니어링은 저에게 실험, 탐구, 구축, 그리고 발명할 수 있는 안전한 공간이었습니다. 기술이 변화를 일으키는 강력한 도구가 될 수 있다는 것을 알게 되었습니다. 특히 여성들에게.

제한된 수단에도 불구하고, 가능성은 제한되지 않았습니다. 저는 미국으로 와서 기술을 더 튼튼하게 구축하여 인류가 직면한 가장 큰 도전을 해결하기 위해 꿈꾸었습니다. 2001년에 저는 위스콘신 매디슨 대학교에서 엔지니어링을 공부하기 위해 미국으로 이민했습니다.

거의 20년간의 엔지니어링 경력 동안, 저는 여러 프론티어 기술을 다루었습니다. 모바일, 증강 현실 등 다양한 기술을 경험했습니다.

2011년에 저는 퀄컴 (QCOM )에서 새로운 비즈니스 구축을 위해 인공 지능을 탐구하기 시작했습니다. 또한 마이크로소프트 (MSFT )와 퀄컴에서 음성, 비전, NLP 등 다양한 AI 기술을 개발했습니다.

AI와 기계 학습에 대해 더 많이 배우면서, 이 기술이 우리의 삶을 상상할 수 없을 정도로 크게 변화시킬 것이라는 것을 깨달았습니다. 또한, 기술이 우리의 공동체와 사람들에게 해를 끼칠 수 있으므로, 우리는 기술을 책임감 있게 구축해야 합니다. 우리는 기술의 이점을 최대화하고 위험을 최소화해야 합니다. “우리가 만든 것은 우리를 만든다”는 말이 있습니다. 책임감 있게 구축하는 것이 중요합니다. 이것이 저의 경력의 다음 단계에서 AI 거버넌스를 구축하는 데 영감을 주었습니다.

AI 거버넌스에 대해 심각하게 생각하기 시작한 때는 언제였나요?

퀄컴의 혁신 책임자로 일할 때, 우리는 기업의 새로운 비즈니스에 AI를 적용하는 가능성을 탐구했습니다. 초기에는 공급망에서 협력 로봇을 사용하는 것에 중점을 두었습니다. 이것이 실제로 AI의 위험에 대한 제 첫 번째 노출이었습니다. 특히 로봇과 함께 일하는 사람들의 물리적 안전에 관한 것입니다.

그 당시에, 우리는 스타트업과 협력하여 새로운 사용 사례를 학습하고 우리의 작업을 가속화하기 위해 파트너십을 맺었습니다. Soul Machines는 신경망 기반의 베이비 아바타 “Baby X”를 출시했습니다. 이 아바타는 주변 세계에서 학습하고 적극적으로 학습하는 것을 보면서, 저는 이 기술의 의도하지 않은 결과에 대해 반성하게 되었습니다. 제 딸 지아는 그 때 태어났고, 우리는 Soul Machines의 베이비 “X”를 따라 “베이비 Z”라고 별명을 붙였습니다. 저는 이에 대해 2019년 Women In Product 기조연설에서 이야기했습니다.

베이비 X와 베이비 Z의 학습 과정은 매우 유사했습니다! 지아가 자라면서, 우리는 그녀에게 초기 어휘와 도구를 제공했습니다. 시간이 지나면서, 그녀는 세계를 이해하고 스스로 것을 조립하기 시작했습니다. 신경망 베이비 X도 비전 센서와 음성 인식으로 학습하고, 인간 세계에 대한 깊은 이해를 빠르게 구축했습니다.

이 초기의 AI 경험은 이 강력한 기술을 사용하여 좋은 것을 달성하기 위해 필요한 위험 관리와 효과적인 가이드를 찾는 것이 중요하다는 것을 저에게 보여주었습니다.

크레도 AI의 기원에 대한 이야기를 공유해주실 수 있나요?

퀄컴 이후 저는 마이크로소프트의 사업 개발 그룹에서 AI 기술의 상용화를 이끌도록 영입되었고, 이후 제품 그룹에서 일했습니다. 대화형 AI와 계약서 분석 지능, 시각 검사와 음성 기반 제품 검색 등 여러 분야의 AI 기술을 다룰 기회가 있었습니다.

그러나, 퀄컴에서 심어놓은 AI 거버넌스의 씨앗은 계속 자라났습니다. 저는 AI 기술 개발과 배포에서 점점 증가하는 “감독 적자”를 목격했습니다. 제품 책임자로 일하면서, 저는 데이터 과학 및 엔지니어링 팀과 함께 고성능 AI 애플리케이션을 구축하고 빠르게 시장에 배포하는 것을 목표로 했습니다.

우리는 규정 준수와 거버넌스를 혁신 속도를 늦추는 관문으로 보았습니다. 하지만 기술 전문가와 위험·규정 준수·감사 분야의 감독 전문가 사이에 존재하는 거버넌스 격차에 대한 우려가 커지면서, AI 거버넌스 구현의 어려움을 더 탐구하게 되었습니다.

답하지 못한 질문들을 풀기 위해 비영리 단체 MERAT(Marketplace for Ethical and Responsible AI tools)의 기반을 마련하기 시작했습니다. 책임 있는 AI 개발에 초점을 둔 스타트업과 Global 2000 기업을 위한 생태계를 만드는 것이 목표였습니다.

MERAT의 초기 실험을 통해 AI 및 머신러닝 애플리케이션의 포괄적 거버넌스를 지원하는 다중 이해관계자 도구를 제공하는 스타트업이 없다는 점이 드러났습니다. Credo AI가 등장하기 전까지는 그랬습니다. 이 공백은 AI를 의도적으로 이끈다는 사명을 실현할 기회였습니다. AI 혁명의 다음 개척지는 거버넌스가 이끌 것이며, 이를 받아들이는 기업이 신뢰받는 브랜드의 선두주자가 될 것이라는 가설이 계속 확인되었습니다.

저명한 AI 전문가 앤드루 응이 설립한 인큐베이터 AI Fund가 제게 연락했습니다. AI Fund는 제가 지난 10년간 몰두해 온 AI 감사 가능성과 거버넌스라는 주제에 주목하고 있었습니다. Credo AI는 AI Fund의 자금을 받아 2020년 2월 28일 설립되었습니다.

크레도라는 단어는 “행동을 이끄는 가치관의 집합”을 의미합니다. 크레도 AI의 비전은 기업이 최고의 윤리 기준을 갖춘 AI를 만들 수 있도록 도와주는 것입니다.

이전 인터뷰에서 미래의 브랜드 신뢰는 AI를 어떻게 개발하고 배포하는지뿐 아니라 인류에게 봉사하도록 어떻게 확장하는지에도 달려 있다고 말씀하셨습니다. 자세히 설명해 주시겠습니까?

인공 지능은 이 세기의 게임 변경 기술 중 하나이며, 경제와 사회에 대한 혁신적인 기회를 제공합니다. 2030년까지 글로벌 경제에 16조 달러를 기여할 것으로 예상됩니다.

그러나 최근 몇 년 사이 이미 존재하는 주요 AI 위협에 관심이 쏠렸습니다. 로봇 지배자를 말하는 것이 아닙니다. 예를 들어 재범률을 최소화하도록 최적화된 사법 알고리즘은 편향을 도입하여 가석방을 받을 자격이 있는 사람에게 이를 거부할 수 있습니다.

사회 알고리즘은 국가를 분열시킬 수 있습니다.

공정하지 않은 알고리즘은 당신이 일자리나 대학 입학을 얻지 못하는 이유가 될 수 있습니다.

도구에 더 많은 자율성을 부여할수록,의도하지 않은 결과의 범위가 더 넓어집니다. 비범한 규모는 비범한 영향을 미칩니다. 그러나, 항상 우리가 의도하는 영향은 아닙니다 (저는 크레도 AI 선언문에서 이에 대해 작성했습니다).

저는 AI 거버넌스를 통해 책임감 있게 기술을 구축하고, 데이터의 윤리적인 사용에 대한 약속을 하는 기업이, 이해관계자들 사이에서 신뢰를 구축할 수 있을 것이라고 예상합니다.

크레도 AI는 어떻게 기업을 책임감 있게 합니다?

책임감이라는 것은, 자신의 행동에 대한 책임을 인정하는 것을 의미합니다. AI 개발과 배포의 맥락에서, 이는 기업이 “좋은 것이 무엇인지”에 동의해야 함을 의미합니다. 또한, 그 목표를 달성하기 위한 의도적인 조치를 취하고, 결과에 대한 책임을 지는 것을 의미합니다. 크레도 AI는 기업이 다양한 이해관계자에게 책임을 지는 것을 도와주는 셰르파 역할을 합니다. 이를 통해, 기업은 사용자, 직원, 규제 당국, 감사인, 투자자, 경영진 등 다양한 이해관계자에게 책임을 지는 것을 도와줍니다.

Credo AI는 윤리적이고 책임 있는 AI를 대규모로 제공하기 위해 실시간으로 작동하며 맥락을 고려하는 포괄적이고 지속적인 솔루션을 개척했습니다.

AI의 책임과 신뢰를 구축하는 것은 역동적인 과정입니다. 조직은 기업 가치에 합의하고 이를 명문화해 조직의 기반에 통합하며, 영향을 관찰하고 각 단계에서 다양한 목소리의 의견을 받아 과정을 반복해야 합니다. Credo AI는 대규모 AI 배포의 규정 준수와 위험 측정을 위한 포괄적 실시간 솔루션으로 이러한 책임을 가능하게 합니다.

크레도 AI의 거버넌스 솔루션을 사용하여, 기업은 다음을 수행할 수 있습니다.

• AI 사용 사례와 모델에 대한 거버넌스 요구 사항에 대한 맞춤형 정책 팩과 의사 결정 지원 도구를 통해 동의합니다.
• 데이터와 ML 모델을 해당 목표에 대해 평가합니다.
• 기술 사양을 모델 개발과 배포의 모든 단계에서 사업에 대한 작용 가능한 위험 영향으로 분석하여, 거버넌스 문제를 큰 문제가 되기 전에 발견하고 수정할 수 있습니다.

모든 단계에서 결정과 행동을 기록함으로써, 크레도 AI는 모델을 생성한 결정의 기원을 증거로 캡처합니다. 이 증거는 기업 내부의 이해관계자와 외부의 감사인에게 공유되는 기록이 됩니다. 이는 AI의 의도에 대한 신뢰를 구축하는 데 도움이 됩니다.

이 증거는 개발 팀이 의도하지 않은 결과를 예측하고 방지하는 데 도움이 되며, AI 모델의 효과와 신뢰성을 평가하는 방식을 표준화하는 데 도움이 됩니다.

우리는 AI 거버넌스를 통해 포괄적인 평가와 보증을 가능하게 하는 초기 단계에 있습니다. 우리는 더 많은 기업과 협력하여 책임감 있는 AI를 촉진하기 위해 열심히 일하고 있습니다.

크레도 AI는 기업이 AI 거버넌스를 사후 검토에서 벗어나도록 어떻게 도와줍니다?

현재, “책임감 있는”, “윤리적인”, “신뢰할 수 있는” AI가 무엇인지, 그리고 기업이 어떻게 이를 달성할 수 있는지에 대한 명확성이 부족합니다. 크레도 AI는 기업이 이 핵심적인 질문을 다시 정의하도록 도와줍니다. 크레도 AI의 SaaS 플랫폼을 사용하여, 기업은 “윤리의 경제학”을 입증할 수 있습니다.

크레도 AI를 사용하면, 기업은 공정하고, 규정 준수하며, 감사가 가능한 AI를 제공할 수 있습니다. 또한, 고객의 신뢰를 구축할 수 있습니다.

고객의 신뢰를 구축하면, 고객 기반을 넓히고, 더 많은 판매를 할 수 있습니다. 예를 들어, 기업은 고객 서비스 챗봇에서 윤리적인 AI를 사용하여 고객에게 최상의 경험을 제공할 수 있습니다. 또는, AI를 사용하여 사용자 활동을 이해하고, 추가 콘텐츠 또는 제품을 제안할 수 있습니다. 매우 만족한 고객은 친구와 가족에게 경험을 공유하여 최고의 광고를 제공합니다.

또한, 기업은 기술과 감독 기능 간의 협력을 통해 규정 준수에 더 빠르게 도달하고, 위험을 관리하며, 브랜드와 규제 위험을 낮출 수 있습니다. 우리는 기업이 윤리적인 AI를 구축하고, 기술과 감독 기능 간의 다리 역할을 하여, 기술과 비즈니스 결과를 연결하는 데 도움을 줍니다. 많은 사람들이 깨닫고 있는 것처럼, 윤리적인 AI를 옹호하는 것은 규제 준수를 확인하는 것보다 더 많은 것을 의미합니다. 그러나, 더 공정한 세계에 기여하는 것 이상의 성과도 가져올 수 있습니다. 더 공정한 세계에 대한 기여 자체도 가치 있는 결과입니다.

기업이 높은 윤리 기준을 지키면 매출 증가와 같은 실질적인 사업 성과를 기대할 수 있습니다. 추상적이고 ‘부드러운’ 개념에서 객관적인 사업 결정으로 관점을 바꾸는 것은 AI 거버넌스를 기업의 경제적·사회적 작동 원리의 핵심 부분으로 자리매김하도록 돕는 중요한 방식이었습니다.

최근 바이든 행정부는 국가 인공 지능 자문위원회를 설립했습니다. AI 비즈니스에 대한 의미는 무엇입니까?

전 세계 정부는 AI를 규제하기 위해 전력으로 움직이고 있습니다. 기업은 준비해야 합니다. 바이든 행정부의 국가 AI 자문위원회와 백악관 OSTP의 투자 등은 AI 시스템과 관련된 권리 선언에 대한 논의에 행동을 취하는 좋은 첫 단계입니다. 그러나, 책임감 있는 AI가 무엇인지에 대한 의미를 실현하기 위해 더 많은 일이 필요합니다.

저는 2022년이 책임감 있는 AI의 행동의 해가 될 것이라고 믿습니다. 이는 기업이 기존의 윤리적 프레임워크를 평가하거나, 접근 방식이 없는 경우, 신뢰할 수 있는 AI를 위한 견고한 프레임워크를 구축하기 위한 호출입니다. 이제는 기업이 성공을 위해 준비되기 위해 책임감 있는 AI를 위한 프레임워크를 구축하기 위한 가장 좋은 때입니다.

우리는 더 많은 법적 구속력이 있는 규제와 연성 규제가 등장할 것으로 예상합니다. 백악관의 행동 외에도, 다른 정책 입안자와 기관에서 많은 동력이 발생하고 있습니다. 예를 들어, 상원의 알고리즘 책임성 법안 초안, 연방 거래위원회(FTC)의 AI 편향에 대한 지침 등이 있습니다.

미래로 전진하여, 5년 후에 AI 윤리와 AI 거버넌스의 중요성은 어떠할까요?

우리는 AI 거버넌스의 초기 단계에 있습니다. AI 거버넌스가 얼마나 중요한지 강조하기 위해, 다음은 저의 예측입니다.

• 윤리적인 AI 거버넌스는 최상위 조직 우선순위가 될 것입니다

기업은 비즈니스에서 AI를 사용하는 데 투자하고, 그 이점을 얻고 있습니다. IDC는 2022년에 AI에 3,400억 달러를 투자할 것으로 예상합니다. 거버넌스가 없으면, 기업은 편향, 보안, 정확성, 규정 준수 등에 대한 우려로 인해 AI에 투자하기를 주저할 것입니다.

신뢰가 없으면 소비자 역시 AI 기반 제품을 받아들이거나 시스템 개발에 필요한 데이터를 공유하기를 주저합니다. 향후 5년간 윤리적인 AI 거버넌스는 이사회의 우선순위가 되고, 이해관계자의 신뢰를 얻기 위해 기업이 공개하고 보고해야 할 중요한 지표가 될 것입니다.

• 새로운 사회 기술 직군이 기업 내에서 등장할 것입니다

윤리를 우선하는 조직들이 공정하고 규정을 준수하며 감사 가능한 AI 애플리케이션을 보장하기 위해 개발 활동을 미래에 대비시키는 데 크게 투자하고 있습니다.

AI를 선도하려면 기업은 AI 규제 환경을 배우고 대규모 책임 구조를 도입하는 일을 더 가속해야 합니다. 윤리적인 AI 구현 분야가 발전하면서 이런 대화를 촉진하고 책임을 맡는 새로운 사회기술적 직군이 생길 수 있습니다. 이들은 기술 부문과 감독 부문 사이의 중개자로서 공통 표준과 목표를 개발하도록 도울 수 있습니다.

• 새로운 AI 기반 경험은 더 엄격한 거버넌스를 요구할 것입니다

AI의 의도된 결과와 의도하지 않은 결과를 관리하는 것은 중요하며, 특히 메타버스와 웹3 세계에 진입할 때 더욱 그렇습니다. AI 위험은 현실과 가상 세계 모두에 존재하지만 후자에서 더욱 증폭됩니다. 충분한 AI 감독 없이 메타버스에 뛰어들면 기업은 고객을 신원 도용과 사기 같은 위험에 노출합니다. 메타버스에서 소비자를 보호하려면 현실 세계에서 AI와 거버넌스 문제를 지금 해결하는 것이 중요합니다.

• 윤리적인 AI 거버넌스에 대한 새로운 생태계가 등장할 것입니다

세계는 AI 거버넌스가 책임감 있는 AI를 구현하는 기본 빌딩 블록임을 인식했습니다. 향후 수년 동안, 서비스 제공업체, 도구, 교육 및 기타 기능을 지원하기 위한 경쟁적이고 역동적인 시장의 등장으로, 대규모 수요를 충족하기 위한 시장의 등장으로 기대됩니다.

또한, 기존의 MLops 및 GRC 플랫폼의 통합과 보강을 통해, AI에 대한 거버넌스와 평가 기능을 제공할 것으로 예상됩니다.

크레도 AI에 대해 더 공유하고 싶은 것이 있나요?

윤리적인 AI 거버넌스는 미래에 대비하는 투자이며, 이를 하지 않는 선택을 감당할 수 없습니다. 시작하기 가장 좋은 날은 오늘입니다.

자세한 인터뷰와 AI 거버넌스 및 윤리에 관한 통찰을 공유해 주셔서 감사합니다. 자세한 정보는 크레도 AI를 방문하세요.