Yaron Singer, Robust Intelligence CEO 겸 하버드 대학교 컴퓨터 과학 교수 – 인터뷰 시리즈

야론 싱어 CEO 강력한 인텔리전스 하버드 컴퓨터 과학 및 응용 수학 교수입니다. Yaron은 기계 학습, 알고리즘 및 최적화 분야에서 획기적인 결과를 얻은 것으로 유명합니다. 이전에 Yaron은 Google Research에서 근무했으며 UC Berkeley에서 박사 학위를 취득했습니다.

처음에 컴퓨터 과학 및 기계 학습 분야에 끌린 이유는 무엇입니까?

제 여정은 수학에서 시작되었고, 컴퓨터 공학으로 이어졌고, 기계 학습의 길로 들어섰습니다. 수학의 공리 체계가 나에게 새로운 세계를 창조할 수 있는 능력을 주었기 때문에 처음에 수학에 관심을 끌었습니다. 컴퓨터 공학을 통해 실존 증명과 그 배후의 알고리즘에 대해 배웠습니다. 창의적인 관점에서 컴퓨터 과학은 우리가 할 수 있는 것과 할 수 없는 것 사이의 경계를 그리는 것입니다.

기계 학습에 대한 저의 관심은 항상 실제 데이터, 거의 물리적인 측면에 대한 관심에 뿌리를 두고 있습니다. 현실 세계에서 사물을 가져와 의미 있는 것을 만들기 위해 모델링합니다. 의미 있는 모델링을 통해 문자 그대로 더 나은 세상을 설계할 수 있습니다. 그래서 수학은 사물을 증명할 수 있는 토대를 제공했고, 컴퓨터 과학은 내가 할 수 있는 것과 할 수 없는 것을 보는 데 도움을 주며, 기계 학습을 통해 이러한 개념을 세상에서 모델링할 수 있습니다.

최근까지 하버드 대학교에서 컴퓨터 과학 및 응용 수학 교수로 재직하셨는데, 이 경험에서 얻은 주요 교훈은 무엇입니까?

Harvard의 교수진이 된 것에서 얻은 가장 큰 교훈은 큰 일을 하고자 하는 욕구를 키운다는 것입니다. Harvard는 전통적으로 소규모 교수진을 보유하고 있으며 종신 트랙 교수진의 기대치는 큰 문제를 해결하고 새로운 분야를 창출하는 것입니다. 당신은 대담해야합니다. 이것은 결국 새로운 공간을 정의하는 카테고리 생성 스타트업을 시작하기 위한 훌륭한 준비가 됩니다. 꼭 하버드 임기 트랙을 먼저 통과하는 것을 권장하지는 않지만 그 과정에서 살아남는다면 스타트업을 구축하는 것이 더 쉽습니다.

정교한 AI 시스템이 잠재적으로 광범위한 영향을 미칠 수 있는 나쁜 데이터에 취약하다는 것을 깨달은 '아하' 순간을 설명해 주시겠습니까?

UC Berkeley에서 대학원생이었을 때 소셜 네트워크에서 마케팅을 위한 기계 학습 모델을 구축하는 스타트업을 하기 위해 잠시 쉬었습니다. 이것은 2010년으로 거슬러 올라갑니다. 우리는 소셜 미디어에서 엄청난 양의 데이터를 얻었고 모든 모델을 처음부터 코딩했습니다. 소매업체에 대한 재정적인 영향은 상당히 컸기 때문에 우리는 모델의 성과를 면밀히 따랐습니다. 소셜 미디어의 데이터를 사용하다 보니 입력 오류도 많고 드리프트도 많았습니다. 우리는 매우 작은 오류로 인해 모델 출력이 크게 변경되고 제품을 사용하는 소매업체에 나쁜 재정적 결과를 초래할 수 있음을 확인했습니다.

Google+ 작업으로 전환했을 때(기억하시는 분들을 위해) 똑같은 효과를 보았습니다. 보다 극적으로 사람들이 키워드에 대한 광고를 클릭할 가능성을 예측하는 애드워즈와 같은 시스템에서 우리는 모델에 대한 입력의 작은 오류가 매우 잘못된 예측으로 이어진다는 것을 발견했습니다. Google 규모에서 이 문제를 목격하면 문제가 보편적이라는 것을 깨닫게 됩니다.

이러한 경험은 저의 연구 초점을 크게 형성했고, AI 모델이 실수하는 이유와 모델이 실수하지 않도록 방지할 수 있는 알고리즘을 설계하는 방법을 조사하는 데 하버드에서 시간을 보냈습니다. 물론 이것은 더 많은 '아하' 순간으로 이어졌고 결국 Robust Intelligence의 탄생으로 이어졌습니다.

Robust Intelligence의 기원 이야기를 공유해 주시겠습니까?

Robust Intelligence는 초기에 이론적인 문제였던 AI 모델을 사용하여 내린 결정에 대해 우리가 가질 수 있는 보장이 무엇인지에 대한 연구로 시작했습니다. Kojin은 Harvard 학생이었고 우리는 처음에는 연구 논문을 작성하면서 함께 일했습니다. 따라서 이론적으로 근본적으로 가능한 것과 불가능한 것을 개략적으로 설명하는 논문을 작성하는 것으로 시작합니다. 이러한 결과는 나중에 AI 실패에 강인한 알고리즘 및 모델을 설계하는 프로그램으로 계속되었습니다. 그런 다음 이러한 알고리즘을 실제로 실행할 수 있는 시스템을 구축합니다. 그 후 조직에서 이와 같은 시스템을 사용할 수 있는 회사를 시작하는 것이 자연스러운 다음 단계였습니다.

Robust Intelligence가 해결하는 많은 문제는 소리 없는 오류입니다. 이러한 오류는 무엇이며 오류를 그렇게 위험하게 만드는 이유는 무엇입니까?

소리 없는 오류에 대한 기술적인 정의를 내리기 전에 먼저 한 걸음 물러서서 애초에 AI가 오류를 만드는 것에 관심을 가져야 하는 이유를 이해하는 것이 좋습니다. 우리가 AI 모델의 실수에 관심을 갖는 이유는 이러한 실수의 결과입니다. 우리 세상은 AI를 사용하여 중요한 결정을 자동화하고 있습니다. 누가 사업 대출을 받고 어떤 이자율로 누가 건강 보험을 받고 어떤 이자율로 어느 지역을 경찰이 순찰해야 하는지, 누가 최고의 일자리 후보가 될 가능성이 가장 높은지, 공항 보안을 어떻게 구성해야 하는지 등등. AI 모델이 매우 오류가 발생하기 쉽다는 사실은 이러한 중요한 결정을 자동화할 때 많은 위험을 물려받는다는 것을 의미합니다. Robust Intelligence에서는 이를 "AI 위험"이라고 부르며 회사에서의 임무는 AI 위험을 제거하는 것입니다.

자동 오류는 AI 모델이 입력을 수신하고 잘못되었거나 편향된 예측 또는 결정을 출력으로 생성하는 AI 모델 오류입니다. 따라서 표면적으로는 AI 모델이 기능적 관점에서 해야 할 일을 하고 있다는 점에서 시스템에 대한 모든 것이 괜찮아 보입니다. 그러나 예측이나 결정은 잘못된 것입니다. 이러한 오류는 시스템에서 오류가 있음을 모르기 때문에 침묵합니다. 이는 조직이 AI 시스템에 결함이 있음을 깨닫는 데 오랜 시간이 걸릴 수 있기 때문에 AI 모델이 출력을 생성하지 않는 경우보다 훨씬 더 나쁠 수 있습니다. 그런 다음 AI 위험은 끔찍한 결과를 초래할 수 있는 AI 실패가 됩니다.

Robust Intelligence는 본질적으로 이전에는 불가능하다고 여겨졌던 아이디어인 AI 방화벽을 설계했습니다. 이것이 왜 그렇게 기술적인 도전입니까?

AI 방화벽이 어려운 이유 중 하나는 ML 커뮤니티의 패러다임에 반하기 때문입니다. ML 커뮤니티의 이전 패러다임은 오류를 근절하기 위해 잘못된 데이터를 포함하여 더 많은 데이터를 모델에 공급해야 한다는 것이었습니다. 그렇게 함으로써 모델은 스스로 훈련하고 실수를 스스로 수정하는 방법을 배웁니다. 이 접근 방식의 문제는 모델의 정확도가 급격히 떨어진다는 것입니다. 예를 들어 가장 잘 알려진 이미지 결과는 AI 모델 정확도를 98.5%에서 약 37%로 떨어뜨립니다.

AI Firewall은 다른 솔루션을 제공합니다. 우리는 예측 생성의 역할에서 오류를 식별하는 문제를 분리합니다. 즉, 방화벽은 데이터 포인트가 잘못된 예측을 생성하는지 여부를 결정하는 특정 작업에 집중할 수 있습니다.

이것은 단일 데이터 포인트에 대한 예측을 제공하는 것이 어렵기 때문에 그 자체로 도전이었습니다. 모델이 오류를 내는 데에는 많은 이유가 있기 때문에 이러한 오류를 예측할 수 있는 기술을 구축하는 것은 쉬운 일이 아니었습니다. 우리는 우리가 하는 엔지니어를 갖게 되어 매우 행운입니다.

시스템이 AI 편향을 방지하는 데 어떻게 도움이 됩니까?

모델 편향은 모델이 훈련된 데이터와 예측을 위해 사용하는 데이터 간의 불일치에서 비롯됩니다. AI 위험으로 돌아가서 편견은 조용한 오류로 인한 주요 문제입니다. 예를 들어, 이것은 종종 과소 대표 인구의 문제입니다. 해당 모집단에서 본 데이터가 적기 때문에 모델에 편향이 있을 수 있으며, 이는 해당 모델의 성능과 예측 정확도에 큰 영향을 미칩니다. AI Firewall은 조직에 이러한 데이터 불일치를 경고하고 모델이 올바른 결정을 내리는 데 도움을 줄 수 있습니다.

AI 방화벽이 예방하는 데 도움이 되는 조직에 대한 다른 위험은 무엇입니까?

AI를 사용하여 결정, 특히 중요한 결정을 자동화하는 모든 회사는 자동으로 위험을 도입합니다. 잘못된 데이터는 XNUMX 대신 XNUMX을 입력하는 것만큼 사소할 수 있으며 여전히 중대한 결과를 초래할 수 있습니다. 위험이 잘못된 의학적 예측이든 대출에 대한 잘못된 예측이든 AI Firewall은 조직이 위험을 완전히 예방할 수 있도록 도와줍니다.

Robust Intelligence에 대해 공유하고 싶은 다른 사항이 있습니까?

Robust Intelligence는 빠르게 성장하고 있으며 많은 훌륭한 지원자가 지원하고 있습니다. 하지만 지원을 고려하는 사람들에게 제가 정말로 강조하고 싶은 것은 우리가 지원자에게 추구하는 가장 중요한 자질은 사명에 대한 열정이라는 것입니다. 우리는 기술적으로 강력한 많은 지원자를 만나게 되므로 그들이 세상을 더 안전하고 더 나은 곳으로 만들기 위해 AI 위험을 제거하는 데 진정으로 열정적인지 이해하는 것으로 귀결됩니다.

우리가 향하는 세상에서는 현재 인간이 내리는 많은 결정이 자동화될 것입니다. 우리가 좋든 싫든 그것은 사실입니다. 이를 감안할 때 Robust Intelligence의 우리 모두는 자동화된 결정이 책임감 있게 수행되기를 원합니다. 따라서 영향을 미치고자 하는 사람, 이것이 사람들의 삶에 영향을 미칠 수 있는 방식을 이해하는 사람은 우리가 Robust Intelligence에 합류할 후보자를 찾고 있습니다. 우리는 그 열정을 찾고 있습니다. 우리는 전 세계가 사용할 이 기술을 만들 사람들을 찾고 있습니다.

훌륭한 인터뷰에 감사드립니다. AI 편향 방지와 AI 방화벽의 필요성에 대한 귀하의 견해에 대해 알게 되어 즐거웠습니다. 자세한 내용을 알고 싶은 독자는 방문해야 합니다. 강력한 인텔리전스.