노아 슈와츠, Quorum AI의 공동 창립자 및 CEO – 인터뷰 시리즈

노아는 AI 시스템 아키텍트입니다. Quorum AI를 공동 창립하기 전에 노아는 12년 동안 학술 연구에 참여했으며, 처음에는 남부 캘리포니아 대학교에서, 최근에는 노스웨스턴 대학교의 신경생물학 부회장으로 활동했습니다. 그의 연구는 뇌의 정보 처리에 초점을 맞추었으며, 그는 증강 현실, 뇌-컴퓨터 인터페이스, 컴퓨터 비전, 및 임베디드 로봇트 제어 시스템에서 제품으로 연구를 변환했습니다.

당신의 AI와 로봇틱스에 대한 관심은 어린 시절부터 시작되었습니다. 어떻게 이러한 기술에 처음으로 소개되었나요?

초기 스파크는 과학 픽션 영화와 전자 제품에 대한 사랑에서 비롯되었습니다. 나는 8살 때 영화 트론을 보고, 그 다음 몇 년 동안 전기 꿈, 쇼트 서킷, DARYL, 워 게임즈 등을 보았습니다. 비록 그것이 허구로 표현되었지만, 인공 지능의 아이디어는 나를 압도했습니다. 그리고 나는 8살이었지만, 나는 즉시 연결감과 강한 끌림을 느꼈고, 그 때부터 줄어들지 않았습니다.

당신의 AI와 로봇틱스에 대한 열정은 어떻게 발전했나요?

나의 AI와 로봇틱스에 대한 관심은 뇌에 대한 열정과 함께 발전했습니다. 내 아버지는 생물학 교사였고, 그는 나에게 몸에 대해 가르치고, 어떻게 모든 것이 작동하는지, 그리고 어떻게 모든 것이 연결되는지에 대해 가르쳤습니다. AI를看着 있고, 뇌를看着 있으면, 같은 문제로 느껴졌습니다 – 또는 적어도, 같은 궁극적인 질문을 가졌습니다, 즉, “어떻게 작동합니까?” 나는 두 가지 모두에 관심이 있었지만, 학교에서 AI나 로봇틱스에 대한 노출이 많지 않았습니다. इसलिए, 나는 학교에서 생물학과 심리학을 공부하면서, 나의 여유 시간에 AI를 공부했습니다.

대학에 갔을 때, 나는 병렬 분산 처리(PDP) 책을 발견했습니다. 그것은 나에게 엄청난 영향을 미쳤습니다. 그것은 실제 AI에 대한 나의 첫 번째 소개였으며, 그것은 나에게 클래식한 것들인 Hebb, Rosenblatt, 그리고 даже McCulloch와 Pitts를 소개했습니다. 나는 신경해부학과 학교에서 배운 생물학 및 심리학 수업에서 배운 것을 기반으로 신경 네트워크를 구축했습니다. 졸업 후, 나는 컴퓨터 네트워크 엔지니어로 일하면서, 복잡한 광역 네트워크를 구축하고, 그 네트워크의 트래픽 흐름을 자동화하고 관리하는 소프트웨어를 작성했습니다. 그것은 큰 뇌를 구축하는 것과 비슷했습니다. 그 작업은 나의 AI에 대한 열정을 재점화시키고, 나에게 AI와 신경과학을 공부하기 위해 대학원에 갈 동기를 부여했습니다. 그리고 나머지는 역사입니다.

Quorum AI를 공동 창립하기 전에, 당신은 12년 동안 학술 연구에 참여했으며, 처음에는 남부 캘리포니아 대학교에서, 최근에는 노스웨스턴 대학교의 신경생물학 부회장으로 활동했습니다. 그 때你的 연구는 뇌의 정보 처리에 초점을 맞추었으며, 어떻게 이러한 연구를 설명할 수 있나요?

넓은 의미에서, 나의 연구는 “뇌가 하는 일을 어떻게 하는지”라는 질문에 대한 답을 찾으려고 했습니다. 먼저, 나는 뇌가 컴퓨터(von Neumann sentido)와 같은 종류의 시스템이라고 생각하지 않습니다. 나는 그것을 거대한 네트워크로 본다. 대부분의 신호-인코딩 작동과 자극-반응 작동을 수행합니다. 그 거대한 네트워크 안에는 기능적으로 전문적인 영역 사이에 명확한 연결 패턴이 있습니다. 우리는 더 가까이 들여다보면, 뉴런은 신호를 전달하는지 또는 뇌의 어느 부분에 있는지에 상관없이 매우 예측 가능한 규칙에 따라 작동한다는 것을 알 수 있습니다. 따라서 우리는 이러한 전문적인 영역의 기능을 이해하기 위해 몇 가지 질문을 해야 합니다: (1) 입력이 네트워크를 통해 이동할 때, 어떻게 입력이 다른 입력과 결합하여 결정되나요? (2) 경험의 결과로 이러한 전문적인 영역의 구조는 어떻게 형성되나요? (3) 우리는 우리의 뇌를 사용하고, 시간이 지남에 따라 배우면서, 어떻게 이러한 영역이 계속해서 변경되나요? 나의 연구는 이러한 질문에 대한 답을 찾기 위해 실험 연구와 정보 이론 및 모델링 및 시뮬레이션의 혼합을 사용했습니다. 신경생물학적으로, 나는 신경 가소성과 시각 피질과 같은 전문적인 영역의 미세 해부학을 연구했습니다.

당신은 이후 증강 현실과 뇌-컴퓨터 인터페이스에 대한 연구를 수행했습니다. 어떤 제품을 작업했나요?

2008년경, 나는 현재 증강 현실이라고 부르는 시스템을 작업했습니다. 그러나 당시에는 화면에서 눈을 이동할 때 예측하고, 예측에 따라 화면을 업데이트하는 시스템이었습니다. 시스템을 실시간으로 작동시키기 위해, 나는 생물학적으로 영감을 받은 모델을 구축했습니다. 모델은 사용자의 미세한 눈 운동을 예측했습니다. 모델을 사용하여, 나는 사용자가 어디를 볼지 예측할 수 있었고, 사용자의 눈이 아직 움직이는 동안 그래픽 카드의 프레임 버퍼를 업데이트할 수 있었습니다. 사용자의 눈이 새로운 위치에 도달했을 때, 이미지는 이미 업데이트되었습니다. 이것은 2008년에 일반적인 데스크톱 컴퓨터에서 지연 없이 작동했습니다. 기술은 매우驚異적이었지만, 프로젝트는 다음 라운드의 자금 지원을 받지 못해 중단되었습니다.

2011년, 나는 제품 개발에 대한 더 집중적인 노력을 기울였고, 스트리밍 EEG 데이터에서 특징을 발견할 수 있는 신경 네트워크를 구축했습니다. 이것은 대부분의 뇌-컴퓨터 인터페이스 시스템의 핵심 기능입니다. 프로젝트는 또한 “우리가 이 시스템을 실행할 수 있는 가장 작은 풋프린트는 무엇인가?”라는 실험입니다. 우리는 몇 개의 채널의 EEG 데이터를 400Hz로 읽을 수 있는 헤드셋을 가지고 있었고, 데이터는 블루투스를 통해 안드로이드폰으로 전송되어 특징 발견과 분류를 위해 사용되었습니다. 그런 다음 데이터는 아두이노 기반 컨트롤러로 전송되어 오프-더-셸프 RC 차를 제어했습니다. 사용자가 헤드셋을 착용하고 있을 때, 사용자는 생각을 변경함으로써 차를 운전하고 조종할 수 있었습니다. 알고리즘은 폰에서 실행되었고, 각 사용자에게 개인화된 뇌 “지문”을 생성하여 사용자가 여러 로봇 장치 사이를 전환할 때마다 재학습할 필요 없이 사용할 수 있었습니다. 슬로건은 “뇌 제어와 플러그 앤 플레이”였습니다.

2012년, 우리는 시스템을 더 분산된 방식으로 작동하도록 확장했습니다. 우리는 그것을 여러 세그먼트, 여러 관절 로봇 팔을 제어했습니다. 각 세그먼트는 독립적인 프로세서로 작동했으며, 임베디드 버전의 AI를 실행했습니다. 중앙 제어기를 사용하여 팔을 조작하는 대신, 우리는 세그먼트가 스웜처럼 자율적으로 조직되어 목표에 도달하도록 허용했습니다. 즉, 개미가 개미 다리를 형성하는 것처럼, 팔의 세그먼트는 협력하여 공간의 목표에 도달했습니다.

우리는 Quorum AI를 처음 출시했을 때, 즉 2013년에, 같은 방향으로 이동했습니다. 우리는 시스템이 알고리즘과 아키텍처로 인해 훌륭한 시스템이라는 것을 빠르게 깨달았습니다. 따라서 2014년 말, 우리는 완전히 소프트웨어로 전환했습니다. 이제, 8년 후, Quorum AI는 다시 로봇틱스 루츠로 돌아가고 있으며, 우리의 프레임워크를 NASA 우주 로봇틱스 챌린지에 적용하고 있습니다.

교수직을辞하고 스타트업을 창업하기로 결정하는 것은 어려웠을 것입니다. 무엇이 당신을 이 결정을 내리도록 영감을 주었나요?

그것은 나에게 많은 면에서 거대한 도약이었습니다. 그러나 기회가 나타나고 경로가 명확해지자, 그것은 쉬운 결정이었습니다. 교수로서, 당신은 여러 해의 시간 틀에서 생각하고, 매우 긴 기간의 연구 목표에 대해 작업합니다. 스타트업을 창업하는 것은 그 반대입니다. 그러나 학술 생활과 스타트업 생활은 둘 다 지속적으로 문제를 해결하고 배우는 것을 요구합니다. 스타트업에서,それは 제품 개발 위험을 줄이기 위한 솔루션을 재공학화하거나 우리의 기술이 혜택을 받을 수 있는 새로운 수직을 연구하는 것을 의미할 수 있습니다. AI에서 일하는 것은 내가 느낀 것 중에서 “소명”에 가장 가까운 것입니다. 따라서 모든 도전과 도전에도 불구하고, 나는 내가 하는 일을 매우幸運하게 생각합니다.

그런 다음 Quorum AI를 개발했습니다. 이는 모든 장치와 플랫폼을 위한 실시간 분산 인공 지능을 개발합니다. 이 AI 플랫폼이 정확히 무엇을 하는지 설명할 수 있나요?

플랫폼은 Environment for Virtual Agents (EVA)라고 불리며, 사용자가 우리의 Engram AI 엔진을 사용하여 모델을 구축, 훈련 및 배포할 수 있습니다. Engram은 우리가 구축한 우리의 무감독 학습 알고리즘을围绕한 유연하고 이식 가능한 래퍼입니다. 알고리즘은 매우 효율적이며, 모델이 예측을 생성하는 동안 실시간으로 학습할 수 있습니다. 알고리즘은 작업-중립적이므로, 모델에 대한 명시적인 입력 또는 출력이 없으므로, 재학습 없이 베이즈 방식으로 任意 차원을 예측할 수 있습니다. 모델은 또한 투명하고 분해 가능하며, 즉 모델을 개별 차원으로 분해할 수 있습니다. 모델은 EVA를 통해任意 플랫폼에 배포될 수 있으며, 임베디드 하드웨어에서 클라우드까지 다양한 플랫폼을 지원합니다. EVA (및 임베디드 호스트 소프트웨어)에는 모델의 기능을 확장하는 여러 도구가 포함되어 있습니다. 몇 가지 빠른 예로는 모델을 공유하여 분산 시스템에서 시간과 공간에 걸쳐 연합 학습을 달성할 수 있습니다. 모델은 또한 임의의 작업을 수행하기 위한 자율 에이전트로 배포될 수 있으며, 모델은 작업-중립적이므로, 모델을 재학습하지 않고도 작업을 변경할 수 있습니다. 각 에이전트는 개인용 “가상” EVA를 확장하여, 다른 에이전트의 모델을 규모 없는 방식으로 시뮬레이션할 수 있습니다. 마지막으로, 우리는 깊은 학습 및 강화 학습(Keras 기반) 시스템이 플랫폼에서 함께 작동할 수 있도록 래퍼를 생성했습니다.

당신은 이전에 Quorum AI 알고리즘을 “수학적 시”라고 설명했습니다. 무엇을 의미합니까?

모델을 구축할 때, 시스템을 근사하기 위해 알려진 클래스의 모델을 시도합니다. 본질적으로, 시스템에 대한 거친 스케치를 생성하여 무엇이 가장 잘 맞는지 확인합니다. 당신은 그것이 데이터에 잘 맞지 않을 것으로 예상하지 않으며, 다양한 가설을 테스트하는 과정에서 일부 시도와 오류가 있습니다. 그러나 약간의 재주를 가지고, 데이터를 꽤 잘 캡처할 수 있습니다.

신경 가소성을 모델링할 때, 나는 일반적인 접근 방식을 사용하여 관련 분자 경로, 전이 상태 및 역학을 매핑했습니다. 그러나 시스템을 가장 기본적인 구성 요소로 줄이고, 구성 요소를 특정 방식으로 배치했을 때, 모델이 더 정확해졌습니다. 그것은 각 연산자와 변수가 정확히 필요한 것처럼 보였으며, 데이터를 맞추기 위해 아무 것도 추가되지 않았으며, 모든 것이 필수적이었습니다.

그 모델을 더 큰 시뮬레이션에 연결했을 때, 예를 들어 시각 시스템 개발 또는 얼굴 인식, 모델은 실제 뇌에서 볼 수 있는 매우 복잡한 연결 패턴을 형성했습니다. 모델은 수학적이므로, 뇌 패턴은 수학적 분석을 통해 이해할 수 있으며, 뇌가 무엇을 배우는지에 대한 새로운 통찰력을 제공했습니다. 이후 우리는 모델을 구성하는 미분 방정식을 해결하고 단순화하여, 계산 효율성을 여러 차례 개선했습니다. 그것은 실제 시가 아니지만, 그것은 확실히 시처럼 느껴졌습니다!

Quorum AI의 플랫폼 툴킷은 클라우드 기반 서버를 통해 통신할 필요 없이 장치가 서로 연결되어 데이터를 학습하고 공유할 수 있습니다. 클라우드를 사용하는 것과 비교하여 이 방식의 장점은 무엇인가요?

우리는 사용자가 원하는 곳에 AI를 넣을 수 있는 옵션을 제공합니다. 그 과정에서 AI의 기능을 손상시키지 않습니다. AI 개발의 현황은 기업들이 보통 보안, 개인 정보 또는 기능을 손상시키지 않으면서 클라우드 기반 AI 서비스를 사용해야 한다는 것입니다. 기업들이 자체적으로 AI를 구축하려고 시도한다면, 그것은通常 많은 돈과 시간이 필요하며, ROI는 거의 위험을 가치 있게 하지 않습니다. 기업들이 클라우드와 연결되지 않은 장치에 AI를 배포하려고 한다면, 프로젝트는 곧 불가능해집니다. 결과적으로, AI 채택은 환상이 됩니다.

우리의 플랫폼은 AI를 접근 가능하고 비용 효율적으로 만듭니다. 기업들이 기술 오버헤드나 재정 오버헤드 없이 AI 개발 및 채택을 탐색할 수 있는 방법을 제공합니다. 또한 우리의 플랫폼은 깊은 학습이나 강화 학습과 같은 “레거시” 모델을 통합하고 확장하여 기존 시스템을 새로운 애플리케이션에 재사용할 수 있습니다. 또한, 우리의 알고리즘과 아키텍처는 고유하므로, 모델이 학습한 모든 것은 인간이 탐색하고 해석할 수 있으며, 다른 비즈니스 영역으로 확장할 수 있습니다.

일부 사람들은 분산 인공 지능(DAI)이 인공 일반 지능(AGI)로 가는 길을 열 수 있다고 믿습니다. 당신은 이 이론을 지지합니까?

나는 그렇습니다. 그리고 그것은 우리가 자신을 위해 설정한 경로이기 때문만이 아닙니다! 뇌를看着 보면, 그것은 단일 시스템이 아닙니다. 그것은 분리된 시스템으로 구성되어 있으며, 각 시스템은 뇌의 좁은 범위의 기능을 전문적으로 수행합니다. 우리는 특정 시스템이 무엇을 하는지 정확히 모를 수 있지만, 우리는 그 결정이 주로 받는 정보와 정보가 시간에 따라 어떻게 변경되는지에 크게 의존한다는 것을 압니다. (이것은 pourquoi 신경과학 주제인 커넥톰이 så 인기 있는 이유입니다.)

私の 의견에는, 우리는 뇌와 같은 유연성과 행동을 가진 AI를 구축하고 싶다면, 뇌에서 볼 수 있는 분산 아키텍처를 고려하는 것이 합리적입니다.有人은 깊은 학습 아키텍처가 뇌에서 발견될 수 있으며, 그것은 사실입니다. 그러나 이러한 아키텍처는 50년 전의 뇌에 대한 우리의 지식에 기반합니다.

DAI의 대안은 단일 결정 공간에緊密하게 결합된 유연하지 않은 모놀리식 아키텍처를 계속 반복하는 것입니다. 나는 이러한 제한이 단순히 매개 변수 조정 또는 계층 추가 또는 데이터 조건으로 해결될 수 있는 문제가 아니라고 생각합니다. 이러한 문제는 깊은 학습과 강화 학습의 근본적인 문제입니다. 따라서 새로운 접근 방식이 필요합니다.

DAI를 사용하여 AGI를 달성하는 것이 현재 OpenAI 및 DeepMind와 같은 기업에서 추구하는 강화 학습 및/또는 깊은 학습 방법보다 더 가능성이 높은가요?

예, 비록 그들이 블로그에서 이야기하는 것에서 볼 때, OpenAI와 DeepMind는 더 분산된 아키텍처를 사용하고 있는 것으로 추측되지만, 우리는 분산 아키텍처를 사용하여 AGI를 달성하는 것이 더 가능성이 높다고 생각합니다. 우리는 이제 멀티 시스템 챌린지에 대한 더 많은 이야기를 듣고 있으며, 깊은 학습 및 강화 학습 접근 방식이 이러한 챌린지에 대해 작동하지 않는다는 것을 듣고 있습니다. 우리는 또한 Yoshua Bengio와 같은 개척자로부터 생물학적으로 영감을 받은 아키텍처가 간격을 메울 수 있을 것이라는 것을 듣고 있습니다! 나는 거의 20년 동안 생물학적으로 영감을 받은 AI에 대해 작업해 왔으며, Quorum AI에서 배운 것과 우리가 다음 세대의 AI를 구축하는 방법에 대해 매우 좋은 느낌을 받습니다.

Quorum AI에 대해 더 공유하고 싶은 것이 있나요?

우리는 2020년 6월에 연방 및 분산 머신 러닝 컨퍼런스에서 새로운 플랫폼을预览할 것입니다. 강연에서, 나는 여러 주제에 대한 최근 데이터를 발표할 계획이며, 감정 분석을 포함한 주제는 공감적인 AI를 달성하기 위한 다리입니다.

노아에게 이러한 놀라운 답변을 해주신 것에 감사드리며, Quorum AI에 대해 더 배우기 위해 Quorum을 방문할 것을 추천합니다.