오픈도어의 연구 및 데이터 과학 부문 총괄인 쿠샬 차크라바티 – 인터뷰 시리즈

쿠샬 차크라바티는 주택 실거래가 플랫폼인 오픈도어의 연구 및 데이터 과학 부문 총괄이다.

머신 러닝과 데이터 과학에 처음 관심을 가지게 된 계기는 무엇인가?

나는 항상 숫자로 세상을 보았지만, 대학에서 데이터 과학이 내 진정한 소명임을 깨달았을 때가 처음이었다. 그리고 거의 그 순간을 정확히 알 수 있다: “MATLAB을 사용한 프로그래밍 소개”였다. MATLAB 스플래시 화면에 있는 3D 컨투어 플롯을 보고 “잠시만요…”라고 생각했다. 그것은 나에게 첫눈에 사랑이었다.

나에게 데이터 과학은 내가 볼 수 있는 신의 마음과 가장 가까운 것이다. 종교적이든 아니든, 세상의 작동 방식에는 분명히 근본적인 메커니즘이 있다. 우리는 그것을 직접 볼 수 있는 특권이 없지만, 데이터를 통해 그 메커니즘을 재구성하는 과학과 예술을 볼 수 있다.

데이터 과학 분야에서 개인적으로 목격한 진화를 논의해 줄 수 있는가?

나는 거의 20년 동안 이 분야에서 두 가지 큰 트렌드를 목격했다.

첫 번째는 하위 분야의 생성이다. 내가 이 분야에 입문했을 때, 데이터 엔지니어링, 의사 결정 과학, 머신 러닝 사이에 구별이 없었다. 당시에는 고급 수학을 하려면 모든 것을 직접 해야 했다. 하지만 오늘날, 이 분야가 얼마나 발전했는지에 따라 사람들은 하위 분야에서 전문성을 갖추기 시작했다. 이는 어떤 분야에서도 필연적인 과정이다. 100년 전에는 몇 가지 종류의 의사만 있었지만, 오늘날에는 수십 가지가 있다.

두 번째는 분야의 광범위한 민주화이다. 오늘날, 새로운 입문자에게 데이터 과학을 훨씬 더 접근하기 쉽게 만드는 많은 도구가 있다. 나는 확실히 C++ 코드를 작성하지 않아도 되어서 좋지만, 이는 양날의 검이다. 많은 현실 세계의 전문가들이 이러한 도구를 블랙박스처럼 다루고, 특정한 이유로 특정 도구가 설계된 방식을 이해하지 못한다. 따라서 올바른 도구를 올바른 작업에 선택하는 데 어려움을 겪는다.

현재 오픈도어에서 데이터 과학의 미래에 대한 비전은 무엇인가?

매일 아침에 일어나서 일하는 동기는 일상 생활에서 미국인들을 도와주는 기술을 개발하는 것이다. 집을 사거나 팔기는 한 사람의 일생에서 가장 큰 이정표 중 하나이며, 우리가 하는 일은 미국 전역의 사람들이 더 간단하고, 더 빠르고, 더 확실한 방식으로 주택 소유를 달성하도록 도와준다.

오픈도어에서 우리는 매일 수백 개의 데이터 기반 의사 결정을 한다. 우리의 팀은 인과 추론, 구조적 경제 모형, 심층 학습 등 모든 것을 사용하여 우리의 최첨단 가격 모델을 구동한다.

하지만 내부를 들여다보면 많은 휴리스틱이 있다. 사람들은 휴리스틱을 사용한다. 왜냐하면 그것이 효과가 있기 때문이다. 하지만 휴리스틱은 중간에서 작동하고, 가장자리에서 실패한다. 사람들이 행동하는 것의 근본적인 메커니즘을 깊이 생각해 보면, 휴리스틱을 일반화하는 원칙적 프레임워크를 추상화할 수 있다. 내 비전과 희망은 이러한 원칙적 프레임워크를 구축하여 미국 전역의 수백만 명의 미국인에게 더 쉬운, 더 나은, 더 빠른 주택 소유를解锁하는 것이다.

링크드인 프로필에서 데이터 과학자들에게 1조 달러의 데이터 과학 문제를 해결하도록 초대하고 있다. потен셜한 지원자에게 무엇을 찾고 있는가?

우리는 두 가지 특징을 가진 사람들을 찾는다. 첫 번째는 세계를 정량적이고 체계적으로 설명할 수 있는 超能力이다. 두 번째는 고객으로부터 실용적으로 작업할 수 있는 능력이다.

나는 超能力을 관리하는 것을 믿는다. 내 경험에 따르면, 최고의 데이터 과학자들은 T자형이다. 즉, 그들은 많은 것을 조금 알고, 少ない 것을 많이 안다. 나는 예외가 아니다. 우리는 사람들이 모든 것을 알기를 기대하지 않는다. 하지만 우리는 사람들이 특정 분야에서 우수하다고 기대한다. 그리고 올바른 방식으로 설정하면, 서로補完的な 超能力을 가진 팀을 구성할 수 있다. 그리고 함께 마법을 만들 수 있다.

그것은 클리셰가 아니다. 아시모프의 인용문이 있다: “충분히 발전된 기술은 마법과 구별할 수 없다.” 부동산은 수십 년 동안 변하지 않은 1조 달러 산업이다. 우리는 아직 표면을 긁었을 뿐이지만, 앞으로 몇 년 동안의 표준을 설정했다. 우리의 비전을 추진하고, 超能力 팀을 구성하여 앞으로 나아가면, 우리는 마법을 만들 것이다.

여기에서 우리의 오픈 포지션을 확인하십시오.

오픈도어에 대해 더 공유하고 싶은 것이 있나요?

내가 가진 특이한 배경 – 계산 생물학 연구, 아마존 개인화, 두 번의 스타트업 창업자, 12개 이상의 다른 스타트업의 고문 -로 인해, 나는 15~20개의 데이터 과학 조직의 내부를 본 적이 있다. 나는 확실히 오픈도어가 내가 본 조직 중 가장 흥미로운 기술적인 도전을 가지고 있다고 말할 수 있다.

그것과 함께 우리가 하는 일의 규모와 영향이 있다. 1조 달러의 문제는 우리 세계에서 흔하지 않다. 특히, 아직도 구식 방식으로 운영되는 산업은 더욱 그렇다. 우리는 단 몇 년 만에 그 모델을 뒤집어엎고, 더 빠르고, 더 간단하고, 더 확실한 방식으로 주택을 사고팔 수 있다는 것을 보여주었다. 하지만, 우리는 아직 시작한 것뿐이다. 새로운 데이터 세트와 세계 최고의 데이터 과학을 사용하여 다음 단계로 나아가는 방법을 찾는 것은 미국 전역의 수백만 명의 미국인에게 도움이 될 흥奮的な 기술적인 도전이다.