빅토르 Thu, Datatron의 사장 – 인터뷰 시리즈

빅토르 Thu는 Datatron의 사장으로, 기업들이 기계 학습의 힘을 활용하여 배포를 가속화하고 문제를 조기에 발견하며 다수의 모델을 관리하는 효율성을 높이는 플랫폼입니다.

당신의 배경은 제품 마케팅, 고도화, 및 제품 관리입니다. 어떻게 이러한 배경이 기계 학습과 AI로 이어졌나요?

저는 기술을 사랑하며, 일부 친구들은 저를 “기술의 속삭임”이라고 부릅니다. 저는 복잡한 기술 주제를 사람들이 이해할 수 있는 언어로 번역하고, 새로운 기술을 배우는 것을 즐깁니다.

저의 첫 번째 “현대 AI”遭遇은 스탠퍼드 AI 교수인 Dr. Fei-Fei Li의 키노트 발표를 보면서였습니다. Dr. Li의 키노트 발표는 저의 경력에서 중요한 전환점이었습니다. 그 발표는 저에게 이 분야에서 다음으로 무엇을 해야 하는지에 대한 확신을 주었습니다.

그 이후로, 저는 여러 AI/ML 스타트업에서 일하며, 기술을 실제 비즈니스 문제에 적용하기 위해 노력했습니다. 저는 Ph.D. 수준의 ML 과학자와密接하게 일하며, 많은 지식을 얻었습니다. 그리고 여전히 이 분야가 빠르게 발전하고 있기 때문에 계속 배우고 있습니다.

따라서, 기술에 대한 저의 열정과 이를 통해 다른 사람을 도와주는 것이 저를 AI/ML로 이끌었습니다.

Datatron은 MLOps에 중점을 두고 있습니다. 이 용어가 익숙하지 않은 독자들을 위해, MLOps는 무엇입니까?

MLOps는 본질적으로 기계 학습 모델을 프로토タイプ에서 생산까지의 매우 수공적인 과정을 코드화하고 단순화하는 것입니다.

가장 큰 오해는 데이터 과학자들이 모델을 구축하면すぐ에 생산에 넣을 수 있다는 것입니다. 그러나 실제로는 모델을 배포하는 데까지 1년이 걸릴 수 있습니다.

이 지연의 주요 이유는 모델을 개발하는 전문가가 반드시 소프트웨어 엔지니어링 전문가가 아니라는 것입니다. 건축가가 고층 빌딩을 설계하지만, 건축가가 직접 건물을 지지는 않는다는 점과 유사합니다.

MLOps는 모델 개발자와 소프트웨어 엔지니어링 사이의 다리입니다. 모델을 생산에 넣는 데 12개월 이상 걸리지 않도록 MLOps가 도와줍니다.

2021년 9월에 당신이 저희에게 쓴 기사에서, “생산에 넣는 주요 장애물은 모델의 품질이 아니라, 기업들이 그렇게 하도록 허용하는 인프라의 부족”이라고 했습니다. 왜 이것이 대부분의 기업에게 장애물입니까?

몇 가지 요인이 있습니다.

• 오픈 소스 소프트웨어의 낭만화. 우리는 오픈 소스 소프트웨어를 사랑하며, 이는 산업을 발전시키는 데 큰 도움이 되었습니다. 그러나 많은 사람들이 AI와 ML에 대한 오픈 소스의 복잡성을 이해하지 못합니다. 현재, AI/ML 전문가가 부족합니다. 오픈 소스 MLOps 프로젝트 300개를 내부적으로 구축하도록 기대하는 것은 실패로 끝날 것입니다.
• 엔지니어링 팀을 지원하는 인프라의 부족. 기업들은 엔지니어링 팀을 성공적으로 지원하기 위한 환경을 조성해야 합니다. 적절한 대역폭과 예산이 있어야 합니다. AI는 비교적 새로운 기술입니다. AI를 사용하는 기업들은 모델을 빠르게 생산에 넣는 데 필요한 것을 항상 알지 못합니다. 따라서 MLOps는 매우 중요한 도구입니다.

MLOps를 사용하면 인프라 부족 문제를 어떻게 해결할 수 있나요?

MLOps는 네 가지 방법으로 인프라 부족 문제를 해결합니다.

1. 사유 코드 변경 없음. 데이터 과학자들은 비즈니스 사용 사례에 맞게 모델을 구축하고자 합니다. 따라서 모델의 무결성을 복잡하게 만드는 코드 변경이 필요한 MLOps 프로세스는 복잡합니다.
2. 자동화/스크립팅. 많은 팀이 모델을 하드 코딩하여 스크립팅하고 있습니다. 이는 많은 시간을 소요합니다. MLOps는 이 과정을 자동화하여 시간과 에너지를 절약합니다.
3. 업데이트를 간소화합니다. AI 모델은 환경에 따라 정기적으로 업데이트됩니다. 때때로 데이터 과학자들은 모델을 자주 업데이트해야 합니다. MLOps 없이 이러한 반복적인 업데이트를 피할 수 없습니다.
4. 하위 인프라 관리. 모델을 생산에 넣으려면 네트워크와 저장소가 필요합니다. MLOps 도구는 이러한 자원을 확장하는 데 필요한 고유한 특성을 갖습니다.

또한, MLOps 도구를 구축할 때 고려해야 하는 기업의 요구 사항이 있습니다. 예를 들어, 역할 기반 접근 제어(RBAC), 통합 및 상호 운용성, 다양한 ML 도구 지원, 보안 취약성 해결, 핵심 팀원의 예기치 않은離任 등이 있습니다.

AI 거버넌스의 중요성에 대한 당신의 개인적인 견해는 무엇입니까?

AI 모델이 제대로 작동하지 않는 수많은 恐怖故事가 있습니다. 특정 그룹을 잘못 레이블링하거나 공공 기업에巨大한 재정적 손실을 끼치는 경우 등이 있습니다.

AI 거버넌스는 비즈니스에서 AI 모델을 생산에 넣을 때 매우 중요합니다. 그러나 이는 다른 IT 또는 비즈니스 거버넌스와 다르지 않습니다. 오늘날, IT 시스템이 클라우드 또는 자체 데이터 센터에서 애플리케이션을 실행할 때, 애플리케이션이 제대로 작동하는지 확인하는 도구가 있습니다.

AI 모델이 생산에 들어가면, 비즈니스와 데이터 과학자에게 모델이 하는 일을 볼 수 있는 메커니즘과 도구가 필요합니다.

특히, AI/ML의 초기 단계에서는 “설정하고 잊어버리기”라는 옵션이 없습니다. 처음에는 모델이 어떻게 작동하는지 모니터링하고 적절한 조정을 해야 합니다. 모델이 원하는 경계를 벗어나는 경우 경고하는 적절한 모니터링 기능이 필요합니다.

모델 위험 관리(MRM)도 모델 개발과 배포에 참여하는 개인을 고려해야 합니다. 모델의 무결성을 보장하기 위한 접근 제어가 무엇입니까? 또는 모델이 설계되지 않은 사용 사례에 사용되지 않도록 어떻게 보장합니까? 이러한 질문에 대한 답을 찾는 것이 중요합니다.

Datatron은 모델 위험 관리에 어떻게 도움이 됩니까?

MLOps를 통해 모델을 빠르게 업데이트하고 변경할 수 있습니다. 예를 들어, 모델이 대출 신청을 부적절하게 거부하는 경우, MLOps를 통해 모델을 되돌리고 새로운 모델을 reintroduce할 수 있습니다. 이는 모델의 위험을 간단하게 관리하는 방법입니다.

또한, Datatron 플랫폼의 AI 거버넌스는 모델의 주요 지표를 단순한 대시보드로 표시하여 비즈니스 의사 결정자가 쉽게 이해할 수 있도록 합니다.

Datatron의 블로그 포스트에서, Datatron이 Reliable AI™를 채택하고 있다고 언급했습니다. Reliable AI™는 무엇입니까?

우리가 이 용어를 만들 때, 우리는 상업용 항공기를 타는 것이 왜 इतन 편안한지 생각했습니다.

윤리적인 AI, 책임 있는 AI에 대한 모든 논의는 현재 AI 모델이 제대로 작동하지 않는다는 문제에서 비롯됩니다. 비즈니스에서는 AI를 사용할 수 있도록 신뢰할 수 있는 모델이 필요합니다. Datatron은 이를 바꾸기 위해 노력하고 있습니다.

Datatron에 대해 더 알고 싶은 내용이 있나요?

우리는 수퍼 볼에서 성공적으로 작동하는 몇 안 되는 MLOps 플레이어 중 하나입니다. 도미노 피자는 Datatron과 협력하여 AI 모델을 쉽게 생산에 넣을 수 있습니다.

MLOps는 действительно AI/ML 모델을 생산에 넣는 데 도움이 되며, 자원을 보존하고 비용을 절감하는 데 도움이 됩니다. 우리는 성공적인 AI/ML 모델을 위한 지속 가능한 출처이며, 수익을 창출하는 데 도움이 됩니다. 기업들은 이제 마침내 AI와 ML 프로젝트에서 ROI를 얻을 수 있습니다. 마진에 관계없이, MLOps를 사용하여 결과를 생산할 수 있습니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Datatron을 방문하시기 바랍니다.