빅토르 Thu, Datatron의 사장 – 인터뷰 시리즈

빅토르 Thu는 Datatron의 사장입니다. Datatron은 모델 배포를 가속하고 문제를 조기에 발견하며 여러 모델을 대규모로 관리하는 효율성을 높여 기업이 머신러닝의 힘을 활용하도록 돕는 플랫폼입니다.

당신의 배경은 제품 마케팅, 시장 진출 전략 및 제품 관리입니다. 어떻게 이러한 배경이 기계 학습과 AI로 이어졌나요?

저는 기술을 사랑하며 가까운 친구들은 저를 “기술의 속삭임을 알아듣는 사람”이라고도 부릅니다. 복잡한 기술 주제를 사람들이 공감할 수 있는 언어로 풀어내는 것을 즐깁니다. 새로운 기술을 공부하면서 사람들에게 가장 중요한 기술이 왜 필요한지도 이해하려고 합니다.

제가 “현대 AI”라고 부르는 기술을 처음 만난 것은 스탠퍼드의 유명한 AI 교수인 Fei-Fei Li 박사의 기조연설을 보았을 때였습니다. 그 연설은 너무나 매력적이어서 제 경력의 전환점이 되었습니다. 다음으로 일하고 싶은 곳이 바로 이 분야라는 확신을 얻었고, AI와 ML로 비즈니스 과제를 해결하는 다음 기술 물결에 참여하고 싶었습니다.

그 이후로, 저는 여러 AI/ML 스타트업에서 일하며, 기술을 실제 비즈니스 문제에 적용하기 위해 노력했습니다. 저는 Ph.D. 수준의 ML 과학자와 긴밀하게 일하며, 많은 지식을 얻었습니다. 그리고 여전히 이 분야가 빠르게 발전하고 있기 때문에 계속 배우고 있습니다.

따라서, 기술에 대한 저의 열정과 이를 통해 다른 사람을 도와주는 것이 저를 AI/ML로 이끌었습니다.

Datatron은 MLOps에 중점을 두고 있습니다. 이 용어가 익숙하지 않은 독자들을 위해, MLOps는 무엇입니까?

MLOps는 AI와 ML 모델을 프로토타입에서 운영 환경으로 옮기는, 원래 많은 수작업과 전문 기술에 의존하던 과정을 체계화하고 단순화하는 것입니다.

가장 큰 오해는 데이터 과학자들이 모델을 구축하면 곧바로 생산에 넣을 수 있다는 것입니다. 그러나 실제로는 모델을 배포하는 데까지 1년이 걸릴 수 있습니다.

이 지연의 주요 이유는 모델을 개발하는 전문가가 반드시 소프트웨어 엔지니어링 전문가가 아니라는 것입니다. 건축가가 고층 빌딩을 설계하지만, 건축가가 직접 건물을 짓지는 않는다는 점과 유사합니다.

MLOps는 모델 개발자와 소프트웨어 엔지니어링 사이의 다리입니다. 모델을 운영 환경에 배포하는 데 12개월 넘게 걸리던 과정을 MLOps를 통해 단 며칠로 줄일 수 있습니다.

2021년 9월에 저희에게 쓰신 기사에서, “생산에 넣는 주요 장애물은 모델의 품질이 아니라, 기업들이 그렇게 하도록 허용하는 인프라의 부족”이라고 했습니다. 왜 이것이 대부분의 기업에게 장애물입니까?

몇 가지 요인이 있습니다.

• “무료” 오픈 소스 소프트웨어의 지나친 이상화. 먼저, 우리는 오픈 소스를 좋아하며 이것이 업계를 비약적으로 발전시켰다고 믿습니다. 그러나 AI와 ML에서 오픈 소스를 활용하는 복잡성을 이해하지 못하는 사람이 많습니다. 지금은 AI/ML 인재가 매우 부족합니다. AI/ML 코드의 특성을 다룰 수 있는 소프트웨어 엔지니어, 즉 ML 또는 MLOps 엔지니어를 찾는 문제까지 겹칩니다. 이런 상황에서 인력을 채용하고 300개가 넘는 오픈 소스 MLOps 프로젝트를 분석해 기업 규모의 MLOps 플랫폼을 자체 구축하겠다는 기대는 실패를 자초하는 것입니다.
• 엔지니어링 팀을 지원하는 인프라의 부족. 기업들은 엔지니어링 팀을 성공적으로 지원하기 위한 환경을 조성해야 합니다. 팀에 올바른 도구를 제공할 수 있도록 충분한 업무 역량과 예산이 있어야 합니다. AI는 비교적 새로운 기술입니다. AI를 사용하는 기업들은 모델을 빠르게 생산에 넣는 데 필요한 것을 항상 알지 못합니다. 따라서 MLOps는 매우 중요한 도구입니다.

MLOps를 사용하면 인프라 부족 문제를 어떻게 해결할 수 있나요?

MLOps는 네 가지 방법으로 인프라 부족 문제를 해결합니다.

1. 자체 코드 변경 불필요. 데이터 과학자들은 자신의 환경에서 비즈니스 사용 사례에 맞는 모델을 유연하게 만들고 싶어 합니다. 따라서 코드를 변경해야 하는 MLOps 과정은 모델의 무결성을 유지하기 어렵게 만듭니다.
2. 자동화/스크립팅. 많은 팀이 모델을 하드 코딩하여 스크립팅하고 있습니다. 이는 많은 시간을 소요합니다. MLOps는 이 과정을 자동화하여 시간과 에너지를 절약합니다.
3. 업데이트를 간소화합니다. AI 모델은 환경에 따라 정기적으로 업데이트됩니다. 때때로 데이터 과학자들은 모델을 자주 업데이트해야 합니다. MLOps 없이 이러한 반복적인 업데이트를 피할 수 없습니다.
4. 기반 인프라 관리. 모델을 배포하려면 AI/ML 모델의 고유한 요구에 맞는 컴퓨팅, 네트워크 및 저장 자원이 필요합니다. MLOps 도구는 적절한 자원에 접근하여 필요에 따라 확장할 수 있습니다.

또한, MLOps 도구를 구축할 때 고려해야 하는 기업의 요구 사항이 있습니다. 예를 들어, 역할 기반 접근 제어(RBAC), 통합 및 상호 운용성, 다양한 ML 도구 지원, 보안 취약성 해결, 핵심 팀원의 예기치 않은 퇴사 등이 있습니다.

AI 거버넌스의 중요성에 대한 당신의 개인적인 견해는 무엇입니까?

AI 모델이 제대로 작동하지 않은 끔찍한 사례는 셀 수 없이 많습니다. 특정 집단을 잘못 분류하거나 상장기업에 막대한 재정적 손실을 일으키기도 했습니다.

AI 거버넌스는 비즈니스에서 AI 모델을 생산에 넣을 때 매우 중요합니다. 그러나 이는 다른 IT 또는 비즈니스 거버넌스와 다르지 않습니다. 오늘날, IT 시스템이 클라우드 또는 자체 데이터 센터에서 애플리케이션을 실행할 때, 애플리케이션이 제대로 작동하는지 확인하는 도구가 있습니다.

AI 모델이 생산에 들어가면, 비즈니스와 데이터 과학자에게 모델이 하는 일을 볼 수 있는 메커니즘과 도구가 필요합니다.

특히, AI/ML의 초기 단계에서는 “설정하고 잊어버리기”라는 옵션이 없습니다. 처음에는 모델이 어떻게 작동하는지 모니터링하고 적절한 조정을 해야 합니다. 모델이 원하는 경계를 벗어나는 경우 경고하는 적절한 모니터링 기능이 필요합니다.

모델 위험 관리(MRM)는 모델 개발과 배포에 참여하는 다양한 사람들도 고려해야 합니다. 모델의 무결성을 보장하기 위해 어떤 접근 제어를 마련했습니까? 다른 집단의 사람들이 모델이 설계되지 않은 용도로 이를 실수로 사용하지 않도록 어떻게 보장합니까? 팀은 이런 질문을 스스로 해야 합니다.

Datatron은 모델 위험 관리에 어떻게 도움이 됩니까?

MLOps를 통해 모델을 빠르게 업데이트하고 변경할 수 있습니다. 예를 들어, 모델이 대출 신청을 부적절하게 거부하는 경우, MLOps를 통해 모델을 되돌리고 새로운 모델을 도입할 수 있습니다. 이는 모델의 위험을 간단하게 관리하는 방법입니다.

모델이 운영 중일 때 편향이 변하는 것을 방지하고 핵심 지표를 유지합니다. 간단한 대시보드는 심층적인 세부 데이터를 전체 개요와 함께 제공하여 비즈니스 의사 결정자가 쉽게 이해할 수 있도록 합니다.

Datatron 플랫폼의 AI 거버넌스는 일반적인 모니터링을 넘어섭니다. 고객의 사용 사례에 더 적합한 추가 맥락과 논리를 제공하여 모델의 활동을 명확하게 보여 줍니다.

Datatron의 블로그 게시물에서, Datatron이 Reliable AI™를 채택하고 있다고 언급했습니다. Reliable AI™는 무엇입니까?

이 용어를 떠올렸을 때, 오늘날 우리가 민간 항공기를 얼마나 안심하고 타는지 생각했습니다. 항공기는 매우 신뢰할 수 있기 때문입니다.

윤리적 AI와 책임 있는 AI에 관한 많은 논의에도 불구하고 기업의 핵심 요구는 AI/ML을 신뢰하며 사용하는 것입니다. 직원들이 민간 항공기에 탑승할 때와 같은 신뢰가 필요합니다.

윤리적 AI와 책임 있는 AI라는 용어는 현재 AI 모델이 해야 할 일을 하지 않아 신뢰할 수 없다는 문제에서 비롯되었습니다. 기업은 자신의 모델에 편향이 없다고 확신하지 못하기 때문에 AI 사용을 꺼립니다. 이는 모델을 신뢰하지 못한다는 뜻이며 Datatron은 이를 바꾸고자 합니다.

Datatron에 대해 더 알고 싶은 내용이 있나요?

우리는 슈퍼볼에서 검증받은 몇 안 되는 MLOps 업체 중 하나입니다. 스타트업이나 오픈 소스 도구가 흔히 겪지 않는 높은 부하 상황에서도 성공적으로 작동했습니다. 고객인 Domino’s Pizza는 Datatron과 협력하여 AI 모델을 쉽고 빠르게 운영 환경에 배포했고, 슈퍼볼 기간에 모델들은 궁극적인 시험을 통과했습니다.

MLOps는 실제로 AI/ML 모델을 생산에 넣는 데 도움이 되며, 자원을 보존하고 비용을 절감하는 데 도움이 됩니다. 우리는 성공적인 AI/ML 모델을 위한 지속 가능한 출처이며, 수익을 창출하는 데 도움이 됩니다. 기업들은 이제 마침내 AI와 ML 프로젝트에서 ROI를 얻을 수 있습니다. 마진에 관계없이, MLOps를 사용하여 결과를 생산할 수 있습니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Datatron을 방문하시기 바랍니다.