모투스의 데이터 부문 총괄, 파블로 오르마체아 – 인터뷰 시리즈

파블로 오르마체아, 모투스의 데이터 부문 총괄은 빠르게 움직이는 동시에 규제 및 재무적 심사에 대응할 수 있는 엔터프라이즈 AI 및 분석 시스템을 구축합니다. 그는 완전히 원격으로 작동하는 크로스 기능 팀을 이끌고 증거 기반 의사 결정 시스템을 중점적으로 다루며 이 시스템은 고객 유지, 마진 확대, 측정 가능한 ROI를 개선합니다. 모투스에서 그는 35만 명이 넘는 운전자의 분석을 재구성하여 60배 빠른 보고를 달성했으며 타임아웃이 발생하지 않도록 하였고, 이상 탐지 및 고객 이탈 예측을 포함한 AI/ML 시스템을 출荷하여 고객에게 수백만 달러를 절약했습니다. 또한 그는 모투스의 AI 거버넌스 프레임워크를 공동으로 저술했으며, 이는 안전한 LLM 실험을 가능하게 하며, 명확한 기본 설정, 강력한 감사 가능성 및 데이터 스택 전반에 걸친 일관된 비즈니스 논리를 제공합니다.

모투스는 직원들이 직무를 수행하기 위해 운전해야 하는 기업을 위한 차량 보상 및 모바일 직원 관리 소프트웨어 회사입니다. 모투스의 클라우드 플랫폼은 세금 우대 프로그램을 자동화하고 실시간 보고 및 통찰력을 제공하며 기업이 비용을 절감하고 생산성을 개선하며 직원들이 직무를 수행하기 위해 운전해야 하는 경우의 규정 준수를 관리하는 데 도움을 줍니다.

AI 엔지니어링, 데이터 전략, 규제의 교차점에서 독특한 경력을 구축했습니다. 규제 프레임워크와 함께 기술적으로 발전된 AI 시스템을 구축하는 데 기여한 주요 경험은 무엇입니까?

저는 조기에 규정을 엔지니어링 제약으로 다루는 법을 배웠습니다. 고속도로를 건설하면 고속도로 속도로 운전할 수 있습니다. 만약 고속도로를 흙길로 간주하고 아무렇게나 운전하면 속도는 더 빠르지 않습니다. 그냥 더 일찍 충돌할 뿐입니다.

하버드 로스쿨은意外한 방식으로 도움이 되었습니다. 공법 시스템은 기본적으로 잔여에 의한 학습입니다. 규칙이 현실을 만납니다. 예외 사례는 규칙이 실패하는 곳을 노출합니다. 교리는 정제됩니다.

그것이 제가 생산 환경에서 AI에 대해 사용하는 정신 모델입니다. 모든 잔여는 선물입니다. 그것은 가정과 실제 세계가 어떻게 달라지는지, 그리고 시스템을 개선할 수 있는 구체적인 경로를 알려줍니다.

저는 두 가지를 동시에 최적화합니다. 출하 속도와 증명 책임입니다. 목표는 “혁신 대 규제”가 아닙니다. 목표는 빠르게 움직이고 명확하게 반복할 수 있는 시스템을 구축하는 것입니다.

모투스의 AI 거버넌스 정책을 공동으로 저술했으며, 이는 승인을 간소화하면서 강력한 통제를 유지했습니다. 그 정책을 설계할 때 지침으로 삼은 원칙은 무엇입니까? 그리고 어떻게 혁신 속도와 감사 준비를 균형있게 조절합니까?

우리는 규칙을 만들기 위해 노력하지 않았습니다. 우리는 지도를 그렸습니다. AI를 채택하기 시작하면 모든 방향에서 관심이 집중되고 속도는 소음이나 책임으로 변할 수 있습니다. 따라서 첫 번째 작업은 명확성입니다. LLM이 실행될 수 있는 위치와 실행할 수 없는 위치, 어떤 데이터가 엄격하게 내부에 유지되는지, 어떤 종류의 실험이 안전한 레인에서 허용되는지에 대해 명확하게 정의합니다.

균형은 안전한 경로를 쉽게 만듦으로써 달성됩니다. 거버넌스는 위원회일 때 실패합니다. 기본값으로 작동할 때 성공합니다. 승인된 도구, 명확한 데이터 경계, 표준 로깅 및 에지 케이스에 대한 빠른 승인 레인이 있습니다. 목표는 빌더가 매번 출하할 때마다 안전을 다시 협상할 필요가 없도록 하는 것입니다.

그런 다음 감사 준비는 부수적인ผล이 됩니다. 시스템이 실행되는 동안 증거를 생성하기 때문에 증거를 모으기 위해 뒤늦게 애쓰지 않습니다.

AI 관행은 “조세청 수준의 심사”를 충족해야 한다고 말했습니다. 모투스에서 규제적 고려가 기술적 AI 또는 ML 결정을 직접적으로 影響한 예를 공유할 수 있습니까?

규제된 워크플로우에서 질문은 “모델이 정확한가?”가 아니라 “나중에 작업을 보여줄 수 있나?”입니다. 그것이 모투스에서 “좋은” 것이 무엇인지 결정합니다.

그것은 설계 선택을 변경합니다. 특정 사용 사례에 대해 우리는 설명 가능하고 재생 가능하며 감사하기 쉬운 접근 방식을 편향시킵니다. 때때로それは 더 단순한 모델 패밀리입니다. 종종それは 결정적 가드레일, 버전화된 기능 및 입력과 출력을 지원하는 방식으로 로깅을 의미합니다.

구체적인 예는 다음과 같습니다. 보상 논리 및 보고서의 일부를 업데이트할 때 주요 결정 지점에서 추적 가능성을 강하게 밀어붙였습니다. 시스템이 어떤 규칙이 트리거되었는지, 어떤 데이터를 사용했는지, 어떤 버전이 실행 중인지, 결과를 변경하는 것이 무엇인지에 대해 요구에 따라 답변할 수 있기를 원했습니다. 그것은 AI 구성 요소를 더 사용하기 쉽게 만들었고 전체 워크플로우를 더 쉽게 방어할 수 있게 만들었습니다.

보상은 합성됩니다. 행동을 재생하고 오류를 슬라이싱할 수 있을 때 잔여물은 더 이상神秘하지 않습니다. 그것들은 무엇이 실패했는지, 어디서, 왜, 그리고 어떤 변경이 갭을 닫는지에 대한 우선순위가 지정된 백로그가 됩니다.

모투스는 차량 보상 및 위험 완화 솔루션을 제공하여 IRS 및 기타 규제 要求를 충족해야 합니다. 이러한 엔터프라이즈 사용 사례에서 규정 준수 및 정확성을 개선하는 데 AI는 어떻게 도움이 됩니까?

AI는 두 가지 방식으로 도움이 됩니다. 수동 마찰을 줄이고 방어력을 강화합니다.

보상금에 대해서는 가치가 자동화에만 있는 것이 아니라 일관성에도 있습니다. AI는 여행을 분류하고 이상을 감지하며 누락된 정보를 더 일찍 발견하여 하류 조정을 줄일 수 있습니다.誰도 보상금이 매월 고고학 프로젝트가 되기를 원하지 않습니다. 규제상의 이점은 더 나은 측정 및 더 나은 문서화에서 비롯됩니다. 결과를 지원하기 위해 명확한 기록을 제공하는 대신事後 재구성에 의존하지 않습니다.

위험에 대해서는 AI가 유용합니다. 특정 시점의 확인만으로는 충분하지 않습니다. 기업은 무엇이 변경되었는지, 무엇이 이상한지, 무엇에 주의가 필요한지에 대한 지속적인 인식을 원합니다. 여기서 가장好的 AI 시스템은 극적이지 않습니다. 그것들은 조용하고 일관적이며 측정 가능합니다.

법률, 보안, 재무, 제품과 협력하는 원격, 크로스 기능 팀을 이끄는 것은 쉽지 않은 일이 아닙니다. 데이터 및 AI 이니셔티브를围绕하여 이러한 그룹을 정렬하는 데 직면한 가장 큰 도전은 무엇입니까?

가장 어려운 부분은 각 그룹이 합리적이며 다른 위험에 대해 최적화된다는 것입니다.

보안은 노출에 대해 걱정합니다. 법률은 방어 가능성에 대해 걱정합니다. 재무는 비용과 예측 가능성에 대해 걱정합니다. 제품은 속도와 고객 가치에 대해 걱정합니다. 데이터 및 엔지니어링은 실현 가능성과 신뢰성에 대해 걱정합니다. 이러한 것을 경쟁하는 의제로 다루면 정체됩니다.

해결책은 공유 언어와 명확한 레인입니다. 우리는 의사 결정을 정렬하고 경계를 정의하며 무엇이 “좋은” 것으로 요구되는 증거에 동의합니다. 그런 다음 우리는 대부분의 작업을 의식 없이 이동할 수 있는 기본값을 구축합니다.

저는 명확성이 설득을 이긴다는 것을 발견했습니다. 사람들이 지도를 볼 수 있을 때 정렬이 훨씬 더 쉽게 됩니다.

35만 명이 넘는 운전자를위한 60배 빠른 보고 및 수백만 달러의 고객 절약과 같은 주요 성능 개선을 주도했습니다. AI/ML 프로젝트를 우선순위로 정할 때 전술적 영향과 전략적 가치를 어떻게 결정합니까?

저는 세 가지 테스트를 통과하는 프로젝트를 우선순위로 정합니다.

첫째, 그것은 실제 결정이나 워크플로우를 변경해야 합니다. 출력이 행동을 변경하지 않는다면 그것은 데모이기보다는 제품입니다.

둘째, 그것은 측정 가능해야 합니다. 할아버지는 “잘 측정된 것은 절반은 끝난 것이다”라고 말했습니다. 규제된 환경에서는 그 이상입니다. 성공, 오류 모드 및 모니터링을 정의할 수 없으면 아직 작업을 이해하지 못한다는 것을 의미합니다.

셋째, 그것은 심사에 대한 검토에서 방어 가능해야 합니다. 그것은 데이터 출처, 접근 경계 및 설명 및 재생 가능한 결과를 지원하는 입력 및 출력의 로깅을 포함합니다.

프로젝트가 이러한 테스트를 통과하면 전술적 승리와 전략적 합성 모두를 창출하는 경향이 있습니다. 모투스에서 그것은 우리가 규모에 따라 훨씬 더 빠른 보고, 예외가 줄어든 보고 및 자동화로 실제 고객 시간을 절약하는 물질적인 개선을 제공하는 방법입니다.

신뢰와 설명 가능성이 엔터프라이즈 AI 채택에 중요합니다. 비즈니스 단위 전반에 걸친 이해 관계자에게 모델이 해석 가능하고 신뢰할 수 있음을 보장하기 위해 귀하의 팀은 어떻게 합니까?

신뢰는 명확성, 일관성 및 시스템이 압력下에서 자신을 설명할 수 있는 시스템에서 비롯됩니다.

우리는 재생 버튼이 있는 시스템을 설계합니다. 동일한 입력, 동일한 버전, 동일한 출력 및 시간이 지남에 따라 무엇이 변경되었는지에 대한 증거 트레일이 포함됩니다. 우리는 또한 잔여물을 표시합니다. 모든 미스는 정보입니다. 오류를 제대로 계기화하면 행동을 평이한 언어로 설명하고 규율된 방식으로 개선할 수 있습니다.

감사 노출이 있는 결정의 경우 우리는 강력한 측정과 피드백 루프를 가진 더 단순한 모델을 선호합니다. 실제로それは 명확한 데이터 정의, 의미 있는 세그먼트로 나누어진 성능 슬라이싱,漂移 모니터링 및 문서화된 변경 프로세스를 의미합니다. 이해 관계자는 모든 기술 세부 정보를 필요로하지 않습니다. 시스템이 측정 가능하고 경계가 있으며 개선되고 있다는 확신이 필요합니다.

엔터프라이즈 환경에서 설명 가능성은 철학적인 선호사가 아닙니다. 그것은 채택을위한 요구 사항이며 향후 감사를 견뎌낼 때 중요합니다.

규제된 산업에서 일하는 다른 AI 리더들에게 추천하는 최선의 관행은 무엇입니까? HIPAA 등급 데이터 파이프라인에서 IRS 규정 준수 보고서까지 모투스는 안전하고 확장 가능하며 AI를 강조합니다.

잘 여행하는 몇 가지 원칙이 있습니다.

• 규정을 고속도로로 취급합니다. 팀이 빠르게 이동할 수 있도록 포장된 도로를 구축합니다.
• 초기 경계를 정의합니다. LLM이 실행될 수 있는 위치와 실행할 수 없는 위치, 어떤 데이터가 엄격하게 내부에 유지되는지, 어떤 종류의 실험이 안전한 레인에서 허용되는지에 대해 명확하게 정의합니다.
• 증거를 자동화합니다. 로깅, 계보, 버전 관리를 기본값으로 만듭니다. 감사를 위해 뒤늦게 증거를 모으지 마십시오.
• 확장하기 전에 측정합니다. 잘 측정된 것은 절반은 끝난 것입니다. 볼 수 없는 것은 개선할 수 없습니다.
• 잔여물을 운영합니다. 미스를 오류 분류법과 우선순위가 지정된 개선 백로그로 전환합니다.
• 채택을위한 설계입니다. 훌륭한 모델은 통계의 일부입니다. 파트너십의 일부입니다. 그리고 대부분의 변화 관리입니다.

귀하의 거버넌스가 PDF에 살면 확장할 수 없습니다. 시스템에 살면 확장할 수 있습니다.

차량 보상 및 위험 솔루션의 최전선에 있는 모투스와 함께, 향후 3-5년 동안 이 분야에서 AI의 발전을 어떻게 예상합니까?

두 가지 큰 변화를 예상합니다. 그리고 그것들은 서로를 강화합니다.

첫째, 위험은 주기적인 확인에서 결정급 신호로 이동합니다. 오늘날 대부분의 조직은 여전히 운전 위험이 늦게 또는 특정 시점의 검토 후에 학습합니다. 다음 波는 운영에 이미 존재하는 패턴을 사용하여 위험을 더 일찍이고 더 정확하게 표면화하는 시스템입니다. 목표는 판단을 대체하는 것이 아닙니다. 안전, 인사, 재무, 운영 팀에게 더 명확한 초기 경보 패널을 제공하는 것입니다. 거짓 경보가 더 적고 문서화가 더 좋은 것입니다.

둘째, 보상금은 서류 작업에서 워크플로우로 이동합니다. 기업은 여전히 제출, 수정, 승인 및事後 정리 때문에 상당한 시간을 보상금에 잃습니다. 향후 몇 년 동안 보상금 수명주기 전반에 걸친 더 많은 자동화를 예상합니다. 사전 입력할 수 있는 것을 사전 입력하고, 누락된 또는 일관되지 않은 입력을 일찍 잡고, 예외를 올바른 승인자에게 컨텍스트와 함께 라우팅하고, 수동往復을 줄입니다. 잘하면 보상금이 더 빠르고 더 방어 가능해집니다. 증거 트레일은 프로세스의 일부로 생성되기 때문입니다.

이것이 흥미로운 이유는 기반이 올바를 때 어떻게 수렴하는지입니다. 경계가 명확하고 잔여물이 표시되면 루프가 합성됩니다. 예외가 더 적고, 제출이 깨끗하고, 승인이 더 빠르고, 위험 신호가 더 명확하며, 결정이 어떻게 내려졌는지에 대한 더 명확한 기록이 있습니다.

미래는 “모든 곳에 AI”가 아닙니다. 그것은 올바른 순간에埋め込まれた AI입니다. 그리고 강력한 측정 및 피드백 루프가 있습니다.

법학, 신경과학, 통계학 및 적용된 AI를 통해 귀하의 여정을 반영하면서, 복잡한 비즈니스 환경에서 데이터 및 AI를 이끌고자 하는 젊은 전문가들에게 어떤 조언을 드리겠습니까?

시스템을 구축하는 법을 배우십시오. 모델만 구축하는 것이 아닙니다. 고속도로를 구축하고, 미스를 계기화하고, 지도를 최신 상태로 유지합니다.

결과를 산출하는 사람들과 가까이 다가가십시오. 최전선 운영자는 종종 데이터보다 먼저 신호를 보게 됩니다. 그들의 피드백은 “상관없는 이야기”가 아닙니다. 종종それは 누락된 기능 세트입니다.

측정에 대한 편안함과 오류에 대한 겸손을 개발하십시오. 잔여물은 선물입니다. 규제된 환경에서는 증명 책임에 대한 규율을 추가합니다. 구축한 것을 설명할 수 있고, 왜那样 행동했는지, 그리고 무엇이 변경될 때 무엇을 할 것인지에 대해 설명할 수 있습니다.

마지막으로, 채택이 일의 일부라는 것을 기억하십시오. 변화 관리는 부가 기능이 아닙니다. 그것은 핵심 요구 사항입니다. AI를 사용하려면 데이터, 모델 및 알고리즘에서 강하다는 것만으로는 충분하지 않습니다. 비즈니스 단위 전반에 걸쳐 잘 작동하고, 신뢰를 얻고, 좋은 모델을 실제 기능으로 바꾸는 인간의 경로를 탐색해야 합니다. 그렇게 할 수 있다면, 모델을 구축할 뿐만 아니라 신뢰를 구축할 것입니다.

멋진 인터뷰 감사합니다. 더 많은 정보를 배우고 싶은 독자는 모투스를 방문해야 합니다.