Pablo Ormachea, Phó Chủ tịch Dữ liệu tại Motus – Loạt Phỏng vấn

Pablo Ormachea, Phó Chủ tịch Dữ liệu tại Motus, xây dựng các hệ thống trí tuệ nhân tạo và phân tích doanh nghiệp được thiết kế để di chuyển nhanh chóng trong khi vẫn đáp ứng được sự kiểm tra của các quy định và tài chính. Ông lãnh đạo các đội chức năng hoàn toàn từ xa và tập trung vào các hệ thống quyết định dựa trên bằng chứng nhằm cải thiện việc giữ chân, mở rộng lợi nhuận và mang lại ROI có thể đo lường được. Tại Motus, ông đã tái cấu trúc phân tích cho hơn 350.000 tài xế, đạt được tốc độ báo cáo nhanh hơn 60 lần mà không có thời gian chờ, và đã vận chuyển các hệ thống AI/ML bao gồm phát hiện bất thường và dự báo churn đã giúp khách hàng tiết kiệm hàng triệu đô la. Ông cũng là đồng tác giả của khuôn khổ quản trị AI của Motus, cho phép thực nghiệm LLM an toàn với các mặc định rõ ràng, khả năng kiểm toán mạnh mẽ và logic kinh doanh nhất quán trên toàn bộ ngăn xếp dữ liệu.

Motus là một công ty phần mềm quản lý lực lượng lao động và di động giúp các tổ chức quản lý việc hoàn trả xe, theo dõi dặm đường và hoạt động của lực lượng lao động di động. Nền tảng đám mây của nó tự động hóa các chương trình hoàn trả có lợi về thuế, cung cấp báo cáo và thông tin theo thời gian thực, và giúp các doanh nghiệp giảm chi phí, cải thiện năng suất và quản lý tuân thủ cho nhân viên lái xe như một phần của công việc của họ.

Bạn đã xây dựng một sự nghiệp độc đáo tại giao điểm của kỹ thuật AI, chiến lược dữ liệu và quy định — từ Harvard Law đến lãnh đạo dữ liệu và AI tại Motus. Những kinh nghiệm then chốt nào đã định hình cách tiếp cận của bạn trong việc xây dựng các hệ thống AI vừa tiên tiến về mặt kỹ thuật vừa tuân thủ các khuôn khổ quy định nghiêm ngặt?

Tôi đã học cách đối xử với việc tuân thủ như một ràng buộc kỹ thuật, không phải là một ý tưởng pháp lý sau cùng. Nếu bạn xây dựng một con đường, bạn có thể lái xe với tốc độ đường cao tốc. Nếu bạn giả vờ nó là một con đường đất và tăng tốc bất kể, bạn sẽ không di chuyển nhanh hơn. Bạn chỉ sẽ va chạm sớm hơn.

Harvard Law đã giúp tôi theo một cách bất ngờ vì hệ thống luật chung cơ bản là học tập dựa trên dư lượng. Một quy tắc gặp thực tế. Các trường hợp ngoại lệ cho thấy nơi nó thất bại. Học thuyết tinh chỉnh.

Đó là cùng một mô hình tinh thần mà tôi sử dụng cho AI trong sản xuất. Mỗi dư lượng là một món quà. Nó cho bạn biết nơi các giả định của bạn khác với thế giới thực, và nó cung cấp cho bạn một con đường cụ thể để siết chặt hệ thống.

Vì vậy, tôi tối ưu hóa cho hai điều cùng một lúc: tốc độ vận chuyển và gánh nặng của bằng chứng. Mục tiêu không phải là “đổi mới so với tuân thủ.” Mục tiêu là xây dựng các hệ thống có thể di chuyển nhanh chóng và vẫn có thể trả lời một cách rõ ràng và lặp lại, “Làm thế nào bạn biết?”

Bạn đã đồng tác giả chính sách quản trị AI của Motus mà đã đơn giản hóa việc phê duyệt trong khi vẫn duy trì các kiểm soát mạnh mẽ. Những nguyên tắc nào đã hướng dẫn bạn khi thiết kế chính sách đó, và bạn làm thế nào để cân bằng tốc độ đổi mới với sự sẵn sàng kiểm toán?

Chúng tôi không bắt đầu bằng việc viết các quy tắc. Chúng tôi đã vẽ một bản đồ. Khi việc áp dụng AI bắt đầu, sự quan tâm đến từ mọi hướng, và tốc độ có thể trở thành tiếng ồn, hoặc tồi tệ hơn, trách nhiệm pháp lý. Vì vậy, công việc đầu tiên là sự rõ ràng: nơi các LLM có thể chạy và nơi chúng không thể, dữ liệu nào vẫn nằm hoàn toàn bên trong, và loại thí nghiệm nào được phép trong một làn đường an toàn.

Sự cân bằng đến từ việc làm cho con đường an toàn trở thành con đường dễ dàng. Quản trị thất bại khi nó là một ủy ban. Nó hoạt động khi nó trở thành các mặc định: các công cụ được phê duyệt, các ranh giới dữ liệu rõ ràng, ghi nhật ký tiêu chuẩn và một làn đường phê duyệt nhanh cho các trường hợp ngoại lệ. Mục tiêu là các nhà xây dựng không cần phải thương lượng lại an toàn mỗi khi họ vận chuyển.

Sau đó, sự sẵn sàng kiểm toán trở thành một sản phẩm phụ. Bạn không phải vội vàng tập hợp bằng chứng sau khi sự kiện đã xảy ra vì hệ thống tạo ra bằng chứng khi nó chạy.

Bạn đã nói rằng các thực tiễn AI nên đáp ứng “cấp độ kiểm tra của IRS”. Bạn có thể chia sẻ một ví dụ nơi các xem xét quy định trực tiếp ảnh hưởng đến một quyết định kỹ thuật AI hoặc ML tại Motus?

Trong các quy trình được quy định, câu hỏi không chỉ là “liệu mô hình có chính xác?” Mà “bạn có thể thể hiện công việc của mình sau này không?” Đó là thực tế định hình “tốt” trông như thế nào tại Motus.

Nó thay đổi các lựa chọn thiết kế. Đối với một số trường hợp sử dụng, chúng tôi thiên về các phương pháp có thể giải thích được, có thể phát lại và dễ kiểm toán. Đôi khi điều đó có nghĩa là các họ mô hình đơn giản hơn. Thường thì điều đó có nghĩa là các rào cản quyết định nhất định, các tính năng được phiên bản hóa và ghi nhật ký đầu vào và đầu ra theo cách hỗ trợ phát lại thực sự.

Một ví dụ cụ thể: khi chúng tôi cập nhật một số phần của logic hoàn trả và báo cáo, chúng tôi đã đẩy mạnh tính khả truy của các điểm quyết định quan trọng. Chúng tôi muốn hệ thống có thể trả lời, theo yêu cầu, quy tắc nào đã kích hoạt, dữ liệu nào đã được sử dụng, phiên bản nào đang chạy và điều gì sẽ thay đổi kết quả. Điều đó đã làm cho các thành phần AI trở nên hữu ích hơn, và nó đã làm cho toàn bộ quy trình trở nên dễ bảo vệ hơn.

Lợi ích này được nhân lên. Khi bạn có thể phát lại hành vi và phân tích lỗi, các dư lượng không còn là điều bí ẩn. Chúng trở thành một danh sách việc cần làm được ưu tiên: những gì đã thất bại, ở đâu, tại sao và thay đổi nào sẽ đóng khoảng trống.

Motus vận hành các giải pháp cho việc hoàn trả xe và giảm thiểu rủi ro phải đáp ứng các yêu cầu quy định của IRS và các cơ quan khác. Làm thế nào AI cải thiện việc tuân thủ và độ chính xác trong các trường hợp sử dụng doanh nghiệp này?

AI giúp đỡ theo hai cách: nó giảm ma sát thủ công và tăng cường khả năng bảo vệ.

Về việc hoàn trả, giá trị không chỉ là tự động hóa, mà còn là sự nhất quán. AI có thể giúp phân loại chuyến đi, phát hiện các bất thường và đưa ra thông tin thiếu hoặc không nhất quán sớm, điều này giảm thiểu việc hòa giải sau này. Không ai muốn việc hoàn trả trở thành một dự án khai quật hàng tháng. Lợi ích tuân thủ đến từ việc đo lường và ghi chép tốt hơn. Bạn hỗ trợ kết quả với một hồ sơ rõ ràng thay vì dựa vào việc tái thiết sau khi sự kiện đã xảy ra.

Về rủi ro, AI hữu ích vì các kiểm tra tại một thời điểm không đủ. Các doanh nghiệp muốn nhận thức liên tục về những gì đã thay đổi, những gì trông có vẻ không ổn và những gì cần chú ý. Các hệ thống AI tốt nhất ở đây không phải là những hệ thống kịch tính. Chúng im lặng, nhất quán và có thể đo lường được.

Lãnh đạo các đội chức năng hoàn toàn từ xa cộng tác với Pháp chế, Bảo mật, Tài chính và Sản phẩm là không nhỏ. Những thách thức lớn nhất bạn đã đối mặt khi liên kết các nhóm này xung quanh các sáng kiến dữ liệu và AI?

Phần khó nhất là mỗi nhóm đều hợp lý, và họ tối ưu hóa cho các rủi ro khác nhau.

Bảo mật lo lắng về việc暴露. Pháp chế lo lắng về khả năng bảo vệ. Tài chính lo lắng về chi phí và dự đoán. Sản phẩm lo lắng về tốc độ và giá trị khách hàng. Dữ liệu và kỹ thuật lo lắng về tính khả thi và độ tin cậy. Nếu bạn đối xử với những điều này như các chương trình nghị sự cạnh tranh, bạn sẽ bị đình trệ.

Giải pháp là ngôn ngữ chung và các làn đường rõ ràng. Chúng tôi liên kết trên quyết định đang được xem xét, định nghĩa các ranh giới và đồng ý về những gì bằng chứng “tốt” yêu cầu. Sau đó, chúng tôi xây dựng các mặc định để hầu hết công việc có thể di chuyển mà không cần lễ nghi.

Tôi đã tìm thấy rằng sự rõ ràng đánh bại sự thuyết phục. Khi mọi người có thể nhìn thấy bản đồ, sự liên kết trở nên dễ dàng hơn.

Bạn đã thúc đẩy các cải tiến hiệu suất lớn — như báo cáo nhanh hơn 60 lần cho hơn 350.000 tài xế và hàng triệu đô la tiết kiệm cho khách hàng. Bạn quyết định ưu tiên các dự án AI/ML nào cho cả tác động chiến thuật và giá trị chiến lược?

Tôi ưu tiên các dự án vượt qua ba bài kiểm tra.

Thứ nhất, chúng phải thay đổi một quyết định hoặc quy trình thực tế, không chỉ sản xuất một điểm số thông minh. Nếu đầu ra không thay đổi hành vi một cách đáng tin cậy, nó là một bản demo, không phải là một sản phẩm.

Thứ hai, chúng phải có thể đo lường được. Ông bà của tôi đã từng nói “được đo lường tốt là nửa việc đã làm”. Trong các môi trường được quy định, nó còn hơn nửa. Nếu chúng tôi không thể định nghĩa thành công, chế độ lỗi và giám sát từ đầu, điều đó có nghĩa là chúng tôi không hiểu công việc đó.

Thứ ba, chúng phải có thể bảo vệ được dưới sự kiểm tra. Điều đó bao gồm nguồn gốc dữ liệu, ranh giới truy cập và khả năng giải thích và phát lại kết quả.

Khi một dự án vượt qua các bài kiểm tra đó, nó có xu hướng tạo ra cả chiến thắng chiến thuật và sự hợp nhất chiến lược. Tại Motus, đó là cách chúng tôi đã cung cấp các cải tiến bước đầu, bao gồm báo cáo nhanh hơn đáng kể ở quy mô lớn, ít ngoại lệ và tự động hóa dịch chuyển thành tiết kiệm thời gian thực sự cho khách hàng.

Tin cậy và khả năng giải thích là rất quan trọng đối với việc áp dụng AI trong doanh nghiệp. Làm thế nào nhóm của bạn đảm bảo rằng các mô hình là có thể giải thích được và đáng tin cậy cho các bên liên quan trên các đơn vị kinh doanh?

Tin cậy đến từ sự rõ ràng, nhất quán và một hệ thống có thể giải thích chính nó dưới áp lực.

Chúng tôi thiết kế các hệ thống với một nút phát lại. Đầu vào giống nhau, phiên bản giống nhau, đầu ra giống nhau, cộng với một đường dẫn bằng chứng về những gì đã thay đổi theo thời gian. Chúng tôi cũng làm cho các dư lượng trở nên rõ ràng. Mỗi lần bỏ lỡ là thông tin. Nếu bạn thiết bị lỗi một cách chính xác, bạn có thể giải thích hành vi bằng ngôn ngữ đơn giản và cải thiện nó một cách kỷ luật.

Khi một quyết định có khả năng kiểm toán, chúng tôi thiên về các mô hình đơn giản hơn cộng với đo lường mạnh mẽ hơn phức tạp không rõ ràng. Về mặt thực tế, điều đó có nghĩa là định nghĩa dữ liệu rõ ràng, đánh giá cắt ngang hiệu suất theo các phân khúc có ý nghĩa, giám sát sự trôi dạt và một quy trình thay đổi được ghi chép. Các bên liên quan không cần mọi chi tiết kỹ thuật. Họ cần sự tự tin rằng hệ thống được đo lường, bị ràng buộc và cải thiện.

Trong các môi trường doanh nghiệp, khả năng giải thích không phải là một sở thích triết học. Đó là một yêu cầu cho việc áp dụng, và nó quan trọng khi khách hàng cần chống lại các cuộc kiểm toán trong tương lai.

Từ các đường ống dữ liệu cấp HIPAA đến báo cáo tuân thủ IRS, Motus nhấn mạnh AI an toàn và có thể mở rộng. Những phương pháp hay nhất nào bạn sẽ khuyên các nhà lãnh đạo AI khác làm việc trong các ngành được quy định?

Một số nguyên tắc di chuyển tốt:

• Xử lý tuân thủ như đường cao tốc. Xây dựng đường sá để các đội có thể di chuyển nhanh chóng an toàn.
• Định nghĩa ranh giới sớm. Hãy rõ ràng về những gì dữ liệu không thể rời khỏi, những công cụ nào được phê duyệt và những mô hình nào có thể chạy.
• Tự động hóa bằng chứng. Hãy làm cho việc ghi nhật ký, nguồn gốc và phiên bản hóa trở thành các mặc định, không phải là một cuộc chạy đua trong quá trình kiểm toán.
• Đo lường trước khi bạn mở rộng quy mô. Được đo lường tốt là nửa việc đã làm. Bạn không thể cải thiện những gì bạn không thể nhìn thấy.
• Hoạt động hóa các dư lượng. Chuyển đổi các lần bỏ lỡ thành một phân loại lỗi và một danh sách việc cần làm được ưu tiên.
• Thiết kế cho việc áp dụng. Các mô hình tuyệt vời là một phần thống kê, một phần hợp tác và phần lớn là quản lý thay đổi.

Nếu quản trị của bạn sống trong một tệp PDF, nó sẽ không mở rộng quy mô. Nếu nó sống trong hệ thống, nó sẽ.

Với Motus ở vị trí hàng đầu trong các giải pháp hoàn trả xe và giảm thiểu rủi ro, bạn nhìn thấy AI phát triển như thế nào trong không gian này trong 3-5 năm tới?

Tôi dự đoán sẽ có hai thay đổi lớn, và chúng sẽ củng cố lẫn nhau.

Thứ nhất, rủi ro sẽ chuyển từ các kiểm tra định kỳ sang các tín hiệu quyết định liên tục. Ngày nay, hầu hết các tổ chức vẫn học về rủi ro của tài xế quá muộn, hoặc sau một cuộc xem xét tại một thời điểm hoặc sau một cuộc xem xét định kỳ. Làn sóng tiếp theo là các hệ thống xuất hiện rủi ro sớm hơn và chính xác hơn, sử dụng các mẫu đã có trong hoạt động: thay đổi về tư cách, khoảng trống bảo hiểm, mẫu dặm đường bất thường và sự không nhất quán giữa hành vi dự kiến và quan sát. Mục tiêu không phải là thay thế phán quyết. Nó là cung cấp cho an toàn, nhân sự, tài chính và hoạt động một bảng điều khiển cảnh báo sớm rõ ràng hơn, với ít báo động giả và tài liệu tốt hơn về lý do tại sao một điều gì đó được đánh dấu.

Thứ hai, việc hoàn trả sẽ chuyển từ giấy tờ đến quy trình làm việc. Các doanh nghiệp vẫn mất một lượng thời gian đáng kể cho việc nộp, sửa, phê duyệt và làm sạch sau khi sự kiện đã xảy ra. Trong vài năm tới, tôi dự đoán sẽ có nhiều tự động hóa hơn trên toàn bộ vòng đời hoàn trả: điền trước những gì có thể điền trước, bắt lỗi và thông tin đầu vào không nhất quán sớm, định tuyến ngoại lệ cho người phê duyệt phù hợp với ngữ cảnh và giảm tương tác thủ công. Khi làm tốt, điều này sẽ làm cho việc hoàn trả nhanh hơn và có thể bảo vệ được vì đường dẫn bằng chứng được tạo ra như một phần của quy trình thay vì được xây dựng lại sau này.

Điều khiến điều này trở nên thú vị là cách chúng hội tụ khi nền tảng là đúng. Khi ranh giới rõ ràng và các dư lượng có thể nhìn thấy, bạn sẽ có một vòng lặp nhân lên: ít ngoại lệ, hồ sơ sạch hơn, phê duyệt nhanh hơn, tín hiệu rủi ro rõ ràng hơn và một hồ sơ rõ ràng hơn về cách quyết định được đưa ra.

Tương lai không phải là “AI ở mọi nơi”. Đó là AI nhúng vào đúng thời điểm, với các vòng lặp phản hồi mạnh mẽ và liên tục cải thiện.

Dựa trên hành trình của bạn qua luật, khoa học thần kinh, thống kê và AI ứng dụng, bạn sẽ đưa ra lời khuyên gì cho các chuyên gia trẻ khao khát lãnh đạo dữ liệu và AI trong các môi trường kinh doanh phức tạp?

Học cách xây dựng các hệ thống, không chỉ các mô hình. Hay nói cách khác, xây dựng đường cao tốc, thiết bị các lần bỏ lỡ và giữ bản đồ cập nhật.

Đến gần những người sống với kết quả. Các nhà vận hành tuyến đầu thường nhìn thấy tín hiệu trước khi dữ liệu của bạn làm như vậy. Phản hồi của họ không phải là “chuyện kể”. Đó thường là tập hợp tính năng bị thiếu.

Phát triển sự thoải mái với việc đo lường và sự khiêm tốn về lỗi. Các dư lượng là những món quà nếu bạn sẵn sàng lắng nghe. Trong các môi trường được quy định, hãy thêm kỷ luật của gánh nặng bằng chứng: có thể giải thích những gì bạn xây dựng, tại sao nó hành xử theo cách nó đã làm và những gì bạn sẽ làm khi nó thay đổi.

Cuối cùng, hãy nhớ rằng việc áp dụng là một phần của công việc. Quản lý thay đổi không phải là một bổ sung mềm. Đó là một yêu cầu cốt lõi nếu bạn muốn AI của mình được sử dụng. Điều đó có nghĩa là nó không đủ để mạnh về dữ liệu, mô hình và thuật toán. Bạn phải làm việc tốt trên các đơn vị kinh doanh, kiếm được niềm tin và điều hướng con đường của con người mà biến một mô hình tốt thành một khả năng thực sự. Nếu bạn có thể làm điều đó, bạn sẽ không chỉ xây dựng các mô hình, bạn sẽ xây dựng niềm tin.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Motus.