Pablo Ormachea, Phó Chủ tịch Dữ liệu tại Motus – Loạt bài Phỏng vấn

Pablo Ormachea, Phó Chủ tịch Dữ liệu tại Motus, xây dựng các hệ thống AI và phân tích doanh nghiệp được thiết kế để vận hành nhanh chóng trong khi vẫn đáp ứng được sự giám sát chặt chẽ về mặt quy định và tài chính. Ông dẫn dắt các nhóm chức năng chéo hoàn toàn từ xa và tập trung vào các hệ thống ra quyết định dựa trên bằng chứng nhằm cải thiện tỷ lệ giữ chân, mở rộng biên lợi nhuận và mang lại ROI có thể đo lường được. Tại Motus, ông đã tái thiết kế hệ thống phân tích cho hơn 350.000 tài xế, đạt tốc độ báo cáo nhanh hơn 60 lần mà không có bất kỳ lần nào bị gián đoạn, và triển khai các hệ thống AI/ML bao gồm phát hiện bất thường và dự báo tỷ lệ rời bỏ đã giúp khách hàng tiết kiệm hàng triệu đô la. Ông cũng là đồng tác giả của khung quản trị AI của Motus, cho phép thử nghiệm LLM an toàn với các mặc định rõ ràng, khả năng kiểm toán mạnh mẽ và logic nghiệp vụ nhất quán xuyên suốt ngăn xếp dữ liệu.

Motus là một công ty phần mềm quản lý lực lượng lao động và di chuyển, giúp các tổ chức quản lý chương trình hoàn trả phương tiện, theo dõi quãng đường di chuyển và vận hành lực lượng lao động di động. Nền tảng đám mây của công ty tự động hóa các chương trình hoàn trả có lợi về thuế, cung cấp báo cáo và thông tin chi tiết theo thời gian thực, đồng thời giúp các doanh nghiệp giảm chi phí, nâng cao năng suất và quản lý việc tuân thủ cho những nhân viên sử dụng phương tiện như một phần công việc của họ.

Ông đã xây dựng một sự nghiệp độc đáo tại giao điểm của kỹ thuật AI, chiến lược dữ liệu và quy định — từ Harvard Law đến việc lãnh đạo dữ liệu và AI tại Motus. Những trải nghiệm then chốt nào đã định hình cách tiếp cận của ông trong việc xây dựng các hệ thống AI vừa tiên tiến về mặt kỹ thuật vừa tuân thủ các khung quy định nghiêm ngặt?

Tôi học được từ sớm rằng cần coi việc tuân thủ như một ràng buộc kỹ thuật, chứ không phải là suy nghĩ pháp lý sau cùng. Nếu bạn xây dựng đường cao tốc, bạn có thể lái xe với tốc độ cao tốc. Nếu bạn giả vờ đó là đường đất và cứ phóng hết ga, bạn sẽ không di chuyển nhanh hơn. Bạn chỉ sớm gặp tai nạn hơn mà thôi.

Harvard Law đã giúp ích theo một cách đáng ngạc nhiên bởi hệ thống thông luật về cơ bản là học tập dựa trên phần dư. Một quy tắc gặp phải thực tế. Các trường hợp biên sẽ phơi bày điểm yếu của nó. Học thuyết được tinh chỉnh.

Đó cũng chính là mô hình tư duy tôi sử dụng cho AI trong môi trường sản xuất. Mỗi phần dư là một món quà. Nó cho bạn biết nơi các giả định của bạn khác biệt so với thế giới thực, và nó cung cấp cho bạn một con đường cụ thể để siết chặt hệ thống.

Vì vậy, tôi tối ưu hóa hai thứ cùng một lúc: tốc độ triển khai và gánh nặng chứng minh. Mục tiêu không phải là “đổi mới so với tuân thủ”. Mục tiêu là xây dựng các hệ thống có thể di chuyển nhanh chóng và vẫn trả lời được một cách rõ ràng, lặp lại: “Làm sao bạn biết được?”

Ông là đồng tác giả chính sách quản trị AI của Motus giúp đơn giản hóa quy trình phê duyệt trong khi vẫn duy trì các biện pháp kiểm soát chặt chẽ. Những nguyên tắc nào đã hướng dẫn ông khi thiết kế chính sách đó, và làm thế nào để cân bằng giữa tốc độ đổi mới và sự sẵn sàng cho kiểm toán?

Chúng tôi không đặt mục tiêu viết ra các quy tắc. Chúng tôi vẽ ra một bản đồ. Khi việc áp dụng AI bắt đầu, sự quan tâm đến từ mọi hướng, và tốc độ có thể biến thành tiếng ồn, hoặc tệ hơn, thành trách nhiệm pháp lý. Vì vậy, công việc đầu tiên là làm rõ: nơi nào LLM có thể chạy và nơi nào không, dữ liệu nào phải được giữ nghiêm ngặt bên trong, và loại thử nghiệm nào được phép trong một làn đường an toàn.

Sự cân bằng đến từ việc biến con đường an toàn thành con đường dễ dàng. Quản trị thất bại khi nó là một ủy ban. Nó hoạt động khi trở thành các mặc định: công cụ được phê duyệt, ranh giới dữ liệu rõ ràng, ghi nhật ký tiêu chuẩn và một làn phê duyệt nhanh cho các trường hợp biên. Mục tiêu là những người xây dựng không cần phải đàm phán lại về an toàn mỗi lần họ triển khai.

Khi đó, sự sẵn sàng cho kiểm toán trở thành một sản phẩm phụ. Bạn không phải vội vã tập hợp bằng chứng sau sự việc vì hệ thống tự tạo ra bằng chứng trong khi nó chạy.

Ông đã nói rằng các thực hành AI nên đáp ứng “ngay cả mức độ giám sát của IRS.” Ông có thể chia sẻ một ví dụ mà các cân nhắc quy định trực tiếp ảnh hưởng đến một quyết định kỹ thuật AI hoặc ML tại Motus không?

Trong các quy trình làm việc được quy định, câu hỏi không chỉ là “mô hình có chính xác không?” Mà là “bạn có thể trình bày cách làm việc của mình sau này không?” Thực tế đó định hình “tốt” trông như thế nào tại Motus.

Nó thay đổi các lựa chọn thiết kế. Đối với một số trường hợp sử dụng nhất định, chúng tôi thiên về các phương pháp có thể giải thích được, tái diễn được và dễ kiểm toán. Đôi khi điều đó có nghĩa là các họ mô hình đơn giản hơn. Thường thì nó có nghĩa là các rào chắn xác định, các tính năng được phiên bản hóa, và ghi nhật ký đầu vào/đầu ra theo cách hỗ trợ việc tái diễn thực sự.

Một ví dụ cụ thể: khi chúng tôi cập nhật một phần logic hoàn trả và báo cáo, chúng tôi tập trung mạnh vào khả năng truy xuất nguồn gốc tại các điểm quyết định then chốt. Chúng tôi muốn hệ thống có thể trả lời, theo yêu cầu, quy tắc nào đã kích hoạt, dữ liệu nào nó đã sử dụng, phiên bản nào đang chạy, và điều gì sẽ thay đổi kết quả. Điều đó làm cho các thành phần AI trở nên hữu ích hơn, và làm cho toàn bộ quy trình làm việc dễ bảo vệ hơn.

Lợi ích được nhân lên. Khi bạn có thể tái diễn hành vi và phân tích lỗi, các phần dư không còn là bí ẩn. Chúng trở thành một danh sách việc cần làm được ưu tiên: cái gì thất bại, ở đâu, tại sao, và thay đổi nào sẽ lấp đầy khoảng trống.

Motus vận hành các giải pháp hoàn trả phương tiện và giảm thiểu rủi ro phải đáp ứng các yêu cầu của IRS và các quy định khác. Làm thế nào AI cải thiện việc tuân thủ và độ chính xác trong các trường hợp sử dụng doanh nghiệp này?

AI giúp ích theo hai cách: nó giảm ma sát thủ công và tăng cường khả năng bảo vệ.

Về hoàn trả, giá trị không chỉ là tự động hóa, mà còn là tính nhất quán. AI có thể giúp phân loại chuyến đi, phát hiện bất thường và đưa ra thông tin thiếu sót sớm hơn, từ đó giảm việc đối soát ở các bước sau. Không ai muốn việc hoàn trả trở thành một dự án khảo cổ hàng tháng. Lợi ích về tuân thủ đến từ việc đo lường tốt hơn và tài liệu hóa tốt hơn. Bạn hỗ trợ kết quả với một hồ sơ rõ ràng thay vì dựa vào việc tái dựng sau sự việc.

Về rủi ro, AI hữu ích vì các kiểm tra tại một thời điểm là không đủ. Các doanh nghiệp muốn nhận thức liên tục về những gì đã thay đổi, những gì có vẻ không ổn và những gì cần chú ý. Các hệ thống AI tốt nhất ở đây không phải là những thứ kịch tính. Chúng yên lặng, nhất quán và có thể đo lường được.

Lãnh đạo các nhóm chức năng chéo từ xa hợp tác với các bộ phận Pháp lý, An ninh, Tài chính và Sản phẩm không phải là việc nhỏ. Những thách thức lớn nhất mà ông đã gặp phải khi liên kết các nhóm này xung quanh các sáng kiến dữ liệu và AI là gì?

Phần khó nhất là mỗi nhóm đều hợp lý, và họ tối ưu hóa cho các rủi ro khác nhau.

An ninh lo lắng về việc lộ thông tin. Pháp lý lo lắng về khả năng bảo vệ. Tài chính lo lắng về chi phí và khả năng dự đoán. Sản phẩm lo lắng về tốc độ và giá trị khách hàng. Dữ liệu và kỹ thuật lo lắng về tính khả thi và độ tin cậy. Nếu bạn coi những điều đó là các chương trình nghị sự cạnh tranh, bạn sẽ bị đình trệ.

Giải pháp là ngôn ngữ chung và các làn đường rõ ràng. Chúng tôi thống nhất về quyết định đang được đặt ra, xác định ranh giới và đồng ý về bằng chứng mà “tốt” đòi hỏi. Sau đó, chúng tôi xây dựng các mặc định để hầu hết công việc có thể di chuyển mà không cần nghi thức.

Tôi nhận thấy rằng sự rõ ràng đánh bại sự thuyết phục. Khi mọi người có thể nhìn thấy bản đồ, việc liên kết trở nên dễ dàng hơn nhiều.

Ông đã thúc đẩy những cải tiến hiệu suất lớn — như báo cáo nhanh hơn 60 lần cho hơn 350.000 tài xế và tiết kiệm hàng triệu cho khách hàng. Làm thế nào ông quyết định ưu tiên dự án AI/ML nào cho cả tác động chiến thuật và giá trị chiến lược?

Tôi ưu tiên các dự án vượt qua ba bài kiểm tra.

Thứ nhất, chúng phải thay đổi một quyết định hoặc quy trình làm việc thực tế, không chỉ tạo ra một điểm số thông minh. Nếu đầu ra không thay đổi hành vi một cách đáng tin cậy, đó là một bản demo, không phải một sản phẩm.

Thứ hai, chúng phải có thể đo lường được. Ông bà tôi thường nói “đo lường tốt là đã hoàn thành một nửa.” Trong các môi trường được quy định, nó còn hơn một nửa. Nếu chúng tôi không thể xác định thành công, các chế độ lỗi và giám sát ngay từ đầu, điều đó có nghĩa là chúng tôi chưa hiểu rõ công việc.

Thứ ba, chúng phải có thể bảo vệ được dưới sự giám sát. Điều đó bao gồm nguồn gốc dữ liệu, ranh giới truy cập và khả năng giải thích cũng như tái diễn kết quả.

Khi một dự án vượt qua những bài kiểm tra đó, nó có xu hướng tạo ra cả những chiến thắng chiến thuật và sự tích lũy chiến lược. Tại Motus, đó là cách chúng tôi đã mang lại những cải tiến mang tính bước ngoặt, bao gồm báo cáo nhanh hơn đáng kể ở quy mô lớn, ít ngoại lệ hơn và tự động hóa chuyển thành khoản tiết kiệm thời gian thực sự cho khách hàng.

Niềm tin và khả năng giải thích là rất quan trọng cho việc áp dụng AI doanh nghiệp. Nhóm của ông đảm bảo các mô hình có thể diễn giải và đáng tin cậy cho các bên liên quan trên khắp các đơn vị kinh doanh như thế nào?

Niề