ปาโบล ออร์มาเชอา รองประธานฝ่ายข้อมูลของ Motus – ซีรีส์สัมภาษณ์

ปาโบล ออร์มาเชอา รองประธานฝ่ายข้อมูลของ Motus สร้างระบบ AI และวิเคราะห์ข้อมูลสำหรับองค์กรที่ออกแบบมาเพื่อทำงานได้อย่างรวดเร็ว ในขณะเดียวกันก็ต้องผ่านการตรวจสอบจากหน่วยงานกำกับดูแลและทางการเงิน เขาเป็นผู้นำทีมที่ทำงานจากที่บ้านที่มีหน้าที่หลากหลาย และมุ่งเน้นไปที่ระบบการตัดสินใจที่ขับเคลื่อนด้วยหลักฐานที่ช่วยปรับปรุงการรักษาผู้ใช้ ขยายระยะขอบ และส่งมอบ ROI ที่วัดได้ ที่ Motus เขาได้ปรับปรุงระบบวิเคราะห์ข้อมูลสำหรับคนขับมากกว่า 350,000 คน โดยสามารถรายงานได้เร็วขึ้น 60 เท่าโดยไม่มีการหมดเวลา และได้ส่งมอบระบบ AI/ML รวมถึงการตรวจจับข้อผิดปกติและคาดการณ์การลาออกที่ช่วยให้ลูกค้าประหยัดเงินหลายล้าน เขายังเป็นผู้ร่วมเขียนกรอบการกำกับดูแล AI ของ Motus ซึ่งช่วยให้สามารถทดลอง LLM ได้อย่างปลอดภัยด้วยค่าเริ่มต้นที่ชัดเจน การตรวจสอบที่เข้มงวด และตรรกะทางธุรกิจที่สอดคล้องกันทั่วทั้งระบบข้อมูล

Motus เป็นบริษัทซอฟต์แวร์ที่ช่วยให้องค์กรจัดการการชดเชยค่าใช้จ่ายในการเดินทาง การติดตามระยะทาง และการดำเนินงานของพนักงานที่เดินทางไปทำงาน โดยใช้แพลตฟอร์มคลาวด์ที่ช่วยให้สามารถชดเชยค่าใช้จ่ายที่มีประโยชน์ทางภาษี การรายงานและการวิเคราะห์แบบเรียลไทม์ และช่วยให้องค์กรลดต้นทุน ปรับปรุงประสิทธิภาพการทำงาน และจัดการการปฏิบัติตามกฎระเบียบสำหรับพนักงานที่เดินทางไปทำงาน

คุณได้สร้างอาชีพที่ไม่เหมือนใครที่จุดตัดระหว่างวิศวกรรม AI กลยุทธ์ข้อมูล และการกำกับดูแล — จาก Harvard Law ไปจนถึงการเป็นผู้นำด้านข้อมูลและ AI ที่ Motus สิ่งใดที่มีอิทธิพลต่อแนวทางของคุณในการสร้างระบบ AI ที่ทั้งเทคนิคและเป็นไปตามกรอบการกำกับดูแลที่เข้มงวด?

ฉันเรียนรู้ตั้งแต่เนิ่นๆ ว่าควรปฏิบัติตามกฎระเบียบเหมือนกับข้อจำกัดทางวิศวกรรม ไม่ใช่เรื่องทางกฎหมายที่ต้องแก้ไขหลังจากนั้น หากคุณสร้างทางหลวง คุณสามารถขับรถได้ด้วยความเร็ว หากคุณปล่อยให้เป็นถนนดินและขับรถด้วยความเร็ว คุณจะไม่ไปถึงที่หมายเร็วขึ้น คุณจะเกิดอุบัติเหตุเร็วขึ้น

การเรียนที่ Harvard Law ช่วยในทางที่ไม่คาดคิด เพราะระบบกฎหมายทั่วไปเป็นระบบการเรียนรู้ที่ขับเคลื่อนด้วยส่วนที่เหลือ กฎหมายพบกับความเป็นจริง กรณีชายขอบเปิดเผยจุดที่มันล้มเหลว ทฤษฎีปรับปรุง

นั่นคือแบบจำลองความคิดที่ฉันใช้สำหรับ AI ในการผลิต ทุกส่วนที่เหลือเป็นของขวัญ มันบอกคุณว่าจุดที่สมมติฐานของคุณแตกต่างจากโลกแห่งความเป็นจริง และมันให้เส้นทางที่เป็นรูปธรรมในการปรับปรุงระบบ

ดังนั้น ฉันจึงเพิ่มประสิทธิภาพสำหรับสิ่งเหล่านั้นพร้อมกัน: ความเร็วในการจัดส่งและภาระของการพิสูจน์ เป้าหมายไม่ใช่ “นวัตกรรมเทียบกับการปฏิบัติตามกฎระเบียบ” เป้าหมายคือการสร้างระบบที่สามารถเคลื่อนที่ได้อย่างรวดเร็วและยังคงตอบคำถามได้อย่างชัดเจนและซ้ำๆ ว่า “คุณรู้ได้อย่างไร?”

คุณเป็นผู้ร่วมเขียนนโยบายการกำกับดูแล AI ของ Motus ที่ทำให้กระบวนการอนุมัติเป็นไปอย่างราบรื่น ในขณะเดียวกันก็รักษาการควบคุมที่เข้มงวด คุณใช้หลักการอะไรในการออกแบบนโยบาย และคุณสร้างสมดุลระหว่างความเร็วในการสร้างสรรค์นวัตกรรมและความพร้อมในการตรวจสอบอย่างไร?

เริ่มแรกเราไม่ได้ตั้งใจจะเขียนกฎ เราวาดแผนที่ เมื่อการนำ AI ไปใช้เริ่มต้นขึ้น ความสนใจจะมาจากทุกทิศทาง และความเร็วอาจกลายเป็นเสียงรบกวน หรือแย่กว่านั้น ความรับผิด เมื่องานแรกคือความชัดเจน: ที่ไหนที่ LLM สามารถทำงานได้และที่ไหนที่ไม่สามารถทำงานได้ ข้อมูลใดที่ต้องอยู่ภายในอย่างเคร่งครัด และการทดลองแบบใดที่ได้รับอนุญาตในทางที่ปลอดภัย

ความสมดุลมาจากการทำให้เส้นทางที่ปลอดภัยเป็นทางที่ง่าย การกำกับดูแลล้มเหลวเมื่อมันเป็นคณะกรรมการ มันทำงานเมื่อมันกลายเป็นค่าเริ่มต้น: เครื่องมือที่ได้รับการอนุมัติ ขอบเขตข้อมูลที่ชัดเจน การบันทึกที่เป็นมาตรฐาน และช่องทางอนุมัติที่รวดเร็วสำหรับกรณีชายขอบ เป้าหมายคือให้ผู้สร้างไม่ต้องต่อรองเรื่องความปลอดภัยทุกครั้งที่พวกเขาส่งมอบสินค้า

จากนั้น ความพร้อมในการตรวจสอบก็กลายเป็นผลพลอยได้ คุณไม่ต้องรีบหาสิ่งบ่งชี้หลังจากนั้นเพราะระบบสร้างสิ่งบ่งชี้เหล่านั้นเมื่อมันทำงาน

คุณกล่าวว่าแนวปฏิบัติ AI ควรผ่านการตรวจสอบ “ระดับ IRS” คุณสามารถแบ่งปันข้อพิจารณาที่มีอิทธิพลต่อการตัดสินใจทางเทคนิคของ AI หรือ ML ที่ Motus ได้อย่างไร?

ในกระบวนการที่มีการควบคุม คำถามไม่ใช่แค่ “แบบจำลองมีความแม่นยำหรือไม่” แต่เป็น “คุณสามารถแสดงงานของคุณในภายหลังหรือไม่” ความเป็นจริงนั้นกำหนดรูปร่างของสิ่งที่ “ดี” มีความหมายที่ Motus

มันเปลี่ยนการเลือกการออกแบบ สำหรับกรณีการใช้งานบางอย่าง เราเอนเอียงไปที่แนวทางที่สามารถอธิบายได้ ซ้ำได้ และง่ายต่อการตรวจสอบ บางครั้งหมายถึงครอบครัวแบบจำลองที่เรียบง่ายกว่า บ่อยครั้งหมายถึงรั้วป้องกันที่กำหนดไว้ คุณลักษณะที่มีเวอร์ชัน และการบันทึกอินพุตและเอาต์พุตในลักษณะที่รองรับการเล่นซ้ำที่แท้จริง

ตัวอย่างที่เป็นรูปธรรม: เมื่อเราอัปเดตส่วนของตรรกะการชดเชยและรายงาน เราผลักดันการตรวจสอบย้อนกลับที่จุดตัดสินใจที่สำคัญ เราต้องการให้ระบบตอบคำถามได้เมื่อถูกถามว่ากฎใดที่ทำงาน ข้อมูลใดที่ใช้ เวอร์ชันใดที่ทำงาน และอะไรที่จะเปลี่ยนผลลัพธ์ มันทำให้องค์ประกอบ AI มีประโยชน์ใช้สอยมากขึ้น และทำให้กระบวนการทั้งหมดง่ายต่อการป้องกัน

ผลตอบแทนจะเพิ่มขึ้น เมื่อคุณสามารถเล่นซ้ำพฤติกรรมและตัดข้อผิดพลาดได้ ส่วนที่เหลือจะไม่น่าประหลาดใจอีกต่อไป มันจะกลายเป็นรายการงานที่จัดลำดับความสำคัญแล้ว: สิ่งที่ล้มเหลว ที่ไหน ทำไม และการเปลี่ยนแปลงใดที่จะปิดช่องว่าง

Motus ดำเนินโซลูชันสำหรับการชดเชยค่าใช้จ่ายในการเดินทางและการบรรเทาผลกระทบต่อความเสี่ยง ซึ่งต้องตอบสนองข้อกำหนดด้านกฎระเบียบที่เข้มงวดของ IRS และหน่วยงานอื่นๆ AI ช่วยให้การปฏิบัติตามกฎระเบียบและความแม่นยำในกรณีการใช้งานขององค์กรมีประสิทธิภาพมากขึ้นอย่างไร?

AI ช่วยในสองวิธี: มันลดการเสียดสีของกระบวนการด้วยมือ และมันเสริมสร้างความน่าเชื่อถือ

ในเรื่องการชดเชยค่าใช้จ่าย คุณค่าไม่ใช่แค่การทำให้กระบวนการอัตโนมัติ มันคือความสม่ำเสมอ AI สามารถช่วยจำแนกประเภทการเดินทาง ตรวจจับข้อผิดปกติ และพบนิพจน์ที่หายไปเร็วขึ้น ซึ่งจะลดการปรับให้เหมาะสมในภายหลัง ไม่มีใครต้องการให้การชดเชยค่าใช้จ่ายกลายเป็นโครงการโบราณคดีรายเดือน ประโยชน์ในการปฏิบัติตามกฎระเบียบมาจากการวัดและจัดทำเอกสารที่ดีกว่า คุณสนับสนุนผลลัพธ์ด้วยบันทึกที่ชัดเจน มากกว่าการพึ่งพาการกู้คืนหลังจากนั้น

ในเรื่องความเสี่ยง AI มีประโยชน์เพราะการตรวจสอบ ณ จุดเวลาใดจุดหนึ่งไม่เพียงพอ องค์กรมองหาการตระหนักอย่างต่อเนื่องเกี่ยวกับสิ่งที่เปลี่ยนแปลงไป สิ่งที่ดูผิดปกติ และสิ่งที่ต้องการความสนใจ ระบบ AI ที่ดีที่สุดในกรณีนี้ไม่ใช่สิ่งที่น่าตื่นเต้น มันเงียบขรึม สม่ำเสมอ และวัดผลได้

การเป็นผู้นำทีมที่ทำงานจากที่บ้านที่มีหน้าที่หลากหลายและร่วมมือกับฝ่ายกฎหมาย ความปลอดภัย การเงิน และผลิตภัณฑ์ไม่ใช่เรื่องง่าย คุณเผชิญกับความท้าทายที่ยิ่งใหญ่ที่สุดใดในการจัดตำแหน่งเหล่านี้ให้เข้ากับกันในเรื่องข้อมูลและโครงการ AI?

ส่วนที่ยากที่สุดคือทีมที่มีเหตุผลและพวกเขาจะปรับให้เหมาะสมกับความเสี่ยงที่แตกต่างกัน

ฝ่ายความปลอดภัยกังวลเกี่ยวกับการเปิดเผยตัวตน ฝ่ายกฎหมายกังวลเกี่ยวกับการป้องกันการฟ้องร้อง ฝ่ายการเงินกังวลเกี่ยวกับต้นทุนและความสามารถในการคาดการณ์ ฝ่ายผลิตภัณฑ์กังวลเกี่ยวกับความเร็วและคุณค่าของลูกค้า ฝ่ายข้อมูลและวิศวกรรมกังวลเกี่ยวกับความเป็นไปได้และความน่าเชื่อถือ หากคุณปฏิบัติต่อวาระการประชุมเหล่านี้ว่าเป็นวาระการประชุมที่แข่งขันกัน คุณจะหยุดชะงัก

การแก้ไขคือภาษาที่ใช้ร่วมกันและช่องทางที่ชัดเจน เราเห็นด้วยกับการตัดสินใจที่ต้องทำ ระบุขอบเขต และตกลงว่าสิ่งบ่งชี้ “ดี” ต้องมีอะไรบ้าง จากนั้นเราจะสร้างค่าเริ่มต้นเพื่อให้การทำงานส่วนใหญ่สามารถดำเนินต่อไปได้โดยไม่ต้องมีพิธีกรรม

ฉันพบว่าความชัดเจนเอาชนะการ说服ได้ เมื่อคนสามารถมองเห็นแผนที่ได้ การจัดตำแหน่งจะง่ายขึ้นมาก

คุณได้ขับเคลื่อนการปรับปรุงประสิทธิภาพที่สำคัญ เช่น การรายงานที่เร็วขึ้น 60 เท่าสำหรับคนขับมากกว่า 350,000 คน และการประหยัดเงินหลายล้านสำหรับลูกค้า คุณตัดสินใจเลือกโครงการ AI/ML ใดเพื่อจัดลำดับความสำคัญสำหรับการส่งผลกระทบเชิงกลยุทธ์และเชิงยุทธวิธี?

ฉันจัดลำดับความสำคัญของโครงการที่ผ่านการทดสอบสามข้อ

ข้อแรก คือต้องเปลี่ยนการตัดสินใจหรือกระบวนการทำงานจริง ไม่ใช่แค่สร้างคะแนนที่ฉลาด หากผลลัพธ์ไม่เปลี่ยนพฤติกรรมได้อย่างน่าเชื่อถือ มันคือการแสดงสาธิต ไม่ใช่ผลิตภัณฑ์

ข้อที่สอง คือต้องวัดผลได้ พ่อแม่ของฉันเคยบอกว่า “การวัดที่ดีเป็นครึ่งหนึ่งของงานที่ทำเสร็จ” ในสภาพแวดล้อมที่มีการควบคุม มันมากกว่าครึ่งหนึ่ง หากเราไม่สามารถกำหนดความสำเร็จ รูปแบบข้อผิดพลาด และการตรวจสอบล่วงหน้าได้ มันหมายความว่าเรายังไม่เข้าใจงาน

ข้อที่สาม คือต้องสามารถป้องกันได้ภายใต้การตรวจสอบ นั่นรวมถึงประวัติข้อมูล ขอบเขตการเข้าถึง และความสามารถในการอธิบายและเล่นซ้ำผลลัพธ์

เมื่อโครงการผ่านการทดสอบเหล่านี้ มันจะสร้างทั้งการชนะเชิงยุทธวิธีและผลกระทบเชิงกลยุทธ์ที่เพิ่มขึ้น ที่ Motus นั่นคือวิธีที่เราส่งมอบการปรับปรุงที่สำคัญ รวมถึงการรายงานที่เร็วขึ้นอย่างมีนัยสำคัญในระดับใหญ่ ข้อยกเว้นที่น้อยลง และการทำให้กระบวนการอัตโนมัติที่แปลเป็นเวลาประหยัดจริงสำหรับลูกค้า

ความไว้วางใจและความสามารถในการอธิบายเป็นสิ่งสำคัญสำหรับการนำ AI ไปใช้ในองค์กร คุณและทีมของคุณรับรองว่าแบบจำลองมีความน่าเชื่อถือและเชื่อถือได้สำหรับผู้มีส่วนได้ส่วนเสียทั่วทั้งหน่วยธุรกิจอย่างไร?

ความไว้วางใจมาจากความชัดเจน ความสม่ำเสมอ และระบบที่สามารถอธิบายตัวเองได้ภายใต้แรงกดดัน

เราออกแบบระบบที่มีปุ่มเล่นซ้ำ อินพุตเดียวกัน เวอร์ชันเดียวกัน เอาต์พุตเดียวกัน บวกกับเส้นทางหลักฐานของสิ่งที่เปลี่ยนแปลงไปตามเวลา เรายังทำให้ส่วนที่เหลือมองเห็นได้ด้วย ทุกข้อผิดพลาดเป็นข้อมูล หากคุณบันทึกข้อผิดพลาดอย่างเหมาะสม คุณสามารถอธิบายพฤติกรรมได้ในภาษาที่เรียบง่ายและปรับปรุงได้อย่างมีวินัย

เมื่อต้องตัดสินใจที่มีการตรวจสอบ ผู้มีส่วนได้ส่วนเสียไม่ต้องการรายละเอียดทางเทคนิคทุกประการ พวกเขาต้องการความมั่นใจว่าระบบถูกวัด ตรวจสอบ และปรับปรุง

จากประสบการณ์ของคุณผ่านกฎหมาย นิวโรวิทยาศาสตร์ สถิติ และ AI ที่ใช้จริง คุณมีคำแนะนำอะไรสำหรับผู้เชี่ยวชาญด้านข้อมูลและ AI ที่ต้องการเป็นผู้นำในธุรกิจที่ซับซ้อน?

เรียนรู้ที่จะสร้างระบบ ไม่ใช่แค่แบบจำลอง หรืออีกนัยหนึ่ง สร้างทางหลวง ระบุจุดที่พลาดไป และรักษาแผนที่ให้ถูกต้อง

เข้าใกล้ผู้คนผู้ที่ใช้งานผลลัพธ์ ผู้ปฏิบัติงานแนวหน้ามักจะเห็นสัญญาณก่อนที่ข้อมูลของคุณจะเห็น ข้อเสนอแนะของพวกเขาจะไม่ใช่เรื่องเล่าขาน มันเป็นชุดคุณลักษณะที่หายไป

พัฒนาความสบายใจกับการวัด และความอ่อนน้อมถ่อมตัวเกี่ยวกับข้อผิดพลาด ส่วนที่เหลือเป็นของขวัญ หากคุณเต็มใจที่จะฟัง ในสภาพแวดล้อมที่มีการควบคุม ให้เพิ่มวินัยของการพิสูจน์ให้ได้: สามารถอธิบายสิ่งที่คุณสร้างได้ ทำไมมันจึงมีพฤติกรรมเช่นนั้น และคุณจะทำอะไรเมื่อมันเปลี่ยนแปลง

สุดท้าย โปรดจำไว้ว่าการนำไปใช้เป็นส่วนหนึ่งของงาน การจัดการการเปลี่ยนแปลงไม่ใช่ส่วนเสริมที่อ่อนแอ มันเป็นข้อกำหนดหลัก หากคุณต้องการให้ AI ของคุณถูกนำไปใช้ นั่นหมายความว่ามันไม่เพียงพอแค่ความแข็งแกร่งในด้านข้อมูล แบบจำลอง และอัลกอริทึม คุณต้องทำงานได้ดีระหว่างหน่วยธุรกิจ รับประกันความไว้วางใจ และเดินตามเส้นทางของมนุษย์ที่เปลี่ยนแบบจำลองที่ดีให้กลายเป็นความสามารถจริง หากคุณสามารถทำได้ คุณจะไม่เพียงแต่สร้างแบบจำลอง คุณจะสร้างความไว้วางใจ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ Motus