โรวัน สจวร์ต ผู้อำนวยการอาวุโสฝ่ายผลิตภัณฑ์ AI Safety & Platform ที่ Transcend – สัมภาษณ์ซีรีส์

โรวัน สจวร์ต ผู้อำนวยการอาวุโสฝ่ายผลิตภัณฑ์ AI Safety & Platform ที่ Transcend เป็นผู้นำโครงการผลิตภัณฑ์ที่มุ่งเน้นช่วยให้องค์กรค้นพบ จัดการ และใช้ข้อมูลในระบบปัญญาประดิษฐ์อย่างปลอดภัย เธอนำประสบการณ์มากกว่าหนึ่งทศวรรษที่ครอบคลุมการพัฒนาผลิตภัณฑ์ AI และ Machine Learning ซอฟต์แวร์สำหรับองค์กร การประมวลผลภาษาธรรมชาติ กลยุทธ์ข้อมูล และการเป็นผู้นำผลิตภัณฑ์จากศูนย์ ก่อนที่จะเข้าร่วม Transcend สจวร์ตใช้เวลาเกือบหกปีที่ BCG X โดยช่วยให้องค์กรขนาดใหญ่พัฒนาแผนการ AI ปรับปรุงกระบวนการภายใน และสร้างผลิตภัณฑ์ที่ให้ผลลัพธ์ทางธุรกิจที่วัดได้ ในช่วงต้นอาชีพของเธอ เธอจัดการการพัฒนา API การประมวลผลภาษาธรรมชาติสำหรับอินเทลิเจนซ์ของผู้มีอิทธิพล รวมถึงการวิเคราะห์ความรู้สึก การสร้างกราฟความรู้ การประเมินบุคลิกภาพ การตรวจจับบอท และความสามารถด้านความปลอดภัยของแบรนด์

Transcend เป็นแพลตฟอร์มการตัดสินใจข้อมูลอัตโนมัติเพียงแห่งเดียวที่ตอบคำถาม “ฉันสามารถใช้ข้อมูลนี้ได้หรือไม่” เพื่อขยายการเติบโตของลูกค้า บริษัท Fortune 500 และผู้นำในหมวดที่เกิดขึ้นใหม่ใช้ Transcend เพื่อเข้ารหัสการอนุญาตการใช้ข้อมูลโดยตรงเข้าไปในระบบขององค์กรที่ประมวลผลข้อมูลลูกค้า โดยให้แหล่งที่มาของความจริงในเวลาจริงสำหรับการยินยอม ความชอบ และกฎธุรกิจ ผลลัพธ์คือคุณภาพข้อมูลที่เหนือกว่า การใช้งานที่มีจริยธรรมซึ่งปกป้องแบรนด์ และการปฏิบัติตามกฎระเบียบที่พร้อมสำหรับการตรวจสอบในระดับขนาดใหญ่ ด้วย Transcend บริษัทต่างๆ สามารถปลดล็อกรายได้จาก AI การปรับให้เหมาะสม และโครงการข้อมูลระดับแรกด้วยความมั่นใจ Founded ในปี 2017 โดย Ben Brook (CEO) และ Mike Farrell (CTO) Transcend มีสำนักงานใหญ่อยู่ในพื้นที่อ่าวซานฟรานซิสโก

คุณใช้เวลาเกือบหกปีที่ BCG X ช่วยให้องค์กรขนาดใหญ่ที่สุดในโลกติดตั้งโซลูชัน AI และ Machine Learning ก่อนที่จะย้ายไปที่ AI Safety และ Governance ที่ Transcend อะไรคือความล้มเหลวหรือจุดบอดในการกำกับดูแลที่เกิดขึ้นซ้ำซึ่งคุณสังเกตเห็นและทำให้คุณเชื่อว่าการกำกับดูแล AI ต้องถูกสร้างเข้าไปในระบบตั้งแต่วันแรก แทนที่จะเพิ่มเข้าไปภายหลัง

ที่ BCG ฉันทำงานกับบริษัทต่างๆ ทั่วทุกขั้นตอนของความตื่นตัวของ AI และรูปแบบหนึ่งที่ยังคงอยู่กับฉันคือ การกำกับดูแลมักจะปรากฏขึ้นช้าๆ ทีมงานเคลื่อนไหวอย่างรวดเร็วเพื่อส่งมอบแบบจำลองหรือผลิตภัณฑ์ และการอภิปรายเกี่ยวกับการอนุญาตข้อมูล การยินยอม หรือการกำกับดูแลมักจะเข้ามาอยู่ในโฟกัสจริงๆ ก่อนการผลิตและรู้สึกเหมือนเป็น ‘การแอบโจมตี’ สิ่งที่ถูกสร้างขึ้นที่จุดนั้นกลายเป็นการปะติดปะต่อระบบที่ไม่เคยถูกออกแบบมาโดยคำนึงถึงการกำกับดูแล

นั่นเป็นส่วนหนึ่งของเหตุผลที่ฉันรู้สึกตื่นเต้นที่จะเข้าร่วม Transcend การให้คำแนะนำแก่บริษัทต่างๆ เกี่ยวกับสิ่งที่พวกเขาควรทำไปได้เพียงแค่นั้น ฉันต้องการช่วยสร้างโครงสร้างพื้นฐานที่ทำให้การกำกับดูแลเป็นตัวเลือกที่ง่าย

หลายองค์กรกำลังแข่งกันเพื่อติดตั้งเอเย่นต์ AI ทั่วทั้งการสนับสนุนลูกค้า การดำเนินงาน และงานความรู้ การกำกับดูแลเอเย่นต์ AI ที่มีอำนาจอิสระแตกต่างจากการกำกับดูแลระบบซอฟต์แวร์แบบดั้งเดิมหรือแม้แต่รุ่นก่อนๆ ของแบบจำลอง AI อย่างไร

สถาปัตยกรรมความปลอดภัยขององค์กรส่วนใหญ่สมมติว่ามีมนุษย์อยู่ที่ปลายทุกการกระทำ และมนุษย์สามารถระบุได้ ถูกเชื่อถือได้ และเมื่อเกิดอะไรผิดพลาด สามารถถูกถือว่ามีความรับผิดชอบได้ แต่เอเย่นต์ไม่ใช่มนุษย์ พวกมันกระทำการโดยอิสระ มอบหมายงานให้เอเย่นต์อื่น และเชื่อมต่อการตัดสินใจเข้าด้วยกันในรูปแบบที่ไม่ค่อยสอดคล้องกับบุคคลที่มีความรับผิดชอบเพียงคนเดียว

การให้เอเย่นต์มีสิทธิ์แบบเดียวกับที่คุณให้กับพนักงานสร้างความไม่ตรงกัน เพราะเอเย่นต์ขาดความเข้าใจทั่วไป การกำกับดูแลต้องประเมินการกระทำเฉพาะที่เอเย่นต์กำลังจะทำในขณะนั้น โดยใช้ข้อมูลเฉพาะนั้น ส่วนใหญ่บริษัทต่างๆ ยังคงใช้การบริหารจัดการอัตลักษณ์และการเข้าถึงแบบเดิมที่พวกเขาสร้างขึ้นสำหรับมนุษย์ และหลายๆ บริษัทจะพบช่องว่างเมื่อการนำเอเย่นต์ไปใช้เร็วกว่าการกำกับดูแลที่สร้างขึ้นเพื่อจัดการกับมัน

คุณได้ทำงานข้ามหลายคลื่นของนวัตกรรม AI ตั้งแต่ผลิตภัณฑ์ NLP และแพลตฟอร์มอินเทลิเจนซ์ของผู้มีอิทธิพล ไปจนถึงโครงการเปลี่ยนแปลง AI ระดับองค์กร การสนทน حولความปลอดภัยของ AI มีวิวัฒนาการอย่างไรในช่วงสิบปีที่ผ่านมา และอะไรที่ยังคงทำให้คุณกังวลมากที่สุด

เมื่อเปรียบเทียบ AI ของวันนี้ (และพรุ่งนี้!) กับรุ่นก่อนๆ นั้นเป็นเรื่องที่น่าสนใจมาก เพราะเป็นพื้นที่ที่เคลื่อนไหวเร็วมาก การพัฒนาที่สำคัญที่สุดในช่วงหนึ่งหรือสองปีที่ผ่านมาคือการเพิ่มขึ้นของเอเย่นต์และความสำคัญของการจัดการหน่วยความจำระยะยาว (OpenClaw, ใครๆ?) เหล่านี้เอเย่นต์สามารถทำได้มากขึ้นในคุณภาพที่สูงขึ้น ซึ่งทำให้พวกมันมีคุณค่าและเสี่ยงมากขึ้น

เมื่อระบบ AI ตัดสินใจโดยใช้ข้อมูลลูกค้าและข้อมูลองค์กร อะไรคือความเข้าใจผิดที่ใหญ่ที่สุดเกี่ยวกับการยินยอม การอนุญาต และการกำกับดูแลข้อมูลในสภาพแวดล้อมที่ขับเคลื่อนด้วย AI

ความเข้าใจผิดที่พบบ่อยที่สุดคือการรักษาการยินยอมเป็นสิ่งที่คุณจับครั้งเดียวและเก็บไว้ ลูกค้ายินยอมกับชุดเงื่อนไขที่สมัครสมาชิก และบริษัทต่างๆ สมมติว่าข้อตกลงนั้นยังคงอยู่ตลอดไป ไม่ว่าข้อมูลจะเคลื่อนย้ายไปอย่างไรหรือระบบใหม่ๆ ที่มันจะไปเลี้ยง การยินยอมต้องเดินทางไปพร้อมกับข้อมูล หากใครบางคนอัปเดตความชอบหรือการเปลี่ยนแปลงกฎระเบียบใหม่ทำให้สิ่งที่อนุญาตได้เปลี่ยนไป การเปลี่ยนแปลงนั้นจะต้องปรากฏทุกที่ที่ข้อมูลอาศัยอยู่ ไม่ใช่แค่ในระบบที่การยินยอมถูกเก็บไว้ครั้งแรก

ความเข้าใจผิดที่สองคือการรักษาสิทธิ์เป็นรายละเอียดทางเทคนิคที่ทีม IT หรือทีมกฎหมายจัดการอย่างเงียบๆ ในพื้นหลัง เมื่อระบบ AI เริ่มตัดสินใจโดยอาศัยข้อมูลนั้น การอนุญาตกลายเป็นคำถามเกี่ยวกับผลิตภัณฑ์และธุรกิจ และช่องว่างใดๆ ในสิ่งนั้นจะถูกส่งต่อไปยังโครงการ AI ใดๆ ที่อยู่บนยอด

หลายองค์กรยังคงพึ่งพานโยบายแบบคงที่และการทบทวนการปฏิบัติตามกฎระเบียบเป็นระยะ การเข้าใกล้นี้ต้องดิ้นรนในยุคที่ระบบ AI สามารถเรียนรู้อย่างต่อเนื่อง ปรับให้เหมาะสม และโต้ตอบกับเอเย่นต์อื่นๆ ได้อย่างไร

นโยบายแบบคงที่จับภาพสิ่งที่ระบบดูเหมือนและอะไรที่ถือว่าสามารถยอมรับได้เมื่อมีคนเขียนมันลง AI ไม่หยุดนิ่ง đủเวลาที่ภาพนั้นยังคงแม่นยำ แบบจำลองที่นโยบายของคุณถูกเขียนสำหรับอาจไม่ใช่แบบจำลองที่คุณกำลังใช้หกเดือนต่อมา และการตรวจสอบการปฏิบัติตามกฎระเบียบเป็นรายไตรมาสหรือรายปีไม่สามารถติดตามระบบที่กำลังตัดสินใจและปรับตัวตลอดเวลาได้

การกำกับดูแลสิ่งที่เคลื่อนไหวเร็วขนาดนี้ต้องการนโยบายที่เคลื่อนไหวด้วยความเร็วเท่ากัน ซึ่งหมายความว่าการบังคับใช้การกำกับดูแล ณ จุดที่ข้อมูลถูกใช้จริงๆ ในเวลาจริง แทนที่จะตรวจสอบหลังจากนั้นเทียบกับเอกสารที่อาจหมดอายุไปแล้วตั้งแต่วันเผยแพร่

การกำกับดูแลที่มีประสิทธิภาพดูเหมือนอย่างไรเมื่อองค์กรเริ่มติดตั้งเครือข่ายของเอเย่นต์ AI ที่ร่วมมือกันและเข้าถึงระบบภายในหลายระบบ

นี่คือที่ที่ข้อจำกัดของการควบคุมการเข้าถึงแบบดั้งเดิมกลายเป็นเห็นได้ชัด เอเย่นต์อาจได้รับอนุญาตให้อ่านบันทึก เรียกเครื่องมือ และส่งผลลัพธ์ให้กับเอเย่นต์อื่น และแต่ละขั้นตอนอาจดูสมเหตุสมผลโดยลำพัง การกระทำที่ประกอบกัน (สิ่งที่เกิดขึ้นจริงเมื่อคุณเชื่อมต่อขั้นตอนเหล่านั้น) มักเป็นสิ่งที่ไม่มีมนุษย์อนุมัติอย่างชัดเจน การควบคุมการเข้าถึงแบบดั้งเดิมสามารถยืนยันว่าเอเย่นต์มีสิทธิ์ในการสัมผัสระบบ แต่มีอะไรบ้างที่จะพูดถึงว่าข้อมูลที่สัมผัสถูกเก็บภายใต้การยินยอมที่ครอบคลุมการใช้งานนี้หรือไม่ หรือว่าการกระทำที่ตามมาเคยได้รับการอนุมัติจากมนุษย์หรือไม่

Transcend มุ่งเน้นไปที่การฝังการอนุญาตการใช้ข้อมูลโดยตรงเข้าไปในกระบวนการทำงานขององค์กร ระบบการกำกับดูแลแบบเรียลไทม์มีความสำคัญเพียงใดเมื่อองค์กรเปลี่ยนจากการทดลอง AI ไปสู่การนำไปใช้ในระดับผลิต

ในช่วงการทดสอบ ทีมสามารถผ่านการตรวจสอบด้วยมือและการทบทวนเป็นระยะๆ ได้เพราะมีความเสี่ยงต่ำ ในการผลิต โดยเฉพาะอย่างยิ่งด้วย AI ที่มีอำนาจอิสระ ระบบนั้นจะพังเพราะขนาดใหญ่มาก วิธีการปัจจุบันของการตรวจสอบรายการและการประชุมคือการแพ้สองฝ่าย ทีมความปลอดภัยและความปลอดภัยได้รับการสัญญาแบบ “pinkie promise” โดยไม่มีการบังคับใช้อย่างต่อเนื่อง ในขณะที่ทีมผลิตภัณฑ์ยังคงรักษาการตรวจสอบด้วยมือที่ยุ่งยากซึ่งให้คุณค่าจริงๆ ไม่มากนักแก่ผู้ใช้สิ้นสุด เมื่อโครงสร้างพื้นฐานแบบเรียลไทม์กลายเป็นวิธีการเดียวที่ใช้ได้ผล การบังคับใช้สิทธิ์ ณ เวลาที่ข้อมูลเคลื่อนไหวหรือการตัดสินใจเกิดขึ้น แทนที่จะสร้างสิ่งที่เกิดขึ้นหลังจากที่มันผิดพลาดแล้ว คือสิ่งที่ทำให้การกำกับดูแลมีความหมายสำหรับการปฏิบัติตามและมีคุณค่าสำหรับผู้ใช้

ในมุมมองของคุณ อะไรคือความเสี่ยงที่สำคัญที่สุดที่เกี่ยวข้องกับ AI ที่มีอำนาจอิสระในช่วงสามถึงห้าปีที่จะมาถึง และความเสี่ยงใดที่ผู้นำธุรกิจมองข้ามในปัจจุบัน

ฉันคิดว่าแบบจำลองที่ให้เอเย่นต์ถ่ายทอดสิทธิ์ของผู้ใช้เป็นเรื่องที่เสี่ยงกว่าที่เรารู้ มนุษย์มีการตัดสิน แต่ AI จะทำตามคำสั่งอย่างเคร่งครัด

ทีมผลิตภัณฑ์ควรสร้างสมดุลระหว่างแรงกดดันในการส่งฟีเจอร์ AI อย่างรวดเร็ว และความจำเป็นในการสร้างโครงสร้างการกำกับดูแล ความโปร่งใส และความรับผิดชอบอย่างไร

ฉันคิดว่าสิ่งหนึ่งที่เป็นรูปธรรมคือการแก้ไข “ภาษีของความไม่เรียบร้อย” (Slop Tax)

เราทุกคนได้ปรับคำตอบของเราอย่างรวดเร็วเพื่อลดความถูกต้องและคุณค่าของเอาต์พุต AI มันเป็นเหตุผลที่ทุกคนแนะนำให้คุณลบเครื่องหมายขีดกลาง (แม้ว่ามันจะเหมาะสม) ทำไมเว็บไซต์ที่ใช้พาเลตสีมาตรฐานของ Claude จะดูเหมือนถูก (แม้ว่ามันจะดูสวย) และทำไมข้อมูลที่ให้โดย AI ถูกมองว่าเป็นเรื่องน่าสงสัย (แม้ว่ามันจะเป็นความจริง) สิ่งนี้ส่งผลกระทบต่อคุณค่าที่รับรู้ของผลิตภัณฑ์ของคุณ

การแก้ปัญหา “ภาษีของความไม่เรียบร้อย” จริงๆ แล้วคือการกำกับดูแลและความโปร่งใสที่ดีขึ้น ตัวอย่างเช่น เราเพิ่งวางจำหน่ายฟีเจอร์ใหม่เรียกว่า “การใช้ AI ของผู้ขาย” ซึ่งรวบรวมข้อมูลที่มีอยู่ในเชิงพาณิชย์เกี่ยวกับการใช้ AI และท่าทีในการกำกับดูแลของบริษัทชั้นนำ เพื่อช่วยให้ทีม AI, ความปลอดภัย และการซื้อขายทำงานได้เร็วขึ้น เราพบว่าการใช้โครงสร้างพื้นฐานการกำกับดูแลแบบหลายเอเย่นต์ พร้อมกับการรวบรวมและนำเสนอหลักฐานพร้อมลิงก์แหล่งที่มาและคำพูดสำหรับการค้นพบของพวกเขา ส่งผลให้คุณภาพของผลลัพธ์เราปรับปรุงอย่างมาก การปฏิบัตินี้ในการรวบรวมหลักฐานและการตรวจสอบเอเย่นต์เป็นเรื่องของการชนะ-ชนะ เนื่องจากผลลัพธ์ที่แท้จริงสำหรับผู้ใช้ดีขึ้น และการปฏิบัติตามกฎระเบียบมีความแข็งแกร่งยิ่งขึ้น

เมื่อมองไปข้างหน้า คุณเชื่อว่าการกำกับดูแล AI จะกลายเป็นความได้เปรียบในการแข่งขันมากกว่าเพียงการปฏิบัติตามกฎระเบียบ และอะไรที่จะทำให้องค์กรที่ทำถูกต้องแตกต่างจากผู้ที่ล้าหลัง

ฉันเชื่อ และมันกลับไปสู่รูปแบบเดียวกับที่ฉันสังเกตเห็นที่ BCG บริษัทที่มองการกำกับดูแลเป็นสิ่งที่ต้องเพิ่มเข้าไปหลังจากที่ผลิตภัณฑ์ออกสู่ตลาดแล้ว มักจะถูกจับได้ที่การตรวจสอบครั้งสุดท้ายก่อนที่จะขยายขนาด และมักจะถูกติดอยู่ใน “ปurgatory ของการทดลอง” บริษัทที่สร้างการกำกับดูแลเข้าไปในระบบตั้งแต่วันแรกสามารถเคลื่อนไหวด้วยความมั่นใจในแบบที่กลุ่มที่ไม่ทำไม่สามารถทำได้ เพราะพวกเขาไม่ต้องสงสัยว่าจะพบอะไรเมื่อพวกเขาดูอย่างใกล้ชิดว่า AI ของพวกเขากำลังใช้ข้อมูลอย่างไร

ช่องว่างนั้นจะกว้างขึ้นเมื่อการนำเอเย่นต์ไปใช้เร็วขึ้น องค์กรที่เร่งนำเอเย่นต์ไปใช้โดยไม่คิดใหม่เกี่ยวกับวิธีการอนุญาตให้เอเย่นต์เหล่านั้นเป็นผู้ที่มีแนวโน้มที่จะพบปัญหา และเมื่อพวกเขาเจอแล้ว องค์กรที่สร้างโครงสร้างพื้นฐานให้ถูกต้องจะ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ Transcend