การเปลี่ยนแนวคิด AI ให้เป็นผลกระทบ: กรอบการทำงานเชิงปฏิบัติสำหรับการประเมินหลักฐานการทำงานและอื่นๆ

AI ได้เคลื่อนไหวไปไกลจากความน่าสนใจ Most ขององค์กรคาดหวังคุณค่าที่เป็นรูปธรรมจาก AI – งานที่น้อยลง การตัดสินใจที่ดีขึ้น และการตรวจจับความผิดปกติที่รวดเร็วยิ่งขึ้น นอกเหนือจากนั้น พวกเขายังต้องการวิธีแก้ปัญหาที่เชื่อถือได้และง่ายต่อการนำไปใช้

สัญญาณของตลาดน่าหดหู่ ในปี 2025 42% ของบริษัทรายงานการหยุดโครงการ AI ที่กำลังดำเนินอยู่ ตัวเลขนี้เพิ่มขึ้น 25% เมื่อเทียบกับปีก่อนหน้า คือปี 2024 แม้ว่าจะมีการเพิ่มขึ้นของโครงการนำร่องและหลักฐานการทำงาน (PoCs) แต่ความสำเร็จยังคงเป็นเรื่องที่ยากจะบรรลุได้ การศึกษาบางอย่างชี้ให้เห็นว่าประมาณ 80% ของโครงการ AI ล้มเหลว นอกจากนี้เพียง 11% ขององค์กรที่สามารถขยายตัวแบบจำลองของตนให้ใหญ่ขึ้นได้ จริงๆ แล้วมีบางสิ่งที่ไม่ทำงาน

ทำไม PoC ของ AI จึงล้มเหลว: สาเหตุสามประการ

สาเหตุ 1: การชะงักงันของการนำร่องและการจัดลำดับความสำคัญที่ไม่สอดคล้องกัน

ใน môi trường sandbox ทีมงานมักพัฒนาแบบจำลอง AI ที่น่าประทับใจ โดยเข้าใกล้พวกมันเหมือนกับโครงการวิทยาศาสตร์ อย่างไรก็ตาม พวกเขามักจะละเลยเส้นทางสู่การผลิต โดยละเลยประเด็นสำคัญเช่น การบูรณาการ การตรวจสอบ การสังเกตการณ์ การกำกับดูแล และการยอมรับของผู้ใช้

ปัญหาการจัดตำแหน่งลึกกว่านั้น: โดยไม่มีตัวชี้วัดความสำเร็จที่ใช้ร่วมกัน หน่วยงานต่างๆ จะดึงในทิศทางที่แตกต่างกัน ผลิตภัณฑ์ตามล่าหาคุณลักษณะ อินฟราสตรัคที่แข็งแกร่งด้านความปลอดภัย ทีมข้อมูลที่แก้ไขปัญหาปाइปลाइन และการปฏิบัติตามกฎระเบียบที่สร้างนโยบาย – มักจะทำงานอิสระ ผลลัพธ์คือการเคลื่อนไหวโดยไม่มีแรงผลักดัน

โดยไม่มีเป้าหมายร่วมกัน องค์กรขาดความเข้าใจร่วมกันว่า AI ควรบรรลุผลลัพธ์ใดและควรนำไปใช้อย่างไร

สาเหตุ 2: คุณภาพข้อมูลและสilo

เป็นข้อเท็จจริงที่ทราบกันดีว่า AI ต้องการปริมาณข้อมูลที่มาก แม้ว่าจะลงทุนอย่างหนักในการสร้างแพลตฟอร์มข้อมูลของตน แต่หลายองค์กรก็ยังคงดิ้นรนกับข้อมูลที่ไม่สอดคล้องกัน ไม่สมบูรณ์ ซ้ำซ้อน หรือเก่า ตัวอย่างเช่น การเข้าถึงที่กระจัดกระจายหรือการเป็นเจ้าของและสายพันธุ์ที่ไม่ชัดเจน ปัญหาเหล่านี้ทำให้ต้นทุนพองตัว การส่งมอบช้า และทำให้ PoC ติดอยู่ในสถานะลิมโบ้

สาเหตุ 3: การวัดสิ่งที่ไม่ถูกต้อง

ทีมเทคนิคประเมินแบบจำลอง AI ตามตัวชี้วัด เช่น ความแม่นยำ การเรียกคืน หรือความถูกต้อง ตัวชี้วัดเหล่านี้แสดงให้เห็นว่าแบบจำลองทำงานได้ดีเพียงใดเมื่อเทียบกับการเดาแบบสุ่ม

ในทางกลับกัน ผู้นำจะพิจารณาการตัดสินใจโดยอาศัยผลลัพธ์ทางธุรกิจ ความแม่นยำโดยไม่มีผลกระทบไม่สำคัญ องค์กรควรแปลผลการทำงานของแบบจำลองเป็นเวลาที่ประหยัดได้ รายได้ที่เพิ่มขึ้น ต้นทุนที่หลีกเลี่ยงได้ และความเสี่ยงที่ลดลง – และควรรายงานตัวชี้วัดเหล่านี้อย่างต่อเนื่อง

กรอบการทำงาน 7 ขั้นตอนสำหรับการประเมินแนวคิด AI

วิธีการที่มีโครงสร้างในการประเมินแนวคิด AI คือกรอบการทำงานด้านล่าง ขั้นตอนเหล่านี้มีพื้นฐานมาจากงานวิจัยในอุตสาหกรรม ประสบการณ์เชิงปฏิบัติ และข้อมูลเชิงลึกจากรายงานล่าสุด

1. นิยามปัญหาและความเป็นเจ้าของ

ทุกโครงการ AI ที่แข็งแกร่งเริ่มต้นด้วยปัญหาทางธุรกิจที่กำหนดไว้อย่างชัดเจนและเจ้าของโครงการที่รับผิดชอบ ปัญหาควรจะเฉพาะเจาะจง วัดผลได้ และสำคัญพอที่จะนับได้ – เช่น อัตราการลาออกที่สูงหรือการอนุมัติสินเชื่อที่ช้า

ตัวอย่างเช่น Lumen Technologies ประเมินว่าพนักงานขายของตนใช้เวลาสี่ชั่วโมงในการวิจัยลูกค้า เมื่อการทำงานอัตโนมัติถูกนำเข้ามาในกระบวนการ มันให้ $50 ล้าน ในทรัพยากรต่อปี

2. ประเมินความเหมาะสมของงาน

ขั้นตอนต่อไปคือการประเมินความเหมาะสมของงาน ไม่ใช่กระบวนการทุกอย่างที่ได้รับประโยชน์จาก AI งานที่ซ้ำซ้อน ปริมาณมาก เป็นตัวเลือกที่เหมาะสม ในขณะที่การตัดสินใจที่มีความเสี่ยงสูงมักต้องการการดูแลของมนุษย์

คำถามหลักคืออะไรคือระดับความผิดพลาดที่สามารถยอมรับได้ ในโดเมนที่ละเอียดอ่อน แม้แต่ข้อผิดพลาดเล็กๆ น้อยๆ ก็จำเป็นต้องมีการดูแลของมนุษย์ในวงจรที่เหมาะสม บางครั้ง การทำงานอัตโนมัติที่ง่ายกว่าหรือการออกแบบใหม่สามารถให้ผลลัพธ์เดียวกันได้เร็วขึ้นและต้นทุนต่ำกว่า

3. ประเมินความพร้อมของข้อมูล

ข้อมูลที่มีคุณภาพสูง สามารถเข้าถึงได้ และมีการกำกับดูแลเป็นกระดูกสันหลังของ AI องค์กรต้องตรวจสอบว่าข้อมูลของตนมีให้ใช้เพียงพอและเป็นตัวแทน และว่าข้อมูลนั้นสามารถใช้ได้ตามกฎหมาย พวกเขายังต้องกำหนดว่าปัญหาเกี่ยวกับคุณภาพ เช่น การซ้ำซ้อน ค่าขาดหาย การเอนเอียง หรือการเปลี่ยนแปลง ถูกจัดการหรือไม่ นอกจากนี้ พวกเขายังต้องแน่ใจว่ากลไกการกำกับดูแล เช่น การเป็นเจ้าของ สายพันธุ์ และการเก็บรักษา มีอยู่ในสถานที่ ซึ่งโดยทั่วไปจะได้รับการสนับสนุนจากเครื่องมือที่ลดความจำเป็นในการทำความสะอาดด้วยตนเอง

4. กำหนดความเป็นไปได้และเวลาที่จะให้คุณค่า

จากนั้น ความเป็นไปได้และเวลาที่จะให้คุณค่าจะกลายเป็นจุดศูนย์กลาง PoC ควรสร้างเส้นฐานภายในไม่กี่สัปดาห์ ไม่ใช่เดือน หากไม่เช่นนั้น การลดขอบเขตหรือลดความพึ่งพาข้อมูลสามารถช่วยเร่งกระบวนการได้

ทีมควรพิจารณาว่าพวกเขาได้รับทักษะ อินฟราสตรัคที่จำเป็นและงบประมาณที่จำเป็น รวมถึงทักษะที่เกี่ยวข้องกับการเรียนรู้ของเครื่อง (ML) วิศวกรรมข้อมูล MLOps ความเชี่ยวชาญด้านโดเมน ความปลอดภัย และการปฏิบัติตามกฎระเบียบ หากไม่เช่นนั้น จะต้องวางแผนสำหรับการฝึกอบรมหรือการสนับสนุนจากภายนอก

5. ประมาณการผลกระทบทางธุรกิจและผลตอบแทนจากการลงทุน (ROI)

ขั้นตอนที่ห้าคือการประมาณการผลกระทบทางธุรกิจและ ROI แทนที่จะเน้นไปที่ความแม่นยำของแบบจำลองเพียงอย่างเดียว ผู้นำควรพิจารณาชุดตัวชี้วัดทางธุรกิจที่ครอบคลุม เช่น ชั่วโมงที่ประหยัดได้ คดีที่จัดการ การเพิ่มขึ้นของอัตราการแปลง และการลดลงของการทำงานซ้ำหรือการอ้างสิทธิ์ พวกเขายังควรพิจารณาต้นทุนการเป็นเจ้าของทั้งหมด ซึ่งรวมถึงอินฟราสตรัคที่ใบอนุญาต API หรือการใช้โทเค็น ค่าบำรุงรักษา การตรวจสอบ และค่าใช้จ่ายในการฝึกอบรมใหม่ ในทางที่ดีที่สุด ในระยะเริ่มต้น โดยสอดคล้องกับฝ่ายการเงิน พวกเขายังควรพิจารณาค่าใช้จ่ายที่ถูกต้องในปัจจุบัน ระยะเวลาคืนทุน และการวิเคราะห์ความอ่อนไหว การประเมินความกว้างนี้เพิ่มโอกาสในการขยายตัว

6. ระบุความเสี่ยงและข้อจำกัดด้านกฎระเบียบ

ความเสี่ยงและกฎระเบียบตามมา ระบบ AI ใดๆ ต้องเคารพความเป็นส่วนตัว ความปลอดภัย และความยุติธรรม ซึ่งแตกต่างกันไปในแต่ละเขตอำนาจศาล ซึ่งรวมถึง GDPR และ AI Act ของสหภาพยุโรป แฟร์มเวิร์กของสหรัฐฯ เช่น NIST RMF หลักการกำกับดูแลที่เป็นมิตรต่อนวัตกรรมของสหราชอาณาจักร และมาตรฐาน ISO/IEC ที่เกิดขึ้นใหม่ทั่วโลก

บริบทของภาคส่วนเพิ่มข้อกำหนดเฉพาะด้วย ผู้ประกันตนเผชิญกับภาระผูกพันและความยุติธรรม ในขณะที่การดูแลสุขภาพต้องการความสามารถในการอธิบายและยืนยันทางคลินิก มุมมองเชิงลึกเกี่ยวกับเส้นทางการปฏิบัติตามกฎระเบียบนี้จะหลีกเลี่ยงความประหลาดใจที่มีค่าใช้จ่าย

7. วางแผนสำหรับการบูรณาการและการยอมรับ

สุดท้าย ความสำคัญของการบูรณาการและการยอมรับไม่ควรละเลย องค์กรมักจะเฉลิมฉลองตัวแทนจำลองที่ประสบความสำเร็จ เพียงเพื่อค้นพบว่ามันหยุดชะงักเมื่อมอบให้สำหรับการผลิต

ในบางกรณี ตัวแทนจำลองที่มีความแข็งแกร่งทางเทคนิคถูกทอดทิ้งเพียงเพราะพวกมันทำให้เกิดปัญหามากกว่าที่พวกมันแก้ไขได้ ปัญหาทั่วไปรวมถึงการไม่ตรงกันของการทำงานซ้ำของงานสำหรับพนักงานหรือการขาดความไว้วางใจ ซึ่งอาจเกิดจากผู้ใช้ที่ไม่ได้รับการฝึกอบรมหรือปรึกษาหารือ

เพื่อตอบโต้สิ่งนี้ การบูรณาการจะต้องได้รับการพิจารณาตั้งแต่แรกเพื่อให้แน่ใจว่า AI เข้ากันได้อย่างราบรื่นในระบบที่มีอยู่ การจัดการการเปลี่ยนแปลงที่แข็งแกร่ง – การฝึกอบรม การสื่อสารที่ชัดเจน ผู้เชี่ยวชาญที่แข็งแกร่งและแรงจูงใจ – สร้างการยอมรับ

ในทำนองเดียวกัน การปฏิบัติงานมีความสำคัญ ซึ่งเกี่ยวข้องกับการกำหนด SLA และ SLO ตรวจสอบการเปลี่ยนแปลงหรือการใช้ในทางที่ผิด และการรักษาตัวเลือกการกลับเข้ามาใหม่ การวัดเหล่านี้รับประกันความยืดหยุ่นและสร้างความมั่นใจในการเปลี่ยนจากตัวแทนจำลองเป็นโซลูชันที่ยั่งยืน

เมทริกซ์การตัดสินใจ: การเปรียบเทียบแนวคิด AI

เมทริกซ์การตัดสินใจเป็นเครื่องมือที่ใช้งานได้จริงสำหรับการเปรียบเทียบแนวคิด AI หลายแนวคิดพร้อมกัน มิติแต่ละมิติของกรอบการทำงานได้รับการกำหนดค่าตามความสำคัญของมัน คะแนนสูงกว่า แสดงถึงกรณีที่แข็งแกร่งยิ่งขึ้นในการดำเนินการต่อ (รวมน้ำหนักคือ 100)

ทีมสามารถให้คะแนนการแสดงผลของแนวคิดแต่ละแนวคิดเทียบกับแบนด์ที่มีรายละเอียดภายในแต่ละมิติ คะแนนเหล่านี้จะรวมกันเป็นตัวเลขเดียว: คะแนนถ่วงน้ำหนัก = (ผลรวมของน้ำหนัก × คะแนนปกติ) / 100

น้ำหนักไม่ถูกกำหนดไว้ พวกเขาควรสะท้อนถึงลำดับความสำคัญขององค์กรของคุณ ตัวอย่างเช่น ในธนาคารที่มีการควบคุมอย่างเข้มงวด อาจมีน้ำหนักของความเสี่ยงและกฎระเบียบ 20 หรือ 25 แทนที่จะเป็น 10 ในบริษัท SaaS ที่ขยายตัวอย่างรวดเร็ว ผลกระทบทางธุรกิจและ ROI อาจมีน้ำหนัก 25 ในขณะที่กฎระเบียบอาจมีน้ำหนักเพียง 5 และอุตสาหกรรมที่มีข้อมูลหนัก (เช่น ยา การประกันภัย) อาจให้ความสำคัญกับความพร้อมของข้อมูล

กรณีศึกษา: การใช้กรอบการทำงาน

เพื่อแสดงว่ากรอบการทำงานจะถูกนำไปใช้ในการตัดสินใจที่เป็นรูปธรรม ตัวอย่างสองตัวอย่างด้านล่างจะถูกประเมินตามมิติเจ็ดมิติเดียวกับที่ใช้ในเมทริกซ์การตัดสินใจ เพื่อแสดงตรรกะ เราใช้แผนการให้คะแนนตัวอย่างหนึ่ง ในทางปฏิบัติ อย่างไรก็ตาม แต่ละบริษัทควรปรับเปลี่ยนตัวเลขเหล่านี้

สองกรณีนี้แสดงให้เห็นว่ากรอบการทำงานเจ็ดขั้นตอนจะแปลงการประเมินแบบนามธรรมให้เป็นการตัดสินใจที่เป็นรูปธรรม ในด้านประกันภัย การประเมินแบบมีโครงสร้างเปิดเผยผู้สมัครที่แข็งแกร่งที่ควรดำเนินการต่อ ในด้านธนาคาร มันเผยให้เห็นช่องว่างที่สำคัญที่แสดงให้เห็นว่าโครงการนี้เหมาะสมกว่าสำหรับการทำงานอัตโนมัติที่ง่ายกว่า

สรุป: ปิดวงจรจากสาเหตุของการดำเนินการ

การรักษา AI ไว้เหมือนกับการลงทุนเชิงกลยุทธ์อื่นๆ – การกำหนดปัญหา ทดสอบความเป็นไปได้ การวัดผลกระทบทางธุรกิจ การจัดการความเสี่ยง และการรับประกันการยอมรับ – จะปรับปรุงโอกาสในการเปลี่ยนแนวคิดให้เป็นคุณค่าขององค์กรอย่างมีนัยสำคัญ

เมทริกซ์การตัดสินใจและระบบการให้คะแนนให้วิธีการที่มีโครงสร้างในการเปรียบเทียบตัวเลือกหลายตัว การจัดสรรทรัพยากร และยุติโครงการที่ขาดคุณค่าอย่างมั่นใจ องค์กรเปลี่ยนจากการทดลองที่ขับเคลื่อนด้วยความน่าสนใจหรือความกลัวที่จะพลาดไปสู่การดำเนินการที่มีระเบียบซึ่งสร้างความได้เปรียบทางการแข่งขันที่ยั่งยืน