ผู้นำทางความคิด

ปัญหาแห่งทุกที่: ทำไม “ข้อมูลทุกที่” จึงกลายเป็นความท้าทายด้านโครงสร้างพื้นฐานที่สำคัญที่สุดของยุค AI

mm

คำถามที่สำคัญที่สุดใน AI ในปัจจุบันไม่ใช่ว่าโมเดลไหนที่ฉลาดที่สุด แต่เป็นที่ที่ข้อมูลอาศัยอยู่ และว่าความฉลาดสามารถเข้าถึงข้อมูลนั้นได้หรือไม่

ในช่วงเวลาเกือบหนึ่งทศวรรษที่ผ่านมา อุตสาหกรรม AI ดำเนินงานภายใต้สมมติฐานที่ให้ความมั่นใจ: จัดเก็บข้อมูลไว้ที่ศูนย์กลาง จัดเก็บการประมวลผลไว้ที่ศูนย์กลาง และความฉลาดจะตามมา โมเดลไฮเปอร์สเกลเลอร์ — การจัดเก็บชุดข้อมูลการฝึกอบรมขนาดใหญ่ในคลัสเตอร์คลาวด์ขนาดใหญ่ และการนำการประมวลผล GPU ระดับมหาศาลมาใช้ในการบีบอัดข้อมูลเหล่านั้นให้กลายเป็นพารามิเตอร์ของโมเดล — ได้ผลลัพธ์ที่น่าประทับใจ แต่ก็สร้างโครงสร้างที่ตอนนี้กำลังเผชิญกับความสำเร็จของตัวเอง

เรียกมันว่า “ปัญหาแห่งข้อมูลทุกที่” เมื่อ AI แพร่กระจายออกจากห้องปฏิบัติการวิจัยและเข้าสู่โครงสร้างการทำงานของโรงพยาบาล โรงงาน สถาบันการเงิน และรัฐบาลที่มีอำนาจ ข้อมูลที่ต้องให้ข้อมูลเหล่านี้มีลักษณะกระจายทั่วทุกที่ มีข้อจำกัดด้านเขตอำนาจศาล และไม่สามารถย้ายที่ได้ ผู้กำกับดูแลในยุโรปยืนยันว่าบันทึกทางการเงินของพลเมืองไม่สามารถออกจากทวีปได้ ข้อมูลการ试 nghiệmทางคลินิกของบริษัทเภสัชกรรมในบาเซิลไม่สามารถอยู่ในบัคเก็ตคลาวด์เดียวกันกับชุดข้อมูลจีโนมิกส์จากโซล

ไม่ว่ากรณีจะเป็นอย่างไร ความฉลาดจะต้องไปที่ข้อมูล ข้อมูล โดยเน้นย้ำ จะไม่มาถึงความฉลาด

เศรษฐศาสตร์ของการเปลี่ยนแปลง

ความตึงเครียดโครงสร้างนี้เกิดจากปฏิวัติทางเศรษฐกิจของ AI ที่เกิดขึ้นพร้อมกัน อุตสาหกรรมกำลังผ่านการเปลี่ยนแปลงครั้งใหญ่จากการจ่ายเงินสำหรับการฝึกอบรมไปสู่การจ่ายเงินสำหรับการอนุมาน และผลกระทบต่อโครงสร้างข้อมูลมีผลกระทบอย่างลึกซึ้ง

เดโลิตต์ประมาณการ ว่าภาระงานอนุมานคิดเป็นครึ่งหนึ่งของการประมวลผล AI ทั้งหมดในปี 2025 ซึ่งเป็นตัวเลขที่จะเพิ่มขึ้นเป็นสองในสามในปี 2026 อัตราส่วนกำลังพลิกผันอย่างรวดเร็ว นักวิเคราะห์ประมาณการว่าในปี 2026 ความต้องการอนุมานจะ超过ความต้องการการฝึกอบรมถึง 118 เท่า และในปี 2030 อนุมานอาจคิดเป็น 75% ของการประมวลผล AI ทั้งหมด โดยขับเคลื่อนการลงทุนโครงสร้างพื้นฐานมูลค่า 7 ล้านล้านดอลลาร์

คณิตศาสตร์ค่าใช้จ่ายก็เทียบเท่ากัน สำหรับทุกๆ 1 พันดอลลาร์ที่ใช้ในการฝึกอบรมโมเดล AI องค์กรต้องเผชิญกับค่าใช้จ่ายในการอนุมาน 15-20 พันดอลลาร์ในช่วงอายุการผลิตของโมเดล: อัตราส่วนที่แสดงอย่างชัดเจนโดย GPT-4 ซึ่งมีค่าใช้จ่ายในการฝึกอบรมประมาณ 150 ล้านเหรียญสหรัฐฯ แต่มีค่าใช้จ่ายในการอนุมานสะสมถึง 2.3 พันดอลลาร์亿โดยสิ้นปี 2024 การฝึกอบรม曾เป็นความหลงใหลของนักลงทุนและเจ้าหน้าที่จัดซื้อจัดจ้างของ AI แต่ตอนนี้ถูกกำหนดใหม่เป็นค่าใช้จ่ายครั้งเดียว ค่าใช้จ่ายในการอนุมานคือค่าใช้จ่ายการดำเนินงานที่ไม่สิ้นสุดของความฉลาด และตอนนี้เป็นรายการหลัก

อย่างไรก็ตาม นี่คือความขัดแย้ง: ค่าใช้จ่ายในการอนุมาน สำหรับระบบระดับ GPT-3.5 ลดลงมากกว่า 280 เท่าระหว่างเดือนพฤศจิกายน 2022 ถึงเดือนตุลาคม 2024 โดยมีค่าใช้จ่ายฮาร์ดแวร์ที่ลดลงประมาณ 30% ต่อปี และประสิทธิภาพการใช้พลังงานที่ดีขึ้น 40% ต่อปี ราคาลดลง; การบริโภคเพิ่มขึ้นเร็วขึ้น ค่าใช้จ่ายในการอนุมานต่อหน่วยลดลง 100 เท่า ในขณะที่ไมโครซอฟท์และกูเกิลรายงานว่างาน AI เพิ่มขึ้น 31 เท่าในช่วงครึ่งปีนั้น

ที่ที่ข้อมูลอาศัยอยู่ ความฉลาดจะต้องตามไป

เศรษฐกิจของการอนุมานเปลี่ยนแปลงความต้องการโครงสร้างพื้นฐานอย่างมีนัยสำคัญ และไม่มีที่ไหนที่สำคัญไปกว่าความหนาแน่นของข้อมูล อนุมาน ไม่เหมือนกับการฝึกอบรม ไม่ใช่งานแบตช์ที่ทำงานหนึ่งครั้งในศูนย์ข้อมูล มันเป็นบริการที่ต่อเนื่องกัน ที่มีความไวต่อความล่าช้า และมีการกระจายทางภูมิศาสตร์ และมีประสิทธิภาพเท่ากับข้อมูลที่สามารถเข้าถึงได้ ณ เวลาที่ถาม

นี่คือแก่นกลางของปัญหาแห่งข้อมูลทุกที่

ตัวอย่างเช่น โมเดลภาษาที่ให้เหตุผลเกี่ยวกับข้อมูลไอซียูของ患者ไม่สามารถทนความล่าช้า 200 มิลลิวินาทีในการเดินทางไปกลับไปยังคลัสเตอร์ชายฝั่งตะวันออกของไฮเปอร์สเกลเลอร์ โมเดลการฉ้อโกงทางการเงินที่ทำงานการอนุมานที่จุดทำธุรกรรมไม่สามารถส่งออกข้อมูลบัญชีไปยังเขตอำนาจศาลที่จะละเมิด GDPR การใช้งาน AI ของรัฐบาลที่มีอำนาจไม่สามารถอาศัยโครงสร้างพื้นฐานที่เป็นของหน่วยงานพาณิชย์ต่างประเทศ

ห้องปฏิบัติการด้านหน้าเป็นตัวอย่างที่รู้ตัวถึงสิ่งนี้ สัญญาของแอนโธรปิกกับกูเกิลคลาวด์สำหรับหน่วยประมวลผล TPU จำนวนหนึ่งล้านหน่วย ซึ่งจะส่งมอบความสามารถประมวลผล AI มากกว่า 1 กิกะวัตต์ ภายในปี 2026 เป็นสัญญาณว่าห้องปฏิบัติการชั้นนำกำลังลงทุนในระดับที่ไม่เคยเกิดขึ้นมาก่อนเพื่อ塑造รอยเท้าโครงสร้างพื้นฐานของการอนุมานในระดับโลก

การจำแนกประเภทของความเข้มข้นของข้อมูล

ไม่ใช่ทุกระบบ AI ที่เผชิญกับความท้าทายนี้ในลักษณะเดียวกัน และมีประโยชน์ที่จะพิจารณาการจำแนกประเภทอย่างคร่าวๆ เนื่องจากมีหลายประเภทของโมเดล AI และความซับซ้อน มาแบ่งออกเป็นตัวอย่างหลักๆ 3 แบบ: LLMs, รูปภาพ และโมเดลทางกายภาพ

โมเดลภาษาขนาดใหญ่ — ครอบครัวของ Claude, GPT และ Gemini — จัดการกับโทเค็นภาษาเป็นหลัก: ข้อมูลที่มีน้ำหนักเบา สามารถบีบอัดได้ และสามารถใช้เทคนิคการรักษาความเป็นส่วนตัว เช่น ความเป็นส่วนตัวที่แตกต่างหรือการเรียนรู้แบบกระจาย Their ปัญหาแห่งข้อมูลทุกที่มีความซับซ้อนมาก

โมเดลการสร้างภาพนำเสนอกรณีที่ยากขึ้น โมเดลเช่น Black Forest Labs’ FLUX.2 สามารถสร้างภาพความละเอียดสูงได้ภายในหนึ่งวินาทีบนฮาร์ดแวร์ที่มีประสิทธิภาพ แต่การสร้างภาพเดียวต้องใช้ข้อมูลและค่าใช้จ่ายในการประมวลผลมากกว่าการสร้างข้อความ เมื่อ AI ทางภาพเคลื่อนไปสู่เครื่องมืออุตสาหกรรม การถ่ายภาพทางการแพทย์ และการวิเคราะห์ดาวเทียม ข้อมูลที่อยู่ภายใต้นั้นมักจะมีขนาดใหญ่ มีความไวต่อความลับ และยากที่จะย้าย ทำให้ต้องใช้ AI ที่ที่ข้อมูลอาศัยอยู่

ประเภทที่ซับซ้อนที่สุดคือ AI ทางกายภาพ Jensen Huang ของ NVIDIA ได้ประกาศ ว่า “AI ทางกายภาพมาถึงแล้ว และทุกๆ บริษัทอุตสาหกรรมจะกลายเป็นบริษัทหุ่นยนต์” โมเดลใหม่ๆ เช่น NVIDIA’s Cosmos 3 มีเป้าหมายที่จะให้เครื่องจักรมีความเข้าใจทั่วไปเกี่ยวกับโลกทางกายภาพโดยการรวมการจำลอง การมองเห็น และการให้เหตุผล ในขณะที่บริษัทอย่าง Physical Intelligence กำลังฝึกหุ่นยนต์บนข้อมูลเซ็นเซอร์โลกแห่งความเป็นจริง — รวมถึงข้อมูลการเคลื่อนไหว เสียง และการมองเห็น — เพื่อให้สามารถทำงานได้มากขึ้นและเป็นอิสระ

พลวัตการปรับขนาดที่ดีขึ้นซึ่งปรับปรุงโมเดลการให้เหตุผลขนาดใหญ่กำลังถูกนำไปใช้กับข้อมูลโลกแห่งความเป็นจริง เช่น การสั่น เสียง และข้อมูลเซ็นเซอร์ แต่ข้อมูลนี้มีลักษณะที่เป็นเฉพาะที่ หุ่นยนต์บนพื้นโรงงานไม่สามารถส่งข้อมูลภาพและสัมผัสแบบเรียลไทม์ไปยังคลาวด์ที่อยู่ห่างไกลเพื่อประมวลผลโดยไม่ทำให้เกิดความล่าช้าที่อาจก่อให้เกิดความเสี่ยงต่อความปลอดภัย ซึ่งหมายความว่า AI จะต้องทำงานที่ด้านขอบ ใกล้กับที่ที่ข้อมูลถูกสร้างขึ้น

ความไว้วางใจ ความสามารถในการอธิบาย และผลลัพธ์

นี่คือที่ที่ปัญหาแห่งข้อมูลทุกที่ขยายออกไปนอกโครงสร้างพื้นฐานและกลายเป็นปัญหาการกำกับดูแล เมื่อ AI ถูกนำไปใช้กับการตัดสินใจที่มีความเสี่ยงสูง — ตั้งแต่การวินิจฉัยทางการแพทย์ไปจนถึงแบบจำลองความเสี่ยงทางการเงินและการควบคุมระบบทางกายภาพ — คำถามเกี่ยวกับที่ที่ข้อมูลอาศัยอยู่มีความเกี่ยวข้องมากขึ้นกับใครที่รับผิดชอบต่อผลลัพธ์

ในบรรยากาศด้านกฎระเบียบที่มีอยู่ในปัจจุบัน ความสามารถในการอธิบายไม่ใช่สิ่งที่ไม่จำเป็น กฎหมาย AI ของสหภาพยุโรปตัวอย่างเช่น ต้องการให้ระบบที่มีความเสี่ยงสูงแสดงให้เห็นถึงเหตุผลของการผลิตที่ออกมา ซึ่งเป็นสิ่งที่ยากที่จะทำได้หากข้อมูลที่ให้ข้อมูลเหล่านั้นกระจายอยู่ทั่วหลายระบบ เขตอำนาจศาล และกรอบการกำกับดูแล

ความไว้วางใจจึงกลายเป็นข้อกำหนดเบื้องต้นสำหรับการนำไปใช้ในระดับใหญ่ การควบคุมสภาพแวดล้อมข้อมูลมีความสำคัญไม่แพ้กับการควบคุมโมเดลตัวเอง

รุ่นต่อไปของโครงสร้างพื้นฐาน AI

การแก้ไขปัญหาแห่งข้อมูลทุกที่จะกำหนดแผนที่การแข่งขันของ AI ในทศวรรษหน้า อนุมานแบบกระจาย สภาพแวดล้อมการประมวลผลข้อมูลที่ปลอดภัย โมเดลที่ได้รับการปรับให้เหมาะสมสำหรับการทำงานที่ด้านขอบ และระบบการจัดการที่คำนึงถึงที่ที่ข้อมูลสามารถอาศัยอยู่ได้ ไม่ใช่คุณลักษณะทางเทคนิคเฉพาะเจาะจง แต่เป็นเงื่อนไขเบื้องต้นสำหรับการขยาย AI ออกไปนอกกรณีการใช้งานที่ข้อมูลสามารถจัดกลุ่มได้อย่างอิสระ

บริษัทและรัฐบาลที่สร้างโครงสร้างพื้นฐานที่สามารถส่งมอบการอนุมานที่เชื่อถือได้ อธิบายได้ และมีอำนาจ — ความฉลาดที่ไปถึงข้อมูลแทนการบังคับให้ข้อมูลเดินทางไปหา — จะควบคุมการสร้างรั้วที่ทนทานที่สุดในยุค AI การฝึกโมเดลที่ฉลาดกว่านั้นเป็นปัญหาที่แก้ไขได้และเป็นสินค้าโภคภัณฑ์ การใช้งานอย่างมีความรับผิดชอบที่ด้านขอบ ทั่วเขตอำนาจศาล และต่อข้อมูลที่ไม่สามารถย้ายได้ เป็นปัญหาที่ยังคงอยู่

ข้อมูลทุกที่ไม่ใช่คำขวัญ มันเป็นปัญหาที่ยากที่สุดในการแก้ไขในด้าน AI ขององค์กร และจะกำหนดว่าความสามารถพิเศษที่ถูกปลดปล่อยโดยการลงทุนฝึกอบรมในช่วงสิบปีที่ผ่านมาจะแปลเป็นผลลัพธ์ที่โลกสามารถเชื่อถือได้หรือไม่

ในฐานะประธานเจ้าหน้าที่กลยุทธ์ Abhas เป็นผู้นำกลยุทธ์องค์กรโดยรวมของ Cloudera และรับผิดชอบในการสร้างวิสัยทัศน์ของบริษัท สร้างแบบจำลองการดำเนินงานของธุรกิจและลูกค้า สื่อสารกับผู้มีส่วนได้ส่วนเสียหลักผ่าน OKRs ที่กำหนดไว้อย่างชัดเจน และดำเนินโครงการเปลี่ยนแปลงที่สำคัญเพื่อให้บรรลุแผน นอกจากนี้เขายังได้รับมอบหมายให้ขับเคลื่อนการเติบโตและนวัตกรรม และตัดสินใจซื้อ/ขายหุ้น รวมถึงการกำหนดราคาและแพ็คเกจ การพัฒนาองค์กร และการเร่งนวัตกรรมของ Cloudera เพื่อเปิดตัวผลิตภัณฑ์ใหม่ ก่อนหน้านี้เขา曾ดำรงตำแหน่งหัวหน้าพนักงานและรองประธานฝ่ายการเปลี่ยนแปลงธุรกิจของบริษัท

ก่อนการควบควม Cloudera/Hortonworks เขาได้ช่วยให้ Hortonworks ขยายความพยายามในการตลาดไปทั่วโลกในฐานะหัวหน้าฝ่ายนวัตกรรมและบริหารคุณค่าของลูกค้าระดับโลก เขาเป็นที่ปรึกษาด้านการจัดการโดยการฝึกอบรมและมีความหลงใหลในการขับเคลื่อนการดำเนินการและการเปลี่ยนแปลงในสังคม และได้นำโครงการที่มีหลายองค์กร รวมถึง World Economic Forum, Founders of the Future และองค์กรไม่แสวงหาผลกำไรอื่นๆ