Leo Brunnick, Chief Product Officer at Cloudera – ซีรีส์สัมภาษณ์

การให้เอเจนต์มีอิสระมากขึ้นก็สร้างความต้องการการกำกับดูแลที่มีประสิทธิภาพมากขึ้น บริษัทต้องมีกฎระเบียบที่ชัดเจนระบุว่าเอเจนต์ได้รับอนุญาตให้เข้าถึงอะไร การกระทำใดที่สามารถทำได้ด้วยตนเอง และเมื่อใดที่ต้องการการอนุมัติจากมนุษย์ ยิ่งผลกระทบของการกระทำมีศักยภาพมากเท่าไหร่ การควบคุมก็ยิ่งสำคัญยิ่งขึ้น การให้เอเจนต์มีอิสระและการกำกับดูแลควรพัฒนาไปพร้อมกันเพื่อให้เอเจนต์มีอิสระเพียงพอที่จะสร้างผลผลิตที่แท้จริงในขณะที่องค์กรยังคงรักษาการควบคุมและการตรวจสอบข้อมูลและโครงสร้างพื้นฐานที่สำคัญ

Cloudera กำลังร่วมงานกับ NVIDIA เพื่อนำการเร่งความเร็ว GPU แบบเนทีฟผ่าน cuDF ไปยังงานประมวลผล Apache Spark 4.1 โดยอาจเพิ่มประสิทธิภาพได้สูงสุดถึง 4 เท่าโดยไม่ต้องให้องค์กรเขียนโค้ด PySpark หรือแอปพลิเคชัน SQL ใหม่ ทำไมการกำจัดความจำเป็นในการเขียนโค้ดใหม่จึงสำคัญต่อการเร่งการนำ AI ไปใช้ในระดับองค์กร?

บริษัทต่าง ๆ ได้ลงทุนอย่างมากในแอปพลิเคชันที่มีอยู่ ทักษะ และสายงานข้อมูลของตน การเปลี่ยนไปใช้เทคโนโลยีใหม่ต้องการมากกว่าการทำงานด้านวิศวกรรมเท่านั้น มันอาจเพิ่มความเสี่ยง ทำให้ผลลัพธ์ล่าช้า และสร้างความขัดแย้งในระบบที่กำลังทำงานอยู่

การเร่งความเร็วแบบไม่มีโค้ดช่วยแก้ปัญหานี้ได้ องค์กรสามารถใช้งานประมวลผล PySpark และ SQL ที่มีอยู่เพื่อรับประโยชน์จากการเร่งความเร็ว GPU โดยไม่ต้องเปลี่ยนแปลงวิธีการทำงานของทีมอย่างพื้นฐาน สิ่งนี้ทำให้เทคโนโลยีง่ายต่อการนำไปใช้พร้อมกับปรับปรุงประสิทธิภาพของสายงานข้อมูลที่สนับสนุนการวิเคราะห์และ AI และยังคงรักษาการลงทุนที่มีอยู่

GPU กำลังถูกใช้มากขึ้นนอกเหนือจากการฝึกโมเดลและการสรุปผล รวมถึงการเตรียมข้อมูลและการวิเคราะห์ คุณคาดว่า GPU acceleration จะกลายเป็นส่วนมาตรฐานของสแต็กข้อมูลระดับองค์กรหรือไม่ และสิ่งนี้จะเปลี่ยนแปลงเศรษฐศาสตร์ของการเตรียมชุดข้อมูลขนาดมหาศาลสำหรับ AI อย่างไร?

ในความเห็นของผม ธุรกิจจะมีความชำนาญมากขึ้นในการจับคู่โครงสร้างพื้นฐานกับงานประมวลผลของตน GPU ได้เปลี่ยนวิธีการฝึกและสรุปผลโมเดลแล้ว และวิศวกรรมข้อมูลเป็นพื้นที่ต่อไปที่มีศักยภาพในการสร้างนวัตกรรม เนื่องจากการเตรียมชุดข้อมูลขนาดใหญ่มักเป็นคอขวดสำคัญเมื่อพานำแอปพลิเคชัน AI ไปสู่การผลิต

ผลกระทบทางเศรษฐกิจก็สำคัญไม่แพ้กัน เนื่องจากการประมวลผลที่เร็วขึ้นทำได้มากกว่าการทำงาน Spark ให้เสร็จเร็วขึ้น การลดระยะเวลาการคำนวณสามารถลดค่าใช้จ่ายโครงสร้างพื้นฐานได้ในขณะเดียวกันช่วยให้ทีมข้อมูลทำซ้ำได้เร็วขึ้น ซึ่งเป็นปัจจัยที่สำคัญยิ่งขึ้นเมื่อปริมาณงาน AI เพิ่มขึ้น ตาม การวิจัยของเรา 84% ของผู้ตอบแบบสอบถามพบว่างาน AI ทำให้ค่าใช้จ่ายโครงสร้างพื้นฐานเพิ่มขึ้น ทำให้ธุรกิจต้องมองหาจุดโอกาสในการปรับปรุงประสิทธิภาพและต้นทุนตลอดสายงานข้อมูลทั้งหมด การประมวลผลข้อมูลที่เร่งด้วย GPU อาจกลายเป็นส่วนสำคัญของสมการนั้น

หนึ่งในสัญญาของ Cloudera Anywhere Cloud คือการให้องค์กรสามารถวางงานประมวลผลได้ทุกที่ตามข้อกำหนดด้านกฎระเบียบ เศรษฐกิจ หรือการดำเนินงานโดยไม่ต้องย้ายหรือคัดลอกข้อมูลอย่างต่อเนื่อง ความสำคัญของการนำการคำนวณ AI ไปสู่ข้อมูล แทนที่จะนำข้อมูลทั้งหมดขององค์กรไปสู่ AI คืออะไร?

นี่เป็นสิ่งจำเป็นเพราะธุรกิจใช้เวลาหลายปีในการสร้างข้อมูลจำนวนมหาศาลในสภาพแวดล้อมที่แตกต่างกัน และการย้ายข้อมูลทั้งหมดไปยังที่เดียวเพื่อใช้ AI มักเป็นเรื่องที่ทำได้ยาก มันอาจมีค่าใช้จ่ายสูงและใช้เวลานาน ในขณะที่ข้อกำหนดด้านความปลอดภัย ความเป็นส่วนตัว หรืออธิปไตยอาจทำให้ไม่สามารถย้ายข้อมูลบางส่วนได้เลย

ในขณะนี้ ยังไม่เป็นไปได้สำหรับองค์กรที่จะย้ายข้อมูลทั้งหมดของตนอย่างปลอดภัยไปยังแอปพลิเคชันและสภาพแวดล้อมต่าง ๆ ที่ AI ถูกนำไปใช้ การนำ AI ไปสู่ข้อมูลทำให้องค์กรสามารถใช้ข้อมูลที่มีอยู่มากขึ้นได้โดยไม่ต้องย้ายข้อมูลออกจากที่ตั้งเดิม อีกทั้งยังให้ความยืดหยุ่นในการรันงานประมวลผลในตำแหน่งที่เหมาะสมที่สุดตามความต้องการทางธุรกิจและเทคนิค เมื่อ AI ฝังตัวมากขึ้นทั่วทั้งองค์กร ความสามารถในการทำงานอย่างสม่ำเสมอไม่ว่าข้อมูลจะอยู่ที่ใดก็จะมีความสำคัญยิ่งขึ้น

อธิปไตยของข้อมูลได้กลายเป็นความกังวลหลักเมื่อรัฐบาลและอุตสาหกรรมที่อยู่ภายใต้การควบคุมนำ AI ไปใช้ ความต้องการ AI ที่อธิปไตยกำลังเปลี่ยนแปลงสถาปัตยกรรมที่องค์กรต้องการอย่างไร และคุณคาดว่าเมฆอธิปไตยและโครงสร้างพื้นฐาน AI ส่วนตัวจะมีความสำคัญมากขึ้นอย่างมีนัยสำคัญในไม่กี่ปีข้างหน้าหรือไม่?

แน่นอน อธิปไตยกำลังกลายเป็นข้อกำหนดด้านสถาปัตยกรรม ไม่ใช่เพียงประเด็นการปฏิบัติตามกฎระเบียบ องค์กรต้องรู้ว่าข้อมูลของพวกเขาถูกเก็บไว้ที่ไหนและงาน AI ของพวกเขากำลังทำงานที่ไหน รวมถึงใครมีสิทธิ์เข้าถึงและวิธีที่ทรัพย์สินทางปัญญาและข้อมูลที่ละเอียดอ่อนได้รับการปกป้อง

องค์กรไม่สามารถสมมติได้อีกต่อไปว่าทุกอย่างสามารถรวมศูนย์ไว้ในคลาวด์สาธารณะเดียวได้ พวกเขาต้องการความยืดหยุ่นในการดำเนินงานข้ามคลาวด์อธิปไตย โครงสร้างพื้นฐานส่วนตัว คลาวด์สาธารณะ และระบบภายในองค์กรพร้อมกับการใช้การกำกับดูแลที่สอดคล้องกันในแต่ละสภาพแวดล้อม ความต้องการเหล่านี้จะมีความสำคัญยิ่งขึ้นเมื่อ AI แทรกซึมเข้าสู่อุตสาหกรรมที่อยู่ภายใต้การควบคุมและกระบวนการธุรกิจที่สำคัญมากขึ้น องค์กรที่สามารถสร้างนวัตกรรมพร้อมกับการควบคุมข้อมูลและสภาพแวดล้อม AI ของตน จะอยู่ในตำแหน่งที่ดีกว่าในการขยาย AI อย่างรับผิดชอบ

เมื่อเอเจนต์ AI อิสระเข้าถึงข้อมูลขององค์กร แอปพลิเคชัน และโครงสร้างพื้นฐาน การกำกับดูแลข้อมูลแบบดั้งเดิมอาจไม่เพียงพอแล้ว การกำกับดูแลต้องพัฒนาอย่างไรเมื่อผู้ใช้ที่เข้าถึงและดำเนินการกับข้อมูลขององค์กรเป็นเอเจนต์ AI มากขึ้นเรื่อย ๆ แทนมนุษย์?

ในอดีต การกำกับดูแลส่วนใหญ่ตั้งอยู่บนพื้นฐานว่าผู้คนและแอปพลิเคชันสามารถเข้าถึงข้อมูลได้ เอเจนต์เพิ่มมิติใหม่ เนื่องจากพวกเขาสามารถเข้าถึงข้อมูลและให้เหตุผลเกี่ยวกับข้อมูลนั้นและดำเนินการตามสิ่งที่พบ

ด้วยเหตุนี้ ธุรกิจต้องนำแนวคิดเช่น ตัวตน สิทธิ์ การสืบสายข้อมูล การสังเกต และการเข้าถึงแบบศูนย์ศรัทธา (zero‑trust) ไปใช้กับเอเจนต์เพื่อรับประกันความปลอดภัยและการกำกับดูแลข้อมูลของพวกเขา องค์กรควรรู้ว่าเอเจนต์ใดเข้าถึงข้อมูลใด ทำอะไรกับข้อมูลนั้น การกระทำใดที่เอเจนต์ทำ และการกระทำนั้นสอดคล้องกับนโยบายของบริษัทหรือไม่ การกำกับดูแลไม่สามารถนำมาใช้ได้หลังจากที่เอเจนต์ได้ดำเนินการแล้ว; ต้องฝังไว้ในสภาพแวดล้อมเพื่อให้นโยบายและมาตรการป้องกันเคลื่อนที่พร้อมกับข้อมูลและถูกบังคับใช้ต่อเนื่องโดยไม่คำนึงว่าผู้เกี่ยวข้องเป็นบุคคล แอปพลิเคชัน หรือเอเจนต์อิสระ

Cloudera เน้นมาตรฐานเปิดเช่น Apache Iceberg, Polaris, Spark, Kafka และ Trino แทนการบังคับให้ลูกค้าดำเนินการทั้งหมดภายในสแต็กที่เป็นกรรมสิทธิ์ เมื่อโครงสร้างพื้นฐาน AI รวมตัวเป็นแพลตฟอร์มขนาดใหญ่ มาตรฐานเปิดและความสามารถในการทำงานร่วมกันจะมีความสำคัญแค่ไหนในการป้องกันการล็อก‑อินของผู้ขาย AI รุ่นใหม่?

ยิ่ง AI กลายเป็นส่วนหนึ่งของโครงสร้างพื้นฐานขององค์กร มาตรฐานเปิดก็ยิ่งมีความสำคัญยิ่งขึ้น AI กำลังพัฒนาอย่างรวดเร็วและองค์กรต้องหลีกเลี่ยงการตัดสินใจด้านสถาปัตยกรรมในวันนี้ที่อาจจำกัดโมเดล เครื่องยนต์ โครงสร้างพื้นฐาน หรือเทคโนโลยีที่พวกเขาจะใช้ในอนาคต

เทคโนโลยีเช่น Apache Iceberg, Spark, Kafka, Trino และแคตาล็อกเปิดมอบความยืดหยุ่นให้กับองค์กรในการใช้เครื่องมือต่าง ๆ สำหรับงานที่แตกต่างกันในขณะเดียวกันยังคงรักษาความสามารถในการทำงานร่วมกันระหว่างสภาพแวดล้อมข้อมูลของพวกเขา สิ่งนี้สำคัญเป็นพิเศษเมื่อองค์กรดำเนินงานข้ามคลาวด์สาธารณะ โครงสร้างพื้นฐานอธิปไตย และศูนย์ข้อมูลส่วนตัวมากขึ้น ซึ่งพวกเขาต้องการอิสระในการกำหนดว่าข้อมูลและงาน AI ของพวกเขาจะทำงานที่ไหนโดยไม่ต้องสร้างใหม่รอบผู้ให้บริการเดียว

แนวทางเปิดยังทำให้การนำความสามารถ AI ใหม่ ๆ มาใช้เป็นเรื่องง่ายขึ้นในขณะที่อาศัยการลงทุนที่มีอยู่เดิม แทนการย้ายหรือคัดลอกข้อมูลซ้ำ ๆ เมื่อเทคโนโลยีพัฒนา เมื่อภูมิทัศน์ AI ยังคงเปลี่ยนแปลงมาตรฐานเปิดให้ความยืดหยุ่นแก่องค์กรในการพัฒนาสถาปัตยกรรมตามกาลเวลาในขณะเดียวกันยังคงรักษาตัวเลือกและการควบคุมข้อมูล โครงสร้างพื้นฐาน และการตัดสินใจด้านเทคโนโลยีของพวกเขา

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม Cloudera.