Val Bercovici, หัวหน้าฝ่าย AI ที่ WEKA – ซีรีส์สัมภาษณ์

Val Bercovici, หัวหน้าฝ่าย AI ที่ WEKA, เป็นผู้บริหารด้าน AI และโครงสร้างพื้นฐานข้อมูลที่มุ่งเน้นการพัฒนาเทคโนโลยีที่เป็นรากฐานของปัญญาประดิษฐ์ยุคต่อไป ตั้งแต่เข้าร่วม WEKA ในตำแหน่งหัวหน้าฝ่าย AI ในเดือนมกราคม 2025, เขามุ่งเน้นการสร้างโครงสร้างพื้นฐานสำหรับเอเย่นต์ AI, เร่งความเร็วการฝึกและการทำงานเชิงอนุมาน, และปรับปรุงด้านเศรษฐศาสตร์ของการคำนวณ AI ควบคู่กับบทบาทที่ WEKA, Bercovici ทำหน้าที่เป็นที่ปรึกษา AI ให้กับ Home Dock, ที่ปรึกษากลยุทธ์ให้กับ FermiHDI และ The Hive, และประธานของ PencilDATA ซึ่งงานของเขาครอบคลุม AI, ความปลอดภัยไซเบอร์, บล็อกเชน, การประมวลผลคลาวด์, และโครงสร้างพื้นฐานข้อมูล อาชีพของเขาแสดงให้เห็นถึงการมุ่งเน้นอย่างต่อเนื่องในการพัฒนาและให้คำปรึกษาเทคโนโลยีใหม่ที่ออกแบบมาเพื่อสนับสนุนระบบ AI ที่ต้องการข้อมูลมากขึ้น

WEKA เป็นบริษัทโครงสร้างพื้นฐานข้อมูลที่เน้น AI โดยสร้างแพลตฟอร์มที่กำหนดด้วยซอฟต์แวร์ซึ่งออกแบบมาสำหรับความต้องการข้อมูลที่ท้าทายของปัญญาประดิษฐ์, การเรียนรู้ของเครื่อง, การคำนวณประสิทธิภาพสูง, และงานเร่งความเร็วอื่น ๆ แพลตฟอร์มข้อมูล WEKA ให้สถาบันต่าง ๆ มีสถาปัตยกรรมแบบรวมที่สามารถทำงานได้ทั้งในสถานที่, คลาวด์, ไฮบริด และขอบเครือข่าย, ช่วยขจัดคอขวดของการจัดเก็บ, ปรับปรุงการใช้ GPU, และเร่งการฝึกและการทำงานเชิงอนุมานของโมเดล AI บริษัทกำลังเน้นเทคโนโลยีของตนรอบเศรษฐกิจการทำงานเชิงอนุมานที่กำลังเกิดขึ้นและ AI ที่เป็นเอเย่นต์, โดยโครงสร้างพื้นฐานออกแบบให้เข้าถึงข้อมูลด้วยอัตราการส่งผ่านสูง, ความหน่วงต่ำในระดับมหาศาล พร้อมกับทำให้สายงานข้อมูล AI ที่ซับซ้อนง่ายขึ้น WEKA ให้บริการแก่องค์กรระดับใหญ่, ผู้ให้บริการคลาวด์, สถาบันวิจัย, และนักพัฒนา AI ที่ดำเนินงานในสภาพแวดล้อมการคำนวณที่ต้องการประสิทธิภาพสูงสุดในโลก

อาชีพของคุณได้พาคุณจากการกำหนดกลยุทธ์คลาวด์ในช่วงแรกของ NetApp และการเป็นสมาชิกคณะกรรมการก่อตั้งของ Kubernetes ไปสู่การสร้างโครงสร้างพื้นฐาน AI ที่ WEKA. การเปลี่ยนแปลงนี้ส่งผลต่อวิธีที่คุณคิดเกี่ยวกับการเตรียมโครงสร้างพื้นฐานสำหรับขั้นตอนต่อไปของ AI อย่างไร?

ทุกยุคของอาชีพของฉันถูกกำหนดโดยรูปแบบเดียวกัน: จุดคอขวดย้ายตำแหน่งและอุตสาหกรรมต้องใช้หลายปีจึงจะสังเกตเห็น ในยุคคลาวด์และ Kubernetes ตอนแรก เราเห็นการคำนวณกลายเป็นแบบยืดหยุ่นและการจัดการเป็นคอขวดใหม่ หลังจากออกจาก NetApp ที่ฉันดำรงตำแหน่ง CTO หลังการเข้าซื้อ SolidFire ฉันคิดว่าฉันรู้แล้วว่าความเร็วคืออะไร: มิลลิวินาทีระดับต่ำสำหรับการอ่านไบต์แรกแบบสุ่มจริง ๆ ภายใต้ภาระงานการผลิต

เหตุผลที่ฉันเข้าร่วม WEKA นั้นเป็นเรื่องที่จริง ๆ แล้วเป็นเรื่องของคนรักเทคโนโลยี มันเป็นสถิติหนึ่ง: การอ่านไบต์สุ่มที่ไม่ได้แคชเป็น 70 ไมโครวินาที ซึ่งไม่ใช่ตัวเลขระดับสตอเรจ ฉันไม่เคยคิดว่าจะมีความหน่วงระดับไมโครวินาทีจากระบบประเภทนี้เลย นั่นคือจุดสว่าง: เทคโนโลยีนี้สามารถให้บริการแอปพลิเคชันหน่วยความจำ, แอปพลิเคชันระดับ DRAM เช่น Redis และแคช KV, ไม่ใช่แค่สตอเรจ และพอดีในขณะนั้น การทำงานเชิงอนุมานเริ่มทดแทนการฝึก เพราะอุตสาหกรรมต้องทำรายได้จากโมเดลเหล่านี้, และเอเย่นต์ก็เข้ามาทำให้หน่วยความจำเป็นเกมทั้งหมด

นั่นคือมุมมองที่ฉันนำมาสู่โครงสร้างพื้นฐาน AI เราเคยเห็นภาพยนตร์นี้มาก่อน Cloud FinOps เกิดขึ้นเพราะบริษัทต่าง ๆ สร้างโครงสร้างพื้นฐานโดยไม่มีการวัดผลเศรษฐศาสตร์ของหน่วย, แล้วจึงได้รับบิล AI อยู่ในเส้นโค้งเดียวกัน แต่เคลื่อนที่เร็วกว่า  เมื่อธุรกิจผลักดันการใช้โทเคนให้ถึงขีดสุดด้วยบิลการใช้ API ที่เกินงบประมาณโทเคนที่วางแผนไว้ เรากำลังเห็นการเกิดขึ้นของ AI FinOps นี่คือจุดที่องค์กรหยุดมองว่าการทำงานเชิงอนุมานเป็นสาธารณูปโภคราคาถูก, และเริ่มจัดการประสิทธิภาพโทเคนเป็นระเบียบการทางการเงิน AI FinOps เริ่มจาก tokenomics: การเพิ่มประสิทธิภาพทุกระดับของฮาร์ดแวร์และซอฟต์แวร์ในสแตกการทำงานเชิงอนุมานที่มีผลต่อค่าใช้จ่ายต่อโทเคนในแต่ละหน่วย ตอนนี้ของเสียใหญ่ที่สุดในสแตกนั้นคือ GPU และ ASIC ใหม่ที่นั่งว่าง, รอข้อมูลและหน่วยความจำ (เรียกว่า ‘decode’) แทนการทำ FLOPS (เรียกว่า ‘prefill’) ใครที่แก้ไขส่วนนี้ได้ จะเป็นเจ้าของขั้นตอนต่อไปของ AI

ทำเนียบขาวกำลังเก็บรายละเอียดของกรอบความปลอดภัย AI ใหม่เป็นความลับ. ธุรกิจจะเตรียมตัวสำหรับข้อกำหนดด้านกฎระเบียบได้อย่างไรเมื่อยังไม่ทราบแน่ชัดว่าจะต้องทดสอบหรือจำเป็นต้องทำอะไร?

บริษัทไม่ควรรอจนกว่าจะได้รายการตรวจสอบสุดท้าย การทดสอบเฉพาะจะเปลี่ยนแปลง, แต่ภาระหน้าที่พื้นฐานที่อยู่ใต้การทดสอบนั้นจะไม่เปลี่ยน: คุณต้องแสดงให้เห็นว่าโมเดล AI ของคุณทำอะไร, ข้อมูลใดที่มันเข้าถึง, และพฤติกรรมของมันในช่วงเวลาหนึ่ง และการรอคอยก็ไม่ได้เป็นทางเลือกแล้วทั่วโลก EU AI Act ได้มีผลบังคับใช้ตั้งแต่เดือนนี้, และมันจัดประเภทการจัดการเอเย่นต์ส่วนใหญ่เป็นความเสี่ยงสูง

นั่นหมายความว่าการเตรียมงานคือการทำงานด้านโครงสร้างพื้นฐาน การติดตามเชิงสายข้อมูล, การสังเกต, ความสามารถในการทำซ้ำ, และความสามารถในการสร้างสถานะของโมเดลตามความต้องการทั้งหมดเป็นสิ่งสำคัญสำหรับองค์กรที่จะทำให้ถูกต้อง สุดท้าย, องค์กรต้องนำโมเดลกำแพงป้องกันมาประยุกต์ใช้ก่อนผลลัพธ์, พร้อมกับการกำหนดความหน่วงและงบประมาณโทเคนสำหรับชั้นการป้องกันเชิงความหมาย หากคุณสร้างความสามารถเหล่านี้ตอนนี้, กรอบใด ๆ จะกลายเป็นเพียงการจัดรูปแบบ รอจนกว่าจะได้กฎสุดท้าย, แล้วคุณจะต้องปรับระบบให้มีความรับผิดชอบในระบบที่ไม่ได้ออกแบบมาเพื่ออธิบายตนเอง การปรับปรุงเช่นนั้นมักจะมีค่าใช้จ่ายสูงกว่าการสร้างตั้งแต่ต้น

โดยสรุป, วิธีแก้ปัญหาเพื่อสร้าง AI ที่ปลอดภัยคือการใช้ AI มากขึ้น, ปรับใช้อย่างเหมาะสมและตั้งใจอย่างยิ่ง

ประเภทของความต้องการโครงสร้างพื้นฐานใหม่ที่การทดสอบความปลอดภัย AI สามารถสร้างขึ้นได้คืออะไร, และภาระงานเหล่านั้นจะต่างจากการฝึกหรือการทำงานเชิงอนุมานแบบดั้งเดิมอย่างไร?

การฝึกเป็นเหมือนสายไฟที่ไหลแรง คุณผลักข้อมูลจำนวนมหาศาลผ่านโมเดลในรูปแบบที่คงที่และคาดเดาได้ การทดสอบความปลอดภัยเป็นตรงกันข้าม: พันๆ สถานการณ์การประเมิน, การตรวจสอบซ้ำ, การเปรียบเทียบพฤติกรรมรุ่นต่อรุ่น, และการทำ Red‑Team อย่างต่อเนื่องที่ไม่มีที่สิ้นสุด

โปรไฟล์นั้นสำคัญ การฝึกและการทดสอบความปลอดภัยเป็นแบบกระติก, มีการอ่านมาก, และเป็นการเปรียบเทียบ มันสร้างและใช้สถานะกลางจำนวนมหาศาล โมเดลกำแพงป้องกันต้องมีความหลากหลายและหลายชั้นโดยธรรมชาติ, ถูกนำไปใช้ภายในขอบเขตความหน่วงที่เข้มงวด, เพิ่มการประเมินด้วยมิติความปลอดภัยใหม่นี้ สำหรับโมเดลที่มีความสามารถขั้นสูงหรือความสามารถด้านไซเบอร์, โปรไฟล์ภาระงานเป็นแบบต่อเนื่อง 24/7 แทนที่จะเป็นแบบเป็นช่วง ๆ คุณไม่ได้ทำการทดสอบเพียงครั้งเดียวแล้วบันทึกผลลัพธ์ คุณกำลังรันภาระงานฝูงเอเย่นต์ต่อเนื่องที่แข่งขันในสภาพการผลิตกับการคำนวณ, หน่วยความจำ, และแบนด์วิดท์ข้อมูลเพื่อแอปพลิเคชันสำคัญที่พวกมันปกป้อง หลังจากคุณภาพและความเร็ว, โครงสร้างพื้นฐานส่วนใหญ่ในปัจจุบันยังไม่ได้ออกแบบมาสำหรับหลักการที่สามนี้

ยังมีปัญหาการวัดผลอยู่ด้านล่างนี้ด้วย ส่วนใหญ่ของเบนช์มาร์ค AI ปัจจุบันทำงานที่ 8,000 โทเคนหรือน้อยกว่า, หนึ่งพรอมต์, หนึ่งการตอบกลับ ฉันมักพูดว่าเป็นเบนช์มาร์คเทียมของเทียมปัญญาประดิษฐ์ ในกลางปี 2026, ภาระงานเอเย่นต์จริงทำงานที่ 100,000 ถึง 400,000 โทเคนของบริบทผ่านหลายพันรอบ หากการประเมินความปลอดภัยสืบทอดจากเบนช์มาร์คของเล่นเหล่านั้น เราจะกำลังรับรองระบบสำหรับโลกที่ไม่มีอยู่จริง ผู้กำกับกำลังสร้างความแข็งแกร่งที่ดีกว่า: NIST ได้เปิดเผยเครื่องมือประเมินความปลอดภัยของเอเย่นต์, และผลลัพธ์ที่ตีพิมพ์ในระยะแรกแสดงให้เห็นการโจมตีแบบ hijack เอเย่นต์ที่ใหม่ที่สำเร็จหลายเท่าของฐานข้อมูลที่รู้จัก นั่นคือประเภทของการทดสอบต่อเนื่อง, ปฏิบัติการ, มีค่าใช้จ่ายสูงที่ฉันคาดว่ากรอบความปลอดภัยจะมุ่งเน้น

องค์กรควรสร้างกำลังการคำนวณและความจุข้อมูลส่วนเกินโดยเฉพาะสำหรับภาระงานการปฏิบัติตามและความปลอดภัยในอนาคตหรือมีวิธีที่มีประสิทธิภาพมากกว่าการออกแบบเพื่อความไม่แน่นอนนั้น?

การซื้อ GPU ส่วนเกินและหวังว่าการใช้งานจะเพิ่มขึ้นนั้นทำให้ทุนติดอยู่ในฮาร์ดแวร์ที่เสื่อมค่า

คำตอบที่มีประสิทธิภาพคือโครงสร้างพื้นฐานที่ยืดหยุ่นระหว่างภาระงานการผลิตและการประเมินโดยไม่ต้องมีสแตกแยก นั่นเป็นปัญหาข้อมูลพื้นฐาน หากคุณสามารถย้ายและใช้ข้อมูลซ้ำได้อย่างมีประสิทธิภาพ, รักษาบริบทระหว่างภาระงาน, และทำให้ตัวเร่งความเร็วของคุณทำงานจริง ๆ อย่างต่อเนื่อง, การปฏิบัติตามจะกลายเป็นค่าใช้จ่ายเพิ่มเติมแทนการสร้างแยกส่วน เศรษฐศาสตร์ของ AI กำลังมุ่งไปที่คุณค่าที่คุณสกัดจากทุกโทเคน, ไบต์, และวัตต์ หากทำได้ถูกต้อง คุณสามารถสร้างมูลค่าเพิ่ม 3–4 เท่าจากโครงสร้างพื้นฐานเดียวกัน, หรือลดพื้นที่แร็คได้สูงสุด 75% การปฏิบัติตามควรอยู่ในมาตรฐานเดียวกัน

กรอบปัจจุบันรายงานว่ามุ่งเน้นที่โมเดลปิดขั้นสูงโดยยกเว้นโมเดลแบบเปิดน้ำหนัก. ความท้าทายด้านโครงสร้างพื้นฐานหรือความปลอดภัยใดอาจเกิดขึ้นจากการปฏิบัติต่อสองประเภทนี้แตกต่างกัน?

หากคุณปฏิบัติต่อโมเดลปิดและโมเดลเปิดน้ำหนักแตกต่างกัน, คุณจะได้กรอบการปฏิบัติตามสองชุดสำหรับเทคโนโลยีที่ทำสิ่งเดียวกัน, และช่องว่างระหว่างสองกรอบนั้นคือที่ที่ความเสี่ยงอาศัยอยู่

โมเดลเปิดน้ำหนักสามารถปรับแต่งและปรับใช้ในสภาพแวดล้อมที่ผู้ให้บริการต้นทางไม่มีการมองเห็นเลย การกำกับผู้ให้บริการก็ทำไม่ได้ที่นั่น และการแยกนี้มองเห็นแล้ว: การควบคุมการส่งออกได้มุ่งไปที่โมเดลปิดแนวหน้าใหม่ในปีนี้, ในขณะที่โมเดลเปิดน้ำหนักข้ามพรมแดนได้อย่างอิสระและตอนนี้อยู่ใกล้สุดของอันดับความสามารถสาธารณะ อย่างไรก็ตาม การบริหารจัดการโมเดลแนวหน้าไม่ได้หยุดที่โมเดลเอง การกำกับต้องมองเห็นที่โมเดลทำงานอยู่, ข้อมูลที่เข้าถึง, พรอมต์, การตอบกลับและเมตาดาต้าที่เก็บไว้, วิธีการที่โมเดลถูกแก้ไข, และโครงสร้างพื้นฐานที่อยู่ใต้สามารถสนับสนุน AI ที่ถูกกำกับได้ในระดับสเกล การอัปเดตใหม่ของ ISO27001 และ SOC2 จะจำเป็น

คำตอบของฉันคือเชื่อแต่ต้องตรวจสอบ หากโครงสร้างพื้นฐานของคุณให้ความจุโทเคน, คุณสามารถรันกำแพงป้องกันแบบหลากหลายต่อโมเดลใดก็ได้ก่อนที่ผลลัพธ์จะออก: ทั้งภายในและภายนอก, ทั้งเปิดและปิด การตรวจสอบเชิงวัตถุชนะการเชื่อใจโดยรวมหรือการไม่เชื่อโดยไม่มีเงื่อนไข เมื่อโมเดลเปิดเพิ่มจำนวน, ความสามารถในการตรวจสอบนั้นอยู่ในชั้นโครงสร้างพื้นฐาน, และนั่นคือที่ที่องค์กรจะสร้างความแตกต่าง นโยบายอาจกำหนดว่าโมเดลใดได้รับอนุญาต, โครงสร้างพื้นฐานจะตัดสินใจว่าโมเดลเหล่านั้นสามารถปรับใช้ได้อย่างรับผิดชอบและคุ้มค่า

เมื่อเอเย่นต์ AI มีความเป็นอิสระมากขึ้นและทำงานในบริบทที่ยาวนาน, สิ่งนั้นจะเปลี่ยนปริมาณข้อมูล, หน่วยความจำ, และการคำนวณที่องค์กรต้องจัดสรรเพื่อการเฝ้าติดตามและความปลอดภัยอย่างไร?

แชทบอทคือพรอมต์และการตอบกลับหนึ่งครั้ง เอเย่นต์อิสระคือกระบวนการที่ทำงานต่อเนื่อง มันสัมผัสกับหลายระบบ, ดึงข้อมูล, ทำการตัดสินใจระหว่างขั้นตอน, และสะสมสถานะเป็นชั่วโมงหรือวันก่อนทำภารกิจให้เสร็จสิ้น

คุณไม่สามารถเฝ้าติดตามด้วยการสุ่มตัวอย่างโทเคนหรือการตอบกลับได้ ต้องจับลำดับทั้งหมด: สิ่งที่เอเย่นต์รู้, เมื่อไรที่มันรู้, และสิ่งที่มันทำต่อไป ทุกชั่วโมงที่เอเย่นต์ทำงาน สถานะของมันจะเพิ่มขึ้น, และหน่วยความจำ, การเคลื่อนย้ายข้อมูล, และโครงสร้างพื้นฐานที่จำเป็นต้องใช้เพื่อจับและวิเคราะห์ก็เพิ่มตาม การเฝ้าติดตามจึงไม่ใช่แค่ฟีเจอร์การบันทึก แต่กลายเป็นภาระงานระดับแรกที่มีงบประมาณทรัพยากรของตนเอง

การป้องกันคือจุดที่เรื่องนี้เร่งด่วน ปัญหาหน่วยความจำของ AI กำลังกลายเป็นปัญหาด้านความปลอดภัย เอเย่นต์เขียนโค้ดอาจสตาร์ท, ส่งมอบ, และปิดตัวได้ แต่เอเย่นต์ด้านความปลอดภัยไม่สามารถทำเช่นนั้นได้ มันต้องเก็บบริบทข้ามการเปลี่ยนกะของศูนย์ปฏิบัติการความปลอดภัย, การอัปเดตโมเดลบ่อยครั้ง, และแคมเปญการโจมตีหลายขั้นตอนที่เคยใช้สัปดาห์หลายสัปดาห์, แต่ตอนนี้ทำงานที่ความเร็วของเครื่องในระดับประสานงาน เมื่อหน่วยความจำทำงาน AI ถูกลบและคำนวณใหม่ทุกไม่กี่นาที, เอเย่นต์ที่ตรวจจับพฤติกรรมแปลกในชั่วโมงแรกของเหตุการณ์จะไม่มีความทรงจำในชั่วโมงที่สอง ผู้โจมตีไม่มีปัญหานั้น เอเย่นต์ของพวกเขายังคงระบุและไล่ตามจุดอ่อนอย่างต่อเนื่อง, และห่วงโซ่การโจมตีตอนนี้เสร็จสิ้นที่ความเร็วของ tokenomics‑optimized machine, ดังนั้นการป้องกันไซเบอร์ด้วย AI ต้องทำงานอิสระตลอด 24/7 และนี่ไม่ใช่ทฤษฎี ผู้จัดจำหน่ายความปลอดภัยกำลังเตรียมเอเย่นต์ไซเบอร์ 24/7 อยู่ในขณะนี้, สิ่งแรกที่พวกเขาพบคือเศรษฐศาสตร์ไม่เหมือนงานแชทบางส่วน องค์กรบางแห่งต้องการเอเย่นต์เหล่านี้ทำงานที่ขอบเครือข่าย, ในสถานที่ที่ไม่สามารถส่งแร็ค GPU หรือแม้กระทั่งเครื่องทำความเย็นได้ในปีนี้ การทดสอบจริงสำหรับ AI ระดับองค์กรคือการรักษาบริบทต่อเนื่อง, ไม่ใช่การทำ inference เพียงจุดเดียว นี้กลายเป็นการต่อสู้ของการสึกหรอของโทเคน, และผู้ที่แก้ปัญหาหน่วยความจำบริบทต่อเนื่องในระดับสเกลจะเป็นพลังขับเคลื่อนแอปพลิเคชันระดับแนวนอนแรกใน AI ระดับองค์กร: ฝูงเอเย่นต์สีน้ำเงินทำงานตลอดเวลา

คุณได้พูดถึงความสำคัญที่เพิ่มขึ้นของ “หน่วยความจำบริบท” เมื่อภาระงาน AI เคลื่อนจากแชทง่าย ๆ ไปสู่เอเย่นต์ที่คงอยู่ต่อเนื่อง. หน่วยความจำบริบทอาจมีความสำคัญต่อการตรวจสอบ, การทำซ้ำ, หรือการสืบสวนพฤติกรรม AI หรือไม่?

แน่นอน, และนี่เป็นกรณีการใช้งานที่สำคัญ หลายปีที่ผ่านมา, หน่วยความจำเป็นเรื่องของประสิทธิภาพ: ความเร็วที่คุณสามารถป้อนข้อมูลให้ GPU, ปริมาณบริบทที่คุณสามารถเก็บได้ เมื่อเอเย่นต์เริ่มทำงานอิสระ, หน่วยความจำนั้นกลายเป็นหลักฐาน หากเอเย่นต์ทำการตัดสินใจโดยอิงจากบริบทที่สะสมหลายวัน, พรอมต์และผลลัพธ์สุดท้ายบอกคุณได้เพียงเล็กน้อยเกี่ยวกับเหตุผลที่มันทำเช่นนั้น คำอธิบายอยู่ในสถานะที่สะสม

ในเชิงเทคนิค, สถานะส่วนใหญ่เก็บอยู่ใน KV cache, และอุตสาหกรรมยังคงมองว่าเป็นพื้นที่ทำงานชั่วคราวที่ทิ้งได้แทนที่จะเป็นข้อมูลที่คงทน หากคุณเก็บสถานะนั้นและสามารถเรียกคืนได้อย่างมีประสิทธิภาพ, คุณสามารถสร้างสภาพที่ระบบรู้ในขณะทำการได้ ทีมงานจะใช้มันสำหรับการดีบักก่อน, จากนั้นสำหรับการประเมินความปลอดภัย, และในที่สุดบางคนจะต้องใช้ในการสืบสวน การทิ้งหน่วยความจำบริบทหมายถึงการทิ้งบันทึกเดียวที่อธิบายว่าทำไม AI ของคุณทำสิ่งที่ทำ

การกำกับดูแล AI ในที่สุดอาจบังคับให้บริษัทต้องเก็บข้อมูลมากขึ้นเกี่ยวกับอินพุต, เอาต์พุต, เช็คพอยท์, เส้นทางข้อมูล, และกิจกรรมของเอเย่นต์? สิ่งนั้นจะหมายความอย่างไรต่อสถาปัตยกรรมโครงสร้างพื้นฐาน AI?

โดยทิศทาง, คำตอบคือใช่. เมื่อระบบ AI มีผลกระทบมากขึ้น, ความต้องการด้านการมองเห็นจะขยายไปครอบคลุมทุกขั้นตอนของสายการผลิต คุณสามารถเห็นสัญญาณเริ่มต้นแล้ว: ทีมงานกำลังวางแผนเก็บหน่วยความจำบริบทที่เก่าในระดับสตอเรจออบเจกต์ที่ถูกจัดเก็บราคาถูกเพื่อการตรวจสอบ, ก่อนที่กฎระเบียบใด ๆ จะกำหนดให้ทำเช่นนั้น

การตรวจสอบการเฝ้าติดตามพร้อมความไม่เปลี่ยนแปลงเป็นสิ่งสำคัญ การดัดแปลงบันทึกและหลักฐานดิจิทัลอื่น ๆ โดยเอเย่นต์อันชั่วร้ายกลายเป็นเรื่องปกติ, ทำให้ต้องมีระบบตรวจสอบเชิงคริปโตที่ซับซ้อนที่ไม่อ่อนไหวต่อการโจมตีที่มุ่งเป้าไปที่ความสมบูรณ์ศูนย์กลาง การบันทึกความโปร่งใสหรือห่วงโซ่แฮชอย่างง่ายไม่เพียงพอที่จะป้องกันความสามารถของฝูงเอเย่นต์ที่ทำงานร่วมกัน สถาปัตยกรรมบล็อกเชนสาธารณะแบบกระจายสูงเหมาะอย่างยิ่งสำหรับเรื่องนี้, เน้นคุณค่า Integrity ที่มักถูกมองข้ามในสามเหลี่ยม C‑I‑A ของความปลอดภัยไซเบอร์

การเก็บรักษาไม่ได้เป็นเพียงปัญหาการจัดเก็บข้อมูลขนาดใหญ่ที่น่ากลัวและไม่เปลี่ยนแปลง ส่วนที่ยากคือการทำให้ข้อมูลนั้นเป็นที่เชื่อถือได้, จัดระเบียบ, ทำดัชนี, และเรียกคืนได้อย่างรวดเร็วพอที่จะใช้ได้ภายใต้กำหนดเวลา ไม่ว่าจะเป็นจากผู้กำกับ, การตอบสนองต่อเหตุการณ์, หรือศาล. เพ็ตะไบต์ของกิจกรรมเอเย่นต์ที่คุณไม่สามารถสืบค้นได้เป็นภาระความรับผิดชอบ, ไม่ใช่บันทึก. การเปลี่ยนแปลงสถาปัตยกรรมคือการย้ายจาก “เก็บข้อมูลเพิ่ม” ไปสู่โครงสร้างพื้นฐานที่ออกแบบรอบงาน AI ที่สามารถตรวจสอบได้, คงที่, และสามารถสืบค้นได้เป็นภาระงานหลัก

หลายองค์กรมุ่งเน้นการซื้อ GPU เพิ่มขึ้น, แต่คุณมองเห็นคอขวดโครงสร้างพื้นฐานที่ไม่ชัดเจนกว่าใดบ้างเมื่อภาระงาน AI ขยายและความต้องการด้านความปลอดภัยเพิ่มขึ้น?

GPU ได้รับความสนใจเนื่องจากเป็นรายการงบประมาณที่ไม่ใช่เรื่องเล็กน้อย แต่ GPU และโดยเฉพาะตัวเร่งความเร็วใหม่ที่ออกแบบมาเพื่อการ decode (ASIC+SRAM) มักไม่ใช่ข้อจำกัดจริง ๆ แบนด์วิดท์หน่วยความจำ, แรงโน้มของข้อมูลและการเคลื่อนย้าย, ประสิทธิภาพการจัดเก็บ, และเครือข่ายเป็นสิ่งที่กำหนดว่าตัวเร่งความเร็วทำงานผลิตผลหรือรอคอยโดยไม่ได้ใช้ประโยชน์

เมื่อ AI มีบริบทหนักขึ้น, กำแพงหน่วยความจำกลายเป็นข้อจำกัดสำคัญ คุณสามารถเพิ่ม GPU ได้ต่อเนื่อง, แต่หากพวกมันใช้รอบการคำนวณเพื่อคำนวณโทเคนใหม่หรือย้ายบริบทระหว่างระบบ, คุณกำลังจ่ายค่าแรงงานที่สูญเปล่าอย่างต่อเนื่อง การขยายกำแพงหน่วยความจำหมายถึงทำให้ชั้นข้อมูลทำงานเหมือนสตอเรจที่แชร์, แต่ทำงานที่ความเร็วของหน่วยความจำจริง ความเร็วระดับ HBM‑adjacent นี้สำคัญต่อโซลูชันการถ่ายโอน KV cache ที่กำลังมาถึง: ทุกโซลูชันต้องให้ประสิทธิภาพระดับหน่วยความจำจริงเพื่อให้ tokenomics มีความคุ้มค่า ค่าใช้จ่ายของ KV cache เป็นการพูดคุยด้านต้นทุน, รองจากศูนย์กำไร หากการอ่านบริบทที่แคชช้ากว่าการคำนวณใหม่, แคชจะไม่มีค่าในสมการธุรกิจ สิ่งที่สำคัญไม่ใช่จำนวน GPU ที่คุณมี, แต่ความผลิตผลของแต่ละ GPU การเศรษฐศาสตร์ของ AI สรุปที่คุณสกัดค่าจากทุกโทเคน, ไบต์, และวัตต์, และความต้องการด้านความปลอดภัยจะเพิ่มความสำคัญของคณิตศาสตร์นี้

มองไปข้างหน้า, คุณคาดว่า AI safety และ compliance จะกลายเป็นภาระงานโครงสร้างพื้นฐานที่แยกออกมาเอง, คล้ายกับที่ cybersecurity พัฒนาเป็นชั้นเทคโนโลยีระดับองค์กร?

เราจะเห็น AI safety และ compliance กลายเป็นภาระงานที่แยกออกมา, และการเปรียบเทียบกับ cybersecurity มีทั้งสองด้าน. ความปลอดภัยไซเบอร์กลายเป็นชั้นแยกเมื่ออุตสาหกรรมยอมรับว่ามันไม่อาจเป็นการทำแบบครั้งคราวได้ อุตสาหกรรมประกันภัยไซเบอร์ทำให้เรื่องนี้เป็นสิ่งที่ไม่อาจหลีกเลี่ยงได้ AI safety อยู่บนเส้นทางบังคับเช่นเดียวกันเมื่อโมเดลมีความสามารถและอิสระมากขึ้น

แต่เราควรเรียนรู้จากที่ความปลอดภัยไซเบอร์ทำผิด พวกมันกลายเป็นส่วนเสริม: สแตกแยก, งบประมาณแยก, ทีมแยกที่ค้นหาปัญหาหลังจากเกิดเหตุแล้ว โครงสร้างพื้นฐานความปลอดภัยไม่ควรทำซ้ำความผิดพลาดนั้น การเฝ้าติดตาม, การประเมิน, ความสามารถในการตรวจสอบ, และการเก็บรักษาที่ไม่เปลี่ยนแปลงควรอยู่ภายในโครงสร้างพื้นฐาน AI เอง, ออกแบบร่วมตั้งแต่ต้น

นี่คือส่วนที่หลายคนมองข้าม: AI ที่ปลอดภัยต้องการ AI มากขึ้น โมเดลกำแพงป้องกันไม่ใช่ของฟรี พวกมันต้องได้รับการฝึกฝนต่อเนื่อง, ปรับแต่ง, และทำ inference ในทุกขั้นตอนของการทำงานของเอเย่นต์ ความหน่วงของโทเคนทำให้เรื่องนี้เป็นรูปธรรม: ทุกการตอบสนองมีหน้าต่างเวลาคงที่, และยิ่งคุณประมวลผลโทเคนได้มากในหน้าต่างนั้น, คุณก็ยิ่งมีความสามารถในการตรวจสอบก่อนที่ผลลัพธ์จะออกไป และภัยคุกคามที่แท้จริงจากโมเดลแนวหน้าคือการประยุกต์ใช้แบบเอเย่นต์ เอเย่นต์ทำงานเป็นลูปการ inference ปริมาณสูง, ทำการเรียกโมเดลซ้ำหลายครั้งในช่วงเวลายาวนาน ทุกลูปคือ observe, orient, decide, act, และแต่ละขั้นตอนเผาผลโทเคน นั่นทำให้ความปลอดภัย AI กลายเป็นสงครามการสึกหรอของโทเคน ฝูงเอเย่นต์สีแดงทำการโจมตี, ฝูงเอเย่นต์สีฟ้าป้องกัน, และฝ่ายที่สามารถสร้างโทเคนได้มากต่อดอลลาร์และต่อวัตต์จะชนะ Tokenomics อยู่บนเส้นทางสำคัญของการโจมตีและการป้องกัน สิ่งนี้หยุดเป็นแค่การทดลองความคิดในฤดูร้อนนี้, เมื่อการโจมตีฝูงเอเย่นต์สีแดงต่อคลังโมเดลใหญ่ทำให้อุตสาหกรรมตื่นตัว, และพันธมิตร AI ปลอดภัยที่ทุ่มเทได้ก่อตั้งขึ้นภายในไม่กี่วัน ในขณะเดียวกัน ปริมาณงานยังคงทบต้น: การประมวลผลโทเคนของอุตสาหกรรมเปลี่ยนจากล้านล้านเป็น quadrillion

เมื่อความปลอดภัยกลายเป็นข้อกำหนดที่ทำงานตลอดเวลา, ค่าใช้จ่ายด้านการคำนวณ, หน่วยความจำ, และข้อมูลจะไม่ใช่ค่าใช้จ่ายส่วนเกินอีกต่อไป พวกมันจะเป็นส่วนหนึ่งของเศรษฐศาสตร์หน่วยพื้นฐานของการรัน AI บริษัทที่นำแนวคิดนี้มาปรับใช้ตั้งแต่เนิ่น ๆ จะมองความปลอดภัยเป็นอินพุตของการออกแบบ ทุกคนอื่นจะมองว่าเป็นภาษี

ขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม, ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม WEKA.