นิโคเลาส์ วาซิโลกลู, VP ของการวิจัย ML ที่ RelationalAI – ซีรีส์สัมภาษณ์

นิโคเลาส์ วาซิโลกลู เป็น VP ของการวิจัย ML ที่ RelationalAI เขาใช้เวลาทั้งอาชีพในการสร้างซอฟต์แวร์ ML และนำโครงการวิทยาศาสตร์ข้อมูลใน零售 การโฆษณาออนไลน์ และความปลอดภัย เขาเป็นสมาชิกของชุมชน ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P โดย曾เป็นนักเขียน ผู้ตรวจสอบ และผู้จัดงานสัมมนาและงานประชุมหลัก นิโคเลาส์เป็นผู้นำการวิจัยและความคิดริเริ่มเชิงกลยุทธ์ที่จุดตัดของโมเดลภาษาขนาดใหญ่และกราฟความรู้สำหรับ RelationalAI

RelationalAI เป็นบริษัท AI ระดับองค์กรที่สร้างแพลตฟอร์มการทำความเข้าใจการตัดสินใจที่ออกแบบมาเพื่อช่วยให้องค์กรต่างๆ เคลื่อนไหวจากการวิเคราะห์ข้อมูลไปสู่การตัดสินใจโดยอัตโนมัติที่มีคุณภาพสูง เทคโนโลยีนี้รวมกับสภาพแวดล้อมข้อมูลเช่น Snowflake โดยรวมฐานข้อมูลแบบเรลเชชันล์ กราฟความรู้ และระบบการให้เหตุผลขั้นสูงเพื่อสร้าง “แบบจำลองเชิงว义” ของธุรกิจ ซึ่งโดยพื้นฐานแล้วเข้ารหัสวิธีการดำเนินงานของบริษัท ความสัมพันธ์ และตรรกะของมัน สิ่งนี้ช่วยให้ระบบ AI (รวมถึงตัวแทนการตัดสินใจเช่น “Rel”) สามารถให้เหตุผลเกี่ยวกับข้อมูลที่ซับซ้อนและเชื่อมต่อกัน และสร้างข้อมูลเชิงลึกที่คาดการณ์และแนะนำได้ ทำให้องค์กรต่างๆ สามารถตัดสินใจได้เร็วขึ้นและมีข้อมูลมากขึ้นโดยไม่ต้องย้ายข้อมูลออกจากสภาพแวดล้อมคลาวด์ที่ปลอดภัย

คุณมีเส้นทางอาชีพที่หายากซึ่งครอบคลุมการเรียนรู้ของเครื่องแบบวิชาการ การใช้งานอุตสาหกรรมขนาดใหญ่ และบทบาทผู้นำในบริษัทต่างๆ เช่น Symantec, Aisera และ RelationalAI ในขณะนี้ อะไรคือสิ่งที่ประสบการณ์เหล่านั้นช่วย塑造มุมมองของคุณเกี่ยวกับจุดที่การวิจัยการเรียนรู้ของเครื่องพบกับระบบโลกแห่งความเป็นจริงวันนี้?

ฉันมีโชคที่ได้ทำงานในหลายโดเมนธุรกิจ ตั้งแต่การค้าปลีกและความปลอดภัย ไปจนถึงการโฆษณาออนไลน์ ซึ่งช่วยให้ฉันเข้าใจว่าการเรียนรู้ของเครื่องและ AI เป็นตัวส่วนร่วมที่สำคัญ เรารู้ตั้งแต่ช่วงต้นปี 2000 ว่าซอฟต์แวร์กำลัง “กิน” โลก ข้อมูลกำลัง “กิน” การตัดสินใจเชิงปัญญา แต่ไม่มากนักที่บริษัท เช่น Google (GOOGL ) เชื่อว่าแอลกอริทึมการเรียนรู้ของเครื่องขั้นสูงจะ “กิน” ทุกสิ่งทุกอย่างในอนาคต ในปี 2008 ผู้เข้าร่วม NeurIPS ถูกมองว่าเป็น “คนบ้า” และ “คนฝัน” ที่ไม่เข้าใจโลกแห่งความเป็นจริง แต่ฉันเชื่อว่ามันจะเปลี่ยนแปลงไป และฉันไม่หยุดยั้งในการมีส่วนร่วมในการเปลี่ยนแปลงการวิจัยทางวิชาการไปสู่อุตสาหกรรม

การวิเคราะห์ของคุณเกี่ยวกับ NeurIPS 2025 ใช้เครื่องมือช่วยเขียนโค้ด เช่น Claude Code, OpenAI Codex และ NotebookLM เพื่อประมวลผลการประชุมทั้งหมด คุณตกใจมากที่สุดเกี่ยวกับการใช้ระบบ AI ในการวิเคราะห์การวิจัย AI เอง?

มันง่ายมากที่จะสร้างซอฟต์แวร์เพื่อเก็บข้อมูล อ่านข้อมูลด้วยเครื่องจักร และจัดหมวดหมู่เข้าด้วยกัน และสรุปและอธิบายมันในแบบที่เข้าใจได้ง่าย GenAI มีประสิทธิภาพในการเล่าเรื่อง แต่ไม่สามารถเล่าเรื่องได้ NotebookLM เป็นราชินีในการวิเคราะห์โดเมนใดๆ และให้ผลลัพธ์ที่น่าเหลือเชื่อ แต่คุณไม่มีการควบคุมเรื่องราว รูปภาพ หรือการเน้นย้ำ ฉันเรียนรู้ว่าเครื่องมือเหล่านี้ไม่ดีในการสร้างสไลด์ PowerPoint ดังนั้นฉันต้องสร้าง HTML แล้วแปลงเป็น PDF สิ่งที่ท้าทายที่สุดคือการสร้างตัวเลข – การสร้างแบบกระจายเป็นเรื่องที่ช้า ไม่น่าเชื่อถือ และมีราคาแพง โดยไม่มีการควบคุม น่าประหลาดใจที่โมเดลเหล่านี้ดีในการสร้าง SVG โดยใช้ matplotlib, plotly และไลบรารี Python อื่นๆ วิธีนี้สามารถปรับขนาดได้ แต่ต้องใช้หลายครั้งในการแก้ไขข้อผิดพลาดการแสดงภาพ โมเดลเหล่านี้จะดีขึ้นในอนาคต

หนึ่งในหัวข้อที่เข้มแข็งที่สุดในงานวิเคราะห์ของคุณคือการเปลี่ยนแปลงจากการปรับขนาดในระหว่างการฝึกอบรมไปสู่การคำนวณในระหว่างการอนุมาน ทำไมการคำนวณในระหว่างการอนุมานจึงเกิดขึ้นเป็นเครื่องมือที่ทรงพลังในการปรับปรุงประสิทธิภาพของโมเดล?

การปรับขนาดตามกฎเป็นเครื่องมือนำทางของเรา การเพิ่มขนาดของโมเดลและข้อมูลการฝึกอบรมได้ถึงขีดจำกัดแล้ว การปรับขนาดในยุคแรกๆ นำเราไปสู่ GPT-4 มันช่วยให้ OpenAI เริ่มการปฏิวัติ GenAI เราเริ่มรู้ว่ามี chiềuอื่นที่ช่วยให้โมเดลสามารถสร้างโทเค็นหลายๆ ก่อนที่จะตอบคำถามได้ นี่เป็นวิธีอื่นในการปรับปรุงประสิทธิภาพของ LLMs ขนาดของโมเดลและความยาวการให้เหตุผลมักจะแสดงเป็นโหมดการคิด System 1 และ System 2 (Daniel Kahneman) การให้เหตุผลเป็นอีกวิธีหนึ่งในการเพิ่มความสามารถของโมเดล ถ้าคุณคิดถึงมัน การพัฒนาของมนุษย์เริ่มต้นจากสัญชาตญาณ (ความฉลาดสูง) แต่ความสำเร็จมักจะมาจากความสามารถในการให้เหตุผลที่ยาวและเจ็บปวด เราเห็นรูปแบบนี้: โมเดลที่เล็กกว่าพร้อมหน้าต่างการให้เหตุผลที่ยาวกว่าสามารถเอาชนะโมเดลที่ใหญ่กว่า 100 เท่าได้ ดังนั้นการให้เหตุผลจึงสำคัญกว่าความฉลาดใน LLMs

คุณเน้นย้ำถึงการเปลี่ยนแปลงจากโมเดลแบบเดียวไปสู่ระบบอัจฉริยะที่สามารถวางแผน ทำงาน และตรวจสอบผลลัพธ์ของตนเองได้ ระบบอัจฉริยะเหล่านี้ใกล้จะกลายเป็นรูปแบบการผลิตที่เชื่อถือได้หรือยัง?

เรากำลังทำความก้าวหน้าอย่างมากในด้านนี้ ปัญหาที่ใหญ่ที่สุดคือความน่าเชื่อถือและความปลอดภัย เพื่อให้เราสามารถไว้วางใจให้พวกมันทำงานอัตโนมัติได้ หากคุณดูเนื้อหาของ NeurIPS คุณจะเห็นระบบอัตโนมัติที่ทำการวิจัย แก้ปัญหาทางคณิตศาสตร์ และแก้ปัญหาโค้ด แต่คุณไม่เห็นรถยนต์ไร้คนขับที่ใช้ระบบอัจฉริยะ ตัวอย่างล่าสุดกับ Moltbook (เครือข่ายสังคมสำหรับตัวแทน AI) เน้นย้ำถึงปัญหาของระบบอัจฉริยะอัตโนมัติ อย่างไรก็ตาม การค้นพบยาใหม่และวัสดุโดยใช้ระบบอัจฉริยะเป็นสิ่งใหญ่ ดังนั้น มาเฉลิมฉลองและเน้นย้ำเรื่องนี้กัน

ดูเหมือนว่าประสิทธิภาพเป็นตัวขับเคลื่อนหลักของนวัตกรรม โดยมีโมเดลที่เล็กกว่าบรรลุประสิทธิภาพที่แข่งขันกันผ่านการปรับปรุงโครงสร้างและกลยุทธ์การอนุมานที่ชาญฉลาด มากกว่าการเพิ่มขนาดของโมเดลโดยตรง?

เมื่อ AI ขยายไปสู่การผลิต การวิศวกรรมกลายเป็นสิ่งสำคัญ การพึ่งพาโมเดลแนวหน้าไม่ยั่งยืน มันเหมาะสำหรับการแสดง แต่บริษัทต่างๆ ต้องเผชิญกับความจริงที่ขมขื่นเมื่อเห็นต้นทุนสูงของโมเดลขนาดใหญ่ สำหรับครั้งแรก โมเดลที่เล็กกว่ากลายเป็นวิธีแก้ปัญหาที่เป็นไปได้มากขึ้น มีพลังที่เงียบๆ ที่เปลี่ยนแปลงสถานะของอุตสาหกรรม นั้น NVIDIA (NVDA ) มีเอกสิทธิ์ในการผลิต GPU และรักษาราคาสูง แต่ AMD กำลังเข้าสู่ตลาดด้วยชิปคุณภาพสูง ซึ่งจะบังคับให้ราคาลดลง พลังงานยังคงเป็นปัญหา แต่เรากำลังเห็นการเคลื่อนไหวในตลาด เมื่อมีห้องปฏิบัติการแนวหน้าที่มีราคาแพงขึ้น วิธีแก้ปัญหาโมเดลที่เล็กกว่าบน GPU ที่เช่าจ่ายได้กลายเป็นทางเลือกที่เป็นไปได้มากขึ้น

การนำเสนอของคุณชี้ให้เห็นว่าสนามการวิจัยได้เปลี่ยนจากการปรับขนาดในหนึ่งมิติ (พารามิเตอร์) ไปสู่การปรับขนาดหลายมิติที่เกี่ยวข้องกับพารามิเตอร์ ข้อมูล โครงสร้าง และการอนุมาน นักวิจัยและผู้ปฏิบัติงานควรคิดเกี่ยวกับพาราได้มใหม่นี้อย่างไร?

สำหรับมืออาชีพส่วนใหญ่ โครงสร้างและพารามิเตอร์อยู่นอกเหนือการควบคุม ผู้ผลิตโมเดลที่มีทุนจะขับเคลื่อนนวัตกรรม ความยาวการอนุมานของโทเค็นจะถูกกำหนดโดยการลงทุนขององค์กร สิ่งที่เหลืออยู่ภายใต้การควบคุมของพวกเขาคือข้อมูล เราจะเห็นความสนใจมากขึ้นในการสร้าง คัดเลือก และแก้ข้อผิดพลาดของข้อมูล (การให้เหตุผลส่วนใหญ่) สิ่งนี้จะเป็นจุดสนใจของการดำเนินงานประจำวัน แน่นอนว่าพวกเขาจะต้องติดตาม NeurIPS และการประชุมใหญ่อื่นๆ เพื่อ cập nhậtแนวโน้มของสถาปัตยกรรมใหม่

ในงานสังเคราะห์ของคุณเกี่ยวกับ NeurIPS คุณชี้ให้เห็นว่าการวิจัยที่เพิ่มขึ้นกำลังเน้นไปที่การค้นพบทางวิทยาศาสตร์ที่ขับเคลื่อนด้วย AI ตั้งแต่ชีววิทยาไปจนถึงการสร้างแบบจำลองสภาพภูมิอากาศ คุณเห็นว่า AI สำหรับการวิทยาศาสตร์เป็นแนวหน้าหลักถัดไปสำหรับการวิจัยการเรียนรู้ของเครื่องหรือไม่?

ฉันคิดว่ามันไปไกลกว่านั้น มันคือการล่าทองคำใหม่ ในปี 1849 การล่าทองคำในแคลิฟอร์เนียได้ถึงจุดสูงสุด ทุกคนต้องทำเพียงกรองน้ำในแม่น้ำเพื่อหาทอง แต่สิ่งที่เรารู้วันนี้เป็นเรื่องที่แท้จริง ฉันเห็นคลื่นใหญ่ของสตาร์ทอัพขนาดเล็ก 2-3 คนโดยใช้โมเดลภาษาในการค้นหาวัสดุใหม่ ยา และส่วนประกอบผลิตภัณฑ์ การเผาโทเค็นในลักษณะที่ฉลาดที่สุดสามารถให้ผลตอบแทนที่มาก โค้ดช่วยเหลือ เช่น Claude Code, OpenAI Codex และ Google Antigravity สามารถกำจัดอุปสรรคสำหรับบริษัท SaaS โดยปล่อยให้คนรุ่นใหม่ของนักวิทยาศาสตร์คอมพิวเตอร์ที่มีความสามารถในการค้นหาทางวิทยาศาสตร์ หากคุณทำงานในองค์กรที่ไม่แสวงหาผลกำไร เช่น First Principles หรือ Bio[hub] มีโอกาสในการค้นพบกฎหมายฟิสิกส์ใหม่ๆ ทฤษฎี หรือส่วนช่วยอื่นๆ ในชีววิทยา หากคุณต้องการสร้างรายได้ คุณจะทำงานในการคิดค้นผลิตภัณฑ์ใหม่ๆ ตามวิทยาศาสตร์ เช่น ยา วัสดุ แบตเตอรี่ ฯลฯ

งานของคุณยังเน้นย้ำถึงช่องว่างการยืนยันที่เพิ่มขึ้น โดยที่โมเดลบรรลุผลคะแนนมาตรฐานที่แข็งแกร่ง แต่ล้มเหลวในการเปลี่ยนแปลงโลกแห่งความเป็นจริงที่ง่ายๆ สิ่งนี้เปิดเผยข้อจำกัดของโมเดลภาษาขนาดใหญ่ในปัจจุบันอย่างไร?

พวกมันดูเหมือนจะมีความจำที่น่าเหลือเชื่อ และสามารถทั่วไปได้ดี มาตรฐานเป็นเรื่องดีในการเริ่มต้นการวิจัย เมื่อคุณข้ามเกณฑ์หนึ่ง คุณเรียนรู้มาตรฐานมากกว่าปัญหา เราได้ดีมากในการรีเซ็ตมาตรฐานและทำให้พวกมันยากขึ้นเพื่อผลักดันขีดจำกัด ปัญหากับมาตรฐานคือว่าในบางจุด เราเริ่มที่จะเกินและในที่สุดก็โกง เรามีแนวโน้มที่จะทำให้คู่แข่งมีความซื่อสัตย์มากขึ้น ฉันไม่ให้ความสนใจกับมาตรฐานหลังจากที่มีการกระโดดหลายครั้ง คุณสามารถมีผลิตภัณฑ์ที่ดีๆ ที่ไม่ได้อยู่ใน 10 อันดับแรกของตารางคะแนนได้ ฉันเห็นผลิตภัณฑ์ที่ไม่ดีหลายตัวที่ดีในการทดสอบ

การนำเสนอของคุณชี้ให้เห็นว่าโมเดลภาษาขนาดเล็กที่รวมกับการปรับขนาดการอนุมานและสถาปัตยกรรมอัจฉริยะอาจทำให้ระบบ AI ที่ทรงพลังสามารถทำงานนอกศูนย์กลางข้อมูลขนาดใหญ่ได้ การกระจายสิ่งนี้สามารถเปลี่ยนแปลงวิธีการใช้ AI ในอุตสาหกรรมต่างๆ ได้หรือไม่?

เรามุ่งเน้นไปที่การนำไปใช้แบบเอดจ์อย่างมาก เราจะเห็นอุปกรณ์ที่ฉลาดกว่ารอบตัวเราอย่างแน่นอน Microsoft (MSFT ) ได้ทำงานมาหลายปีในการพัฒนา 1bit LLM ซึ่งสามารถบีบอัดได้ประมาณ 30 เท่า ทำให้สามารถทำงานได้แม้แต่แบบจำลองแนวหน้าบนชิปเดียวในอนาคต เราได้ติดตามงานนี้มาหลายปีแล้ว และความก้าวหน้าเป็นเรื่องที่น่าเหลือเชื่อ โดยเฉพาะอย่างยิ่งในด้านอุปกรณ์ที่สวมใส่

สิ่งหนึ่งที่ถูกกล่าวถึงในการประชุม NeurIPS เมื่อปีที่แล้วคือแนวคิดในการรวมโมเดลเอดจ์ที่อ่อนแอกับโมเดลแนวหน้า ซึ่งช่วยให้คุณสามารถปรับเปลี่ยนพลังการอนุมานตามแบนด์วิธของคุณในพิสัยต่อเนื่อง การประชุม Telco ครั้งแรกที่ NeurIPS เปิดเผยแนวโน้มในการวาง GPU บนตึกส่งสัญญาณ ซึ่งเป็นเรื่องที่น่าสนใจเพราะตึกส่งสัญญาณไม่ใช่ศูนย์กลางข้อมูลหรืออุปกรณ์เอดจ์ สิ่งนี้แนะนำชั้นใหม่ในลำดับของการคำนวณ

สิ่งหนึ่งที่หลุดออกจาก LLMs คือการฝึกโมเดลแบบกระจาย (และฉันไม่ได้หมายถึง Google ที่ฝึก Gemini ในศูนย์ข้อมูลระยะไกล) มีแนวโน้มที่น่าสนใจที่กำลังตามมา ซึ่งก็คือการฝึกโมเดลของตนเองโดยหน่วยงานอิสระ และผู้ใช้รวมเข้าด้วยกันเพื่อสร้างโมเดลที่ใหญ่และทรงพลังมากขึ้น นี่คือสถาปัตยกรรมแบบโมดูลาร์ที่มีแนวโน้มมาก สิ่งนี้คือวิธีการฝึกโมเดลขนาดใหญ่ ทีมต่างๆ สร้างโมเดลที่เชี่ยวชาญและในตอนท้ายพวกเขารวมเข้าด้วยกันเหมือนบล็อกเลโก้

หลังจากวิเคราะห์เอกสาร NeurIPS หลายพันเรื่อง คุณคิดว่าชุมชนการวิจัย AI คาดการณ์ความก้าวหน้าได้อย่างแม่นยำที่ไหน และที่ไหนอาจพลาดการเปลี่ยนแปลงที่สำคัญที่กำลังจะเกิดขึ้น?

ชุมชนการวิจัยไม่ได้ทำการคาดการณ์ นักวิจัยมีคนขับเคลื่อนของตนเอง ความอยากรู้อยากเห็น การให้ทุน ความบังเอิญ และแน่นอนว่า直觉 พวกเขาสามารถพลาดทิศทางที่น่าสนใจได้ แต่แน่นอนว่าใครบางคนจะพบและรับขึ้นในอนาคต นี่คือสิ่งที่คาดหวังและเป็นเรื่องที่ดี ผู้บริหาร นักลงทุน และวิศวกรต้องระบุแนวโน้มที่เกิดขึ้นใหม่เพื่อที่จะทำการตัดสินใจที่ถูกต้องและเดิมพันที่มีการศึกษา

ตลาดข้อมูลเป็นสิ่งที่ฉันตามมาหลายปี และพวกมันก็ได้ทำการกระโดดในรอบนี้ ส่วนประกอบที่หายไปคือการยินยอม เราสามารถระบุข้อมูลการฝึกที่มีส่วนร่วมในการแข่งขัน LLM ได้แบบเรียลไทม์ ซึ่งหมายความว่าคุณสามารถจ่ายเงินปันผลได้ สิ่งนี้เป็นโอกาสที่พลาดไปจากผู้จัดพิมพ์ที่อยู่ในคดีกลุ่มกับโมเดลแนวหน้า บางคนต้องยอมรับข้อตกลงใบอนุญาตแบบแบนๆ ในขณะที่ฉันเชื่อว่าพวกเขา มีโอกาสที่จะสร้างรายได้ที่ยั่งยืนจากโมเดลการยินยอม

มีการปฏิวัติเกิดขึ้นในด้านหุ่นยนต์ โมเดลโลกที่ NVIDIA และคนอื่นๆ ประกาศเป็นการจำลองฟิสิกส์ที่แม่นยำและปรับขนาดได้ ดังนั้น คาดว่า AI จะเป็นไปทางกายภาพมากขึ้น

สถาปัตยกรรมทรานส์ฟอร์เมอร์รวมกับโมเดลสเตตสเปซ เช่น RNNs, mamba ฯลฯ และสร้างโมเดล LLM ขนาดเล็กที่น่าเหลือเชื่อ เรารู้ข้อจำกัดของทรานส์ฟอร์เมอร์ที่มีบทบาทสำคัญต่อประสิทธิภาพ แต่เรายังคงพลาดขั้นตอนต่อไป สิ่งนี้จะเกิดขึ้นเมื่อทรานส์ฟอร์เมอร์ได้รับการพิสูจน์ว่าเป็นแบบที่ตายตัวและทนทาน มากกว่าถ้ามนุษย์หรือทรานส์ฟอร์เมอร์จะออกแบบสถาปัตยกรรมใหม่ของ LLM! ทรานส์ฟอร์เมอร์รวมสถาปัตยกรรมที่กระจัดกระจายใน NLP (ใช่ ไม่ลืมว่า GenAI เริ่มต้นจากงาน NLP พื้นฐาน เช่น การจำแนกประเภทหน่วย) มันทำงานสำหรับเลขคณิต และในปีนี้มันทำงานสำหรับตาราง แต่มันไม่ได้ผลสำหรับฟิสิกส์ ฉันนับได้มากกว่า 15 สถาปัตยกรรมที่แตกต่างกัน ดังนั้นสถาปัตยกรรมใหม่ที่รวมฟิสิกส์อาจเป็นสถาปัตยกรรมที่จะแทนที่ทรานส์ฟอร์เมอร์ในเส้นทางของ AGI

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม RelationalAI เพื่อเรียนรู้เพิ่มเติม