สัมภาษณ์

Rahul Nambiar ผู้ร่วมก่อตั้งและซีอีโอของ Propensity Labs – บทสัมภาษณ์

Antoine Tardif
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
ประเด็นสำคัญการปรับพรอมต์ให้เหมาะกับโมเดลที่ถูกกว่า…
ดูเพิ่มเติม
  • การปรับพรอมต์ให้เหมาะกับโมเดลที่ถูกกว่า ทำให้它可以ทำได้เทียบเท่าโมเดลระดับพรีเมียมด้วยต้นทุนเพียง 7%
  • โมเดลที่ถูกกว่ามักล้มเหลวจากรูปแบบพฤติกรรมที่แก้ไขได้ มากกว่าความสามารถดิบที่ไม่เพียงพอ
  • ทีมควรวัดต้นทุนต่องานที่สำเร็จแต่ละงาน มากกว่าวัดต้นทุนต่อโทเค็นเพียงอย่างเดียว

Rahul Nambiar เป็นผู้ร่วมก่อตั้งและซีอีโอของ Propensity Labs ก่อนหน้านี้ เขาสร้างโครงสร้างพื้นฐานขนาดใหญ่ที่ AWS ก่อนย้ายไป Meta ซึ่งเขาเป็นผู้นำโครงการจัดทำคลังข้อมูลผู้ใช้ขนาดระดับเอ็กซะไบต์โดยใช้การจำแนกประเภทด้วยแมชชีนเลิร์นนิง ปัจจุบันงานของเขามุ่งเน้นการทำความเข้าใจพฤติกรรมของโมเดล AI และผสานการกำหนดเส้นทางโมเดลเข้ากับการปรับคำสั่ง เพื่อเพิ่มความคุ้มค่าและความน่าเชื่อถือให้กับเวิร์กโฟลว์แบบเอเจนต์

Propensity Labs พัฒนาระบบที่ช่วยให้ทีมเลือกและกำหนดทิศทางการทำงานของโมเดล AI ให้เหมาะกับเวิร์กโหลดเฉพาะของตน แนวทางของบริษัทผสานการประเมินพฤติกรรมของโมเดล การปรับพรอมป์ต์โดยอัตโนมัติ และการกำหนดเส้นทางระหว่างโมเดลต่าง ๆ โดยมีเป้าหมายเพื่อช่วยให้ผู้ใช้ใช้ประโยชน์จากโมเดลที่มีอยู่ได้มากขึ้น โดยไม่ต้องเป็นผู้เชี่ยวชาญในโมเดลแต่ละตัว

เส้นทางอาชีพของคุณพาคุณจาก Meta ซึ่งคุณเป็นผู้นำด้านเทคโนโลยีความเป็นส่วนตัวในโครงการคลังข้อมูลขนาดระดับเอ็กซะไบต์ ไปยัง AWS และมาสู่ตำแหน่งซีอีโอของ Propensity Labs ในปัจจุบัน ภูมิหลังทางเทคนิคดังกล่าวส่งผลต่อมุมมองของคุณอย่างไรต่อข้อจำกัดของโมเดล AI ในปัจจุบัน และศักยภาพของการกำหนดเส้นทางคำสั่งเฉพาะทาง

ที่จริงผมเริ่มต้นทำงานที่ AWS แล้วจึงย้ายไป Meta สิ่งหนึ่งที่ผมได้เรียนรู้จากการสร้างระบบขนาดใหญ่คือ เรามักเพิ่มประสิทธิภาพได้อย่างมหาศาลด้วยการทำความเข้าใจและปรับปรุงวิธีการทำงานขององค์ประกอบพื้นฐาน แทนที่จะมององค์ประกอบเหล่านั้นเป็นกล่องดำที่ใช้แทนกันได้ หลักการเดียวกันนี้ใช้กับโมเดล AI ด้วย เราพบว่าแม้แต่โมเดลที่มีความสามารถสูงก็ยังมีลักษณะเฉพาะด้านพฤติกรรมที่เราทำความเข้าใจและหาทางแก้ไขได้ ซึ่งมักช่วยเพิ่มประสิทธิภาพและลดต้นทุนได้มากอย่างน่าประหลาดใจ

ในการทดลองล่าสุดของคุณ คุณแสดงให้เห็นว่าโมเดลขนาดเล็กที่ผ่านการกำหนดเส้นทางมีประสิทธิภาพเหนือกว่าโมเดลระดับพรีเมียม โดยมีค่าใช้จ่ายเพียงเศษเสี้ยว อุปสรรคหลักด้านวิศวกรรมในการนำการกำหนดเส้นทางโมเดลลักษณะนี้ไปใช้ในสภาพแวดล้อมการใช้งานจริง เมื่อเทียบกับการทดสอบด้วยชุดทดสอบมาตรฐาน มีอะไรบ้าง

การปรับพรอมป์ต์ให้เข้ากับ Luna และจุดอ่อนของมันช่วยให้เราทำผลงานได้เทียบเท่า Sol โดยมีค่าใช้จ่ายเพียง 7% ในการทดสอบมาตรฐานสำหรับเอเจนต์ Tau3 ที่ซับซ้อนของ Sierra การกำหนดเส้นทางระหว่าง Luna ที่ผ่านการปรับพรอมป์ต์แล้วกับ Sol ช่วยให้เราทำผลงานได้เทียบเท่า Astra โดยมีค่าใช้จ่ายเพียง 16% ของค่าใช้จ่ายของ Astra

บทเรียนสำคัญข้อหนึ่งของเราคือ ทั้งการกำหนดเส้นทางและการปรับพรอมป์ต์ต้องเจาะจงกับเวิร์กโหลดอย่างมาก ชุดทดสอบมาตรฐานมาพร้อมสภาพแวดล้อมและระบบให้คะแนนที่เป็นระเบียบ ซึ่งใช้ศึกษาประสิทธิภาพของโมเดลในแต่ละงานและประเมินผลการทำงานได้ ข้อมูลนี้ช่วยให้ทราบว่าควรปรับพรอมป์ต์ให้เข้ากับโมเดลอย่างไร และควรกำหนดเส้นทางไปยังโมเดลใดในสถานการณ์ใด

เวิร์กโฟลว์ในการใช้งานจริงไม่ได้จัดเตรียมไว้อย่างเป็นระเบียบเช่นนั้น คุณมีบันทึกร่องรอยการทำงานของโมเดลขณะทำงานต่าง ๆ ให้สำเร็จ แต่ไม่มีวิธีที่เชื่อถือได้ในการตรวจสอบว่าโมเดลทำงานสำเร็จจริงหรือไม่ และผลลัพธ์ที่ดีควรเป็นอย่างไร สิ่งที่เราเรียนรู้ว่าควรทำคือ นำข้อมูลการใช้งานที่มีอยู่ ไม่ว่าจะเป็นผลการประเมินหรือบันทึกร่องรอยจากการใช้งานจริง มาสร้างชุดการประเมินขึ้นใหม่ เพื่อทดสอบโมเดลและการปรับแต่งแบบต่าง ๆ กับเวิร์กโหลดเดียวกัน

ประเด็นที่น่าสนใจคือ ต้องพิจารณาการกำหนดเส้นทางควบคู่ไปกับการปรับแต่ง โมเดลที่มีราคาถูกกว่าอาจทำงานไม่สำเร็จเมื่อใช้พรอมป์ต์เดิมของคุณ แต่กลับทำได้สำเร็จหลังจากปรับพรอมป์ต์ให้สอดคล้องกับพฤติกรรมของโมเดลนั้น ซึ่งเปลี่ยนคำตอบว่าควรกำหนดเส้นทางไปยังโมเดลใดตั้งแต่แรก

คุณกล่าวถึงการปรับคำสั่งให้เหมาะกับโมเดลแต่ละตัว คุณแยกแยะอย่างไรว่าคำสั่งใดใช้ได้กับทุกโมเดล และคำสั่งใดต้องปรับให้เหมาะกับจุดแข็งและจุดอ่อนของสถาปัตยกรรมโมเดลแต่ละแบบโดยเฉพาะ

คำสั่งหลายอย่างที่ดูเหมือนใช้ได้กับทุกโมเดลนั้นจำเป็นต้องปรับให้เหมาะกับโมเดลแต่ละตัว ตัวอย่างง่าย ๆ คือการหลอนข้อมูลในคำตอบแบบโต้ตอบครั้งเดียว เราศึกษาโมเดลสองตัว ได้แก่ DeepSeek V4 Pro และ GPT-6 Luna ทั้งคู่มีแนวโน้มสูงที่จะกุเรื่องขึ้นมาเมื่อไม่รู้คำตอบ ดูเหมือนมีบางอย่างในกระบวนการฝึกทำให้โมเดลเหล่านี้ลังเลอย่างมากที่จะงดตอบและพูดว่า “ไม่รู้” พฤติกรรมนี้คล้ายกัน แต่แนวทางการลดปัญหาด้วยพรอมป์ต์แตกต่างกันมาก

เราสามารถทำให้ DeepSeek V4 Pro งดตอบได้ในระดับเดียวกับโมเดล Claude หากใส่ถ้อยคำหลายรูปแบบ เช่น “ไม่เป็นไรที่จะบอกว่าไม่รู้” แต่กลยุทธ์เดียวกันนี้แทบไม่มีผลกับ Luna วิธีที่ได้ผลดีที่สุดกับ Luna คือการกำหนดต้นทุนสำหรับการตอบผิด การใช้ข้อความประมาณว่า “คำตอบที่ผิดจะได้ -90 คะแนน ส่วนคำตอบที่ถูกจะได้เพียง +10 คะแนน” ทำให้ Luna งดตอบได้ในระดับเดียวกับ Sol ซึ่งเป็นรุ่นพี่ของมัน พฤติกรรมเหมือนกัน แต่ต้องใช้วิธีที่แตกต่างกันมากเพื่อทำให้โมเดลทั้งสองเลิกแสดงพฤติกรรมดังกล่าว การปรับคำสั่งให้เหมาะกับโมเดลใดโมเดลหนึ่งจำเป็นต้องเข้าใจทั้งตัวโมเดลและเวิร์กโฟลว์ที่นำโมเดลนั้นไปใช้อย่างลึกซึ้ง

เมื่อบริษัทต่าง ๆ หันมาใช้เวิร์กโฟลว์แบบเอเจนต์ คุณเห็นหลักฐานอะไรบ้างที่แสดงว่าการกำหนดเส้นทางระหว่างโมเดลเฉพาะทางราคาถูกกว่าเป็นกลยุทธ์ที่ยั่งยืนกว่าการรอให้โมเดลแนวหน้ารุ่นเดียวซึ่งมีความสามารถเพิ่มขึ้นเรื่อย ๆ จัดการทุกอย่างได้

มีโมเดลแนวหน้ารุ่นใหม่ออกมาประมาณทุกสัปดาห์ สมมติว่าตอนนี้คุณเลือกโมเดลที่ใหญ่และดีที่สุดมาใช้กับเวิร์กโฟลว์ทั้งหมดของคุณ อีกไม่กี่เดือนหรือแม้แต่ไม่กี่สัปดาห์ข้างหน้า ก็มีแนวโน้มว่าจะมีโมเดลขนาดเล็กกว่าที่ทำงานส่วนใหญ่ หรืออาจทำได้ทั้งหมด ในเวิร์กโฟลว์ของคุณได้ ขณะเดียวกัน ก็น่าจะมีโมเดลที่ใหญ่กว่าหรือเฉพาะทางมากกว่าซึ่งทำงานในเวิร์กโฟลว์ของคุณได้มีประสิทธิภาพกว่าเช่นกัน การไม่เปลี่ยนโมเดลหรือกำหนดเส้นทางข้ามโมเดลต่าง ๆ หมายถึงการพลาดโอกาสทั้งด้านประสิทธิภาพและการประหยัดต้นทุน

แต่การติดตามความเปลี่ยนแปลงทั้งหมดนี้เป็นเรื่องยุ่งยาก และผู้ใช้ก็ไม่ควรต้องเชี่ยวชาญโมเดลแต่ละแบบ เราเชื่อว่าเราช่วยได้ โดยทำให้คุณมีโมเดลที่เหมาะที่สุดกับงานของคุณ ในต้นทุนต่ำที่สุดเท่าที่จะเป็นไปได้สำหรับประสิทธิภาพที่คุณต้องการ บางครั้งก็แค่เลือกโมเดลที่มีความสามารถสูงที่สุดสำหรับงานบางส่วนของคุณ ส่วนบางครั้งก็ปรับงานส่วนใหญ่ให้โมเดลที่มีราคาถูกกว่ามากจัดการได้

เมื่อต้องจัดการระบบที่กระจายงานไปยังโมเดลหลายตัว คุณจัดการให้ข้อมูลมีความสอดคล้องและเป็นส่วนตัวอย่างไร โดยเฉพาะเมื่องานเหล่านั้นเกี่ยวข้องกับข้อมูลอ่อนไหว?

เราทำหน้าที่เป็นชั้นกลางระหว่างผู้ใช้กับผู้ให้บริการโมเดล ผู้ใช้เลือกผู้ให้บริการที่ต้องการใช้และนำคีย์ API ของตนเองมา เราเลือกโมเดลที่เหมาะที่สุดจากผู้ให้บริการเหล่านั้นสำหรับงานทั้งหมดหรือบางส่วนของผู้ใช้ แล้วปรับงานและส่งต่อไปยังโมเดลที่เหมาะสม เราใช้เฉพาะผลการประเมินหรือบันทึกร่องรอยที่ลูกค้าเลือกแชร์ให้ และจะไม่ใช้ข้อมูลของลูกค้าฝึกโมเดลหรือเก็บข้อมูลนั้นไว้

คุณร่วมก่อตั้ง Propensity Labs กับ Mana Azarm คุณแบ่งบทบาทกันอย่างไรระหว่างงานวิจัยเชิงลึกเกี่ยวกับพฤติกรรมของโมเดล กับงานเชิงปฏิบัติด้านวิศวกรรมระบบเพื่อสร้างไปป์ไลน์เอเจนต์เหล่านี้?

ทักษะของเราส่งเสริมกันได้ดีในเรื่องนี้ Mana ซึ่งเป็นหัวหน้านักวิทยาศาสตร์ของเราและเป็นศาสตราจารย์ด้วย จะเน้นเรื่องพฤติกรรมของโมเดลมากกว่า ส่วนผมเน้นด้านวิศวกรรมระบบ หรือพูดให้ถูกคือ นี่คือสิ่งที่เราตั้งใจให้เป็น แต่ในความเป็นจริงอะไร ๆ ก็ซับซ้อนกว่านั้น และสุดท้ายเราต่างก็ลงมือจัดการกับสิ่งที่เป็นอุปสรรคสำคัญที่สุดในขณะนั้น

สำหรับประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีที่กำลังเสียค่าใช้จ่ายจำนวนมากกับการเรียกใช้ API ของโมเดลระดับพรีเมียม อะไรคือ “โอกาสที่ทำได้ง่ายและเห็นผลเร็ว” ในการทดลองใช้การส่งต่องานระหว่างโมเดลและการปรับคำสั่งในเวิร์กโฟลว์ที่ใช้อยู่?

มาคุยกับเราได้เลย! แต่พูดจริง ๆ ผมแนะนำให้ลองใช้โมเดลขนาดเล็กจากรุ่นล่าสุดกับงานเฉพาะของคุณ แล้วดูว่าโมเดลนั้นจัดการอะไรได้บ้าง ผมคิดว่าหลายคนยังติดอยู่กับโมเดลขนาดใหญ่จากรุ่นก่อน ๆ และเมื่อโมเดลพัฒนาเร็วขนาดนี้ พวกเขาอาจยังไม่รู้ว่ามีโมเดลขนาดเล็กกว่าและราคาถูกกว่าที่เพิ่งเปิดตัว ซึ่งสามารถจัดการงานของตนได้

นักพัฒนามักเข้าใจผิดเรื่องใดมากที่สุดเกี่ยวกับความสามารถของโมเดลราคาถูก เมื่อมีการกำหนดขอบเขตหรือแนวทางให้โมเดลอย่างเหมาะสม?

ความเข้าใจผิดที่พบบ่อยที่สุดคือ คิดว่าเมื่อโมเดลราคาถูกทำงานพลาด ก็แปลว่าโมเดลมีความสามารถไม่เพียงพอ ผมคิดว่าการวิเคราะห์อย่างละเอียดว่าโมเดลราคาถูกทำงานพลาดอย่างไรและตรงไหนในเวิร์กโฟลว์ของคุณนั้นเป็นประโยชน์ ความผิดพลาดส่วนหนึ่งเกิดจากรูปแบบที่โมเดลมักเผลอทำซ้ำ หากสังเกตเห็นและชี้แนะให้หลีกเลี่ยงรูปแบบเหล่านั้น โมเดลก็อาจทำงานของคุณได้สำเร็จ ส่วนความผิดพลาดอีกส่วนเกิดจากงานที่เกินขีดความสามารถพื้นฐานของโมเดลราคาถูก ซึ่งในกรณีนั้นคุณจำเป็นต้องใช้โมเดลที่ใหญ่กว่า

งานของคุณครอบคลุมจุดตัดระหว่างความเป็นส่วนตัว ขนาดการใช้งาน และต้นทุน เมื่อมองไปข้างหน้า 12–18 เดือนในการพัฒนาโครงสร้างพื้นฐานด้าน AI คุณคิดว่าความต้องการของธุรกิจกับสิ่งที่ระบบนิเวศเครื่องมือในปัจจุบันมีให้ยังแตกต่างกันมากที่สุดในด้านใด?

จากการพูดคุยกับผู้ปฏิบัติงานที่นำโมเดลไปใช้งานจริง ผมเห็นว่าความรู้สึกที่พบได้บ่อยคือความกลัวตกกระแส (FOMO) และในระดับหนึ่งก็เหนื่อยล้ากับการตามให้ทันโมเดลใหม่ ๆ และความสามารถที่เพิ่มขึ้น เทคโนโลยีส่วนใหญ่มักใช้งานและนำไปใช้งานจริงได้ง่ายขึ้นเมื่อเวลาผ่านไป แต่ LLM กลับใช้งานยากขึ้น เพราะมีโมเดลและการตั้งค่ามากมายให้เลือก เช่น อุณหภูมิ ระดับการใช้เหตุผล และการแคช ผมคิดว่าการทำให้สิ่งเหล่านี้เรียบง่ายขึ้นและซ่อนรายละเอียดไว้จะเป็นประโยชน์อย่างมากต่อทีมที่ใช้โมเดล เพื่อให้พวกเขามุ่งเน้นได้เพียงว่าต้องการให้โมเดลทำอะไร แทนที่จะต้องกังวลว่าจะทำให้สำเร็จได้อย่างไร

ทีมเทคนิคควรให้ความสำคัญกับตัวชี้วัดใดบ้างเมื่อเริ่มทดลองกระจายงานไปยังโมเดลหลายตัว เพื่อให้แน่ใจว่าไม่ได้มุ่งลดต้นทุนจนต้องแลกกับความน่าเชื่อถือ?

ผมจะเริ่มจากอัตราความสำเร็จของงาน อัตราความล้มเหลว เวลาแฝง และต้นทุนต่องานที่ทำสำเร็จ การดูต้นทุนต่อโทเค็นเพียงอย่างเดียวไม่ค่อยมีประโยชน์นัก หากโมเดลราคาถูกทำงานพลาดบ่อยกว่า ดังนั้นควรนับต้นทุนทั้งหมดของงาน ซึ่งรวมถึงการลองใหม่ และตัวจำแนกหรือโมเดลตัดสินใจใด ๆ ที่เรียกใช้เพื่อเลือกเส้นทางการทำงาน

ส่วนที่ยากคือการวัดความน่าเชื่อถือ เราพบรูปแบบที่เกิดขึ้นบ่อย คือทีมต่าง ๆ ประสบปัญหาในการย้ายเอเจนต์จากโมเดลหนึ่งไปยังอีกโมเดลหนึ่ง จากนั้นก็ทุ่มเทกับการประเมินผลอย่างเต็มที่อยู่สองสามเดือน แล้วจึงพบว่าการเปลี่ยนโมเดลทำได้ง่ายขึ้นมาก ผมขอแนะนำอย่างยิ่งให้ลงทุนสร้างการประเมินผลที่มีคุณภาพสำหรับเวิร์กโฟลว์ของคุณตั้งแต่เนิ่น ๆ เท่าที่จะทำได้ และปรับปรุงให้ทันสมัยอยู่เสมอเมื่อเวิร์กโฟลว์และวิธีที่ผู้ใช้ใช้งานเปลี่ยนไป

ขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่สนใจศึกษาเรื่องการกระจายงานไปยังโมเดลต่าง ๆ การปรับคำสั่ง และวิธีประเมินผลเพื่อให้เวิร์กโฟลว์ AI น่าเชื่อถือและคุ้มต้นทุนยิ่งขึ้น สามารถเยี่ยมชม Propensity Labs ได้

อองตวนเป็นผู้นำที่มีวิสัยทัศน์และหุ้นส่วนผู้ก่อตั้ง Unite.AI โดยมีความมุ่งมั่นอย่างไม่เปลี่ยนแปลงในการกำหนดทิศทางและส่งเสริมอนาคตของ AI และหุ่นยนต์ ในฐานะผู้ประกอบการที่ก่อตั้งธุรกิจมาแล้วหลายแห่ง เขาเชื่อว่า AI จะสร้างการเปลี่ยนแปลงครั้งใหญ่ต่อสังคมเช่นเดียวกับไฟฟ้า และมักกล่าวถึงศักยภาพของเทคโนโลยีที่พลิกโฉมโลกและ AGI อย่างกระตือรือร้น

ในฐานะ นักอนาคตศาสตร์ เขาทุ่มเทให้กับการสำรวจว่านวัตกรรมเหล่านี้จะกำหนดรูปแบบโลกของเราอย่างไร นอกจากนี้ เขายังเป็นผู้ก่อตั้ง Securities.io ซึ่งเป็นแพลตฟอร์มที่มุ่งเน้นการลงทุนในเทคโนโลยีล้ำสมัยที่กำลังนิยามอนาคตใหม่และเปลี่ยนโฉมอุตสาหกรรมทั้งภาคส่วน