สัมภาษณ์
Rahul Nambiar ผู้ร่วมก่อตั้งและซีอีโอของ Propensity Labs – บทสัมภาษณ์

ประเด็นสำคัญการปรับพรอมต์ให้เหมาะกับโมเดลที่ถูกกว่า…
ดูเพิ่มเติม
- การปรับพรอมต์ให้เหมาะกับโมเดลที่ถูกกว่า ทำให้它可以ทำได้เทียบเท่าโมเดลระดับพรีเมียมด้วยต้นทุนเพียง 7%
- โมเดลที่ถูกกว่ามักล้มเหลวจากรูปแบบพฤติกรรมที่แก้ไขได้ มากกว่าความสามารถดิบที่ไม่เพียงพอ
- ทีมควรวัดต้นทุนต่องานที่สำเร็จแต่ละงาน มากกว่าวัดต้นทุนต่อโทเค็นเพียงอย่างเดียว
Rahul Nambiar เป็นผู้ร่วมก่อตั้งและซีอีโอของ Propensity Labs ก่อนหน้านี้ เขาสร้างโครงสร้างพื้นฐานขนาดใหญ่ที่ AWS ก่อนย้ายไป Meta ซึ่งเขาเป็นผู้นำโครงการจัดทำคลังข้อมูลผู้ใช้ขนาดระดับเอ็กซะไบต์โดยใช้การจำแนกประเภทด้วยแมชชีนเลิร์นนิง ปัจจุบันงานของเขามุ่งเน้นการทำความเข้าใจพฤติกรรมของโมเดล AI และผสานการกำหนดเส้นทางโมเดลเข้ากับการปรับคำสั่ง เพื่อเพิ่มความคุ้มค่าและความน่าเชื่อถือให้กับเวิร์กโฟลว์แบบเอเจนต์
Propensity Labs พัฒนาระบบที่ช่วยให้ทีมเลือกและกำหนดทิศทางการทำงานของโมเดล AI ให้เหมาะกับเวิร์กโหลดเฉพาะของตน แนวทางของบริษัทผสานการประเมินพฤติกรรมของโมเดล การปรับพรอมป์ต์โดยอัตโนมัติ และการกำหนดเส้นทางระหว่างโมเดลต่าง ๆ โดยมีเป้าหมายเพื่อช่วยให้ผู้ใช้ใช้ประโยชน์จากโมเดลที่มีอยู่ได้มากขึ้น โดยไม่ต้องเป็นผู้เชี่ยวชาญในโมเดลแต่ละตัว
เส้นทางอาชีพของคุณพาคุณจาก Meta ซึ่งคุณเป็นผู้นำด้านเทคโนโลยีความเป็นส่วนตัวในโครงการคลังข้อมูลขนาดระดับเอ็กซะไบต์ ไปยัง AWS และมาสู่ตำแหน่งซีอีโอของ Propensity Labs ในปัจจุบัน ภูมิหลังทางเทคนิคดังกล่าวส่งผลต่อมุมมองของคุณอย่างไรต่อข้อจำกัดของโมเดล AI ในปัจจุบัน และศักยภาพของการกำหนดเส้นทางคำสั่งเฉพาะทาง
ที่จริงผมเริ่มต้นทำงานที่ AWS แล้วจึงย้ายไป Meta สิ่งหนึ่งที่ผมได้เรียนรู้จากการสร้างระบบขนาดใหญ่คือ เรามักเพิ่มประสิทธิภาพได้อย่างมหาศาลด้วยการทำความเข้าใจและปรับปรุงวิธีการทำงานขององค์ประกอบพื้นฐาน แทนที่จะมององค์ประกอบเหล่านั้นเป็นกล่องดำที่ใช้แทนกันได้ หลักการเดียวกันนี้ใช้กับโมเดล AI ด้วย เราพบว่าแม้แต่โมเดลที่มีความสามารถสูงก็ยังมีลักษณะเฉพาะด้านพฤติกรรมที่เราทำความเข้าใจและหาทางแก้ไขได้ ซึ่งมักช่วยเพิ่มประสิทธิภาพและลดต้นทุนได้มากอย่างน่าประหลาดใจ
ในการทดลองล่าสุดของคุณ คุณแสดงให้เห็นว่าโมเดลขนาดเล็กที่ผ่านการกำหนดเส้นทางมีประสิทธิภาพเหนือกว่าโมเดลระดับพรีเมียม โดยมีค่าใช้จ่ายเพียงเศษเสี้ยว อุปสรรคหลักด้านวิศวกรรมในการนำการกำหนดเส้นทางโมเดลลักษณะนี้ไปใช้ในสภาพแวดล้อมการใช้งานจริง เมื่อเทียบกับการทดสอบด้วยชุดทดสอบมาตรฐาน มีอะไรบ้าง
การปรับพรอมป์ต์ให้เข้ากับ Luna และจุดอ่อนของมันช่วยให้เราทำผลงานได้เทียบเท่า Sol โดยมีค่าใช้จ่ายเพียง 7% ในการทดสอบมาตรฐานสำหรับเอเจนต์ Tau3 ที่ซับซ้อนของ Sierra การกำหนดเส้นทางระหว่าง Luna ที่ผ่านการปรับพรอมป์ต์แล้วกับ Sol ช่วยให้เราทำผลงานได้เทียบเท่า Astra โดยมีค่าใช้จ่ายเพียง 16% ของค่าใช้จ่ายของ Astra
บทเรียนสำคัญข้อหนึ่งของเราคือ ทั้งการกำหนดเส้นทางและการปรับพรอมป์ต์ต้องเจาะจงกับเวิร์กโหลดอย่างมาก ชุดทดสอบมาตรฐานมาพร้อมสภาพแวดล้อมและระบบให้คะแนนที่เป็นระเบียบ ซึ่งใช้ศึกษาประสิทธิภาพของโมเดลในแต่ละงานและประเมินผลการทำงานได้ ข้อมูลนี้ช่วยให้ทราบว่าควรปรับพรอมป์ต์ให้เข้ากับโมเดลอย่างไร และควรกำหนดเส้นทางไปยังโมเดลใดในสถานการณ์ใด
เวิร์กโฟลว์ในการใช้งานจริงไม่ได้จัดเตรียมไว้อย่างเป็นระเบียบเช่นนั้น คุณมีบันทึกร่องรอยการทำงานของโมเดลขณะทำงานต่าง ๆ ให้สำเร็จ แต่ไม่มีวิธีที่เชื่อถือได้ในการตรวจสอบว่าโมเดลทำงานสำเร็จจริงหรือไม่ และผลลัพธ์ที่ดีควรเป็นอย่างไร สิ่งที่เราเรียนรู้ว่าควรทำคือ นำข้อมูลการใช้งานที่มีอยู่ ไม่ว่าจะเป็นผลการประเมินหรือบันทึกร่องรอยจากการใช้งานจริง มาสร้างชุดการประเมินขึ้นใหม่ เพื่อทดสอบโมเดลและการปรับแต่งแบบต่าง ๆ กับเวิร์กโหลดเดียวกัน
ประเด็นที่น่าสนใจคือ ต้องพิจารณาการกำหนดเส้นทางควบคู่ไปกับการปรับแต่ง โมเดลที่มีราคาถูกกว่าอาจทำงานไม่สำเร็จเมื่อใช้พรอมป์ต์เดิมของคุณ แต่กลับทำได้สำเร็จหลังจากปรับพรอมป์ต์ให้สอดคล้องกับพฤติกรรมของโมเดลนั้น ซึ่งเปลี่ยนคำตอบว่าควรกำหนดเส้นทางไปยังโมเดลใดตั้งแต่แรก
คุณกล่าวถึงการปรับคำสั่งให้เหมาะกับโมเดลแต่ละตัว คุณแยกแยะอย่างไรว่าคำสั่งใดใช้ได้กับทุกโมเดล และคำสั่งใดต้องปรับให้เหมาะกับจุดแข็งและจุดอ่อนของสถาปัตยกรรมโมเดลแต่ละแบบโดยเฉพาะ
คำสั่งหลายอย่างที่ดูเหมือนใช้ได้กับทุกโมเดลนั้นจำเป็นต้องปรับให้เหมาะกับโมเดลแต่ละตัว ตัวอย่างง่าย ๆ คือการหลอนข้อมูลในคำตอบแบบโต้ตอบครั้งเดียว เราศึกษาโมเดลสองตัว ได้แก่ DeepSeek V4 Pro และ GPT-6 Luna ทั้งคู่มีแนวโน้มสูงที่จะกุเรื่องขึ้นมาเมื่อไม่รู้คำตอบ ดูเหมือนมีบางอย่างในกระบวนการฝึกทำให้โมเดลเหล่านี้ลังเลอย่างมากที่จะงดตอบและพูดว่า “ไม่รู้” พฤติกรรมนี้คล้ายกัน แต่แนวทางการลดปัญหาด้วยพรอมป์ต์แตกต่างกันมาก
เราสามารถทำให้ DeepSeek V4 Pro งดตอบได้ในระดับเดียวกับโมเดล Claude หากใส่ถ้อยคำหลายรูปแบบ เช่น “ไม่เป็นไรที่จะบอกว่าไม่รู้” แต่กลยุทธ์เดียวกันนี้แทบไม่มีผลกับ Luna วิธีที่ได้ผลดีที่สุดกับ Luna คือการกำหนดต้นทุนสำหรับการตอบผิด การใช้ข้อความประมาณว่า “คำตอบที่ผิดจะได้ -90 คะแนน ส่วนคำตอบที่ถูกจะได้เพียง +10 คะแนน” ทำให้ Luna งดตอบได้ในระดับเดียวกับ Sol ซึ่งเป็นรุ่นพี่ของมัน พฤติกรรมเหมือนกัน แต่ต้องใช้วิธีที่แตกต่างกันมากเพื่อทำให้โมเดลทั้งสองเลิกแสดงพฤติกรรมดังกล่าว การปรับคำสั่งให้เหมาะกับโมเดลใดโมเดลหนึ่งจำเป็นต้องเข้าใจทั้งตัวโมเดลและเวิร์กโฟลว์ที่นำโมเดลนั้นไปใช้อย่างลึกซึ้ง
เมื่อบริษัทต่าง ๆ หันมาใช้เวิร์กโฟลว์แบบเอเจนต์ คุณเห็นหลักฐานอะไรบ้างที่แสดงว่าการกำหนดเส้นทางระหว่างโมเดลเฉพาะทางราคาถูกกว่าเป็นกลยุทธ์ที่ยั่งยืนกว่าการรอให้โมเดลแนวหน้ารุ่นเดียวซึ่งมีความสามารถเพิ่มขึ้นเรื่อย ๆ จัดการทุกอย่างได้
มีโมเดลแนวหน้ารุ่นใหม่ออกมาประมาณทุกสัปดาห์ สมมติว่าตอนนี้คุณเลือกโมเดลที่ใหญ่และดีที่สุดมาใช้กับเวิร์กโฟลว์ทั้งหมดของคุณ อีกไม่กี่เดือนหรือแม้แต่ไม่กี่สัปดาห์ข้างหน้า ก็มีแนวโน้มว่าจะมีโมเดลขนาดเล็กกว่าที่ทำงานส่วนใหญ่ หรืออาจทำได้ทั้งหมด ในเวิร์กโฟลว์ของคุณได้ ขณะเดียวกัน ก็น่าจะมีโมเดลที่ใหญ่กว่าหรือเฉพาะทางมากกว่าซึ่งทำงานในเวิร์กโฟลว์ของคุณได้มีประสิทธิภาพกว่าเช่นกัน การไม่เปลี่ยนโมเดลหรือกำหนดเส้นทางข้ามโมเดลต่าง ๆ หมายถึงการพลาดโอกาสทั้งด้านประสิทธิภาพและการประหยัดต้นทุน
แต่การติดตามความเปลี่ยนแปลงทั้งหมดนี้เป็นเรื่องยุ่งยาก และผู้ใช้ก็ไม่ควรต้องเชี่ยวชาญโมเดลแต่ละแบบ เราเชื่อว่าเราช่วยได้ โดยทำให้คุณมีโมเดลที่เหมาะที่สุดกับงานของคุณ ในต้นทุนต่ำที่สุดเท่าที่จะเป็นไปได้สำหรับประสิทธิภาพที่คุณต้องการ บางครั้งก็แค่เลือกโมเดลที่มีความสามารถสูงที่สุดสำหรับงานบางส่วนของคุณ ส่วนบางครั้งก็ปรับงานส่วนใหญ่ให้โมเดลที่มีราคาถูกกว่ามากจัดการได้
เมื่อต้องจัดการระบบที่กระจายงานไปยังโมเดลหลายตัว คุณจัดการให้ข้อมูลมีความสอดคล้องและเป็นส่วนตัวอย่างไร โดยเฉพาะเมื่องานเหล่านั้นเกี่ยวข้องกับข้อมูลอ่อนไหว?
เราทำหน้าที่เป็นชั้นกลางระหว่างผู้ใช้กับผู้ให้บริการโมเดล ผู้ใช้เลือกผู้ให้บริการที่ต้องการใช้และนำคีย์ API ของตนเองมา เราเลือกโมเดลที่เหมาะที่สุดจากผู้ให้บริการเหล่านั้นสำหรับงานทั้งหมดหรือบางส่วนของผู้ใช้ แล้วปรับงานและส่งต่อไปยังโมเดลที่เหมาะสม เราใช้เฉพาะผลการประเมินหรือบันทึกร่องรอยที่ลูกค้าเลือกแชร์ให้ และจะไม่ใช้ข้อมูลของลูกค้าฝึกโมเดลหรือเก็บข้อมูลนั้นไว้
คุณร่วมก่อตั้ง Propensity Labs กับ Mana Azarm คุณแบ่งบทบาทกันอย่างไรระหว่างงานวิจัยเชิงลึกเกี่ยวกับพฤติกรรมของโมเดล กับงานเชิงปฏิบัติด้านวิศวกรรมระบบเพื่อสร้างไปป์ไลน์เอเจนต์เหล่านี้?
ทักษะของเราส่งเสริมกันได้ดีในเรื่องนี้ Mana ซึ่งเป็นหัวหน้านักวิทยาศาสตร์ของเราและเป็นศาสตราจารย์ด้วย จะเน้นเรื่องพฤติกรรมของโมเดลมากกว่า ส่วนผมเน้นด้านวิศวกรรมระบบ หรือพูดให้ถูกคือ นี่คือสิ่งที่เราตั้งใจให้เป็น แต่ในความเป็นจริงอะไร ๆ ก็ซับซ้อนกว่านั้น และสุดท้ายเราต่างก็ลงมือจัดการกับสิ่งที่เป็นอุปสรรคสำคัญที่สุดในขณะนั้น
สำหรับประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีที่กำลังเสียค่าใช้จ่ายจำนวนมากกับการเรียกใช้ API ของโมเดลระดับพรีเมียม อะไรคือ “โอกาสที่ทำได้ง่ายและเห็นผลเร็ว” ในการทดลองใช้การส่งต่องานระหว่างโมเดลและการปรับคำสั่งในเวิร์กโฟลว์ที่ใช้อยู่?
มาคุยกับเราได้เลย! แต่พูดจริง ๆ ผมแนะนำให้ลองใช้โมเดลขนาดเล็กจากรุ่นล่าสุดกับงานเฉพาะของคุณ แล้วดูว่าโมเดลนั้นจัดการอะไรได้บ้าง ผมคิดว่าหลายคนยังติดอยู่กับโมเดลขนาดใหญ่จากรุ่นก่อน ๆ และเมื่อโมเดลพัฒนาเร็วขนาดนี้ พวกเขาอาจยังไม่รู้ว่ามีโมเดลขนาดเล็กกว่าและราคาถูกกว่าที่เพิ่งเปิดตัว ซึ่งสามารถจัดการงานของตนได้
นักพัฒนามักเข้าใจผิดเรื่องใดมากที่สุดเกี่ยวกับความสามารถของโมเดลราคาถูก เมื่อมีการกำหนดขอบเขตหรือแนวทางให้โมเดลอย่างเหมาะสม?
ความเข้าใจผิดที่พบบ่อยที่สุดคือ คิดว่าเมื่อโมเดลราคาถูกทำงานพลาด ก็แปลว่าโมเดลมีความสามารถไม่เพียงพอ ผมคิดว่าการวิเคราะห์อย่างละเอียดว่าโมเดลราคาถูกทำงานพลาดอย่างไรและตรงไหนในเวิร์กโฟลว์ของคุณนั้นเป็นประโยชน์ ความผิดพลาดส่วนหนึ่งเกิดจากรูปแบบที่โมเดลมักเผลอทำซ้ำ หากสังเกตเห็นและชี้แนะให้หลีกเลี่ยงรูปแบบเหล่านั้น โมเดลก็อาจทำงานของคุณได้สำเร็จ ส่วนความผิดพลาดอีกส่วนเกิดจากงานที่เกินขีดความสามารถพื้นฐานของโมเดลราคาถูก ซึ่งในกรณีนั้นคุณจำเป็นต้องใช้โมเดลที่ใหญ่กว่า
งานของคุณครอบคลุมจุดตัดระหว่างความเป็นส่วนตัว ขนาดการใช้งาน และต้นทุน เมื่อมองไปข้างหน้า 12–18 เดือนในการพัฒนาโครงสร้างพื้นฐานด้าน AI คุณคิดว่าความต้องการของธุรกิจกับสิ่งที่ระบบนิเวศเครื่องมือในปัจจุบันมีให้ยังแตกต่างกันมากที่สุดในด้านใด?
จากการพูดคุยกับผู้ปฏิบัติงานที่นำโมเดลไปใช้งานจริง ผมเห็นว่าความรู้สึกที่พบได้บ่อยคือความกลัวตกกระแส (FOMO) และในระดับหนึ่งก็เหนื่อยล้ากับการตามให้ทันโมเดลใหม่ ๆ และความสามารถที่เพิ่มขึ้น เทคโนโลยีส่วนใหญ่มักใช้งานและนำไปใช้งานจริงได้ง่ายขึ้นเมื่อเวลาผ่านไป แต่ LLM กลับใช้งานยากขึ้น เพราะมีโมเดลและการตั้งค่ามากมายให้เลือก เช่น อุณหภูมิ ระดับการใช้เหตุผล และการแคช ผมคิดว่าการทำให้สิ่งเหล่านี้เรียบง่ายขึ้นและซ่อนรายละเอียดไว้จะเป็นประโยชน์อย่างมากต่อทีมที่ใช้โมเดล เพื่อให้พวกเขามุ่งเน้นได้เพียงว่าต้องการให้โมเดลทำอะไร แทนที่จะต้องกังวลว่าจะทำให้สำเร็จได้อย่างไร
ทีมเทคนิคควรให้ความสำคัญกับตัวชี้วัดใดบ้างเมื่อเริ่มทดลองกระจายงานไปยังโมเดลหลายตัว เพื่อให้แน่ใจว่าไม่ได้มุ่งลดต้นทุนจนต้องแลกกับความน่าเชื่อถือ?
ผมจะเริ่มจากอัตราความสำเร็จของงาน อัตราความล้มเหลว เวลาแฝง และต้นทุนต่องานที่ทำสำเร็จ การดูต้นทุนต่อโทเค็นเพียงอย่างเดียวไม่ค่อยมีประโยชน์นัก หากโมเดลราคาถูกทำงานพลาดบ่อยกว่า ดังนั้นควรนับต้นทุนทั้งหมดของงาน ซึ่งรวมถึงการลองใหม่ และตัวจำแนกหรือโมเดลตัดสินใจใด ๆ ที่เรียกใช้เพื่อเลือกเส้นทางการทำงาน
ส่วนที่ยากคือการวัดความน่าเชื่อถือ เราพบรูปแบบที่เกิดขึ้นบ่อย คือทีมต่าง ๆ ประสบปัญหาในการย้ายเอเจนต์จากโมเดลหนึ่งไปยังอีกโมเดลหนึ่ง จากนั้นก็ทุ่มเทกับการประเมินผลอย่างเต็มที่อยู่สองสามเดือน แล้วจึงพบว่าการเปลี่ยนโมเดลทำได้ง่ายขึ้นมาก ผมขอแนะนำอย่างยิ่งให้ลงทุนสร้างการประเมินผลที่มีคุณภาพสำหรับเวิร์กโฟลว์ของคุณตั้งแต่เนิ่น ๆ เท่าที่จะทำได้ และปรับปรุงให้ทันสมัยอยู่เสมอเมื่อเวิร์กโฟลว์และวิธีที่ผู้ใช้ใช้งานเปลี่ยนไป
ขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่สนใจศึกษาเรื่องการกระจายงานไปยังโมเดลต่าง ๆ การปรับคำสั่ง และวิธีประเมินผลเพื่อให้เวิร์กโฟลว์ AI น่าเชื่อถือและคุ้มต้นทุนยิ่งขึ้น สามารถเยี่ยมชม Propensity Labs ได้












