Crux Labs ระดมทุนได้กว่า 6 ล้านดอลลาร์ เพื่อเปลี่ยนดุลยพินิจในองค์กรให้เป็น AI agent ที่ดียิ่งขึ้น

AI agent อาจทำงานเสร็จ แต่ยังตัดสินใจในแบบที่พนักงานผู้มีประสบการณ์ไม่ยอมรับได้ บ่อยครั้งสิ่งที่เข้าใจยากคือกฎที่ไม่ได้เขียนไว้ เช่น ควรถามเพิ่มเมื่อใด ควรส่งเรื่องต่อเมื่อใด และผลลัพธ์ที่ดีสำหรับธุรกิจหนึ่ง ๆ หมายถึงอะไร

Crux Labs กำลังพัฒนาแพลตฟอร์มเพื่อเปลี่ยนดุลยพินิจของผู้เชี่ยวชาญให้เป็นกระบวนการประเมินและปรับปรุง agent สำหรับองค์กรอย่างต่อเนื่อง สตาร์ตอัปจากนิวยอร์กรายนี้เพิ่งเปิดตัวหลังพัฒนาผลิตภัณฑ์แบบไม่เปิดเผยข้อมูล โดยระดมทุนได้มากกว่า 6 ล้านดอลลาร์ในรอบที่มีผู้จองซื้อเกินจำนวนที่เสนอขาย ซึ่งมี Benchstrength และ Misneach ร่วมเป็นผู้นำการลงทุน พร้อมด้วยเงินลงทุนจาก Analog Ventures และ Pareto Holdings

บริษัทมีแผนนำเงินทุนไปขยายทีมวิจัยและวิศวกรรม รวมทั้งเร่งการนำระบบไปใช้ในองค์กร หัวใจสำคัญของแนวคิดนี้คือ ธุรกิจต้องการระบบประเมินที่ปรับเทียบตามผู้เชี่ยวชาญของตนเอง พร้อมวงจรป้อนกลับที่เชื่อมโยงพฤติกรรมในการใช้งานจริงเข้ากับการปรับปรุงตัว agent

เหตุใดร่องรอยการทำงานของ agent จึงเป็นเพียงจุดเริ่มต้น

การตรวจสอบพฤติกรรมของ agent ช่วยให้ทีมตรวจดูสิ่งที่ระบบทำได้ ทั้งลำดับข้อความ การเรียกใช้เครื่องมือ และขั้นตอนอื่น ๆ ที่เกิดขึ้นระหว่างการโต้ตอบ บันทึกดังกล่าวมีประโยชน์เมื่อเกิดข้อผิดพลาด อย่างไรก็ตาม การตัดสินว่าการโต้ตอบนั้นดีพอหรือไม่ จำเป็นต้องอาศัยเกณฑ์ที่สะท้อนทั้งลักษณะงานและธุรกิจ

Crux มองว่าการตรวจสอบด้วยคนไม่อาจรองรับการนำระบบไปใช้งานในวงกว้างได้ทัน ประกาศของบริษัทระบุว่าทีมต่าง ๆ สุ่มตรวจร่องรอยการทำงานของ agent เพียง 1% ทำให้ข้อมูลการใช้งานส่วนที่เหลืออีกมากไม่ได้รับการตรวจสอบโดยตรง ตัวเลขนี้เป็นคำอธิบายปัญหาของบริษัท ไม่ใช่ผลสำรวจที่เผยแพร่ในระดับอุตสาหกรรม

การสุ่มตรวจอาจเป็นข้อจำกัดอย่างยิ่งเมื่อความล้มเหลวที่สำคัญเกิดขึ้นไม่บ่อยนัก agent อาจทำงานได้อย่างน่าพอใจในกรณีทั่วไป แต่กลับรับมือได้ยากเมื่อเจอข้อยกเว้นที่เจ้าหน้าที่ผู้มีประสบการณ์สังเกตเห็นได้ทันที ความท้าทายคือการเปลี่ยนความเข้าใจดังกล่าวให้เป็นเกณฑ์ประเมินที่ใช้ได้อย่างสม่ำเสมอกับการโต้ตอบจำนวนมากขึ้น

สำหรับ Crux โอกาสอยู่ที่การเชื่อมโยงผู้ที่เข้าใจสาขานั้น ๆ เข้ากับวิศวกรผู้สร้าง agent ผู้เชี่ยวชาญเฉพาะด้านสามารถอธิบายได้ว่าการโต้ตอบที่ประสบความสำเร็จควรเป็นอย่างไร แต่ความเข้าใจนั้นต้องกลายเป็นส่วนหนึ่งของวิธีวัดและปรับปรุงระบบที่ทำซ้ำได้

รวบรวมดุลยพินิจและปรับเทียบการประเมิน

Crux อธิบายเวิร์กโฟลว์ที่เริ่มต้นภายในเครื่องมือและกระบวนการที่บริษัทใช้อยู่แล้ว agent ของบริษัทจะรวบรวมดุลยพินิจของผู้เชี่ยวชาญและนำไปใช้ปรับเทียบการประเมินแบบกำหนดเอง จากนั้นการประเมินเหล่านี้จะช่วยสนับสนุนการติดตามการทำงานจริงและการแจ้งเตือน โดยนำผลลัพธ์ไปใช้ปรับปรุง agent ในขั้นต่อไป

ขั้นตอนการปรับเทียบมีความสำคัญ การประเมินแบบทั่วไปอาจให้คะแนนคำตอบที่สละสลวย แต่ไม่ตรงตามข้อกำหนดเฉพาะของธุรกิจ การประเมินที่อิงดุลยพินิจของผู้เชี่ยวชาญมีจุดมุ่งหมายเพื่อแยกให้ออกระหว่างคำตอบที่ฟังดูถูกต้องกับคำตอบที่เป็นไปตามความคาดหวังขององค์กร

“Agent เก่งมากในการทำเป้าหมายให้สำเร็จ แต่ไม่สามารถเข้าถึงหลักคิดจากประสบการณ์หลายปีที่มนุษย์อย่างเราสั่งสมไว้ในหัว” Julie Kheyfets ผู้ร่วมก่อตั้งและซีอีโอของ Crux กล่าว “Crux ช่วยให้องค์กรทุกแห่งกลั่นกรองดุลยพินิจนี้ออกมา แล้วนำไปใช้ปรับปรุง agent ได้อย่างรวดเร็ว”

ผลลัพธ์ที่ต้องการคือกระบวนการประเมินที่ปรับเปลี่ยนได้ตามสิ่งที่ผู้เชี่ยวชาญเรียนรู้จากการโต้ตอบจริง เมื่อพบรูปแบบความล้มเหลวใหม่ องค์กรก็มีวิธีนำความรู้นั้นมาปรับใช้กับการประเมินพฤติกรรมในอนาคต แทนที่จะปล่อยให้กระจัดกระจายอยู่ตามบัตรแจ้งปัญหาฝ่ายสนับสนุนและความคิดเห็นของผู้ตรวจแต่ละคน

ติดตามข้อมูลการใช้งานจริงทั้งหมด

Crux ระบุว่าการประเมินแบบกำหนดเองของบริษัทได้รับการปรับให้เหมาะกับการติดตามและแจ้งเตือนแบบเรียลไทม์ ครอบคลุมข้อมูลการใช้งานจริง 100% นี่เป็นคำกล่าวอ้างเรื่องความครอบคลุม กล่าวคือมีการประเมินตลอดกระแสข้อมูลการใช้งาน แต่ไม่ได้หมายความว่าการประเมินจะตรวจพบความล้มเหลวที่อาจเกิดขึ้นได้ทุกกรณี หรือเห็นตรงกับผู้เชี่ยวชาญที่เป็นมนุษย์อย่างสมบูรณ์

ความแตกต่างนี้สำคัญ เพราะการประเมินโดยอัตโนมัติก่อให้เกิดความท้าทายด้านการวัดผลของตัวเอง ระบบที่ตรวจสอบการโต้ตอบทุกครั้งก็ยังอาจพลาดพฤติกรรมสำคัญได้ หากเกณฑ์ไม่ครอบคลุม ดังนั้น การปรับเทียบเกณฑ์เหล่านั้นโดยอาศัยความเชี่ยวชาญเฉพาะด้านจึงเป็นหัวใจสำคัญของแนวทางที่ Crux นำเสนอ ไม่ใช่ขั้นตอนเสริมที่ทำก่อนเริ่มติดตามระบบ

บริษัทยังระบุด้วยว่าผลการประเมินจะนำไปสู่การปรับปรุงที่ส่งขึ้นใช้งานจริง แต่ประกาศของบริษัทไม่ได้ให้รายละเอียดว่ากระบวนการดังกล่าวมีการเปลี่ยนพรอมป์ต์ นโยบาย โมเดล หรือองค์ประกอบอื่นใดบ้าง รวมถึงไม่ได้อธิบายวิธีขออนุมัติจากลูกค้า แนวทางที่เปิดเผยคือบริการประเมินและปรับปรุงแบบครบวงจร ไม่ใช่เทคนิคการฝึกโมเดลที่ระบุไว้อย่างเฉพาะเจาะจง

ทีมผู้ก่อตั้งที่มีประสบการณ์ด้าน AI สำหรับองค์กร

Kheyfets และ Krishna Kulkarni ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่ฝ่ายเทคโนโลยี พบกันที่ Princeton University Kheyfets มีประสบการณ์หนึ่งทศวรรษในการนำ AI ไปใช้ในอุตสาหกรรมที่ซับซ้อน รวมถึงการเป็นผู้นำธุรกิจในอเมริกาเหนือของ Tractable AI และการดำรงตำแหน่งซีอีโอของ Block Renovation

บริษัทระบุว่า ก่อนหน้านี้ Kulkarni เคยเป็นผู้นำด้านวิศวกรรมแบรนด์ที่ Meta พัฒนาผลิตภัณฑ์ AI ที่ Checkr และช่วยขยาย Healthify จากศูนย์จนมีผู้ป่วย 20 ล้านคน ขณะนี้ Crux กำลังสร้างทีม นักวิจัยและวิศวกรที่มุ่งเน้นการประเมินและพัฒนาเอเจนต์

“ทีมวิศวกรรมรู้วิธีสร้างเอเจนต์ AI และผู้เชี่ยวชาญเฉพาะด้านก็รู้ว่าความสำเร็จเป็นอย่างไร แต่บริษัทต่าง ๆ ยังขาดตัวเชื่อมระหว่างทั้งสองฝ่าย” Kulkarni กล่าว “Crux นำความเชี่ยวชาญเฉพาะด้านมาปรับใช้เพื่อพัฒนาเอเจนต์อย่างต่อเนื่อง ช่วยให้วิศวกรสร้างเอเจนต์ที่สอดคล้องกับธุรกิจอย่างแท้จริงได้”

บริษัทระบุว่าเริ่มได้รับความสนใจจากบริษัทใน Fortune 500 และธุรกิจที่เติบโตสูงในแวดวงการดูแลสุขภาพ ความมั่นคงปลอดภัยทางไซเบอร์ บริการทางการเงิน และอุตสาหกรรมซับซ้อนอื่น ๆ ในประกาศดังกล่าว บริษัทยังไม่ได้เปิดเผยชื่อลูกค้า รายได้ จำนวนการนำระบบไปใช้งาน หรือผลการปรับปรุงที่วัดได้

เหตุผลทางธุรกิจของการประเมินที่ออกแบบเฉพาะสำหรับแต่ละบริษัท

Crux วางตำแหน่งตัวเองให้เป็นเสมือนทีมเฉพาะทางภายในองค์กร ซึ่งทำหน้าที่ประเมินและพัฒนาเอเจนต์ เหตุผลทางธุรกิจคือ บุคลากรฝ่ายผลิตภัณฑ์และวิศวกรรมควรใช้เวลาน้อยลงกับการจัดทำกระบวนการตรวจสอบและวินิจฉัยปัญหาที่เกิดซ้ำ ขณะที่ผู้เชี่ยวชาญมีแนวทางที่นำไปใช้ได้จริงในการกำหนดทิศทางระบบที่เป็นตัวแทนธุรกิจของตน

ความต้องการความเชี่ยวชาญเฉพาะด้านยังปรากฏให้เห็นใน แพลตฟอร์มของ iMerit สำหรับการฝึกและประเมิน AI โดยผู้เชี่ยวชาญ ซึ่งการจัดระเบียบข้อเสนอแนะจากผู้เชี่ยวชาญเป็นส่วนหนึ่งของขั้นตอนการปรับปรุงโมเดล

สำหรับนักลงทุน โอกาสนี้เกี่ยวข้องกับสิ่งที่จะเกิดขึ้นหลังจากนำเอเจนต์ไปใช้งานจริง การสร้างเอเจนต์ทำให้เกิดความจำเป็นใหม่ในการวัดพฤติกรรมของเอเจนต์อย่างต่อเนื่อง ระบุจุดที่ยังทำได้ไม่ดี และปรับปรุงเอเจนต์โดยไม่ละเลยมาตรฐานขององค์กร

เงินทุนที่ Crux ระดมได้จะช่วยทดสอบว่าบริษัทสามารถส่งมอบกระบวนการดังกล่าวได้อย่างน่าเชื่อถือแก่ลูกค้าที่มีนิยามความสำเร็จแตกต่างกันหรือไม่ ข้อเสนอของบริษัทตรงไปตรงมา นั่นคือ ควรนำดุลยพินิจของบุคลากรที่เก่งที่สุดในบริษัทมาเป็นส่วนหนึ่งของวิธีประเมินเอเจนต์ และการประเมินเหล่านั้นควรนำไปสู่พฤติกรรมที่ดีขึ้นเมื่อนำเอเจนต์ไปใช้งานจริง ดูข้อมูลเพิ่มเติมได้ที่ Crux Labs