Backboard.io เปิดตัวสแต็กโครงสร้างพื้นฐาน AI ที่เน้นประสิทธิภาพ การควบคุมขององค์กร และการนำไปใช้ภายในประเทศ

เมื่อองค์กรต่างๆ แข่งขันกันเพื่อนำเทคโนโลยี AI มาใช้ การสนทนาได้เปลี่ยนจากประสิทธิภาพของโมเดล AI ที่ดีที่สุดไปสู่คำถามที่เป็นไปได้มากขึ้น: องค์กรสามารถใช้ AI ได้อย่างมีประสิทธิภาพและรักษาการควบคุมข้อมูลของตนเองได้อย่างไร บริษัท Backboard.io ที่ตั้งอยู่ในเมืองออตตาวา เชื่อว่าคำตอบไม่ได้อยู่ที่การสร้างคลัสเตอร์ GPU ที่ใหญ่ขึ้น แต่อยู่ที่การทำให้โครงสร้างพื้นฐาน AI ที่มีอยู่มีประสิทธิภาพมากขึ้น

ในวันแคนาดา บริษัทได้แนะนำเทคโนโลยีหลัก 4 ประการ ซึ่งครอบคลุมการบีบอัดโมเดล AI การพัฒนาซอฟต์แวร์ที่ช่วยเหลือโดย AI การเข้าถึงโมเดล AI หลายรูปแบบ และหน่วยความจำ AI ในระยะยาว แม้ว่าการประกาศจะเน้นย้ำถึงรากฐานของแคนาดา แต่เรื่องราวที่กว้างขึ้นเกี่ยวกับโครงสร้างพื้นฐานที่ออกแบบสำหรับองค์กรที่ต้องการลดค่าใช้จ่าย AI ในขณะเดียวกันก็รักษางานที่ละเอียดอ่อนไว้ภายในสภาพแวดล้อมของตนเอง

การขยายการใช้งาน GPU ที่มีอยู่

การประกาศที่สำคัญที่สุดจากด้านเทคนิคอาจเป็น BackboardQuant (BBQ) ซึ่งเป็นเทคโนโลยีการบีบอัดโมเดล AI ที่บริษัทอ้างว่าสามารถลดขนาดโมเดล AI ได้มากถึง 70% ในขณะที่รักษาคุณภาพเอาต์พุตที่ใกล้เคียงกัน

การบีบอัดโมเดล AI ได้กลายเป็นพื้นที่สำคัญของการวิจัย AI เมื่อองค์กรต่างๆ ต้องดิ้นรนกับค่าใช้จ่ายที่เพิ่มขึ้นของการอนุมาน โมเดลที่เล็กกว่านั้นจะใช้หน่วยความจำน้อยลง ต้องการทรัพยากรฮาร์ดแวร์น้อยลง และสามารถดำเนินการได้เร็วขึ้น ซึ่งช่วยให้องค์กรสามารถใช้โมเดลที่ซับซ้อนได้โดยไม่ต้องขยายความจุ GPU อย่างต่อเนื่อง

ตามที่ Backboard.io ระบุ การทดสอบภายในแสดงให้เห็นว่า BBQ สามารถให้ผลลัพธ์ในการอนุมานที่เร็วขึ้น 2.7 เท่า ซึ่งทำให้ GPU เดียวสามารถทำงานที่อาจต้องใช้แอคเซลเลเตอร์หลายตัวได้ เทคโนโลยีนี้ไม่ได้ออกแบบมาเพื่อแทนที่โมเดลพื้นฐานที่มีอยู่ แต่เพื่อปรับให้เหมาะสมสำหรับการใช้งานในระดับผลิต

การแข่งขันในการพัฒนาซอฟต์แวร์ที่ช่วยเหลือโดย AI

บริษัทยังแนะนำ Backboard Studio ซึ่งเป็นแพลตฟอร์มการเขียนโค้ด AI ที่มุ่งเป้าไปที่ตลาด AI ที่มีการแข่งขันสูง

แทนที่จะพัฒนาโมเดลภาษาแนวหน้าของตนเอง Backboard ใช้แนวทางสถาปัตยกรรมที่แตกต่าง แพลตฟอร์มนี้อยู่บนโมเดลที่มีอยู่แล้วในขณะเดียวกันก็พยายามปรับปรุงประสิทธิภาพผ่านการออร์เคสตรา การจัดการบริบท การทำงานแบบเรียกซ้ำ และการเพิ่มประสิทธิภาพโทเค็น นักพัฒนาสามารถเลือกโมเดลเชิงพาณิชย์ที่นำมาใช้หรือตัวเลือกโอเพ่นซอร์ส ในขณะที่แพลตฟอร์มจัดการบริบทโครงการ การดำเนินงานแบบเวิร์กโฟลว์ และการสร้างโค้ดสำหรับการผลิต

Backboard อ้างว่าแพลตฟอร์มนี้สามารถบรรลุผลลัพธ์ที่เทียบเท่ากับแอสซิสแตนต์การเขียนโค้ดที่นำมาใช้มากที่สุด ในขณะเดียวกันก็ลดการใช้โทเค็นลง 30% ซึ่งเป็นข้อพิจารณาที่สำคัญมากขึ้นเมื่อองค์กรต่างๆ พยายามจัดการค่าใช้จ่ายในการดำเนินงาน AI

บริษัทยังเน้นย้ำถึงความยืดหยุ่นในการใช้งานองค์กร Backboard Studio สามารถทำงานได้ทั้งในรูปแบบบริการคลาวด์หรือภายในโครงสร้างพื้นฐานขององค์กรเอง ทำให้โค้ดต้นฉบับที่เป็นกรรมสิทธิ์สามารถอยู่ภายในสภาพแวดล้อมองค์กรได้ แทนที่จะถูกส่งไปยังผู้ให้บริการ AI ของบุคคลที่สาม

Nash รวมโมเดล AI หลายพันรูปแบบ

ส่วนหนึ่งของการประกาศคือ Nash ซึ่งเป็นแอปพลิเคชันแชทแบบรวมที่ให้การเข้าถึงโมเดล AI หลายพันรูปแบบสำหรับข้อความและรูปภาพผ่านอินเทอร์เฟซเดียว

แนวคิดนี้ตอบสนองความกังวลขององค์กรที่เพิ่มขึ้นซึ่งเรียกว่า “shadow AI” ซึ่งพนักงานนำเครื่องมือ AI ของผู้บริโภคมาใช้นอกเหนือจากระบบองค์กรที่ได้รับการอนุมัติ แทนที่จะพยายามปิดกั้นการใช้ AI Backboard จัดตำแหน่ง Nash เป็นแพลตฟอร์มที่ให้องค์กรสามารถเข้าถึงโมเดล AI หลายรูปแบบได้ ในขณะเดียวกันก็รักษาการกำกับดูแลข้อมูลผู้ใช้และหน่วยความจำขององค์กร

โครงสร้างพื้นฐานที่อยู่ภายใต้การสนับสนุน Bring Your Own Key (BYOK) การจัดการบริบทแบบปรับเปลี่ยน และการกำหนดเส้นทางผ่านโมเดล AI หลายพันรูปแบบผ่านแพลตฟอร์มเดียว

การรักษาหน่วยความจำเป็นโครงสร้างพื้นฐาน AI

จุดเน้นทางเทคนิคที่กำหนดไว้ตั้งแต่เริ่มก่อตั้ง Backboard คือหน่วยความจำ AI ที่คงอยู่

โมเดลภาษาที่มีขนาดใหญ่ยังคงไม่มีสถานะ ซึ่งหมายความว่าการสนทนา ความชอบ และบริบททางประวัติศาสตร์มักจะหายไป เว้นแต่ผู้พัฒนาจะสร้างโครงสร้างพื้นฐานเพิ่มเติมรอบๆ โมเดลเหล่านั้น Backboard ได้จัดตำแหน่งตัวเองเป็นชั้นหน่วยความจำที่ทำงานร่วมกับโมเดล AI และแอปพลิเคชันต่างๆ มากมาย แทนที่จะล็อกผู้ใช้ในระบบนิเวศเดียว

บริษัทระบุว่าระบบหน่วยความจำของตนอยู่ในอันดับแรกในบンチมาร์ก LoCoMo และ LongMemEval ซึ่งเป็นการประเมินที่อ้างอิงอย่างกว้างขวางในการวัดการให้เหตุผลในบริบทยาวและประสิทธิภาพหน่วยความจำที่คงอยู่ เมื่อต้นปีนี้ Backboard อธิบายหน่วยความจำว่าเป็นโครงสร้างพื้นฐานที่สำคัญ ไม่ใช่แค่คุณลักษณะที่เพิ่มเข้ามาในโมเดลที่มีอยู่

สถาปัตยกรรมนี้ช่วยให้องค์กรสามารถรักษาเรื่องราวของลูกค้า ความชอบ และความรู้เชิงบริบทได้ แม้ว่าจะเปลี่ยนไปใช้โมเดลภาษาที่แตกต่างกันก็ตาม

AI ที่อยู่ภายในขอบเขตองค์กร

ทั่วทั้งการประกาศสี่ครั้ง ปรัชญาการออกแบบที่สอดคล้องกันปรากฏขึ้น: องค์กรต่างๆ ต้องการระบบ AI ที่ทำงานภายใต้การกำกับดูแลของตนเอง

แพลตฟอร์มของ Backboard สามารถใช้งานได้ภายในคลาวด์ส่วนตัวของลูกค้า ทำให้องค์กรสามารถรักษาสิทธิ์ในข้อมูลของตนเองในขณะเดียวกันก็ใช้ความสามารถ AI ที่ทันสมัย วิธีการนี้มีความเกี่ยวข้องอย่างยิ่งสำหรับอุตสาหกรรมที่จัดการข้อมูลที่ละเอียดอ่อน รวมถึงการดูแลสุขภาพ บริการทางการเงิน รัฐบาล และโครงสร้างพื้นฐานที่สำคัญ ซึ่งมักจะมีข้อกำหนดด้านกฎระเบียบที่จำกัดการใช้บริการ AI ที่โฮสต์ภายนอก

แทนที่จะถือว่าความเป็นอิสระเป็นปัญหาในระดับชาติ สถาปัตยกรรมของบริษัทมุ่งเน้นไปที่การควบคุมขององค์กร – การรักษาโมเดล หน่วยความจำ และข้อมูลแอปพลิเคชันภายในสภาพแวดล้อมที่ลูกค้าจัดการ

เรื่องราวโครงสร้างพื้นฐาน AI ของแคนาดาที่เติบโต

แม้ว่าการพูดคุย AI ทั่วโลกจะยังคงมุ่งเน้นไปที่นักพัฒนาโมเดลพื้นฐานของ Silicon Valley แต่ Backboard.io แสดงถึงประเภทอื่นของบริษัท AI ที่ได้รับโมเมนตัม: ผู้สร้างโครงสร้างพื้นฐานที่เน้นไปที่การทำให้โมเดลที่มีอยู่มีความเป็นไปได้มากขึ้นสำหรับสภาพแวดล้อมการผลิต

ที่ก่อตั้งโดย Rob Imbeault ซึ่งเป็นหนึ่งในผู้ร่วมก่อตั้ง Assent บริษัทซอฟต์แวร์โซลูชันซัพพลายเชนของแคนาดา Backboard มุ่งเน้นไปที่การปรับปรุงเศรษฐศาสตร์และลักษณะการดำเนินงานของ AI องค์กร แทนที่จะแข่งขันกันเพื่อสร้างโมเดลภาษาแนวหน้าตัวถัดไป เมื่อต้นปีนี้ บริษัทได้ระดมทุนรอบก่อนซีดเพื่อการระดมทุนเพื่อต่อเนื่องพัฒนาแพลตฟอร์มโครงสร้างพื้นฐาน AI

เมื่อ AI องค์กรเติบโต เทคโนโลยีที่ลดค่าใช้จ่ายในการอนุมาน ปรับปรุงหน่วยความจำ ทำให้การนำโมเดลหลายรูปแบบไปใช้ง่ายขึ้น และช่วยให้สภาพแวดล้อม AI ที่โฮสต์ภายในตัวมีความสำคัญมากขึ้นพร้อมกับการพัฒนาความสามารถของโมเดลตัวมันเอง การเปิดตัวล่าสุดของ Backboard สะท้อนถึงการเปลี่ยนแปลงที่กว้างขึ้น – จากการสร้างโมเดลที่ใหญ่ขึ้นไปสู่การสร้างโครงสร้างพื้นฐานที่ช่วยให้องค์กรสามารถดึงคุณค่ามากขึ้นจากโมเดลที่พวกเขาใช้อยู่แล้ว