Spectro Cloud เปิดตัว PaletteAI Inference Launchpad เพื่อช่วยให้ธุรกิจควบคุมค่าใช้จ่าย AI Token

Spectro Cloud ได้เปิดตัว PaletteAI Inference Launchpad ซึ่งเป็นแพลตฟอร์มการอนุมานที่จัดการได้แบบท้องถิ่น โดยออกแบบมาเพื่อช่วยให้ธุรกิจลดการพึ่งพาบริการแบบจำลองภายนอก และควบคุมค่าใช้จ่ายที่เพิ่มขึ้นของการทำงาน AI

บริษัทระบุว่าองค์กรสามารถลดค่าใช้จ่ายโทเค็นภายนอกได้มากถึง 70% ขึ้นอยู่กับการผสมผสานการทำงาน อินฟราสตรัคเจอร์ และการเลือกแบบจำลอง นอกจากนี้ Spectro Cloud ยังขยายการสนับสนุน PaletteAI สำหรับอินฟราสตรัคเจอร์ AMD ให้กว้างขึ้น โดยให้ลูกค้ามีตัวเลือก GPU ที่หลากหลายมากขึ้น รวมถึงรันไทม์สำหรับการอนุมานและเทคโนโลยีการให้บริการแบบจำลอง

การประกาศดังกล่าวสะท้อนถึงการเปลี่ยนแปลงในวงการ AI ของธุรกิจ เมื่อบริษัทต่างๆ ขยายการนำ AI ไปใช้ในระดับที่ลึกขึ้น ค่าใช้จ่ายในการประมวลผลข้อมูลเข้าและออกของแบบจำลองก็กลายเป็นปัญหาเกี่ยวกับอินฟราสตรัคเจอร์ที่สำคัญ

การนำการอนุมาน AI มาใกล้กับข้อมูลของธุรกิจ

PaletteAI Inference Launchpad ถูกสร้างขึ้นโดยใช้แนวทางท้องถิ่นในการอนุมาน แทนที่จะส่งคำขอไปยังแบบจำลองภายนอกโดยอัตโนมัติ องค์กรสามารถรันการทำงานที่เหมาะสมบนอินฟราสตรัคเจอร์ที่ตั้งอยู่ในศูนย์ข้อมูลของตนเอง คลาวด์ส่วนตัว สภาพแวดล้อมอธิปไตย หรือที่ตั้งทางขอบ

ธุรกิจยังคงสามารถเข้าถึงแบบจำลองภายนอกที่โฮสต์ไว้สำหรับงานที่ต้องการความสามารถของพวกมัน แพลตฟอร์มนี้มีจุดมุ่งหมายเพื่อจัดการคำขอระหว่างแบบจำลองท้องถิ่นและแบบจำลองภายนอกตามปัจจัยต่างๆ เช่น ค่าใช้จ่าย ประสิทธิภาพ ความต้องการด้านการกำกับดูแล และความซับซ้อนของงาน

แบบจำลองไฮบริดนี้อาจมีความสำคัญมากขึ้นเมื่อองค์กรนำแบบจำลองที่เล็กและเฉพาะเจาะจงมาใช้ การขอความช่วยเหลือจากลูกค้า การจำแนกประเภทเอกสาร หรือการค้นหาความรู้ภายในอาจไม่ต้องการความสามารถแบบจำลองเท่ากับการให้เหตุผลที่ซับซ้อน การเขียนโค้ดที่ซับซ้อน หรือการวิเคราะห์หลายรูปแบบ

การรักษาการทำงานที่เหมาะสมให้ใกล้กับแอปพลิเคชัน ผู้ใช้ และแหล่งข้อมูลอาจช่วยลดความล่าช้าโดยการนำการอนุมานมาใกล้กับแอปพลิเคชัน ผู้ใช้ และแหล่งข้อมูล

การใช้โทเค็นกลายเป็นมาตรฐานอินฟราสตรัคเจอร์

โทเค็นเป็นหน่วยที่แบบจำลอง AI แบ่งและประมวลผลข้อความ รหัส และข้อมูลอื่นๆ ทุกๆ คำขอและคำตอบที่สร้างขึ้นจะใช้โทเค็น และบริการแบบจำลองเชิงพาณิชย์หลายแห่งเรียกเก็บเงินตามจำนวนโทเค็นที่ประมวลผล

หมายความว่าค่าใช้จ่าย AI สามารถเพิ่มขึ้นอย่างรวดเร็วเมื่อระบบเปลี่ยนจากการทดลองไปสู่การนำไปใช้ในระดับที่กว้างขึ้น ปัญหาเกิดขึ้นมากขึ้นเมื่อมีเอเย่นต์ AI ซึ่งอาจทำการเรียกแบบจำลองซ้ำๆ รับข้อมูล ประเมินผลลัพธ์ และใช้เครื่องมือภายนอกก่อนที่จะเสร็จสิ้งงานเพียงงานเดียว

การวิจัยของ Goldman Sachs คาดการณ์ว่าการบริโภคโทเค็น AI ทุกเดือนจะเพิ่มขึ้น 24 เท่าระหว่างปี 2026 ถึง 2030 โดยจะสูงถึงประมาณ 120 ควาดริลเลียนโทเค็นต่อเดือน การเติบโตที่คาดการณ์นี้ได้รับแรงผลักดันจากการนำ AI ไปใช้ในระดับธุรกิจที่กว้างขึ้นและความเกิดขึ้นของเอเย่นต์ AI ที่มีความเป็นอิสระมากขึ้น

Inference Launchpad จัดการกับปัญหานี้โดยให้เครื่องมือแก่ทีมอินฟราสตรัคเจอร์ในการวัดการบริโภคโทเค็น ตั้งโควต้า และใช้นโยบายการใช้งาน การควบคุมเหล่านี้ช่วยให้บริษัทต่างๆ เข้าใจได้ดีขึ้นว่า哪งทีม แอปพลิเคชัน และแบบจำลองเป็นต้นตอของการใช้จ่าย AI ของตน แทนที่จะรักษาการอนุมานให้เป็นค่าบริการภายนอกที่ไม่คาดเดาได้

การลดลง 70% ที่ Spectro Cloud อ้างถึงควรพิจารณาว่าเป็นผลลัพธ์ที่อาจเกิดขึ้นมากกว่าการประหยัดที่รับประกัน ผลลัพธ์ทางเศรษฐกิจที่แท้จริงจะขึ้นอยู่กับต้นทุนการซื้อหรือเช่า GPU อัตราการใช้งาน การบริโภคพลังงาน ประสิทธิภาพของแบบจำลอง ปริมาณคำขอ และราคาของผู้ให้บริการภายนอก

แบบจำลองท้องถิ่นโดยไม่กำจัดแบบจำลองแนวหน้า

ความสามารถในการจัดเส้นทางแบบจำลองของแพลตฟอร์มนี้ได้รับการออกแบบมาเพื่อหลีกเลี่ยงการบังคับให้องค์กรต้องตัดสินใจระหว่างแบบจำลองท้องถิ่นหรือแบบจำลองคลาวด์ทั้งหมด

องค์กรสามารถใช้แบบจำลองท้องถิ่นที่เล็กกว่าสำหรับงานที่คาดการณ์ได้หรืองานที่ต้องการความเป็นส่วนตัว ในขณะที่ส่งคำขอที่ต้องการมากขึ้นไปยังแบบจำลองแนวหน้า นโยบายสามารถกำหนดได้ว่าแบบจำลองใดได้รับอนุญาตสำหรับแผนก จังหวัด หรือการจำแนกประเภทข้อมูลใดๆ

สิ่งนี้นำการกำกับดูแลเข้าสู่ชั้นการอนุมานโดยตรง ตัวอย่างเช่น สถาบันการเงินสามารถป้องกันไม่ให้ข้อมูลบางอย่างออกจากสภาพแวดล้อมที่ควบคุม ในขณะที่ยังอนุญาตให้คำขอที่ไม่ละเอียดอ่อนใช้แบบจำลองภายนอก บริษัทหลายชาติสามารถใช้กฎการกำหนดเส้นทางที่แตกต่างกันตามความต้องการข้อมูลในแต่ละภูมิภาค

Spectro Cloud ได้ตำแหน่งการมีแบบจำลองและความสามารถในการกำกับดูแลเป็นส่วนหนึ่งของกลยุทธ์การจัดการอินฟราสตรัคเจอร์ของ PaletteAI แพลตฟอร์มนี้สนับสนุนสภาพแวดล้อม GPU ที่ใช้ร่วมกัน การเข้าถึงตามบทบาท โควต้าทรัพยากร และการควบคุมระดับテนันต์ ซึ่งมีจุดมุ่งหมายเพื่อให้ทีมหลายทีมสามารถใช้อินฟราสตรัคเจอร์เดียวกันโดยไม่ต้องมีการเข้าถึงที่ไม่จำกัดไปยังระบบพื้นฐาน

การสนับสนุน AMD AI อินฟราสตรัคเจอร์ที่ขยายกว้างขึ้น

พร้อมกับการเปิดตัว Inference Launchpad Spectro Cloud ได้ประกาศการสนับสนุน AMD ที่กว้างขึ้นสำหรับสภาพแวดล้อม AI

การบูรณาการครอบคลุม GPU ของ AMD ตัวดำเนินการ GPU ของ AMD สแต็คซอฟต์แวร์ ROCm และ AMD Inference Microservices ที่รู้จักกันในชื่อ AIMs ส่วนประกอบเหล่านี้จัดการกับชั้นต่างๆ ของอินฟราสตรัคเจอร์ที่จำเป็นในการดำเนินการ AI ในการผลิต

AMD GPU Operator ทำให้ง่ายต่อการกำหนดค่าและจัดการ AMD Instinct Accelerators ภายในคลัสเตอร์ Kubernetes ROCm ให้สแต็คซอฟต์แวร์เปิดที่อยู่ภายใต้ รวมถึงไดรเวอร์ ไลบรารี รันไทม์ และเครื่องมือพัฒนาที่ใช้ในการทำงาน AI และการคำนวณประสิทธิภาพสูงบนฮาร์ดแวร์ AMD

AIMs ให้บริการอนุมานไมโครที่เป็นมาตรฐานสำหรับการให้บริการแบบจำลองบน AMD Instinct GPUs พวกมันถูกออกแบบมาเพื่อจัดแพ็คเกจแบบจำลองที่ได้รับการปรับให้เหมาะสมและซอฟต์แวร์ที่สนับสนุนเป็นบริการที่สามารถใช้งานได้ ซึ่งจะลดงานบูรณาการบางส่วนที่จำเป็นในการย้ายแบบจำลองไปสู่การผลิต

สำหรับลูกค้าธุรกิจ การสนับสนุนที่ขยายกว้างขึ้นนี้อาจทำให้ง่ายต่อการดำเนินงานสภาพแวดล้อม GPU ที่ผสมผสานแทนการสร้างกระบวนการบริหารที่แยกจากกันสำหรับอินฟราสตรัคเจอร์ NVIDIA (NVDA ) และ AMD

การจัดการสแต็กตั้งแต่อุปกรณ์ฮาร์ดแวร์ไปจนถึงแบบจำลอง

Spectro Cloud พัฒนา Palette ในตอนแรกเป็นแพลตฟอร์มการจัดการ Kubernetes สำหรับการติดตั้งและบำรุงรักษาคลัสเตอร์บนคลาวด์สาธารณะ ศูนย์ข้อมูลส่วนตัว ระบบเบア์เมทัล และที่ตั้งทางขอบ

PaletteAI ขยายพื้นฐานนี้ไปสู่อินฟราสตรัคเจอร์ AI โดยรวมการบริหารจัดการชีวิตของ Kubernetes กับการจัดสรร GPU บริการแบบจำลอง การควบคุมความปลอดภัย การเชื่อมต่อเครือข่าย และเครื่องมือการดำเนินการทางปัญญาประดิษฐ์ Spectro Cloud อธิบายแพลตฟอร์มนี้ว่าเป็นวิธีการจัดการอินฟราสตรัคเจอร์จากชั้นฮาร์ดแวร์จริงไปจนถึงแบบจำลองและบริการการอนุมานที่ทำงานบนชั้นนั้น

แพลตฟอร์มนี้รวมถึง PaletteAI Studio ซึ่งให้โครงสร้างพื้นฐานและกลุ่ม AI ที่รวมกันล่วงหน้าจากเทคโนโลยี เช่น Kubeflow, MLflow, ClearML, Run:ai และ Hugging Face การกำหนดค่าเหล่านี้มีจุดมุ่งหมายเพื่อให้ทีมแพลตฟอร์มมีเทมเพลตการปรับใช้ที่สามารถทำซ้ำได้ แทนที่จะกำหนดให้พวกเขาต้องรวมทุกส่วนประกอบด้วยตนเอง

Inference Launchpad เพิ่มการกำหนดเส้นทางโทเค็น การวัด และการให้บริการแบบจำลองท้องถิ่นไปยังชั้นอินฟราสตรัคเจอร์ที่กว้างขึ้น

การสนับสนุนสภาพแวดล้อม AI ที่มีการควบคุมและอธิปไตย

Spectro Cloud ยังกำหนดเป้าหมายไปที่ neoclouds ผู้ให้บริการ dịch vụจัดการ และผู้ดำเนินงานคลาวด์อธิปไตย ซึ่งต้องให้บริการอินฟราสตรัคเจอร์ GPU ที่ใช้ร่วมกันในขณะเดียวกันก็รักษาความโดดเดี่ยวระหว่างลูกค้าและบังคับใช้การควบคุมเฉพาะจังหวัด

บริษัทกำลังทำงานร่วมกับ NexusIgnite ผู้ให้บริการอินฟราสตรัคเจอร์ที่ดำเนินงานจาก Austin และ Dubai เพื่อสนับสนุนการปรับใช้ที่เกี่ยวข้องกับการพักพิงข้อมูล การปฏิบัติตามกฎระเบียบ และการควบคุมการดำเนินงานอธิปไตย

การพักพิงข้อมูลโดยทั่วไปเกี่ยวข้องกับการจัดเก็บข้อมูล AI อธิปไตยแนะนำคำถามเพิ่มเติมเกี่ยวกับผู้ดำเนินอินฟราสตรัคเจอร์ ระบบกฎหมายที่ใช้บังคับ ใครสามารถเข้าถึงได้ และสภาพแวดล้อมสามารถตรวจสอบหรือแยกออกจากบริการภายนอกได้หรือไม่

แพลตฟอร์มของ Spectro Cloud สนับสนุนการปรับใช้ที่โฮสต์เองและแยกออกจากกัน ในขณะที่ PaletteAI VerteX เพิ่มการควบคุมความปลอดภัยที่มีจุดมุ่งหมายสำหรับสภาพแวดล้อมของรัฐบาลและที่มีการควบคุม

ความสามารถเหล่านี้อาจมีความเกี่ยวข้องอย่างยิ่งสำหรับรัฐบาล องค์กรด้านสุขภาพ สถาบันการเงิน และผู้ดำเนินงานโครงสร้างพื้นฐานที่สำคัญที่ไม่สามารถส่งการโต้ตอบ AI ทุกอย่างผ่านบริการสาธารณะที่ใช้ร่วมกัน

การแข่งขันที่เพิ่มขึ้นรอบการดำเนินงาน AI ของธุรกิจ

การเปิดตัวครั้งนี้เกิดขึ้นไม่นานหลังจากที่ Spectro Cloud ประกาศ การระดมทุน Series D มูลค่า 100 ล้านดอลลาร์ ซึ่งนำโดย Growth Equity ของ Goldman Sachs Alternatives โดยมีการเข้าร่วมจาก AMD Ventures, Ericsson, LG Technology Ventures และ Maximus

บริษัทระบุว่าการระดมทุนจะสนับสนุนการขยายตัวในด้านการผลิต AI อินฟราสตรัคเจอร์ คลาวด์อธิปไตย บริการ neocloud และการอนุมานแบบกระจาย Spectro Cloud ได้ระดมทุนประมาณ 260 ล้านดอลลาร์แล้ว

กลยุทธ์ของพวกเขา反映ถึงชั้นใหม่ของตลาด AI ที่มุ่งเน้นไปที่การดำเนินงานแบบจำลองมากกว่าการพัฒนาแบบจำลองพื้นฐาน เมื่อตัวเลือกแบบจำลองเพิ่มขึ้น องค์กรต่างๆ ต้องการอินฟราสตรัคเจอร์ที่สามารถกำหนดได้ว่าแบบจำลองจะทำงานที่ไหน การจัดสรร GPU อย่างไร ข้อมูลใดที่สามารถเข้าถึงได้ และการใช้งานจะวัดอย่างไร

PaletteAI Inference Launchpad และการบูรณาการ AMD ที่ขยายกว้างขึ้นนี้มีให้ใช้งานทันที ความสำคัญในระยะยาวจะขึ้นอยู่กับว่าการอนุมานที่จัดการท้องถิ่นสามารถส่งมอบผลประโยชน์ทางเศรษฐกิจที่สม่ำเสมอได้หรือไม่ โดยไม่ต้องสร้างความซับซ้อนในการดำเนินงานซึ่งเป็นสิ่งที่ธุรกิจต่างๆ หวังว่าจะหลีกเลี่ยงได้โดยการใช้บริการแบบจำลองภายนอกในตอนแรก