Clairvoyance ของ Stardock เพิ่ม Hivemind เพื่อแบ่งปัน GPU ที่ไม่ได้ใช้งานสำหรับ AI บนอุปกรณ์ภายในองค์กร

Clairvoyance ของ Stardock เพิ่มวิธีให้ทีมใช้คอมพิวเตอร์ที่ไม่ได้ใช้งานมาประมวลผลอนุมาน AI ตัวจัดการโมเดลภายในเครื่อง Locama มีฟีเจอร์ Hivemind ที่แบ่งปันทรัพยากรการประมวลผลอนุมานภายในเครื่องระหว่างคอมพิวเตอร์ของบริษัท พร้อมเครื่องมือทดสอบประสิทธิภาพที่ออกแบบมาเพื่อแสดงให้เห็นว่าฮาร์ดแวร์แต่ละรุ่นทำงานกับ AI ได้ดีเพียงใด

การเปิดตัวเมื่อวันที่ 5 พฤศจิกายนวางตำแหน่ง Clairvoyance 0.90 ให้เป็นสภาพแวดล้อมบนเดสก์ท็อปสำหรับใช้งานโมเดลภายในเครื่องและโมเดลบนคลาวด์ร่วมกัน Locama จัดการติดตั้ง เรียกใช้ และประสานการทำงานของโมเดลภายในเครื่องบน Windows, macOS และ Linux ส่วน Hivemind ขยายแนวคิดนี้จากคอมพิวเตอร์เครื่องเดียวไปสู่เครื่องที่ทีมมีให้ใช้งาน

Stardock มุ่งเน้นงานธุรกิจที่ทำเป็นประจำและมีปริมาณมากในด้านต่าง ๆ เช่น การจัดซื้อ ห่วงโซ่อุปทาน งานด้านกฎหมาย และการเงิน บริษัทให้เหตุผลว่างานบางส่วนเหล่านี้สามารถทำได้บนฮาร์ดแวร์ที่องค์กรมีอยู่แล้ว จึงลดความจำเป็นในการส่งทุกคำขอไปยังบริการคลาวด์ที่คิดค่าบริการตามปริมาณการใช้งาน

Hivemind เปลี่ยนคอมพิวเตอร์ที่ไม่ได้ใช้งานให้เป็นทรัพยากรประมวลผลอนุมานที่ใช้ร่วมกัน

Hivemind ช่วยให้สมาชิกในทีมใช้ GPU ที่ว่างอยู่ในคอมพิวเตอร์ของบริษัทเพื่อประมวลผลงาน AI ได้ ฟีเจอร์นี้อาจมีประโยชน์เป็นพิเศษนอกเวลาทำงานปกติ ซึ่งคอมพิวเตอร์ที่สามารถเรียกใช้โมเดลภายในเครื่องได้อาจไม่ได้ใช้งาน

Brad Wardell ซีอีโอของ Stardock Software กล่าวว่า “บริษัทส่วนใหญ่มีคอมพิวเตอร์ประสิทธิภาพสูงที่ไม่ได้ใช้งานทุกคืน และ Hivemind ช่วยให้บริษัทนำเครื่องเหล่านั้นมารวมทรัพยากรและใช้ประโยชน์ได้”

คำศัพท์ทางเทคนิคของบริษัทอธิบายว่า Hivemind เป็นการประมวลผลอนุมานภายในเครื่องร่วมกันระหว่างคอมพิวเตอร์ในเครือข่ายเดียวกัน นอกจากนี้ยังระบุแยกต่างหากว่า Locama ทำหน้าที่เป็นโฮสต์สำหรับการประมวลผลอนุมาน ส่วนองค์ประกอบการกำหนดเส้นทางที่เรียกว่า Concierge มีหน้าที่เลือกโมเดลและคอมพิวเตอร์สำหรับการทำงานแต่ละรอบ

ประเด็นนี้แตกต่างอย่างสำคัญจากการเข้าใจว่าคอมพิวเตอร์หลายเครื่องจะกลายเป็นตัวเร่งประมวลผลขนาดใหญ่เครื่องเดียว การแบ่งงานระหว่างเครื่องที่พร้อมใช้งานอาจเพิ่มขีดความสามารถในการประมวลผลที่นำมาใช้ได้ แต่ประกาศนี้ไม่ได้ระบุว่าจะมีการประมวลผลแบบขนานระดับเทนเซอร์ ใช้หน่วยความจำ GPU ร่วมกัน หรือแบ่งโมเดลขนาดใหญ่เกินกว่าจะรองรับเครื่องเดียวระหว่างคอมพิวเตอร์ในเครือข่ายอย่างไร

สำหรับทีมที่กำลังตัดสินใจว่าจะเรียกใช้เวิร์กโหลดที่ใด คำถามสำคัญคือโมเดลรองรับกับฮาร์ดแวร์ที่มีอยู่หรือไม่ ให้ผลลัพธ์ที่ยอมรับได้หรือไม่ และการส่งงานไปยังคอมพิวเตอร์อีกเครื่องเพิ่มความล่าช้ามากกว่าที่ช่วยลดได้หรือไม่ คุณค่าของ Hivemind จึงขึ้นอยู่กับปัจจัยเหล่านี้ประกอบกัน ไม่ใช่แค่การมี GPU พร้อมใช้งาน

ใช้โมเดลภายในเครื่องและบนคลาวด์ในพื้นที่ทำงานเดียวกัน

Clairvoyance จัดผู้ช่วย AI เป็น Staff ที่มีชื่อเฉพาะ โดยทำงานกับไฟล์ของผู้ใช้และสร้างเอกสารกับชิ้นงานประเภทอื่น ๆ เอกสารประกอบของผลิตภัณฑ์อธิบายวิธีกำหนดผู้ให้บริการหรือโมเดลภายในเครื่องที่แตกต่างกันให้กับ Staff แต่ละคน เพื่อให้พื้นที่ทำงานสามารถผสมผสานตัวเลือกด้านการประมวลผลได้

ความแตกต่างระหว่างตัวเลือกเหล่านี้มีความสำคัญ โมเดลภายในเครื่องทำงานบนฮาร์ดแวร์ที่ผู้ใช้หรือองค์กรควบคุม การเชื่อมต่อเครื่องมือของผู้ให้บริการคลาวด์จะเปิดให้เข้าถึงผ่านบัญชีและระบบยืนยันตัวตนของผู้ให้บริการรายนั้น การติดตั้ง Clairvoyance ไม่ได้ทำให้เข้าถึงโมเดลเชิงพาณิชย์ทุกโมเดลที่รองรับได้อย่างไม่จำกัดโดยอัตโนมัติ

เอกสารประกอบยังระบุด้วยว่าความสามารถในการใช้เครื่องมือแตกต่างกันไปตามโมเดลภายในเครื่อง โมเดลที่ตอบคำถามได้ไม่จำเป็นต้องทำเวิร์กโฟลว์แบบเอเจนต์ที่ทีมต้องการได้ การเลือกโมเดลภายในเครื่องที่มีขนาดเล็กกว่าจึงเป็นการตัดสินใจเฉพาะตามงาน ซึ่งต้องพิจารณาทั้งความสามารถและความเร็ว

ผลิตภัณฑ์นี้จึงมีบทบาทเชิงปฏิบัติที่เชื่อมระหว่างพนักงานกับระบบรันไทม์ของโมเดลที่อยู่เบื้องหลัง แทนที่จะบังคับให้ทุกงานใช้แบ็กเอนด์เดียวกัน สภาพแวดล้อมนี้รองรับการเลือกใช้ตัวเลือกต่าง ๆ ให้เหมาะกับงานแต่ละประเภทได้ การเปิดตัวครั้งนี้ไม่ได้แสดงข้อมูลการลดค่าใช้จ่ายคลาวด์จากการใช้งาน Hivemind ที่ผ่านการวัดผลโดยอิสระ

เครื่องมือทดสอบประสิทธิภาพสำหรับฮาร์ดแวร์ที่ผู้ใช้มีอยู่จริง

Locama ยังมีเครื่องมือทดสอบประสิทธิภาพ Clairvoyance Local AI Benchmark ด้วย Stardock อธิบายว่าค่าหลักที่เรียกว่า Model Speed เป็นการรวมเวลาที่โมเดลภายในเครื่องใช้ประมวลผลคำขอและส่งคำตอบที่สมบูรณ์กลับมา ผลทดสอบสาธารณะดูได้ที่ clairvoyanceai.com/benchmark และผู้ใช้ Professional สามารถทดสอบบนฮาร์ดแวร์ของตนเองได้

บันทึกการเปิดตัวผลิตภัณฑ์ระบุการวัดผลต่าง ๆ ได้แก่ การประมวลผลพรอมป์ต์ล่วงหน้า การถอดรหัส เวลาจนถึงโทเค็นแรก และหน่วยความจำ รวมถึงการตรวจสอบที่มุ่งเน้นงานเฉพาะ การประมวลผลพรอมป์ต์ล่วงหน้าคือการประมวลผลพรอมป์ต์ที่ป้อนเข้าและบริบทของพรอมป์ต์ ส่วนการถอดรหัสคือการสร้างคำตอบ ขั้นตอนเหล่านี้อาจสร้างภาระให้ฮาร์ดแวร์แตกต่างกัน

โทเค็นแรกที่ปรากฏอย่างรวดเร็วช่วยให้ผู้ใช้รู้สึกว่าอินเทอร์เฟซตอบสนองได้ดี ขณะที่เวลาจนงานเสร็จทั้งหมดมีความสำคัญต่อการประมวลผลแบบชุดหรืองานเอเจนต์ที่ใช้เวลานาน การแสดงค่าการวัดเหล่านี้ให้เห็นช่วยให้เครื่องมือทดสอบประสิทธิภาพมีประโยชน์มากกว่าการพิจารณาจากข้อมูลจำเพาะของฮาร์ดแวร์เพียงอย่างเดียว

หน้าผลการทดสอบระบุว่าข้อมูลที่ส่งเข้ามาจากผู้ใช้ Clairvoyance และสะท้อนฮาร์ดแวร์กับการตั้งค่าของผู้ใช้เหล่านั้น ฐานข้อมูลนี้จึงเป็นแหล่งข้อมูลอ้างอิงที่เจาะจงตามการกำหนดค่า ไม่ใช่การจัดอันดับที่ควบคุมปัจจัยและดำเนินการอย่างเป็นอิสระ การเปรียบเทียบที่มีความหมายยังต้องคำนึงถึงโมเดล ความแม่นยำ บริบท งาน และรันไทม์ที่ใช้ด้วย

การผสานรวมกับ Qualcomm เพิ่มตัวเลือกการประมวลผลภายในเครื่องอีกแบบหนึ่ง

Clairvoyance ร่วมงานกับ Qualcomm มาก่อนการเปิดตัวครั้งนี้แล้ว บทความสำหรับนักพัฒนาของ Qualcomm เมื่อวันที่ 23 กันยายน กล่าวถึงการผสาน GenieX ซึ่งเป็นรันไทม์ AI เชิงสร้างสรรค์บนอุปกรณ์ของผู้ผลิตชิป เข้ากับ NPU Hexagon ในพีซีที่ใช้ Snapdragon X Series

การผสานรวมดังกล่าวช่วยขยายขอบเขตการประมวลผลอนุมานภายในเครื่องให้กว้างไปกว่า GPU สำหรับเดสก์ท็อปทั่วไป Qualcomm อธิบายว่าระบบเลือกโมเดลและทรัพยากรการประมวลผลตามข้อกำหนดของงาน โดยรองรับเวิร์กโฟลว์แบบเอเจนต์ที่ทำงานภายในเครื่อง อย่างไรก็ตาม ข้อมูลนี้ไม่ได้ยืนยันว่าโมเดลภายในเครื่องทุกตัวสามารถใช้แทนโมเดลคลาวด์ระดับแนวหน้าได้สำหรับทุกงาน

สิ่งที่เกี่ยวข้องกับ Hivemind คือแนวทางด้านฮาร์ดแวร์ในภาพรวม นั่นคือการทำให้ทรัพยากรคอมพิวเตอร์ที่มีอยู่ใช้งานได้ผ่านสภาพแวดล้อมการทำงานเดียวกัน เครื่องแต่ละเครื่องอาจมีขีดความสามารถของโมเดล แบนด์วิดท์ และการเร่งประมวลผลแตกต่างกัน ซอฟต์แวร์จึงต้องเลือกเครื่องให้เหมาะกับงานและทรัพยากรที่มีอยู่

ราคาและความคุ้มค่าทางเศรษฐกิจของการนำฮาร์ดแวร์กลับมาใช้

Clairvoyance 0.90 กำลังเปิดตัวสำหรับ Windows, macOS และ Linux หน้าราคาระบุแพ็กเกจฟรีสำหรับการใช้งานส่วนบุคคลและไม่ใช่เชิงพาณิชย์ ส่วนแพ็กเกจ Professional มีค่าใช้จ่าย 20 ดอลลาร์ต่อเดือน และเพิ่มสิทธิ์ใช้งานเชิงพาณิชย์, Hivemind, ความสามารถสำหรับการทำงานเป็นทีม, การซิงก์ข้อมูลบนคลาวด์ และแพ็กเกจโทเค็น AI ที่รวมอยู่ในแพ็กเกจ ส่วนแพ็กเกจ Enterprise มีราคา 100 ดอลลาร์ต่อที่นั่งต่อเดือน พร้อมฟีเจอร์เพิ่มเติมสำหรับองค์กรและข้อตกลงด้านปริมาณการใช้งาน

การประมวลผลอนุมานภายในเครื่องอาจช่วยลดค่าใช้จ่ายคลาวด์ที่คิดตามปริมาณการใช้งาน แต่ก็ยังมีต้นทุนด้านพลังงาน การสึกหรอของฮาร์ดแวร์ การดูแลระบบ และต้นทุนค่าเสียโอกาสจากการใช้เครื่องนั้น นอกจากนี้ การเปรียบเทียบต้นทุนยังต้องคำนึงถึงคุณภาพของผลลัพธ์และงานที่ต้องทำเพื่อตรวจสอบหรือแก้ไขด้วย

Stardock เชื่อว่างานที่ต้องทำซ้ำเป็นประจำมีมากพอที่จะทำให้ฮาร์ดแวร์ที่มีอยู่ใกล้ตัวตอบโจทย์ได้ Hivemind ช่วยให้ทีมต่าง ๆ ทดลองแนวคิดนี้ได้ ขณะที่เกณฑ์มาตรฐานก็เป็นจุดเริ่มต้นสำหรับวัดว่าโมเดลและเครื่องแบบใดเหมาะกับงานนั้น