Stardock’un Clairvoyance’ı, Yerel Yapay Zekâ İçin Boştaki GPU’ları Paylaşma Özelliği Olarak Hivemind’i Ekliyor

Stardock’un Clairvoyance’ı, ekiplerin boşta duran bilgisayarları yapay zekâ çıkarımı için kullanmasını sağlayan bir özellik ekliyor. Yerel model yöneticisi Locama’da bulunan Hivemind, belirli donanımların yapay zekâyı ne kadar iyi çalıştırdığını göstermeyi amaçlayan bir kıyaslama testinin yanı sıra, şirketin bilgisayarlarındaki yerel çıkarım kapasitesini paylaşıma açıyor.

5 Kasım’da yayımlanan Clairvoyance 0.90 sürümü, yerel ve bulut modellerini birlikte kullanmaya yönelik bir masaüstü ortamı sunuyor. Locama, Windows, macOS ve Linux’ta yerel modellerin kurulumunu, çalıştırılmasını ve orkestrasyonunu yönetiyor; Hivemind ise bu yaklaşımı tek bir bilgisayardan ekibin kullanabileceği bilgisayarlara taşıyor.

Stardock; satın alma, tedarik zincirleri, hukuk operasyonları ve finans gibi alanlardaki rutin ve yüksek hacimli işlere odaklanıyor. Şirkete göre bu görevlerin bazıları, kuruluşun zaten sahip olduğu donanımlarda yürütülebilir ve böylece her isteğin kullanıma göre ücretlendirilen bir bulut hizmetine gönderilmesi ihtiyacı azalabilir.

Hivemind, Boştaki Bilgisayarları Paylaşımlı Çıkarım Kapasitesine Dönüştürüyor

Hivemind, ekip üyelerinin şirket bilgisayarlarındaki boşta duran GPU’ları kullanarak yapay zekâ işlerini yürütmesine olanak tanıyor. Yerel modelleri çalıştırabilen bilgisayarların normal çalışma saatleri dışında kullanılmadan kalabileceği düşünüldüğünde, bu özellik özellikle mesai saatleri dışında işe yarayabilir.

Stardock Software CEO’su Brad Wardell, “Çoğu kuruluşta her gece boşta duran, güçlü bilgisayarlar var. Hivemind, bu bilgisayarları bir araya getirip işe koşmalarını sağlıyor,” dedi.

Şirketin teknik terminolojisi, Hivemind’i eşler arasında paylaşılan yerel çıkarım olarak tanımlıyor. Ayrıca çıkarım sunucusu olarak Locama’yı, bir işlem adımı için model ve bilgisayar seçmekten sorumlu yönlendirme bileşeni olarak da Concierge’i ayrı ayrı tanımlıyor.

Bu, birkaç bilgisayarın tek ve büyük bir hızlandırıcıya dönüştüğünü varsaymaktan önemli ölçüde farklı. Kullanılabilir bilgisayarlar arasında iş paylaşımı, kullanılabilir kapasiteyi artırabilir; ancak duyuruda tensör paralel yürütme, birleştirilmiş GPU belleği ya da tek bir büyük modelin eşler arasında nasıl bölüneceği belirtilmiyor.

Bir iş yükünü nerede çalıştıracağına karar veren bir ekip için şu sorular önem taşıyor: Model mevcut donanıma sığıyor mu, kabul edilebilir sonuçlar üretiyor mu ve işi başka bir bilgisayara yönlendirmek, sağladığı zamandan daha fazla gecikmeye yol açıyor mu? Hivemind’in sağlayacağı fayda yalnızca GPU’ların kullanılabilir olmasına değil, bu unsurların bir araya gelişine bağlı olacak.

Aynı Çalışma Alanında Yerel ve Bulut Modelleri

Clairvoyance, yapay zekâ asistanlarını kullanıcının dosyalarıyla çalışan ve belge ya da başka çıktılar üreten, Staff adı verilen birimler olarak düzenliyor. Belgeleri, Staff üyelerine farklı sağlayıcılar veya yerel modeller atanabileceğini ve böylece bir çalışma alanında farklı bilgi işlem seçeneklerinin bir arada kullanılabileceğini açıklıyor.

Bu seçenekler arasındaki fark önem taşıyor. Yerel bir model, kullanıcının veya kuruluşun kontrolündeki donanımda çalışır. Bir bulut sağlayıcısının aracına bağlanmak, o sağlayıcının hesabı ve kimlik doğrulaması üzerinden erişim sağlar; Clairvoyance’ı kurmak, desteklediği tüm ticari modellere sınırsız erişimi kendiliğinden içermez.

Belgelerde ayrıca araç kullanım becerilerinin yerel modeller arasında farklılık gösterdiği belirtiliyor. Soruları yanıtlayabilen bir model, ekibin ihtiyaç duyduğu ajan tabanlı iş akışını mutlaka yürütemez. Bu nedenle daha küçük bir yerel model seçmek, hızın yanı sıra becerileri de dikkate alan, göreve özgü bir karardır.

Bu da ürüne, çalışan ile temel model çalışma ortamları arasında pratik bir rol kazandırıyor. Ortam, her işin aynı arka uçta yürütülmesini zorunlu kılmak yerine, farklı işler için farklı seçenekleri destekleyebilir. Sürüm duyurusunda, Hivemind dağıtımlarının bulut maliyetlerini ne ölçüde azalttığına ilişkin bağımsız ölçümler sunulmuyor.

Kullanıcıların Gerçekten Sahip Olduğu Donanımlara Yönelik Bir Kıyaslama Testi

Locama’da Clairvoyance Yerel Yapay Zekâ Kıyaslama Testi de bulunuyor. Stardock, öne çıkardığı Model Hızı ölçüsünün, yerel bir modelin isteği işleyip eksiksiz bir yanıt vermesi için geçen süreyi birleştirdiğini belirtiyor. Herkese açık sonuçlar clairvoyanceai.com/benchmark adresinde bulunuyor; Professional kullanıcıları ise kendi donanımlarında test yapabiliyor.

Ürünün sürüm notlarında, öntanımlama, kod çözme, ilk belirtece kadar geçen süre ve bellek ölçümlerinin yanı sıra göreve yönelik kontroller de açıklanıyor. Öntanımlama, bir girdi isteminin ve bağlamının işlenmesidir; kod çözme ise yanıtın oluşturulmasıdır. Bu aşamalar donanımı farklı biçimlerde zorlayabilir.

İlk belirtecin hızlı gelmesi arayüzün duyarlı hissedilmesini sağlayabilir; toplu bir işte veya daha uzun bir ajan görevinde ise toplam tamamlama süresi önemlidir. Bu ölçümlerin görünür olması, kıyaslama testini tek bir donanım özelliğine dayanmaktan daha kullanışlı kılar.

Sonuçlar sayfasında, gönderimlerin Clairvoyance kullanıcılarından geldiği ve onların donanım yapılandırmalarıyla ayarlarını yansıttığı belirtiliyor. Bu nedenle veritabanı, kontrollü ve bağımsız bir sıralama değil, yapılandırmaya özgü bir kanıt kaynağı niteliği taşıyor. Anlamlı karşılaştırmalar için kullanılan modelin, hassasiyetin, bağlamın, görevin ve çalışma ortamının da hesaba katılması gerekiyor.

Qualcomm Entegrasyonu Yerel Hesaplama İçin Yeni Bir Seçenek Sunuyor

Clairvoyance’ın Qualcomm ile çalışmaları bu sürümden önceye dayanıyor. 23 Eylül tarihli Qualcomm geliştirici makalesi, çip üreticisinin cihaz üzerinde çalışan üretken yapay zekâ çalışma zamanı GenieX’i Snapdragon X Series PC’lerdeki Hexagon NPU ile entegre ettiğini belgeliyor.

Bu entegrasyon, yerel çıkarımı geleneksel masaüstü GPU’larının ötesine taşıyor. Qualcomm, görev gereksinimlerine göre modellerin ve bilgi işlem kaynaklarının seçildiğini, yerel ajan tabanlı iş akışlarının da desteklendiğini belirtiyor. Ancak bu, her yerel modelin her görevde en gelişmiş bulut modellerinin yerini alabileceği anlamına gelmiyor.

Hivemind açısından bunun önemi, daha geniş donanım stratejisinde yatıyor: mevcut bilgi işlem kaynaklarını tek bir çalışma ortamı üzerinden kullanılabilir kılmak. Farklı makinelerin model kapasitesi, bant genişliği ve hızlandırma olanakları değişebilir; dolayısıyla yazılımın görevi, mevcut kaynaklara uygun şekilde eşleştirmesi gerekir.

Donanımı Yeniden Kullanmanın Ekonomisi ve Fiyatlandırma

Clairvoyance 0.90, Windows, macOS ve Linux için kullanıma sunuluyor. Fiyatlandırma sayfasında, kişisel ve ticari olmayan kullanıma yönelik ücretsiz bir plan yer alıyor. Professional planı ise aylık 20 dolara mal oluyor ve ticari lisans, Hivemind, ekip kullanımına yönelik özellikler, bulut senkronizasyonu ve pakete dâhil bir yapay zekâ token paketi sunuyor. Enterprise planının fiyatı koltuk başına aylık 100 dolar olarak belirtiliyor; bu plan ek kurumsal özellikler ve toplu kullanım düzenlemeleri de içeriyor.

Yerel çıkarım, kullanıma dayalı bulut harcamalarını azaltabilir; ancak elektrik, donanımın yıpranması, yönetim ve bir makineyi başka işler yerine bu amaçla kullanmanın fırsat maliyeti gibi giderleri de beraberinde getirir. Maliyet karşılaştırmasında çıktının kalitesi ve onu incelemek ya da düzeltmek için gereken çalışmalar da hesaba katılmalıdır.

Stardock, düzenli olarak tekrarlanan işlerin yeterli bir bölümünün yakındaki mevcut donanımlarda bu gereksinimleri karşılayabileceğine inanıyor. Hivemind, ekiplerin bu yaklaşımı denemesine olanak tanırken kıyaslama testi de hangi model ve makinelerin hangi işlere uygun olduğunu ölçmek için bir başlangıç noktası sunuyor.