Backboard.io, Verimliliği, Kurum Kontrolünü ve Egemen Dağıtımı Odak Alan AI Altyapısı Stackingini Tanıttı

Organizasyonlar yapay zeka benimsemeye çalışırken, konuşma giderek ham model performansından daha pratik bir soruya kaydı: şirketler AI’ı daha düşük maliyetle nasıl çalıştırabilir ve aynı zamanda verilerine kontrolü nasıl sağlayabilir? Ottawa merkezli Backboard.io, cevabın daha büyük GPU kümeleri değil, mevcut AI altyapısını önemli ölçüde daha verimli hale getirmek olduğuna inanıyor.

Kanada Günü’nde, şirket dört büyük teknolojiyi tanıttı: model sıkıştırma, AI destekli yazılım geliştirme, çoklu model AI erişimi ve uzun süreli AI belleği. Açıklamanın Kanada kökenlerini vurgulamasına rağmen, daha geniş hikaye, şirketlerin AI maliyetlerini azaltırken hassas iş yüklerini kendi ortamlarında tutmak isteyen şirketler için tasarlanmış altyapıyla ilgili.

Mevcut GPU’ları Daha Fazla Götürmek

Belki de teknik olarak en önemli açıklama, BackboardQuant (BBQ) adlı bir model sıkıştırma teknolojisidir. Şirket, bu teknolojinin AI model boyutlarını %70’e kadar azaltabileceğini ve aynı zamanda neredeyse aynı çıktı kalitesini koruyabileceğini söylüyor.

Model sıkıştırma, organizasyonların artan çıkarım maliyetiyle mücadele ettiği için AI araştırmalarında giderek daha önemli bir alan haline geldi. Daha küçük modeller daha az bellek tüketir, daha az donanım kaynağı gerektirir ve genellikle daha hızlı çalışabilir, böylece organizasyonlar gelişmiş modelleri sürekli olarak GPU kapasitesini genişletmeden dağıtabilir.

Backboard.io’ya göre, iç testler BBQ’nun en fazla %2,7 daha hızlı çıkarım sunabileceğini gösteriyor, bu da tek bir GPU’nun birden fazla hızlandırıcı gerektirebileceği işleri gerçekleştirmesine olanak tanıyor. Temel modelleri değiştirmek yerine, teknoloji bunları üretim dağıtımları için optimize etmek üzere tasarlandı.

AI Destekli Yazılım Geliştirme Alanında Rekabet

Şirket ayrıca Backboard Studio adlı bir AI kodlama platformunu tanıttı. Bu platform, bugünlerde en rekabetçi AI piyasalarından birine doğrudan hitap ediyor.

Şirket, kendi sınırlayıcı dil modelini geliştirmek yerine farklı bir mimari yaklaşım benimsemiştir. Platform, mevcut modellerin üzerine kurulur ve düzenleme, bağlam yönetimi, yinelemeli iş akışları ve token optimizasyonu yoluyla verimliliği artırmaya çalışır. Geliştiriciler, öncü ticari modellerden veya açık kaynaklı alternatiflerden seçim yapabilirken, platform proje bağlamını, iş akışı yürütmesini ve üretim odaklı kod oluşturmasını yönetir.

Backboard, platformun, lider kod asistanlarına rakip benchmark sonuçları elde ettiğini ve aynı zamanda token kullanımını %30’a kadar azalttığını iddia ediyor. Bu, şirketlerin AI işletme maliyetlerini yönetmeye çalıştığından giderek daha önemli bir consideration haline geliyor.

Şirket, ayrıca kurumsal dağıtım esnekliğini vurguluyor. Backboard Studio, bulut hizmeti olarak veya bir organizasyonun kendi altyapısında çalıştırılabilir, bu da özel kaynak kodunun üçüncü taraf AI sağlayıcılarına iletilmek yerine kurumsal ortamlarda kalmasına olanak tanır.

Nash Binlerce AI Modelini Konsolide Ediyor

Açıklamanın üçüncü bileşeni, Nash adlı birleştirilmiş bir sohbet uygulamasıdır. Bu uygulama, tek bir arayüze通过 binlerce metin ve görüntü AI modeline erişim sağlar.

Bu kavram, şirketlerin giderek daha fazla karşılaştığı bir sorun olan “gölge AI”ye hitap ediyor. Burada, çalışanlar onaylı kurumsal sistemlerin dışında tüketici AI araçlarını bağımsız olarak benimsiyor. Backboard, Nash’i, şirketlerin geniş bir model yelpazesine erişim sağlamasına olanak tanıyan merkezileştirilmiş bir platform olarak konumlandırıyor ve aynı zamanda kullanıcı verilerini ve kurumsal belleği yönetmesine olanak tanıyor.

Altta yatan altyapı, ayrıca Kendi Anahtarınızı Getirin (BYOK), uyarlanabilir bağlam yönetimi ve tek bir platform aracılığıyla binlerce model arasında yönlendirmeyi destekler.

AI Altyapısı Olarak Bellek

Backboard’un teknik odak noktalarından biri, başlangıcından bu yana sürekli AI belleği olmuştur.

Büyük dil modelleri temel olarak durumsuz kalır, yani sohbetler, tercihler ve tarihi bağlam genellikle geliştiricilerin bunlara ek altyapı oluşturmadıkça kaybolur. Backboard, farklı AI modelleri ve uygulamalar arasında çalışabilen adanmış bir bellek katmanı olarak kendini konumlandırıyor, böylece kullanıcıları tek bir ekosisteme kilitlemiyor.

Şirket, bellek sisteminin şu anda LoCoMo ve LongMemEval benchmark’lerinde ilk sırada olduğunu söylüyor. Bu, uzun bağlamlı akıl yürütme ve kalıcı bellek performansı açısından iki yaygın olarak atıfta bulunulan değerlendirme ölçütüdür. Backboard, daha önce belleği, mevcut modellere eklenen bir özellik olarak değil, temel altyapı olarak tanımlamıştı.

Bu mimari, organizasyonların, farklı dil modelleri arasında geçiş yaptıklarında bile, kullanıcı geçmişini, tercihlerini ve bağlamsal bilgilerini koruyabilmesini sağlar.

Şirket Sınırları İçinde Kalan AI

Dört açıklamanın tümü boyunca, tutarlı bir tasarım felsefesi ortaya çıkıyor: şirketler, kendi yönetimlerine tabi olan AI sistemlerini giderek daha fazla istiyor.

Backboard’un platformu, müşterinin özel bulutunda dağıtılabilir, bu da organizasyonların modern AI yeteneklerini kullanırken verilerine sahip olmasını sağlar. Bu yaklaşım, özellikle sağlık hizmetleri, finansal hizmetler, hükümet ve kritik altyapı gibi duyarlı bilgileri işleyen sektörler için özellikle ilgili, çünkü düzenleyici gereksinimler genellikle dışarıda barındırılan AI hizmetlerinin kullanımını sınırlar.

Şirket, egemenliği yalnızca ulusal bir sorun olarak değil, kurumsal kontrol olarak ele alıyor – modelleri, belleği ve uygulama verilerini müşteri tarafından yönetilen ortamlarda tutma.

Büyüyen Kanada AI Altyapısı Hikayesi

Küresel AI konuşmasının büyük kısmı hala Silikon Vadisi’ndeki temel model geliştiricileri вокругunda odaklanmış olsa da, Backboard başka bir AI şirketi kategorisini temsil ediyor: üretim ortamları için mevcut modelleri daha pratik hale getirmeye odaklanan altyapı oluşturucular.

Rob Imbeault tarafından kurulan şirket, daha önce Kanada tedarik zinciri yazılım şirketi Assent’in ortak kurucusuydu. Backboard, ön plana çıkan bir sonraki sınırlayıcı dil modelini geliştirmek yerine, kurumsal AI’nin ekonomik ve operasyonel özelliklerini iyileştirmeye odaklandı. Bu yılın başlarında, şirket AI altyapı platformunu geliştirmeye devam etmek için bir ön-seed finansman turu gerçekleştirdi.

Şirketlerin AI olgunlaştıkça, çıkarım maliyetlerini azaltan, belleği iyileştiren, çoklu model dağıtımını basitleştiren ve self-hosted AI ortamlarını sağlayan teknolojiler, model yetenekleri ilerlemesinin yanı sıra giderek daha önemli hale gelebilir. Backboard’un son sürümleri, daha büyük modeller oluşturmaktan, şirketlerin zaten kullandıkları modellerden daha fazla değer çıkarmalarına yardımcı olan altyapıyı oluşturmaya doğru daha geniş bir değişimi yansıtıyor.