Yapay zeka modelleri ve platformları

Sarvam, Açık Ağırlıklı Modeller için Hindistan’da Barındırılan Belirteç Fabrikasını Açtı

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarSarvam, istekleri yurt dışındaki geliştirici API'lerine yönlendirmek yerine Hindistan…
Daha fazla göster
  • Sarvam, istekleri yurt dışındaki geliştirici API'lerine yönlendirmek yerine Hindistan GPU'larından açık ağırlıklı modeller sunar.
  • Prefill'i decode'dan ayrı GPU havuzlarında ayırmak, uzun kodlama istemlerinin etkin kod çözme oturumlarını durdurmasını engeller.
  • Sarvam'ın kendi DeepSeek karşılaştırması, Together'ın ilk tokenları daha hızlı döndürdüğünü ve saniyede 278 çıktı tokenı hızında akış sağladığını gösteriyor.

Sarvam AI, 16 Kasım 2026’da geliştiriciler ve işletmeler için Sarvam Token Factory’yi kullanıma açtı. Hizmet, Sarvam’ın kendi modellerini ve üçüncü tarafların açık ağırlıklı modellerini Hindistan’daki GPU kümelerinden tek bir OpenAI uyumlu API üzerinden sunuyor. Sarvam, hizmetin günde şimdiden 450 milyardan fazla DeepSeek V4.1 Flash belirtecini işlediğini bildiriyor.

İlk sunulan modeller arasında Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro ve Gemma 4 31B yer alıyor. API belgelerinde, Token Factory’nin Sarvam’ın diğer API’leriyle aynı API anahtarını, SDK’yı ve kredileri kullandığı belirtiliyor: Kullanıcılar modeller arasında geçiş yapmak için ilgili model alanı değiştiriyor; OpenAI uyumlu istemciler de yönlendirilebiliyor. https://api.sarvam.ai/v2.

Fiyatlandırma, Dağıtım ve Veri İşleme

Sarvam 105B için tanıtım fiyatı, milyon girdi belirteci başına ₹10, milyon çıktı belirteci başına ₹25. DeepSeek V4.1 Flash 1017’nin Standart uç noktası ise sırasıyla ₹14 ve ₹55 tutarında. Fiyatlandırma kataloğunda her iki model için önbelleğe alınmış girdi belirteçlerinin milyon başına ücreti ₹0,25 olarak belirtiliyor. API belgelerine göre tanıtım fiyatları 2026’nın sonuna kadar geçerli; tüm rupi fiyatlarına GST dahil değil.

Erişim, kullanıma dayalı sunucusuz uç noktalarla sınırlı değil. DeepSeek V4 Pro ve Kimi K3.1 Pro, Sağlanan İş Hacmi kapsamında kuruluş başına etkinleştirilirken ilk sunulan diğer modeller sunucusuz olarak listeleniyor. Müşteriler paylaşımlı veya özel kapasiteyi seçebiliyor. Sarvam ayrıca, şirket içi dağıtım için çıkarım optimizasyon yığınını da sunuyor ve bu çözümün kritik kurumlarda hâlihazırda bu şekilde çalıştığını belirtiyor.

Sarvam’ın ürün sayfasında, çıkarım isteklerinin model geliştiricilerinin yurt dışındaki API’lerine iletilmek yerine Hindistan’da Sarvam tarafından işletilen GPU’larda çalıştırıldığı belirtiliyor. Üzerinde anlaşmaya varılan sıfır veri saklama düzenlemesi kapsamında istemler ve yanıtlar saklanmıyor; operasyon günlükleri ise ayrı kapsamda ele alınıyor. Müşteri verileri başka müşterilere yönelik modelleri eğitmek için kullanılmıyor ve kurumsal dağıtımlarda, çalışma süresinin %99,95 olmasını garanti eden sözleşmeye dayalı bir hizmet düzeyi anlaşması bulunuyor.

Uzun Süreli Ajan Oturumları için Paylaşımlı Önbellek

Sunum yığını, istemin tamamını okuyan ön doldurma aşamasıyla belirteçleri teker teker üreten çözümleme aşamasını birbirinden ayırıyor ve bu aşamaları farklı GPU havuzlarında çalıştırıyor. Bu ayrım, her iki aşamanın da aynı GPU’yu paylaşması durumunda yaşanabileceği gibi, yeni ve uzun bir kodlama isteminin etkin çözümleme oturumlarını duraklatmasını önlemek için tasarlandı. Önbellek farkındalığına sahip bir kontrol düzlemi, her turu mevcut bağlamına yönlendirirken sisteme kabul hesabında yalnızca önbelleğe alınmamış belirteçleri sayıyor.

İkinci bir önbellek katmanı olan Moonshot’ın Mooncake tabanlı G3 deposuna tüm ön doldurma sunucuları erişebiliyor. Bu depo, trafiğe bağlı olarak istemleri saatlerce veya günlerce saklıyor. Yalnızca GPU belleğinde tutulan bir istem yaklaşık dört saniye, yük altındaysa yaklaşık iki saniye kalıyor. Bu fark, bir araç çağrısının ardından neredeyse aynı istemle geri dönen ajanlar için önem taşıyor. Sarvam, DeepSeek V4.1 Flash istem belirteçlerinin %95,7’sinin önbellekten sunulduğunu ve G3’ün GLM 5.3 için gereken en yüksek ön doldurma düğümü sayısını 58’den 34’e düşürdüğünü bildiriyor.

Şirket, Sarvam 105B’de BF16 ağırlıklardan 8 bitlik MXFP8 biçimine geçmenin ve spekülatif çözümleme eklemenin, doğruluk oranını düşürmeden çıktı işleme hızını yaklaşık 2,2 kat artırdığını; her bir kopya için gereken GPU sayısını ise iki B200’den bire indirdiğini bildiriyor. Ayrıca bir düzenleyici ajan, optimizasyon deneylerini alt ajanlara atıyor; ancak dağıtımdan önce her değişikliği bir mühendis onaylıyor.

Modeller ve Uç Noktalar Arasında Performans

Sarvam’ın bildirdiğine göre, AWS Mumbai istemcisinden gönderilen 10.000 belirteçlik bir istemle gerçekleştirilen 72 saatlik medyan testte Gemma 4 31B ilk belirtecini 0,40 saniyede döndürdü ve saniyede 308 belirteç hızında yanıt akışı sağladı. Bu modeli sunan diğer tek sağlayıcıda ise aynı değerler 2,00 saniye ve saniyede 193 belirteçti. Karşılaştırmada, her ölçüt için söz konusu sağlayıcının en iyi katmanı kullanıldı. Sarvam’ın Kimi K3.1 Pro ile kodlama ajanı izleri ve 16 B200 GPU kullanarak gerçekleştirdiği ayrı bir testte GPU başına saniyede 6.177 belirteç, kullanıcı başına ise yaklaşık saniyede 70 belirteç elde edildi; InferenceX’in yayımladığı eğride bu değer saniyede 3.213 belirteçti.

Sarvam’ın DeepSeek V4.1 Flash için yaptığı karşılaştırma daha az olumlu sonuç veriyor: 10.000 belirteçlik istem gecikmesi testinde Together ilk belirteci 0,71 saniyede döndürürken Sarvam Standard 0,90 saniyede döndürdü. Sarvam’ın fiyat-hız karşılaştırmasını gösteren ayrı bir tablosunda Together için saniyede 278 çıktı belirteci, Sarvam Standard içinse saniyede 130 çıktı belirteci listeleniyor. Gecikme değerleri 3–5 Kasım 2026’da, her seferinde tek bir istek gönderilerek ve her sağlayıcının en hızlı katmanı kullanılarak ölçüldü.

Token Factory, sunum yığınının kendisini temel ürün hâline getiriyor. Ürünün ticari değer önerisi, Hindistan’da işleme ve OpenAI uyumlu geçişi; önbellekleme ve model bazında ayarlamadan elde edilen GPU tasarruflarıyla bir araya getiriyor. Yayımlanan sonuçlar, belirli iş yüklerinde kayda değer kazanımlar gösterirken işleme hızı ve gecikme avantajlarının modele ve uç noktaya göre değiştiğini de ortaya koyuyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.