Neetu Pathak, Skymel’in Kurucu Ortağı ve CEO’su – Röportaj Serisi

Neetu Pathak, Skymel’in Kurucu Ortağı ve CEO’su, şirketin yenilikçi NeuroSplit™ teknolojisiyle AI çıkarımını devrimleştirme liderliğini üstleniyor. CTO Sushant Tripathy ile birlikte, Skymel’in AI uygulama performansını artırırken hesaplamalı maliyetleri azaltma misyonunu yürütüyor.

NeuroSplit™, AI iş yüklerini dinamik olarak son kullanıcı cihazları ve bulut sunucuları arasında dağıtan bir uyarlanabilir çıkarım teknolojisi. Bu yaklaşım, kullanıcı cihazlarındaki boşta olan hesaplamalı kaynakları kullanıyor, bulut altyapısı maliyetlerini %60’a kadar azaltıyor, çıkarım hızlarını artırıyor, veri gizliliğini sağlıyor ve sorunsuz ölçeklenebilirlik sağlıyor.

Yerel hesaplamayı optimize ederek, NeuroSplit™, AI uygulamalarının daha eski GPU’lar üzerinde bile verimli bir şekilde çalışmasını sağlıyor, böylece maliyetleri düşürürken kullanıcı deneyimini iyileştiriyor.

Siz Skymel’i kurma fikrine nasıl karar verdiniz ve NeuroSplit ile AI altyapısında hangi ana zorlukları çözmeyi amaçladınız?

Skymel fikri, birbirini tamamlayan deneyimlerin birleşmesinden ortaya çıktı. Google’da çalışırken, ortaklarım Sushant Tripathy, milyarlarca Android cihaza konuşma tabanlı AI modelleri dağıtıyordu. Cihazlarda büyük miktarda boşta olan hesaplamalı güç olduğunu keşfetti, ancak şirketlerin bu kaynakları etkili bir şekilde kullanmasını engelleyen karmaşık mühendislik zorlukları vardı.

Benim Redis’te çalışırken edindiğim deneyim, girişimlerle ve şirketlerle çalışırken, gecikmenin işletmeler için ne kadar kritik hale geldiğini gösterdi. AI uygulamaları daha yaygın hale geldikçe, verilerin oluşturulduğu yere işleme işlemlerini yaklaştırmamız, veri merkezlerine sürekli geri göndermek yerine, açıkça görülüyordu.

Sushant ve ben, geleceğin yerel veya bulut işlemleri arasında seçim yapmak değil, her özel çıkarım isteğine göre yerel, bulut veya hibrit işleme arasında akıllıca adapte olabilen bir teknoloji yaratmak olduğunu fark ettik. Bu anlayış, Skymel’i kurma ve NeuroSplit’i geliştirme kararı aldık, böylece AI yeniliğini engelleyen geleneksel altyapı sınırlamalarının ötesine geçtik.

NeuroSplit’in hesaplamalı kaynakları nasıl dinamik olarak optimize ettiğini ve kullanıcı gizliliğini ve performansını korurken açıklar mısınız?

Yerel AI çıkarımında büyük bir tuzak, statik hesaplamalı gereksinimlerdi – geleneksel olarak, bir AI modeli çalıştırmak her zaman aynı hesaplamalı kaynakları gerektiriyordu, cihazın koşullarına veya kullanıcı davranışına bakılmaksızın. Bu tek boyutlu yaklaşım, cihazların farklı donanım yeteneklerine, çeşitli çiplerden (GPU, NPU, CPU, XPU) farklı ağ bant genişliklerine ve kullanıcıların farklı davranışlarına sahip olmasına rağmen bunu görmezden geliyor.

NeuroSplit, cihaz telemetriğinden donanım yeteneklerine, kaynak kullanımına, pil durumuna ve ağ koşullarına kadar çeşitli cihaz telemetrisini sürekli olarak izler. Ayrıca, diğer uygulamaların çalışması ve tipik cihaz kullanım modelleri gibi kullanıcı davranış örüntülerini de dikkate alır. Bu kapsamlı izleme, NeuroSplit’in geliştiricilerin ana performans göstergelerine optimize ederek, son kullanıcı cihazında güvenli bir şekilde çalıştırılabilecek çıkarım hesabını dinamik olarak belirlemesine olanak tanır.

Veri gizliliği önemli olduğunda, NeuroSplit ham verilerin cihazdan hiç çıkmamasını sağlar, hassas bilgileri yerel olarak işler ve aynı zamanda optimal performansı korur. AI modellerini akıllıca bölme, kesme veya ayırma yeteneğimiz, bir quantized modelin bellek alanına 50-100 AI stub modelini sığdırabilmemize olanak tanır. Pratik anlamda, bu, kullanıcıların geleneksel statik hesaplamalı yaklaşımlara kıyasla aynı anda daha fazla AI güçlendirilmiş uygulamaları çalıştırabileceği, yerel olarak hassas verileri işleyebileceği anlamına gelir.

NeuroSplit’in uyarlanabilir çıkarımının AI şirketleri, özellikle daha eski GPU teknolojisini kullananlar için ana faydaları nelerdir?

NeuroSplit, AI şirketleri için üç dönüştürücü fayda sağlar. İlk olarak, altyapı maliyetlerini iki mekanizma aracılığıyla dramatik bir şekilde azaltır: şirketler daha ucuz, daha eski GPU’ları etkili bir şekilde kullanabilir ve bulut GPU’larında hem tam hem de stub modelleri çalıştırma yeteneğimiz, önemli ölçüde daha yüksek GPU kullanım oranlarına olanak tanır. Örneğin, genellikle birden fazla NVIDIA A100 gerektiren bir uygulama, şimdi tek bir A100 veya birden fazla V100 ile saatte yalnızca 0,83 dolarlık bir maliyetle çalıştırılabilir.

İkincisi, yerel olarak ham verileri işleyerek performansı önemli ölçüde iyileştirir. Bu, sonunda buluta seyahat eden veri çok daha küçük boyutlarda olur, ağ gecikmesini önemli ölçüde azaltırken doğruluğu korur. Bu hibrit yaklaşım, şirketlere yerel işlemenin hızı ile bulut hesabının gücünü sunar.

Üçüncüsü, duyarlı ilk verileri son kullanıcı cihazında işleyerek, şirketlerin performansını feda etmeden güçlü kullanıcı gizliliği koruması sağlamalarına yardımcı olur. Bu, özellikle gizlilik düzenlemeleri daha sıkılaştıkça ve kullanıcılar daha fazla gizlilik konusunda bilinçlendikçe, giderek daha kritik hale geliyor.

Skymel’in çözümü, model karmaşıklığı veya doğruluğundan ödün vermeden AI çıkarımı maliyetlerini nasıl azaltır?

İlk olarak, AI modellerini bölerek, hesaplamayı son kullanıcı cihazları ve bulut arasında dağıtır. İlk kısım, son kullanıcı cihazında çalışır ve mevcut cihaz kaynaklarına bağlı olarak toplam hesaplamaların %5’inden %100’üne kadarını işler. Kalan hesaplamalar bulut GPU’larında işlenir.

Bu bölme, bulut GPU’larının azaltılmış bir hesaplamalı yükü işlediğini anlamına gelir – eğer bir model orijinal olarak bir tam A100 GPU gerektiriyorsa, bölünmüş olarak aynı iş yükü yalnızca GPU kapasitesinin %30-40’ını gerektirebilir. Bu, şirketlerin daha ucuz GPU örnekleri gibi V100 kullanmasına olanak tanır.

İkincisi, NeuroSplit bulutta GPU kullanımını optimize eder. Hem tam modelleri hem de bölünmüş modellerin (bölünmüş modellerin kalan kısımları) aynı bulut GPU’sunda verimli bir şekilde düzenlenmesini sağlayarak, geleneksel yaklaşımlara kıyasla önemli ölçüde daha yüksek kullanım oranları elde eder. Bu, aynı bulut GPU’sunda daha fazla modelin aynı anda çalıştırılabilmesini sağlar, bu da her bir çıkarım maliyetini daha da azaltır.

Skymel’in hibrit (yerel + bulut) yaklaşımı, piyasada bulunan diğer AI altyapı çözümlerinden nasıl farklılık gösterir?

AI manzarası ilginç bir dönemeç noktasındadır. Apple, Samsung ve Qualcomm, hibrit AI’nin gücünü ekosistem özellikleriyle gösteriyor, ancak bunlar kapalı bahçeler olarak kalıyor. AI, bir son kullanıcı cihazını kullandığına göre sınırlı olmamalıdır.

NeuroSplit, temel olarak cihazdan, buluttan ve sinir ağı mimarisinden bağımsız. Bu, geliştiricilerin, kullanıcıların bir iPhone, Android cihazı veya dizüstü bilgisayar kullanıp kullanmadığına veya AWS, Azure veya Google Cloud kullanıp kullanmadığına bakılmaksızın, tutarlı AI deneyimleri sunmasını sağlar.

Bunu düşünün – geliştiriciler, bir AI uygulamasını bir kez oluşturup, bu uygulamanın herhangi bir cihazda, herhangi bir bulutta ve herhangi bir sinir ağı mimarisinde akıllıca adapte olacağını bilir. Artık farklı platformlar için farklı sürümler oluşturmak veya cihaz yeteneklerine göre özelliklerden ödün vermek zorunda değiller.

Evrensel olarak erişilebilir, duvarların ötesinde hibrit AI yetenekleri sunuyoruz. AI, her uygulamanın merkezinde olduğunda, bu tür esneklik ve tutarlılık, yalnızca bir avantaj değil, temel bir gereksinimdir.

Orchestrator Agent, NeuroSplit’i tamamlar ve AI dağıtım stratejilerini dönüştürmede hangi rolü oynar?

Orchestrator Agent (OA) ve NeuroSplit, birlikte kendini optimize eden bir AI dağıtım sistemi oluşturur:

1. Geliştiriciler sınırları belirler:

• Kısıtlamalar: izin verilen modeller, sürümler, bulut sağlayıcıları, bölgeler, uyumluluk kuralları
• Hedefler: hedef gecikme, maliyet sınırları, performans gereksinimleri, gizlilik ihtiyaçları

2. OA, bu kısıtlamalar içinde hedeflere ulaşmak için çalışır:

• Her istek için hangi modelleri/API’leri kullanacağına karar verir
• Gerçek dünya performansına bağlı olarak dağıtım stratejilerini uyarlar
• Belirtilen hedefler için optimize eder
• ihtiyaçlar değiştiğinde anında yeniden yapılandırılabilir

3. NeuroSplit, OA’nın kararlarını yürütür:

• Gerçek zamanlı cihaz telemetrisini kullanarak yürütme işlemlerini optimize eder
• Faydalı olduğunda işleme işlemlerini cihaz ve bulut arasında bölme
• Her çıkarımın, mevcut koşullara göre optimal bir şekilde çalışmasını sağlar

Bu, kurallarınızı ve hedeflerinizi tanımlamanız ve AI sisteminin otomatik olarak optimize etmesini sağlar, her senaryo için manuel optimize etmeye gerek kalmaz.

Orchestrator Agent’in, endüstriler genelinde AI dağıtımını nasıl yeniden şekillendireceğini düşünüyorsunuz?

Üç kritik zorluğu çözüyor:

İlk olarak, şirketlerin en son AI gelişmelerini çaba harcamadan takip etmelerini sağlar. Orchestrator Agent ile, en yeni modelleri ve teknikleri altyapınızı değiştirmeden anında kullanabilirsiniz. Bu, AI yeniliğinin hızlı bir şekilde ilerlediği bir dünyada büyük bir rekabet avantajıdır.

İkincisi, AI modeli seçiminde her istek için dinamik optimize etmeye olanak tanır. Orchestrator Agent, her kullanıcı etkileşimi için en iyi sonuçları teslim etmek için büyük bir model ekosisteminden modelleri akıllıca karıştırabilir. Örneğin, bir müşteri hizmetleri AI’sı, teknik sorular için özel bir model ve fatura soruları için farklı bir model kullanabilir, her tür etkileşim için daha iyi sonuçlar sunar.

Üçüncüsü, performansı en üst düzeye çıkarırken maliyetleri minimize eder. Agent, kullanıcı gizliliği önemli olduğunda verileri yerel olarak işler. Ek hesaplama gücü gerektiğinde bulutu kullanır. Tüm bunlar, kullanıcılar için sorunsuz bir deneyim yaratırken, şirketler için kaynakları optimize eder.

Ancak Orchestrator Agent’i gerçekten ayıran, işletmelerin next-gen, hiper kişiselleştirilmiş deneyimler oluşturmasına olanak tanımasıdır. Bir e-öğrenme platformu düşünün – bizim teknolojimizle, bir sistem oluşturabilirler ki bu, her bir öğrencinin anlama seviyesine göre öğretim yaklaşımını otomatik olarak uyarlar. Bir kullanıcı “makine öğrenimi” aradığında, platform sadece genel sonuçlar göstermez – anında öğrencinin mevcut anlayışını değerlendirir ve tanıdığı kavramları kullanarak açıklamaları özelleştirir.

Sonuçta, Orchestrator Agent, AI dağıtımının geleceğini temsil eder – statik, monolitik AI altyapısından dinamik, uyarlanabilir, kendini optimize eden AI orkestrasyonuna doğru bir geçiş. Sadece AI dağıtımını kolaylaştırmakla kalmaz, tamamen yeni AI uygulamaları sınıflarını mümkün kılar.

Orchestrator Agent’in özel beta sürümüne katılan şirketlerden şimdiye kadar hangi geri bildirimleri aldınız?

Özel beta katılımcılarından aldığımız geri bildirim harika! Şirketler, nihayet altyapı kilitlenmesinden kurtulabildiklerini, ya da özel modellere ya da barındırma hizmetlerine bağımlı olmadıklarını gördükleri için mutlular. Her dağıtım kararının geleceğe dönük olmasını sağlayabilme yeteneği, aylarca süren yeniden çalışma ihtiyacını ortadan kaldırdı.

NeuroSplit performans sonuçlarımız gerçekten etkileyici – yakında verileri kamuoyuyla paylaşmayı iple çekiyoruz. Özellikle uyarlanabilir AI dağıtımının kavramı, insanların hayal gücünü yakaladı. AI’nin kendini dağıtması, gelecekte olmasını bekledikleri bir şey değil – bu, insanların heyecanlanmasını sağlıyor ve gelecekte yaratabileceği yeni olanaklar ve piyasalar.

Hızlı gelişen generatif AI ile, AI altyapısında bir sonraki büyük engelleri nasıl görüyorsunuz ve Skymel bunları nasıl ele alacak?

Geleceğe doğru ilerliyoruz – artık tek bir baskın AI modeli olmayacak, milyarlarca model olacak. Hatta en güçlü genel AI modelini yaratmış olsak bile, her bir dünya vatandaşına, benzersiz bağlamlarına, tercihlerine ve ihtiyaçlarına uyarlanmış kişiselleştirilmiş sürümler gerekecek. Bu, dünya nüfusuna dayalı olarak en az 8 milyar model anlamına geliyor.

Bu, bugünden farklı bir gelecek – artık tek boyutlu bir yaklaşım değil, milyarlarca modeli işleyebilecek akıllı altyapıya ihtiyaç var. Skymel’de, sadece bugünün dağıtım zorluklarını çözmiyoruz, gelecekte neler olacağını alreadyorduk.

AI altyapısının gelecek beş yıl içinde nasıl evrileceğini öngörüyorsunuz ve Skymel’in bu evrimde hangi rolü olacağını düşünüyorsunuz?

AI altyapı manzarası temel bir değişim geçiriyor. Bugün, büyük dil modellerini bulutta ölçeklendirme odaklıyken, önümüzdeki beş yıl, AI’nin derinlemesine kişiselleştirilmiş ve bağlam bilinci kazanacağı bir döneme tanıklık edecek. Bu, sadece fine-tuning değil, AI’nin spesifik kullanıcılar, cihazlar ve durumlar için gerçek zamanlı olarak adapte olmasını gerektiriyor.

Bu dönüşüm, iki büyük altyapı zorluğu yaratıyor. İlk olarak, geleneksel merkezi veri merkezlerinde her şeyi çalıştırmak teknik ve ekonomik olarak sürdürülemez hale geliyor. İkincisi, AI uygulamalarının artan karmaşıklığı, altyapının birden fazla model, cihaz ve hesaplamalı konum arasında dinamik olarak optimize edebilmesi gerektiği anlamına geliyor.

Skymel’de, bu zorlukları doğrudan ele alan altyapı inşa ediyoruz. Teknolojimiz, AI’nin en mantıklı olduğu yerde çalışmasını sağlar – bu, veri oluşturulduğu cihazda, daha fazla hesaplama gücüne ihtiyaç duyulduğunda bulutta veya her ikisinin arasında akıllıca bölünmüş olabilir. Daha da önemlisi, bu kararları anlık olarak değişen koşullara ve gereksinimlere göre uyarlar.

Önümüzdeki yıllarda başarılı AI uygulamaları, model büyüklükleri veya erişilebilen hesaplamayla tanımlanmayacak. Kullanıcıya kişiselleştirilmiş, yanıt veren deneyimler sunarken kaynakları verimli bir şekilde yönetmekle tanımlanacaklar. Hedefimiz, bu düzeyde akıllı optimize edilebilme yeteneğini, ölçek veya karmaşıklıktan bağımsız olarak her AI uygulamasına ulaşılabilir kılmaktır.

Harika bir röportaj için teşekkür ederiz, okuyucular Skymel hakkında daha fazla bilgi edinmek için Skymel sitesini ziyaret edebilir.