Neetu Pathak, Skymel’in Kurucu Ortağı ve CEO’su – Röportaj Serisi

Neetu Pathak, Skymel’in Kurucu Ortağı ve CEO’su, şirketin yenilikçi NeuroSplit™ teknolojisiyle AI çıkarımını devrimleştirme liderliğini üstleniyor. CTO Sushant Tripathy ile birlikte, Skymel’in AI uygulama performansını artırırken hesaplama maliyetlerini azaltma misyonunu yürütüyor.

NeuroSplit™, AI iş yüklerini dinamik olarak son kullanıcı cihazları ve bulut sunucuları arasında dağıtan bir uyarlanabilir çıkarım teknolojisi. Bu yaklaşım, son kullanıcı cihazlarındaki boşta olan hesaplama kaynaklarını kullanmak suretiyle bulut altyapısı maliyetlerini %60’a kadar azaltıyor, çıkarım hızlarını artırıyor, veri gizliliğini sağlıyor ve sorunsuz ölçeklenebilirlik sağlıyor.

Yerel hesaplama gücünü optimize ederek, NeuroSplit™, AI uygulamalarının daha eski GPU’lar üzerinde bile verimli bir şekilde çalışmasını sağlıyor, bu da maliyetleri düşürürken kullanıcı deneyimini iyileştiriyor.

Sizi Skymel’i kurmaya iten şey nedir ve NeuroSplit ile AI altyapısında hangi ana zorlukları çözmeyi amaçladınız?

Skymel’in ilhamı, birbirini tamamlayan deneyimimizin birleşmesinden geldi. Google’ (GOOGL ) daki zamanında, ortak kurucum Sushant Tripathy, milyarlarca Android cihazı üzerinde konuşma tabanlı AI modelleri dağıtıyordu. Son kullanıcı cihazlarında büyük miktarda boşta olan hesaplama gücünün olduğunu keşfetti, ancak çoğu şirket bu kaynakları kullanamıyordu, çünkü kullanıcı deneyimini bozmadan bu kaynaklara erişmenin karmaşık mühendislik zorlukları vardı.

Benim deneyimim, Redis’te işletmeler ve start-up’lar ile çalışırken, gecikmenin işletmeler için ne kadar kritik hale geldiğini gösterdi. AI uygulamaları daha yaygın hale geldikçe, verilerin oluşturulduğu yere işleme işlemlerini yaklaştırmamız gerektiği, sürekli olarak verileri veri merkezlerine geri götürmek yerine, açıkça anlaşılıyordu.

Bu, Sushant ve benim Skymel’i kurma ve NeuroSplit’i geliştirme fikrine yol açtı, böylece geleneksel altyapı sınırlamalarının AI yeniliğini engellemesini önledik.

NeuroSplit’in nasıl çalıştığını ve kullanıcı gizliliğini korurken performansı nasıl koruduğunu açıklar mısınız?

Yerel AI çıkarımının büyük tuzaklarından biri, statik hesaplama gereksinimleridir – geleneksel olarak, bir AI modeli çalıştırmak, cihazın koşullarına veya kullanıcı davranışına bakılmaksızın aynı hesaplama kaynaklarını gerektirir. Bu tek boyutlu yaklaşım, cihazların farklı donanım yeteneklerine, çeşitli çiplerden (GPU, NPU, CPU, XPU) çeşitli ağ bant genişliklerine ve kullanıcıların farklı davranışlarına sahip olmasına dikkat etmemektedir.

NeuroSplit, çeşitli cihaz telemetriğini sürekli olarak izler – donanım yeteneklerinden, güncel kaynak kullanımına, pil durumuna ve ağ koşullarına kadar. Ayrıca, kullanıcı davranış kalıplarını, diğer uygulamaların çalıştırılması ve tipik cihaz kullanımı kalıplarını dikkate alır. Bu kapsamlı izleme, NeuroSplit’in son kullanıcı cihazında güvenli bir şekilde çalıştırılabilecek çıkarım hesabını dinamik olarak belirlemesine olanak tanır ve geliştiricilerin ana performans göstergelerini optimize eder.

Veri gizliliği önemli olduğunda, NeuroSplit, ham verilerin cihazdan asla ayrılmadığını, hassas bilgileri yerel olarak işlerken aynı zamanda optimal performansı korur. AI modellerini akıllıca bölme, kısaltma veya ayırma yeteneğimiz, bir uç cihazın bellek alanında yalnızca bir quantized modelin bulunduğu yerde 50-100 AI stub modelini yerleştirerek, geleneksel statik hesaplamaya kıyasla çok daha fazla AI destekli uygulamayı aynı anda çalıştırabilmesini sağlar.

NeuroSplit’in uyarlanabilir çıkarımının AI şirketleri için ana faydaları nelerdir, özellikle daha eski GPU teknolojisini kullananlar için?

NeuroSplit, AI şirketleri için üç dönüşümsel fayda sağlar. İlk olarak, altyapı maliyetlerini iki mekanizma ile dramatically azaltır: şirketler, daha ucuz, daha eski GPU’ları etkili bir şekilde kullanabilir ve benzersiz yeteneğimiz, hem tam hem de stub modelleri bulut GPU’larında çalıştırarak önemli ölçüde daha yüksek GPU kullanım oranlarına olanak tanır. Örneğin, genellikle birden fazla NVIDIA A100 gerektiren bir uygulama, şimdi tek bir A100 veya birden fazla V100 üzerinde çalışabilir, yalnızca 83 sente / saat gibi bir maliyetle.

İkincisi, ham verilerin ilk işlemini doğrudan kullanıcı cihazlarında işleyerek performansı önemli ölçüde iyileştirir. Bu, sonunda buluta seyahat eden verilerin çok daha küçük olmasını sağlar, bu da ağ gecikmesini azaltırken doğruluğu korur. Bu melez yaklaşım, şirketlere her iki dünyanın en iyisini sunar – yerel işlemenin hızı ile bulut hesaplamanın gücü.

Üçüncüsü, hassas ilk veri işlemini son kullanıcı cihazında işleyerek, şirketlerin güçlü kullanıcı gizliliği korumasını sağlamasına yardımcı olur, bu da giderek daha önemli hale geliyor ve kullanıcılar daha fazla gizlilik konusunda bilinçli hale geliyor.

Skymel’in çözümü, model karmaşıklığını veya doğruluğunu sacrificinge etmeden AI çıkarım maliyetlerini nasıl azaltır?

İlk olarak, bireysel AI modellerini bölerek, hesaplama işlemini kullanıcı cihazları ve bulut arasında dağıtır. İlk kısım, 5% ile 100% arasında değişen toplam hesaplamaya bağlı olarak, son kullanıcı cihazında çalışır. Sadece kalan hesaplama, bulut GPU’larında işlenir.

Bu bölme, bulut GPU’larının azaltılmış bir hesaplama yükünü işlediğini anlamına gelir – bir modelin orijinal olarak bir tam A100 GPU gerektirdiği durumda, bölünmeden sonra aynı iş yükü yalnızca GPU kapasitesinin %30-40’ını gerektirebilir. Bu, şirketlerin daha ucuz GPU örnekleri gibi V100’i kullanmasına olanak tanır.

İkincisi, NeuroSplit, bulut GPU’larında GPU kullanımını optimize eder. Geleneksel yaklaşımlarla karşılaştırıldığında, tam modeller ve stub modellerin (bölünmüş modellerin kalan kısımları) aynı bulut GPU’sunda etkili bir şekilde düzenlenmesini sağlar. Bu, aynı bulut GPU’sunda daha fazla modelin aynı anda çalıştırılabilmesini sağlar, bu da her bir çıkarım maliyetini daha da azaltır.

Skymel’in melez (yerel + bulut) yaklaşımı, diğer AI altyapı çözümlerinden nasıl farklıdır?

AI manzarası, bir dönemeç noktasındadır. Apple (AAPL ), Samsung ve Qualcomm (QCOM ), AI’nin gücünü göstermektedir, ancak bu, kapalı bahçelerdir. AI, son kullanıcıların kullandığı cihazla sınırlı olmamalıdır.

NeuroSplit, temel olarak cihazdan bağımsız, buluttan bağımsız ve sinir ağı mimarisinden bağımsızdır. Bu, geliştiricilerin, kullanıcıların iPhone, Android cihazı veya dizüstü bilgisayar kullanmalarına veya AWS, Azure veya Google Cloud kullanmalarına bakılmaksızın, tutarlı AI deneyimleri sunmasını sağlar.

Bunun geliştiriciler için ne anlama geldiğini düşünün. Bir AI uygulamasını bir kez inşa edebilir ve bu uygulamanın herhangi bir cihazda, herhangi bir bulutta ve herhangi bir sinir ağı mimarisinde akıllıca adapte olacağını bilir. Artık farklı platformlar için farklı sürümler oluşturmak veya cihaz yeteneklerine dayalı olarak özelliklerini feda etmek zorunda kalmazlar.

Şirket içi melez AI yeteneklerini kapalı bahçelerden çıkararak evrensel olarak erişilebilir hale getiriyoruz. AI, her uygulamaya merkezi hale geldikçe, bu tür esneklik ve tutarlılık, bir avantaj değil, bir zorunluluktur.

Orchestrator Aracının NeuroSplit’i tamamladığı ve AI dağıtım stratejilerini dönüştürmede oynadığı rol nedir?

Orchestrator Aracısı (OA) ve NeuroSplit, birlikte bir self-optimizing AI dağıtım sistemini oluşturur:

1. Geliştiriciler sınırları belirler:

• Kısıtlamalar: İzin verilen modeller, sürümler, bulut sağlayıcıları, bölgeler, uyumluluk kuralları
• Hedefler: Hedef gecikme, maliyet sınırları, performans gereksinimleri, gizlilik ihtiyaçları

2. OA, bu sınırlar içinde hedeflere ulaşmak için çalışır:

• Her istek için hangi modelleri/API’leri kullanacağını karar verir
• Gerçek dünya performansına dayalı olarak dağıtım stratejilerini uyarlar
• Belirtilen hedefler için optimize eder
• ihtiyaçlar değiştiğinde anında yeniden yapılandırılabilir

3. NeuroSplit, OA’nın kararlarını yürütür:

• Gerçek zamanlı cihaz telemetrisini kullanarak işleme işlemini optimize eder
• Faydalı olduğunda, işleme işlemini cihaz ve bulut arasında bölme
• Her çıkarımın, mevcut koşullara göre optimal bir şekilde çalışmasını sağlar

Bu, tanımladığınız kurallar ve hedefler içinde otomatik olarak optimize edilen bir AI sistemine sahip olmak gibidir.

Orchestrator Aracının AI’yi endüstriler genelinde nasıl dağıtmaya yeniden şekillendireceğini düşünüyorsunuz?

Üç kritik zorluğu çözer:

İlk olarak, şirketlerin en son AI ilerlemeleriyle kolayca takip etmesine olanak tanır. Orchestrator Aracısı ile, en yeni modelleri ve teknikleri altyapınızı yeniden çalıştırmadan anında kullanabilirsiniz. Bu, AI yeniliği hızla ilerleyen bir dünyada büyük bir rekabet avantajıdır.

İkincisi, her istek için AI modeli seçimini dinamik olarak optimize eder. Orchestrator Aracısı, her kullanıcı etkileşimi için mümkün olan en iyi sonuçları teslim etmek için巨 bir model ekosisteminden modelleri akıllıca karıştırabilir. Örneğin, bir müşteri hizmetleri AI’sı, teknik sorular için özel bir model ve fatura sorguları için farklı bir model kullanabilir, her etkileşim türüne daha iyi sonuçlar sağlar.

Üçüncüsü, performansı en üst düzeye çıkarırken maliyetleri minimize eder. Aracı, kullanıcı gizliliği önemli olduğunda verileri yerel olarak işlerken, ek hesaplama gücü gerektiğinde bulutu kullanmak arasında otomatik olarak dengeler. Tüm bunlar, kullanıcılar için sorunsuz bir deneyim yaratırken, şirketler için kaynakları optimize eder.

Orchestrator Aracısı, işletmelerin son kullanıcılar için yeni nesil hiper kişiselleştirilmiş deneyimler oluşturmasına olanak tanır. Bir e-öğrenme platformu düşünün – bizim teknolojimizle, bir sistem oluşturabilirler ki bu, her öğrencinin anlama seviyesine göre öğretme yaklaşımını otomatik olarak uyarlar. Bir kullanıcı “makine öğrenimi” aradığında, platform sadece genel sonuçlar göstermez – anında onların当前 anlama seviyesini değerlendirebilir ve mevcut kavramları kullanarak kişiselleştirilmiş açıklamalar sunabilir.

Orchestrator Aracısının özel beta testine katılan şirketlerden şimdiye kadar hangi geri bildirimi aldınız?

Özel beta katılımcılarından aldığımız geri bildirim harika! Şirketler, sonunda altyapı kilitlenmesinden kurtulabildiklerine, özel modellere veya barındırma hizmetlerine bağlı kalmaktan kurtulabildiklerine seviniyorlar. Her dağıtım kararını geleceğe yönelik olarak güvence altına alma yeteneği, oyun değiştirici oldu, yaklaşım değişikliklerinde aylarca süren yeniden çalışmayı ortadan kaldırdı.

NeuroSplit performans sonuçlarımız gerçekten etkileyiciydi – yakında verileri kamuoyuyla paylaşmayı iple çekiyoruz. Özellikle ilginç olan, adaptif AI dağıtımının kavramının hayal gücünü nasıl ele geçirdiği. AI’nin kendini dağıtmaya başlaması, gelecekteki bir şey gibi görünüyor ve bu, insanların heyecanlanmasını sağlıyor.

Yenilikçi AI’deki hızlı ilerlemeye bakıldığında, AI altyapısının bir sonraki büyük engellerini nasıl görüyorsunuz ve Skymel bunları nasıl çözecek?

Geleceğe doğru ilerliyoruz, çoğu insanın henüz tam olarak kavramadığı bir gelecek: tek bir baskın AI modeli olmayacak, milyarlarca model olacak. Hatta en güçlü genel AI modelini yaratsak bile, her bir kişi için benzersiz bağlamlara, tercihlere ve gereksinimlere uyarlanmış kişiselleştirilmiş sürümlerine ihtiyacımız olacak. Bu, en az 8 milyar model anlamına geliyor, dünya nüfusuna dayalı olarak.

Bu, bugünden farklı bir gelecek – artık tek boyutlu bir yaklaşım değil, milyarlarca modeli işleyebilecek akıllı bir altyapıya ihtiyacımız var. Skymel’de, yalnızca bugünün dağıtım zorluklarını çözmüyor, gelecekte neler olacağını inşa ediyor ve teknolojik yol haritamızı already bir sonraki adıma göre hazırlıyoruz.

AI altyapısının gelecek beş yıl içinde nasıl evrileceğini öngörüyorsunuz ve bu evrimde Skymel’in rolünü nasıl görüyorsunuz?

AI altyapısı manzarası, temel bir değişim geçiriyor. Bugün, büyük dil modellerini bulutta ölçeklendirme odaklıyken, gelecek beş yıl, AI’nin derinlemesine kişiselleştirilmiş ve bağlam bilinci kazanmasını görecek. Bu, yalnızca ince ayar değil, AI’nin gerçek zamanlı olarak belirli kullanıcılar, cihazlar ve durumlara adapte olmasını gerektiriyor.

Bu dönüşüm, iki büyük altyapı zorluğu yaratıyor. İlk olarak, her şeyi merkezi veri merkezlerinde çalıştırmaya yönelik geleneksel yaklaşım, teknik ve ekonomik olarak sürdürülemez hale geliyor. İkincisi, AI uygulamalarının artan karmaşıklığı, birden fazla model, cihaz ve hesaplama konumu arasında dinamik olarak optimize edebilecek bir altyapı gerektiriyor.

Skymel’de, bu zorlukları doğrudan ele alan bir altyapı inşa ediyoruz. Teknolojimiz, AI’nin en mantıklı olduğu yerde çalışmasını sağlar – veri oluşturulduğu cihazda, daha fazla hesaplama gücüne ihtiyaç duyulduğunda bulutta veya akıllıca her ikisi arasında bölünmüş olarak. Daha da önemlisi, bu kararları gerçek zamanlı olarak değişen koşullara ve gereksinimlere göre uyarlar.

Gelecekte başarılı AI uygulamaları, model büyüklüğü veya erişilebilen hesaplama miktarı ile tanımlanmayacak. Kişiselleştirilmiş, yanıt veren deneyimler sunarken kaynakları verimli bir şekilde yönetme yetenekleri ile tanımlanacaklar. Bu düzeyde akıllı optimizeyi, ölçek veya karmaşıklıktan bağımsız olarak her AI uygulamasına ulaşılabilir kılmak, bizim hedefimiz.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Skymel‘i ziyaret edebilir.