TheStage AI’nin Kurucu Ortağı ve CEO’su Kirill Solodskih – Röportaj Serisi

Kirill Solodskih, PhD, TheStage AI’nin kurucu ortaklarından ve CEO’sudur. Ayrıca, gerçek dünya iş uygulamaları için nöral ağları optimize eden deneyimli bir AI araştırmacısı ve girişimcidir. 2024 yılında, TheStage AI‘yi kurdu ve her türlü donanım platformunda nöral ağ hızlandırmasını tam olarak otomatikleştirmek için 4,5 milyon dolarlık fon sağladı.

Önceki olarak, Huawei’de Takım Lideri olarak, Kirill, Qualcomm (QCOM ) NPUs için AI kamera uygulamalarının hızlandırmasını yönetti ve P50 ve P60 akıllı telefonlarının performansına katkıda bulundu ve yenilikleri için birden fazla patent aldı. Araştırmaları, CVPR ve ECCV gibi önde gelen konferanslarda yer aldı ve ödüller ve endüstri çapında tanınma aldı. Ayrıca, AI optimizasyonu ve çıkarımı hakkında bir podcast sunuyor.

Sizi TheStage AI’yi kurmaya iten şey nedir ve akademiden ve araştırmadan çıkarak çıkarım optimizasyonuna nasıl geçtiniz?

TheStage AI’nin temelleri, Huawei’de yaptığım çalışmalarda başladı. Orada, nöral ağları otomatik olarak dağıtmak ve optimize etmek için derinlemesine çalıştım. Bu girişimler, bazı temel yeniliklerimizin temelini oluşturdu ve orada gerçek zorluğu gördüm. Bir modeli eğitmek bir şey, ancak onu gerçek dünyada etkili bir şekilde çalıştırmak ve kullanıcılara erişilebilir kılmak başka bir şey. Dağıtım, birçok harika fikrin hayata geçmesini engelleyen bir bottleneck. ChatGPT gibi bir şeyi kullanmak kolay görünse de, arka planda birçok teknik zorluk vardır. Teknik olarak, nöral ağ optimizasyonu, parametreleri minimize ederken performansı yüksek tutmakla ilgilidir. Bu, çok fazla yenilik için alan olan zor bir matematik problemidir.

Elle çıkarım optimizasyonu, uzun süredir AI’de bir bottleneck. TheStage AI’nin bu süreci nasıl otomatikleştirdiğini ve neden bir oyun değiştirici olduğunu açıklar mısınız?

TheStage AI, AI’de büyük bir bottleneck’u ele alıyor: nöral ağların manuel olarak sıkıştırılması ve hızlandırılması. Nöral ağlar milyarlarca parametre içerir ve hangilerini performans için çıkaracağını belirlemek neredeyse imkansızdır. ANNA (Otomatik Nöral Ağ Analizörü), bu süreci otomatikleştirir ve hangi katmanların optimize edilmemesi gerektiğini belirler, benzer şekilde ZIP sıkıştırmasının ilk olarak otomatikleştirildiği gibi.

Bu, AI benimsemesini daha hızlı ve daha ucuz hale getirerek oyunu değiştirir. Şirketler artık pahalı manuel süreçlere güvenmek yerine modellerini otomatik olarak optimize edebilirler. Teknoloji, şirketlere performans ve maliyet hakkında net bir görüş sağlar, böylece verimliliği ve ölçeklenebilirliği tahmin olmadan sağlar.

TheStage AI, çıkarım maliyetlerini geleneksel yöntemlere kıyasla neden bu kadar etkili bir şekilde azaltabiliyor?

TheStage AI, geleneksel yöntemlerin ötesine geçen bir optimizasyon yaklaşımıyla çıktı maliyetlerini 5 kata kadar azaltır. ANNA, tüm nöral ağlara aynı algoritmayı uygulamak yerine, onu daha küçük katmanlara ayırır ve her parçaya hangi algoritmanın uygulanacağına karar verir, böylece istenen sıkıştırma ile model kalitesini dengeler. Matematiksel heuristikler ve verimli yaklaşımlarla birleştirerek, yaklaşımımız yüksek oranda ölçeklenebilir ve AI benimsemesini tüm şirketler için daha kolay hale getirir. Ayrıca, belirli donanımlar gibi iPhone veya NVIDIA GPU’lar için ağları optimize etmek üzere esnek derleyici ayarlarını entegre ederiz. Bu, performansı artırmadan kaliteyi kaybetmeden daha fazla kontrol sağlar.

TheStage AI’nin çıkarım hızlandırması, PyTorch’un yerli derleyicisiyle nasıl karşılaştırılır ve AI geliştiricilerine ne tür avantajlar sağlar?

TheStage AI, PyTorch’un yerli derleyicisinin çok ötesinde çıktı hızlandırması sağlar. PyTorch, her çalıştırıldığında modeli derleyen “zamanında derleme” yöntemini kullanır. Bu, uzun başlatma sürelerine yol açar, bazen dakika veya daha uzun sürer. Ölçeklenebilir ortamlarda, özellikle yeni GPU’ların eklenerek artan kullanıcı yükünü işleme gecikmeleri oluşturabileceği için verimsizlikler yaratabilir.

Karşılaştırıldığında, TheStage AI modellerin önceden derlenmesine olanak tanır, böylece bir model hazır olduğunda anında dağıtılabilir. Bu, daha hızlı dağıtımlara, hizmet verimliliğinin iyileştirilmesine ve maliyet tasarrufuna yol açar. Geliştiriciler, geleneksel derlemenin bottleneck’ları olmadan AI modellerini daha hızlı dağıtabilir ve ölçeklenebilir, bu da yüksek talep kullanım durumları için daha verimli ve yanıt verebilir olur.

TheStage AI’nin QLIP araç setini daha подроб olarak anlatır mısınız ve model performansı nasıl geliştirirken kaliteyi korur?

QLIP, TheStage AI’nin araç seti, farklı donanımlar gibi GPU’lar ve NPUs için özelleştirilmiş yeni optimizasyon algoritmalarını hızlı bir şekilde oluşturmak için temel bir dizi ilke sağlar. Araç seti, nicemleme, budama, belirtim, derleme ve hizmet gibi kritik bileşenleri içerir; tüm bunlar verimli ve ölçeklenebilir AI sistemleri geliştirmek için önemlidir.

QLIP’i ayıran şey esnekliğidir. AI mühendislerine, yalnızca birkaç satır kodla yeni algoritmaları prototip olarak oluşturma ve uygulama olanağı sağlar. Örneğin, bir AI konferans makalesinde nicemleme nöral ağları hakkında yapılan bir çalışma, QLIP’in ilkelerini kullanarak birkaç dakika içinde çalışır duruma getirilebilir. Bu, geliştiricilerin en son araştırmaları modellerine entegre etmelerini sağlar, esnek çerçevelerle sınırlı kalmazlar.

Geleneksel açık kaynak çerçevelerinin size sabit bir algoritma kümesi sunduğu yerde, QLIP yeni optimizasyon tekniklerinin eklenmesine olanak tanır. Bu, takımların hızla gelişen AI manzarasının önünde kalmasına ve performansı iyileştirirken gelecekteki yenilikler için esneklik sağlar.

Huawei’nin P50 ve P60 kameralarında kullanılan AI nicemleme çerçevelerine katkıda bulundunuz. Bu deneyim, AI optimizasyonuna yaklaşımınızı nasıl şekillendirdi?

Huawei’nin P50 ve P60 kameralarında kullanılan AI nicemleme çerçevelerine katkıda bulunmam, AI optimizasyonunu nasıl akıcı ve ölçeklenebilir hale getirebileceğimi anlamamı sağladı. PyTorch ile çalışmaya başladığım zaman, nöral ağların tam yürütme grafiği ile çalışmak esnek değildi ve nicemleme algoritmalarının katman katman elle uygulanması gerekiyordu. Huawei’de, bu süreci otomatikleştiren bir çerçeve geliştirdim. Sadece modeli giriyorsunuz ve nicemleme için gereken kodu otomatik olarak oluşturuyordu, böylece elle yapılan iş ortadan kalkıyordu.

Bu, AI optimizasyonunun hız olmadan kaliteyi feda etmemek anlamına geldiğini anlamamı sağladı. Geliştirdiğim ve patentini aldığım bir algoritma, özellikle Huawei’nin Kirin işlemcilerden Qualcomm’a geçiş yapması gerektiğinde, nöral ağları Qualcomm mimarisine hızlı bir şekilde adapte etmemizi sağladı, böylece performans ve doğruluk kaybı yaşamadık.

Süreci basitleştirerek ve otomatikleştirerek, geliştirme süresini bir yıldan fazla olan bir süreden birkaç aya indirerek milyonlarca kişinin kullandığı bir üründe büyük bir etkiye sahip olduk. Bu, ANNA’ya getirdiğim yaklaşımı şekillendirdi, hız, verimlilik ve minimum kalite kaybına odaklanıyorum.

CVPR ve ECCV’de yer alan araştırmalarınızdan en çok gurur duyduğunuz AI verimliliği alanındaki bazı önemli atılımlar nelerdir?

AI verimliliği alanındaki başarılarımdan bahsettiğimde, aklıma CVPR 2023’te sözlü sunum için seçilen makalem geliyor. Bu tür bir konferansta sözlü sunum için seçilmek nadirdir, çünkü sadece 12 makale seçiliyor. Bu, genellikle Generatif AI’nin ön plana çıktığı bir alandayken, bizim makalemizin farklı bir yaklaşım izlediğini, özellikle nöral ağların matematiksel analizi ve sıkıştırılması üzerine odaklandığını gösteriyor.

Nöral ağların gerçekten etkili bir şekilde çalışması için gerekli parametre sayısını anlamamıza yardımcı olan bir yöntem geliştirdik. Fonksiyonel analiz tekniklerini kullanarak ve birleşik bir formülasyondan sürekli bir formülasyona geçerek, iyi sıkıştırma sonuçları elde ettik ve bu değişiklikleri modelin geri kalanına entegre edebildik. Makale ayrıca topluluk tarafından daha önce kullanılmayan yeni algoritmalar tanıttı ve daha fazla uygulama buldu.

Bu, AI alanında ilk makalelerimden biriydi ve önemli bir kilometre taşıydı. Ayrıca, kurucu ortaklarımla birlikte takımımızın kolektif bir çabasıydı.

İntegral Nöral Ağlar (INN) nasıl çalışır ve neden derin öğrenmede önemli bir yeniliktir?

Geleneksel nöral ağlar, önceden belirlenmiş boyutlara ve parametrelere sahip sabit matrisler kullanır, tıpkı Excel tabloları gibi. İntegral Nöral Ağlar ise, ağları sürekli fonksiyonlar olarak tanımlar, bu da çok daha fazla esneklik sağlar. Bir battaniyeyi farklı yüksekliklerdeki iğnelerle düşünün, bu sürekli dalgayı temsil eder.

INN’lerin heyecan verici yanı, kaynaklara bağlı olarak dinamik olarak “sıkıştırılabilmeleri” veya “genişletilebilmeleridir”, tıpkı bir analog sinyalin ses olarak dijitalleştirilmesi gibi. Ağınızı kalite kaybetmeden küçültebilir ve ihtiyaç duyulduğunda yeniden genişletebilirsiniz.

Bu test edildi ve geleneksel sıkıştırma yöntemlerinin önemli kalite kaybına yol açtığı görülürken, INN’ler aşırı sıkıştırma altında bile orijinal kaliteye yakın bir performans sergiler. Arkasındaki matematik, AI topluluğu için alışılmadık olsa da, gerçek değeri pratik ve güçlü sonuçlar sunabilmesindedir.

TheStage AI, kuantum annealing algoritmaları üzerinde çalıştı. Kuantum hesaplamanın AI optimizasyonundaki rolünü yakın gelecekte nasıl görüyorsunuz?

Kuantum hesaplama ve AI optimizasyonundaki rolü konusunda, kuantum sistemlerinin sorunları çözmek için tamamen farklı bir yaklaşım sunduğu açıktır. Şirketler gibi D-Wave, kuantum algoritmalarını oluşturmak için Python kitaplıkları sağlar, özellikle kuantum bilgisayarları için ideal olan ayrık optimizasyon görevleri için kullanılır.

Buradaki fikir, nöral ağları doğrudan kuantum bilgisayara yüklemiyoruz. Mevcut mimariyle bu mümkün değil. Bunun yerine, nöral ağların farklı bozulma türleri altında nasıl davranacağını yaklaşık olarak hesaplıyoruz ve bunları kuantum çipi tarafından işlenebilecek bir sisteme uyumlu hale getiriyoruz.

Gelecekte, kuantum sistemleri, geleneksel sistemlerin zorlukla simüle edebileceği bir paralellik sunabilir ve özellikle büyük ve karmaşık ağları etkili bir şekilde modelleme yöntemlerini keşfettikçe, optimizasyon sürecini önemli ölçüde hızlandırabilir. Kuantum ve optik hesaplama gibi teknolojiler, geleneksel hesaplamanın çok ötesinde AI optimizasyonu için büyük olanaklar sunar.

TheStage AI için uzun vadeli vizyonunuz nedir? Çıkarım optimizasyonu, önümüzdeki 5-10 yıl içinde nereye gidebilir?

Uzun vadede, TheStage AI’nin herkesin kolayca erişebileceği, istenen özelliklere sahip optimize edilmiş bir nöral ağa sahip bir Global Model Hub olması hedefleniyor. Hedef, kullanıcının parametrelerini girdiği ve sistemin otomatik olarak ağı oluşturduğu bir sürükle-bırak deneyimi sunmaktır. Eğer ağ zaten mevcut değilse, ANNA tarafından otomatik olarak oluşturulur.

Hedefimiz, nöral ağların doğrudan kullanıcı cihazlarında çalışmasını sağlamak ve maliyetleri 20 ila 30 kata kadar azaltmaktır. Gelecekte, bu, AI dağıtımı önemli ölçüde daha verimli hale getirecek ve hesaplama yükünü bulut sunucularından kullanıcı cihazlarına taşıyacaktır. Ayrıca, model sıkıştırma ve donanım hızlandırması alanındaki ilerlemelerle birleştiğinde, AI dağıtımı neredeyse maliyet olmadan gerçekleşebilir.

Ayrıca, teknolojisini sensörler, çipler ve robotik gibi donanımlarla entegre etmeyi planlıyoruz, örneğin otonom sürüş ve robotik gibi alanlarda uygulamalar için. Örneğin, AI kameraların herhangi bir ortamda, uzayda veya aşırı koşullarda, karanlık veya toz gibi, çalışabilmesi için özel çözümler oluşturmayı hedefliyoruz. Bu, AI’yi geniş bir uygulama yelpazesi için kullanılabilir hale getirecek ve özel donanım ve kullanım durumları için özelleştirilmiş çözümler oluşturmamızı sağlayacaktır.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi almak isteyen okuyucular TheStage AI‘yi ziyaret edebilir.