Fonlama
Ludovic Larzul, Mipsology’nin Kurucusu ve CEO’su – Röportaj Serisi
Ludovic Larzul, Mipsology adlı şirketin kurucusu ve CEO’sudur. Mipsology, derin öğrenme çıkarımı için son teknoloji hızlandırma çözümlerine odaklanan bir startup şirketidir. İnferans sinir ağları hesaplamalarını hızlandırmak ve donanım hızlandırıcıyı AI kullanıcılarına gizlemek için teknoloji geliştirdiler. Mipsology’nin Zebra’sı, yüksek performans ve kullanım kolaylığı sağlamak için bu teknolojiyi kapsayan ilk ticari hızlandırıcıdır.
AI ve mikroçiplere ilgi duymaya ne sizi yöneltti?
Önceki şirketim EVE’de, yaklaşık 20 yıl boyunca süper bilgisayarların tasarımında çalıştım. Bu bilgisayarlar, aynı zamanda ASIC emülatörleri olarak da bilinir ve birçok şirket tarafından ASIC’ler tasarlamak için kullanılır. Bu işin karmaşıklığı ve çeşitliliği oldukça hoşuma gitti. Başarılı olmak için (a) elektronik, yazılım, karmaşık algoritmalar, insanların çipler nasıl tasarladıklarını ve nasıl çalıştıklarını anlamak, (b) müşterilerin birkaç yıl öncesinden ihtiyaçlarını doğru bir şekilde tahmin etmek, (c) sürekli olarak yenilik yapmak ve (d) bir startup olarak, daha az kaynakla rekabeti yenmek gerekir. 20 yıllık başarının ardından, yeni bir challenge arıyordum. Bu, AI’nin tekrar ön plana çıktığı zamandı. AlexNet, görüntü anlaşılmasında önemli bir adım atmıştı (ve geriye bakıldığında, hala bebeklik döneminde olduğunu görüyoruz). Derin öğrenme yeni ve vaat ediciydi (Kim hatırlar, basit bir ağ üzerinde sonuç almak günler almaktaydı?). Bunu oldukça “eğlenceli” buldum, ancak birçok zorluğun olduğunu anladım.
Mipsology’yi başlatmanın ardındaki ilham nedir?
İlham kelimesini kullanacağımı bilmiyorum. Başlangıçta daha çok: “Farklı ve daha iyi bir şey yapabilir miyiz?” gibiydi. AI insanlarının ne istediğini ve ne yapacağını varsayarak başladı ve sonraki birkaç yıl, bu varsayımlara dayalı olarak daha iyi çözümler bulmakla geçti. Sanırım ilhamdan daha çok, birlikte çalıştığım insanların en iyi olanı yaratma konusunda rekabet içinde oldukları söylenebilir. Bu, diğerlerinin çözemediği sorunları çözebilen güçlü bir ekip oluşturur.
Mipsology, GPU’lar yerine FPGA kartlarını kullanıyor. FPGA’ları tanımlayabilir misiniz?
FPGA’lar, donanım düzeyinde programlanabilen elektronik bileşenlerdir. Bunları birkaç milyon Lego parçası olarak hayal edebilirsiniz. Her küçük blok, basit bir işlem gibi bir değeri saklar veya slightly daha karmaşık işlemler gibi toplama yapar. Bu blokları gruplayarak, çip üretilmeden sonra belirli bir davranış oluşturmak mümkündür. Bu, GPU’lar ve几乎 tüm diğer çiplerin tersine, üretilmeden sonra değiştirilemeyen bir tasarıma sahiptir.
Bazıları, CPU’lar ve GPU’lar gibi, programlanabilir, ancak FPGA’lar kadar paralel değildir. Bir FPGA, herhangi bir anda birkaç milyon basit işlemi gerçekleştirir. Ve bu, saniyede altı veya yedi yüz milyon kez olabilir. Programlanabilir oldukları için, yaptıkları şey, farklı sorunlara uyum sağlamak için herhangi bir zamanda değiştirilebilir, böylece olağanüstü hesaplama gücü etkili olabilir. FPGA’lar zaten几乎 her yerde, cep telefonlarının baz istasyonlarında, ağlarda, uydu ve arabalarda, vb. Ancak insanlar onları CPU’lara göre daha az tanırlar, çünkü onlar kadar görünür değiller.
FPGA kartları, daha popüler GPU’lara göre neden daha üstündür?
FPGA’lar birçok yönden üstündür. Sadece birkaç önemli noktaya odaklanalım.
GPU’lar, principalmente oyunlar için görüntü oluşturma amacıyla tasarlanmıştır. AI’deki bazı hesaplamalarla benzerlik nedeniyle iyi bir uyum içinde çalıştıkları tespit edilmiştir. Ancak, oyunlara öncelikli olarak odaklanmaya devam ederler, bu da sinir ağları ile iyi bir uyum içinde çalışmadıkları anlamına gelir.
Ayrıca, programlama sınırlıdır, iki veya üç yıl önce belirlenen talimatlarla sınırlıdır. Sorun, sinir ağlarının, ASIC’lerin tasarımından daha hızlı ilerlemesidir ve GPU’lar ASIC’lerdir. Bu, geleceği tahmin etmeye benzer: doğru olmak kolay değildir. Trendleri görebilirsiniz, ancak detaylar sonuçları gerçekten etkiler, Örneğin, performans. Öte yandan, FPGA’lar donanım düzeyinde programlanabilir, bu da AI’nin ilerlemesini daha kolay takip etmemizi sağlar. Bu, daha iyi bir ürün sunmamızı, daha yüksek performans sağlamamızı ve müşterilerin ihtiyaçlarını karşılamamızı sağlar, böylece nächsten silikon neslini beklemeye gerek kalmaz.
Ayrıca, GPU’lar tüketici ürünleri olarak tasarlanmıştır. Ömrü kasıtlı olarak kısadır, çünkü GPU’ları tasarlayan şirketler birkaç yıl sonra oyunculara yeni onesini satmak ister. Bu, uzun yıllar güvenilir olması gereken elektronik sistemlerle iyi bir şekilde çalışmaz. FPGA’lar, dayanıklı ve 24/7 birçok yıl boyunca kullanılacak şekilde tasarlanmıştır.
FPGA’ların diğer bilinen avantajları arasında:
- Örneğin ağ veya video işleme gibi belirli alanlarda uyan birçok seçenek vardır
- Veri merkezlerinde, kenarda veya gömülü olarak aynı şekilde çalışırlar
- Özel soğutma gerektirmez (büyük GPU’lar gibi su soğutma)
Bunların yanı sıra, FPGA’ların programlanması zordur. Özel bilgi gerektirir. FPGA’ları satan şirketler, karmaşıklık açığını kapatmak için büyük çaba sarf etmiş olsalar da, hala CPU kadar basit değildir. Aslında, GPU’lar da basit değildir. Ancak AI için programlamayı gizleyen yazılım, bu bilgiye ihtiyaç duymaz. Bu, Mipsology’nin ilk olarak çözdüğü sorun: FPGA’yı programlama veya FPGA hakkında herhangi bir bilgiye gerek kalmadan AI hesabını hızlandırma.
FPGA kartlarında当前 herhangi bir sınırlama var mı?
Bazı FPGA kartları, bazı GPU kartları gibi, bilgisayarın PCIe yuvalarına takılabilir. Bir avantajı, daha önce de bahsettiğim gibi, ömrüdür. Diğer bir avantaj, genellikle GPU’lardan daha düşük güç tüketimidir. Bir diğer moins bilinen avantaj, FPGA kartlarının GPU kartlarına göre daha fazla seçeneğinin olmasıdır. Daha fazla FPGA, farklı pazarlar için mevcuttur, bu da farklı pazar alanlarında daha fazla kart anlamına gelir. Bu, nerede olursa olsun sinir ağlarını daha düşük maliyetle hesaplamak için daha fazla olasılık anlamına gelir. GPU’lar daha sınırlıdır; veri merkezlerinde çalışırlar, ancak başka yerlerde değil.
Mipsology’nin Zebra’sı, yüksek performans ve kullanım kolaylığı sağlamak için FPGA kartlarını kapsayan ilk ticari hızlandırıcıdır. Zebra’yı tanımlayabilir misiniz?
AI ve GPU’lara aşina olanlar için, Zebra’nın en kolay açıklaması, Zebra’nın FPGA için Cuda/CuDNN gibi bir şey olduğudur. Bu, PyTorch veya TensorFlow gibi обыч framework’lerin arkasında FPGA’yı completely gizleyen bir yazılım yığınıdır. Primarily görüntü ve video çıkarımı için hedefliyoruz. Zebra, genellikle floating point olarak eğitilen bir sinir ağını alır ve herhangi bir manuel kullanıcı çabayı veya özel aracı olmadan, onu herhangi bir FPGA tabanlı karta çalıştırır. Bu, FPGA kartını takmak, sürücüyü yüklemek, Zebra ortamını kaynaklamak ve CPU’lar veya GPU’lar üzerinde çalışan aynı çıkarım uygulamasını başlatmak kadar basittir. Kendi quantization’muz vardır ve accuracy’yi korur, ve performans kutudan çıkar. Kullanıcıların öğrenmesi gereken herhangi bir özel aracı yoktur ve yüksek hız veya düşük gecikme almak için mühendislik zamanı saatler almaz. Bu, hızlı geçişler, maliyetlerin ve zamanın azaltılması anlamına gelir.
Zebra, hangi tür uygulamalar için en iyi şekilde tasarlanmıştır?
Zebra, sinir ağları hesaplaması gereken herhangi bir uygulama için çok genel bir hızlandırma motorudur, özellikle görüntü ve video için, çünkü bu tür verilerin hesaplanması daha büyüktür. Çok farklı pazarlardan talepler alıyoruz, ancak bunlar sinir ağlarını hesaplama açısından benzerdir. Bunlar genellikle sınıflandırma, segmentasyon, süper çözünürlük, vücut konumlandırma vb. gerektirir.
Zebra, FPGA’lar üzerinde çalıştığı için, herhangi bir FPGA kartı kullanılabilir. Bazıları yüksek hızda çalışır ve genellikle veri merkezlerinde kullanılır. Diğerleri, kenarda veya gömülü olarak daha uygun kullanılır. Vizyonumuz, bir FPGA’nın uyabileceği her yerde, kullanıcıların Zebra’yı kullanarak sinir ağları hesaplamalarını hemen hızlandırabileceği yönündedir. Ve eğer GPU’lar veya CPU’lar kullanılıyorsa, Zebra bunları değiştirebilir ve AI altyapısının maliyetini azaltabilir. Konuştuğumuz şirketlerin çoğu, benzer sorunlarla karşılaşıyor: daha fazla AI tabanlı uygulamayı dağıtabilirler, ancak maliyeti sınırlıyor.
Bir şirket Zebra’yı kullanmak isterse, süreç nedir?
Sadece [email protected] adresine bildirin ve sizi başlatacağız.
Mipsology hakkında paylaşmak istediğiniz başka bir şey var mı?
AI topluluğundan Zebra çözümümüz için aldığımız geri bildirimi çok teşvik edici buluyoruz. Özellikle, bu pazarın en iyi hızlandırıcılarından biri olduğu söyleniyor. Sadece birkaç ay sonra, Xilinx, Dell, Western Digital, Avnet, TUL ve Advantech gibi ilgi gören ortakların büyüyen ekosistemine devam ediyoruz.
Bu yenilikçi teknoloji hakkında daha fazla bilgi edinmek gerçekten keyifliydi. Daha fazla bilgi edinmek isteyen okuyucular Mipsology sitesini ziyaret edebilir.
