Hailo CTO’sü Avi Baum ile Röportaj Serisi

Avi Baum, Hailo’nun teknoloji vizyonu ve ürün inovasyonunu yönetiyor. Daha önce Texas Instruments’ (TXN ) da Kablosuz Bağlantı için CTO olarak görev yaptı ve IoT ve IIoT pazarlarındaki bağlantılı MCUs için stratejiler geliştirdi ve İsrail Savunma Kuvvetleri’nde üst düzey mimari ve liderlik rollerini üstlendi.

Hailo, yüksek performanslı, düşük güç kenar AI işlemcileri geliştiren bir İsrail AI-chip şirketi olup, otonom araçlar, akıllı kameralar ve robotik gibi uygulamalar için tasarlanmış ve kapsamlı bir yazılım paketi ve küresel iş ortağı ekosistemi ile desteklenmektedir.

Kenar AI alanına ilk olarak ne sizi çekti ve erken mühendislik deneyimleriniz işlemci tasarımı hakkındaki düşüncelerinizi nasıl etkiledi?

Kariyer yolculuğum beni yeni çıkan pazarlara götürdü. Texas Instruments’ta (TI) geçirdiğim süre boyunca, sistem düzeyinde tasarım ve mimari liderliği yaptım ve ürün tanımlama bölümünün başında bulunarak daha sonra bu bölümün CTO’su olarak görev yaptım. Bu, bana sürekli olarak ortaya çıkan teknolojileri keşfetme fırsatı verdi.

2017’de Hailo’yu kurduğumuzda, AI’nin bulut ortamında büyümeye başladığı ve kenar cihazlar için de bir olanak sunabileceği açıktı. Böylece bu yolculuğa başladık.

Kenarda genişleyen AI, neden TOPS (tera işlem saniyesi) artık işlemci performansı için yeterli bir ölçüttür?

TOPS, AI donanımını değerlendirmek için uzun süredir kullanılan bir ölçüttür, ancak kenardaki AI’nin genişlemesiyle birlikte artık yeterli değildir. Klasik modellerin doğası, çok miktarda veriyi anlamlı bilgiler haline getirmektir, bu nedenle işlenen veri miktarı arttıkça işleme için gereken hesaplama miktarı da artar. Bu görevler için kullanılan modeller genellikle işledikleri veriden daha küçüktür, bu nedenle model parametrelerine erişim için gereken bant genişliği nispeten önemsizdir.

Öte yandan, oluşturucu modeller çok daha büyük – milyarlarca parametre – ve bu durumlarda bellek bant genişliği önemli bir faktör haline gelir.

TOPS’a odaklanmak yerine, bir işlemcinin gerçek dünya koşullarında hesaplama ve belleği nasıl dengelediğini değerlendirmek önemlidir. En yüksek sayıya ulaşmaya çalışmak değil, mimarinin işlediği yükleri karşılayacak şekilde ayarlanması önemlidir.

Neden LLM’ler ve VLM’ler gibi kenar AI iş yükleri için bellek bant genişliği artık hesaplama yerine daha kritik bir darboğaz haline geldi?

Kenar AI iş yükleri, özellikle LLM’ler ve VLM’ler için, bellek bant genişliği artık birincil darboğaz haline geliyor. Bu modeller genellikle 0,5 ila 8 milyar parametre arasında değişir, bu da çipteki bellek kapasitesini aşar ve dış bellek gibi DRAM erişimi gerektirir. Bu, bellek bant genişliği talebini dramatik olarak artırır. Örneğin, 1 milyar parametreli bir model, optimal koşullarda standart bir LPDDR4X arabirimi ile saniyede yaklaşık 40 token üretebilir, ancak 4 milyar parametreli bir model için aynı oranı korumak için dört kat daha fazla bant genişliği gerekir. Aksi takdirde, performans düşer, ancak bu, sınırlı hesaplama nedeniyle değil, işlemcinin veriyi yeterince hızlı işleyememesi nedeniyle olur. Hesaplama ve bellek arasındaki bu dengesizlik, kenardaki AI’yi dağıtmada en önemli zorluklardan biridir. Bu, katmanlar halinde hesaplanan mimarilerde daha da belirgin hale gelir, burada ara sonuçlar da bellek trafiğini artırır ve bant genişliğini daha da zorlar.

Gerçek dünya kenar uygulamaları için ürün ekipleri nasıl bir benchmarking stratejisi geliştirmelidir?

Ürün ekipleri, tek bir performans ölçütüne (TOPS) dayanmak yerine, kenar dağıtımının gerçeklerini yansıtan bir benchmarking stratejisi benimsemelidir. Bu, belirli bir kullanım örneğini, işlemcinin işleyeceği gerçek iş yükünü ve “çalışma noktası”nı – güç, maliyet ve gecikme kısıtlamalarının kesişme noktasını – anlamaktan başlar. Oradan, hesaplama ve belleğin bu koşullar altında nasıl etkileşime girdiğini değerlendirmek önemlidir. Yüksek TOPS’a sahip bir işlemci, sınırlı bellek bant genişliği varsa performansı sağlayamaz ve daha fazla bellek, hesaplama kapasitesi yetersizse yardımcı olmaz.

Ekipler, işlemcinin algılama, geliştirme ve oluşturucu iş yükleri gibi görevleri sürekli olarak gerçekleştirebileceğini değerlendirmelidir, her biri farklı talepleri olan görevlerdir. Hedef, zirve özelliklere ulaşmak değil, gerçek dünya ortamlarındaki beklenen kullanım örneklerinin tüm aralığında dengeli performansı sağlamaktır.

Bu, diğer mimarilerin ana akım haline geldiği zamanlarda (örneğin SPEC, Coremark, 3DMark vb.) meydana gelen doğal bir değişimdir.

Hailo işlemcileri arkasındaki mimari kararlar nasıl güç ve maliyet kısıtlamaları tarafından etkilenir, özellikle tüketici odaklı kenar cihazları için?

Güç ve maliyet, özellikle tüketici ürünleri için kenar cihazlarında AI işlemcileri tasararken iki temel kısıtlamadır. IoT sensörleri veya akıllı ev asistanları gibi küçük cihazlarda güç bütçeleri dar ve genellikle aktif soğutma yoktur, bu nedenle enerji verimliliği kritik hale gelir. Her ek hesaplama veya bellek kaynağı güç çekimi ve ısıyı artırır, bu da doğrudan kullanılabilirlik ve pil ömrünü etkiler.

Maliyet de aynı derecede etkilidir. Tüketici cihazları rekabetçi fiyat noktaları içinde kalmalıdır, bu nedenle işlemci yalnızca belirli bir TOPS ve bellek miktarına sahip olabilir, aksi takdirde ekonomik olarak uygulanamaz hale gelir. Bu kısıtlamalar zor mimari trade-off’lara yol açar. Hailo’da, gerçek dünya uygulama ihtiyaçlarını dar bir güç ve maliyet paketi içinde karşılayacak şekilde tasarlanan tasarımlara öncelik veriyoruz, böylece kenar AI, çeşitli tüketici ürünleri boyunca uygulanabilir, verimli ve ölçeklenebilir hale gelir.

Bir uygulamada “çalışma noktası”nı nasıl tanımlarsınız ve neden bu, kenar AI dağıtımı için çok önemlidir?

“Çalışma noktası”nı tanımlamak, bir sistemi tasararken en önemli adımlardan biridir. Bu, güç, maliyet ve gecikme kısıtlamalarının kesişme noktasını ifade eder, bu da belirli bir dağıtımda neyin gerçekçi olarak elde edilebileceğini şekillendirir. Bulutta olduğu gibi, daha fazla hesaplama veya bellek ekleyerek bir problemi çözemeyiz, kenar cihazları sınırlı bir paket içinde çalışır. Bu nedenle, uygulamanın gerçek gereksinimlerine dayalı bilinçli trade-off’lar yapmak zorundayız. Örneğin, bir IoT sensörü enerji verimliliğini ham performansın üzerinde önceliklendirebilirken, bir otonom sistem ultra düşük gecikme talep edebilir, güç çekimi ne olursa olsun. “Çalışma noktası” belirlendikten sonra, işlemcinin bu ihtiyacı karşılayacak şekilde doğru hesaplama ve bellek dengesine sahip olup olmadığını değerlendirebiliriz. Her yönde özellikleri en üst düzeye çıkarmak değil, uygulamanın karşılaşacağı gerçek dünya koşullarında sürekli ve güvenilir performans sağlamak önemlidir.

Genel olarak, “çalışma noktası”nda ana performans göstergelerinin optimumda olması istenir. Bunu başaramamak, platformun en tipik kullanım senaryolarında alt düzey bir işletim ile sonuçlanabilir.

Basit bir örnek olarak, bir AI analitik sisteminin çok yüksek bir çözünürlükte son derece verimli olabileceğini varsayalım, ancak bu sistemler bu çözünürlüğe asla ulaşmazsa, bu optimizasyon anlamsız hale gelir.

Video, ses ve dil gibi çok modlu modeller için nasıl bir optimizasyon yaklaşımı benimsersiniz?

Çok modlu modeller, hesaplama ve bellek kaynaklarının dengeli bir şekilde dağıtılmasını gerektirir. Her mod, sistemi farklı şekilde zorlar: video, yüksek çözünürlük ve kare hızları nedeniyle hesaplama yoğunluğundadır, dil ve ses ise daha kompakt ancak bellek bant genişliği üzerinde daha ağır taleplerde bulunur. Görme-dil işleme gibi uygulamalarda bu ayrım açık hale gelir (her zaman böyle olmasa da tipik bir senaryodur): video işleme hesaplama gücünü zorlar, dil modeli ise hızlı bir şekilde bellek bant genişliği darboğazına ulaşabilir.

Bu iş yüklerinin pipeline boyunca nasıl etkileşime girdiğini inceleyerek ve işlemcinin bunları aynı anda destekleyecek şekilde mimari olarak tasarlanmasını sağlayarak optimizasyona yaklaşıyoruz, böylece bir mod, diğerinin performansını bozamaz.

Kenarda model boyutunun artması, gecikme ve güç tüketimi nasıl etkiler ve sistem düzeyindeki mimari bu sorunu çözmek için nasıl bir rol oynar?

Kenarda model boyutunun artması, gecikme ve güç tüketiminin daha zor yönetilmesini sağlar. Daha büyük modeller, off-chip belleğe daha fazla bağımlıdır, bu da hem enerji kullanımını hem de gecikmeyi artırır, özellikle bellek bant genişliği bir darboğaz haline geldiğinde. Örneğin, 1 milyar parametreli bir modelden 4 milyar parametreli bir modele ölçeklendirme, aynı performansı korumak için dört kat daha fazla bant genişliği gerektirir, ancak pratikte performans, bant genişliği ve sistem düzeyindeki kısıtlamalar nedeniyle lineer olarak ölçeklenmez.

Bu sadece yüksek TOPS’a veya büyük belleğe sahip olmakla ilgili değildir; hesaplama, bellek ve bant genişliğinin birlikte nasıl çalıştığı önemlidir. Dengeli bir tasarım, sistemdeki herhangi bir kaynağın diğerlerini sınırlamasını önler.

Hailo, AI modelleri, iş yükleri ve dağıtım gereksinimlerinin hızla evrimleşmesi karşısında nasıl bir gelecek kanıtlama yaklaşımı benimser?

Kenar AI’de gelecek kanıtlama, çeşitli evrimleşen iş yüklerini karşılayabilecek işlemciler tasarlamak anlamına gelir. Hailo’da, algılama işlevleri gibi görevlerden VLM’ler gibi oluşturucu modellere kadar her şeyi destekleyebilecek dengeli mimarilere odaklanıyoruz. Her tür iş yükü, hesaplama ve belleği farklı şekilde zorlar, bu nedenle esneklik için tasarlıyoruz ve darboğazlardan kaçınmaya çalışıyoruz. Ayrıca, gerçek dünya uygulamalarında güç, maliyet ve gecikme sınırlarını hesaba katıyoruz. İş yükü çeşitliliği ve kaynak dengesi önceliklendirmemiz, tüketici ve endüstriyel kullanım örnekleri için kenar AI dağıtımlarının bir sonraki neslini desteklememizi sağlar.

Ancak, bir boyut her şeye uymaz ve portföy belirli adreslenebilir uygulamalara yönelir ve güç, form faktörü gibi mevcut bütçeye uymaya çalışır ve bu da bir “çalışma noktası”nı tanımlar.

Geliştirici ekosisteminin bir işlemcinin değerini en üst düzeye çıkarmadaki rolü nedir ve Hailo’nun yeteneklerini tam olarak kullanmalarını sağlamak için geliştirici takımlarına nasıl destek oluyorsunuz?

Programlanabilir bir cihaz olarak, işlemcinin potansiyelini kullanmak, dağıtıma giden yolu kısaltmak ve yeni kullanım örneklerini mümkün kılmak için geliştiriciler için kolay araçlar sağlamak önemlidir. İşlemcilerimiz etrafında iyi desteklenen bir ortam sağlayarak, ekiplerin AI uygulamalarını çeşitli kullanım örnekleri boyunca hayata geçirmelerine yardımcı oluyoruz.

Yeni bir ürün için ilk AI hızlandırıcısını seçen mühendisler veya CTO’lara ne tür tavsiyelerde bulunurdunuz?

Şartlar olgunlaştıkça, çok fazla yenilik potansiyeli olduğuna inanıyorum, bu da hayalimizi gerçek ürünler haline getirmemizi sağlıyor. Hızla değişen bir ortamda, hızlı bir kavramdan dağıtıma giden döngüyü sağlayan bir hızlandırıcı seçmek kritik öneme sahiptir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Hailo‘yu ziyaret edebilir.