Andrew Feldman, Cerebras Systems’ın Kurucu Ortağı ve CEO’su – Röportaj Serisi

Andrew, Cerebras Systems’ın kurucu ortağı ve CEO’sudur. Bilgisayar alanında sınırları genişletmeye adanmış bir girişimcidir. Cerebras’tan önce, enerji verimliliği yüksek, yüksek bant genişliğine sahip mikrosunucuların öncüsü olan SeaMicro’nun kurucu ortağı ve CEO’su olarak görev yaptı. SeaMicro, 2012 yılında AMD tarafından 357M$ karşılığında satın alındı. SeaMicro’dan önce, Andrew, Force10 Networks’te Ürün Yönetimi, Pazarlama ve İş Geliştirme Başkan Yardımcısı olarak görev yaptı. Force10 Networks daha sonra Dell Computing tarafından 800M$ karşılığında satın alındı. Force10 Networks’ten önce, Andrew, RiverStone Networks’te Pazarlama ve Kurumsal Geliştirme Başkan Yardımcısı olarak görev yaptı. Andrew, Stanford Üniversitesi’nden BA ve MBA derecelerine sahiptir.

Cerebras Systems, yalnızca yapay zeka ve yapay zeka çalışmasının geleceğini hızlandırmak amacıyla tasarlanmış yeni bir bilgisayar sistemi sınıfı oluşturmaktadır.

Cerebras Systems’in arkasındaki oluşum hikayesini paylaşabilir misiniz?

Kurucu ortaklarım ve ben, daha önce birlikte çalıştığımız bir önceki startup’ta birlikte çalıştık, bu da benim CTO Gary ve ben tarafından 2007 yılında kurulmuş olan SeaMicro’du (bu, 2012 yılında AMD tarafından 334 milyon dolara satın alındı). Kurucu ortaklarım endüstrinin önde gelen bilgisayar mimarları ve mühendisleridir – Gary Lauterbach, Sean Lie, JP Fricker ve Michael James. 2015 yılında tekrar bir araya geldiğimizde, beyaz tahta iki şey yazdık – birlikte çalışmak istedik ve endüstriyi dönüştürecek ve Bilgisayar Tarihi Müzesi’ne girecek bir şey inşa etmek istedik. Bilgisayar Tarihi Müzesi’nin başarılarımızı tanıdığı ve geçen yıl koleksiyonuna WSE-2 işlemcisini eklediği için onurlandık, bu da yapay zeka manzarasını nasıl dönüştürdüğünü belirtti.

Cerebras Systems, korkusuz mühendislik yapan öncü bilgisayar mimarları, bilgisayar bilimcileri, derin öğrenme araştırmacıları ve her tür mühendisten oluşan bir takımdır. Bir araya geldiğimizde, derin öğrenmeyi hızlandırmak için yeni bir bilgisayar sınıfı inşa etme misyonumuz vardı.

Derin öğrenmenin benzersiz, büyük ve artan hesaplama gereksinimlerine sahip olduğunu fark ettik. Ve bu, esas olarak diğer işler için tasarlanmış miras makineler gibi grafik işleme birimleri (GPU’lar) tarafından iyi eşlenmemektedir. Sonuç olarak, günümüzde yapay zeka, uygulamalar veya fikirlerle değil, hesaplama kullanılabilirliğiyle sınırlıdır. Tek bir yeni hipotezi test etmek – yeni bir modeli eğitmek – günler, haftalar veya hatta aylar sürebilir ve hesaplama zamanı için yüz binlerce dolar maliyeti olabilir. Bu, inovasyona önemli bir engel oluşturmaktadır.

Bu nedenle, Cerebras’ın kökeni, derin öğrenme için özel olarak optimize edilmiş yeni bir bilgisayar türünü, temiz bir kağıt üzerinden inşa etmekti. Derin öğrenmenin muazzam hesaplama gereksinimlerini karşılamak için, dünyanın şimdiye kadar inşa edilmiş en büyük çipi tasarladık ve ürettik – Wafer-Scale Engine (WSE). Dünyanın ilk wafer-ölçekli işlemcisini yaratırken, tasarım, imalat ve ambalajlama konularında tümü bilgisayarların 70 yıllık tarihi boyunca imkansız olarak kabul edilen zorlukları aştık. WSE’nin her bir öğesi, endüstrinin en hızlı AI süper bilgisayarını, Cerebras CS-2’yi güçlendirerek, without precedent hız ve ölçeklerde derin öğrenme araştırmalarını ermögilmektedir.

Her bileşen AI çalışması için optimize edildiğinden, CS-2, diğer sistemlere kıyasla daha az alan ve daha az güçte daha fazla hesaplama performansı sağlar. Bu, aynı zamanda programlama karmaşıklığını, duvar saatli hesaplama süresini ve çözüme ulaşma süresini radikal olarak azaltır. İş yüküne bağlı olarak, AI’den HPC’ye kadar, CS-2, miras alternatiflerine kıyasla yüzler veya binlerce kez daha iyi performans sağlar. CS-2, yüzlerce GPU’ya eşdeğer derin öğrenme hesaplama kaynakları sağlar, ancak tek bir cihazın programlama, yönetim ve dağıtım kolaylığını sağlar.

Son birkaç aydır Cerebras, haberlerde her yerde görünüyor, yeni Andromeda AI süper bilgisayarı hakkında neler söyleyebilirsiniz?

Andromeda’yı geçen yıl Kasım ayında duyurduk ve bu, şimdiye kadar inşa edilmiş en büyük ve en güçlü AI süper bilgisayarlardan biridir. 1 Exaflop’un üzerinde AI hesaplama ve 120 Petaflops’un üzerinde yoğun hesaplama sunan Andromeda, 16 CS-2 sistemi boyunca 13,5 milyon çekirdeğe sahiptir ve büyük dil modeli iş yükleri üzerinde neredeyse mükemmel lineer ölçekleme gösteren tek AI süper bilgisayardır. Ayrıca kullanması çok kolaydır.

Hatırlatma olarak,世界’nin en büyük süper bilgisayarı olan Frontier, 8,7 milyon çekirdeğe sahiptir. Andromeda, ham çekirdek sayısı bakımından Frontier’dan daha fazla, yaklaşık bir buçuk kat daha büyüktür. Farklı işler yapıyor, ancak bu, kapsamı hakkında bir fikir veriyor: yaklaşık 100 terabit dahili bant genişliği, yaklaşık 20.000 AMD Epyc çekirdeği besliyor ve – dev süper bilgisayarlar gibi yıllarca kurulması gerekenler yerine – Andromeda’yı üç günde kurduk ve hemen ardından AI’de neredeyse mükemmel lineer ölçekleme sağladı.

Argonne Ulusal Laboratuvarı, Andromeda’yı kullanan ilk müşterimizdi ve bunu Polaris adlı 2.000 GPU kümesine kıran bir problema uyguladılar. Problemin adı, Covid genomunun tüm dizisini birleştirerek her bir geni tüm Covid genomu bağlamında analiz edebilecek şekilde çok büyük, GPT-3XL üretken modelleri çalıştırmaktı. Andromeda, 1, 2, 4, 8 ve 16 düğüm boyunca 10K MSL ile benzersiz bir genetik iş yükünü çalıştırdı ve neredeyse mükemmel lineer ölçekleme sağladı. Lineer ölçekleme, büyük bir kümenin en çok aranan özelliklerinden biridir. Andromeda, tek bir CS-2’ye kıyasla 16 CS-2 sistemi boyunca 15,87 kat daha fazla verimlilik sağladı ve eğitim süresini eşleştirdi.

Geçen Kasım ayında açıklanan Jasper ile ortaklık hakkında neler söyleyebilirsiniz?

Jasper gerçekten ilginç bir şirket. Pazarlama için üretken AI içeriğinin liderlerinden biri ve ürünlerini dünya çapında 100.000’den fazla müşteri kullanıyor. Bu, şu anda gerçekten heyecan verici ve hızlı büyüyen bir alan. Geçen yıl, üretken AI’nin girişimci ve tüketici uygulamalarındaki benimsemesini hızlandırmak ve doğruluğunu iyileştirmek için bir ortaklık açıkladık. Jasper, bizim Andromeda süper bilgisayarımızı, çok hesaplama yoğun modellerini çok daha kısa sürede eğitmek için kullanıyor. Bu, üretken AI modellerinin kitlelere ulaşmasını sağlayacak.

Cerebras Andromeda süper bilgisayarının gücüyle, Jasper, AI çıkışlarını tüm son kullanıcı karmaşıklığı ve granülitesine uydurmak için GPT ağlarını eğitmek dahil AI çalışmasını dramatik olarak ilerletebilir. Bu, üretken modellerin bağlamsal doğruluğunu iyileştirir ve Jasper’ın çok çeşitli müşteri sınıflarına hızlı ve kolay bir şekilde kişiselleştirilmiş içerik sunmasını sağlayacaktır.

Ortaklığımız, Jasper’ın geleneksel altyapı ile imkansız veya pratik olmayan şeyleri yaparak üretken AI’nin geleceğini icat etmesini sağlar ve üretken AI’nin potansiyelini hızlandırır, faydalarını dünya çapındaki hızla büyüyen müşteri tabanımıza getirir.

Geçen bir basın açıklamasında, Ulusal Enerji Teknoloji Laboratuvarı ve Pittsburgh Süper Bilgisayar Merkezi, Cerebras wafer-ölçekli motorunda ilk hesaplamalı akışkan dinamiği simülasyonunu gerçekleştirdi. Wafer-ölçekli motorun ne olduğunu ve nasıl çalıştığını açıklar mısınız?

Wafer-Ölçekli Motor (WSE), derin öğrenme bilgisayar sistemimiz CS-2 için devrim niteliğinde bir AI işlemcisidir. Miras, genel amaçlı işlemcilerin aksine, WSE, derin öğrenmeyi hızlandırmak için temelde inşa edilmiştir: 850.000 AI-optimize edilmiş çekirdeğe sahiptir, büyük, yüksek bant genişliğine sahip yonga içi hafızaya sahiptir ve geleneksel bir kümeden çok daha hızlı olan bağlantılara sahiptir. Tüm bunlar, bir dizi miras makinesinin eşdeğer derin öğrenme hesaplama kaynaklarını tek bir cihazda, tek bir düğüm olarak programlanabilen şekilde sağlar – programlama karmaşıklığını, duvar saatli hesaplama süresini ve çözüme ulaşma süresini radikal olarak azaltır.

İkinci nesil WSE-2, CS-2 sistemimizi güçlendirir ve sorunları çok hızlı bir şekilde çözebilir. Gerçek zamanlı, yüksek doğrulukta mühendislik sistemleri modelleri oluşturmak için yeterli hızda. Bu, başarılı “strong scaling”ın nadir bir örneğidir, bu da bir sorun boyutunu sabit tutarak paralellik kullanarak çözme süresini azaltmaktır.

Ve Ulusal Enerji Teknoloji Laboratuvarı ve Pittsburgh Süper Bilgisayar Merkezi bunu kullanıyor. Hesaplamalı akışkan dinamiği (CFD) simülasyonu sonuçlarını açıkladık ve bunlar yaklaşık 200 milyon hücreden oluşuyor ve neredeyse gerçek zamanlı oranlarda çalışıyor. Bu video, bir sıvının altından ısıtılması ve üstünden soğutulmasıyla oluşan Rayleigh-Bénard konveksiyonunun yüksek çözünürlüklü simülasyonunu gösteriyor. Bu tür termal olarak yönlendirilen akışlar her yerde – rüzgarlı günlerden, göl etkisine bağlı fırtınlardan, magma akışlarına ve güneş’nin plazma hareketlerine kadar. Anlatıcı gibi, simülasyonun görsel güzelliği önemli değil, hesaplandığı hız önemlidir. İlk kez, Wafer-Ölçekli Motorumuzla, NETL, neredeyse gerçek zamanlı olarak yaklaşık 200 milyon hücrelik bir ızgarayı manipüle edebiliyor.

Simüle edilen veri türünü açıklayabilir misiniz?

Test edilen iş yükü, hesaplamalı akışkan dinamiği (CFD) uygulaması olan termal olarak yönlendirilen akışlardı, yani doğal konveksiyondur. Akışlar doğal olarak her yerde oluşur – rüzgarlı günlerden, göl etkisine bağlı fırtınalara, tektonik plaka hareketlerine kadar. Bu simülasyon, yaklaşık 200 milyon hücreden oluşuyor ve bir sıvının altından ısıtılması ve üstünden soğutulmasıyla oluşan “Rayleigh-Bénard” konveksiyonu üzerine odaklanıyor. Doğada, bu fenomen şiddetli hava olaylarına, mikro patlamalara ve derechos’a neden olabilir. Ayrıca Dünya’nın çekirdeğinde magma hareketi ve güneş’nin plazma hareketi sorumlusudur.

2022 Kasım ayında, NETL, CS-2 sistemi tarafından güçlendirilen yeni bir alan denklemi modelleme API’sini tanıttı ve bu, NETL’nin Joule Süper Bilgisayar’ına kıyasla 470 kata kadar daha hızlıydı. Bu, herhangi bir sayıda CPU veya GPU kümesinin elde edebileceğinden daha yüksek hızlar sunabileceği anlamına geliyordu. Wafer-ölçekli işleme için basit bir Python API’si kullanarak, NETL, Joule 2.0 süper bilgisayarındaki OpenFOAM’ı zaman çözümünde iki katından fazla aşarak, performansı ve kullanılabilirliği geleneksel bilgisayarlarda ve süper bilgisayarlarda elde edilemeyen kazançlar elde etti.

WFA API’sinin basitliği nedeniyle, sonuçlar sadece birkaç hafta içinde elde edildi ve NETL, PSC ve Cerebras Systems arasında yakın işbirliğini sürdürdü.

WSE’mizde CFD’nin (her zaman yavaş, offline bir görev olan) hızını dönüştürerek, bu ve diğer birçok temel HPC uygulaması için gerçek zamanlı yeni kullanım durumları açabiliriz. Amacımız, daha fazla hesaplama gücü sağlayarak, müşterilerimizin daha fazla deney yapmasını ve daha iyi bilim icat etmesini sağlamaktır. NETL laboratuvar müdürü Brian Anderson, bu sayede iklim değişikliğini hafifletme ve güvenli bir enerji geleceği sağlamak için çalıştıkları çok büyük projeleri önemli ölçüde hızlandırıp iyileştireceklerini söyledi – karbon yakalama ve mavi hidrojen üretimi gibi projeler.

Cerebras, süper bilgisayarlar çıkarmak konusunda sürekli olarak rekabeti geride bırakıyor, state of the art süper bilgisayarlar oluştururken karşılaşılan bazı zorluklar nelerdir?

İronik olarak, büyük AI’nin en zorlu yönlerinden biri AI değil, dağıtılmış hesaplama.

Bugünün state-of-the-art sinir ağlarını eğitmek için araştırmacılar genellikle yüzlerce veya binlerce grafik işleme birimi (GPU) kullanır. Ve bu kolay değil. Büyük dil modeli eğitimini bir GPU kümesi boyunca dağıtmak, bir iş yükünü birçok küçük cihaz arasında dağıtmak, cihaz belleği boyutları ve bellek bant genişliği kısıtlamalarıyla başa çıkmak ve iletişim ve senkronizasyon yükünü dikkatli bir şekilde yönetmek gerekir.

Tamamen farklı bir yaklaşım izledik ve süper bilgisayarlarımızı Cerebras Wafer-Ölçekli Küme ve Cerebras Weight Streaming yürütme modu aracılığıyla tasarladık. Bu teknolojilerle, Cerebras, üç ana noktaya dayalı yeni bir ölçekleme yöntemine başvurur:

CPU ve GPU işlemini WSE gibi wafer-ölçekli hızlandırıcılar ile değiştirme. Bu, kabul edilebilir bir hesaplama hızını elde etmek için gereken hesaplama birimlerinin sayısını azaltır.

Model boyutuna meydan okumak için, hesaplama ve model depolamayı ayıran bir sistem mimarisi kullanıyoruz. CS-2 sistemlerinden oluşan bir küme (yeterli hesaplama bant genişliği sağlar) ve talep üzerine modele ait alt kümeleri hesaplama kümesine sunan bir bellek hizmeti (büyük bellek kapasitesi) arasında sıkı bir şekilde bağlantılı bir hesaplama hizmeti kullanıyoruz. Veri hizmeti, eğitim verilerini hesaplama hizmetine gerektiği gibi sunar.

CS-2 kümesi boyunca eğitim işini zamanlama ve koordinasyon için yenilikçi bir model, veri paralelliği, katman bazında eğitim ve talep üzerine seyreltilmiş ağırlıklarla birlikte aktivasyonların hesaplama hizmetinde tutulması.

Moore Yasası’nın sonu konusunda yaklaşık bir decade önce korkular vardı, endüstri bu konuda ne kadar daha uzun süre sıkıştırabilir ve bu konuda hangi tür yenilikler gerekli?

Sanırım hepimizin uğraştığı soru, Moore Yasası’nın – Moore tarafından yazıldığı şekliyle – ölüp ölmediğidir. İki yılda daha fazla transistör almak artık mümkün değil. Şimdi dört veya beş yıl alıyor. Ve bu transistörler, aynı fiyata gelmiyor – çok daha yüksek fiyata geliyor. Böylece soru, 7 nanometreden 5 nanometreye, 3 nanometreye geçerken, aynı faydaları alıp almadığımız oluyor. Faydalar daha küçük ve daha pahalı, bu nedenle çözümler, sadece çipe bağlı olmaktan daha karmaşık hale geliyor.

Jack Dongarra, bir bilgisayar mimarı, yakın zamanda bir konuşma yaptı ve “FLOP’ları ve G/Ç’yi yapmakta çok daha iyi hale geldik” dedi. Bu gerçekten doğru. Çipten veri taşıma yeteneğimiz, çip上的 performansı artırmamızın çok gerisinde. Cerebras’ta, bunu söylediğinde mutlu olduk, çünkü daha büyük bir çip yapmak ve daha az şeyi çipten taşıma kararı aldığımızı doğruladı. Ayrıca, gelecekte çiplerle sistemlerin performansı nasıl iyileştirebileceğimiz konusunda bazı rehberlik sağlıyor. Sadece FLOP’ları sıkmak değil, aynı zamanda onları ve verileri çipten çipe – hatta çok büyük çipten çok büyük çipe – nasıl taşıyacağımız konusunda çalışılması gereken bir alan var.

Cerebras Systems hakkında paylaşmak istediğiniz başka bir şey var mı?

İnsanlar genellikle Cerebras’ı “çok büyük çip adamları” kategorisine koyuyor. Çok büyük sinir ağları için çekici çözümler sunabildik ve böylece dağıtılmış hesaplama ihtiyacını ortadan kaldırdık. Sanırım bu, müşterilerimizin bizi neden sevdiğinin temelinde yatıyor. 2023 yılı için ilginç alan, büyük hesaplama ile daha yüksek bir doğruluğa nasıl ulaşabileceğimiz ve bunu daha az FLOP kullanarak nasıl yapabileceğimiz olacak.

Seyreltiklik konusundaki çalışmamız çok ilginç bir yaklaşım sunuyor. Boşuna iş yapmıyoruz, sıfırla çarpma kötü bir fikirdir. Yakında seyreltiklik üzerine çok ilginç bir makale yayınlayacağız ve sanırım, daha verimli noktaya nasıl ulaşabileceğimiz ve bunu nasıl daha az güç kullanarak yapabileceğimiz konusunda daha fazla çaba sarf edilecek. Ve sadece eğitim için değil, aynı zamanda çıkarım için de. Sanırım seyreltiklik, her iki方面te de yardımcı olabilir.

Teşekkür ederiz, bu kapsamlı cevaplar için. Daha fazla bilgi öğrenmek isteyen okuyucular, Cerebras Systems ziyaret edebilir.