Cerebras Sistemleri’nin Kurucu Ortağı ve CEO’su Andrew Feldman – Röportaj Serisi

Andrew, Cerebras (CBRS ) Sistemleri’nin kurucu ortaklarından ve CEO’sudur. O, hesaplama alanında sınırları zorlayan bir girişimcidir. Cerebras’tan önce, enerji verimliliği yüksek, yüksek bant genişliğine sahip mikrosunucuların öncüsü olan SeaMicro’nun kurucu ortaklarından ve CEO’suydu. SeaMicro, 2012 yılında AMD tarafından 357 milyon dolar karşılığında satın alındı. SeaMicro’dan önce, Andrew, Force10 Networks’te Ürün Yönetimi, Pazarlama ve İş Geliştirme Başkan Yardımcısı olarak görev yaptı. Force10 Networks daha sonra Dell Computing tarafından 800 milyon dolar karşılığında satın alındı. Force10 Networks’ten önce, Andrew, RiverStone Networks’te Pazarlama ve Kurumsal Geliştirme Başkan Yardımcısı olarak görev yaptı. Andrew, Stanford Üniversitesi’nden lisans ve yüksek lisans derecesine sahiptir.

Cerebras Sistemleri, yeni bir bilgisayar sistemi sınıfı oluşturuyor. Bu sistem, ilkelerden başlayarak yalnızca yapay zeka ve yapay zeka çalışmalarının geleceğini hızlandırmak amacıyla tasarlandı.

Cerebras Sistemleri’nin arkasındaki hikayeyi paylaşabilir misiniz?

Benim kurucu ortaklarım ve ben, daha önce birlikte çalıştığımız bir startup’ta birlikte çalıştık. Bu startup, benim CTO’m Gary ve ben tarafından 2007 yılında kurulmuş olan SeaMicro’ydu (bu şirket 2012 yılında AMD tarafından 334 milyon dolar karşılığında satın alındı). Kurucu ortaklarım endüstrinin önde gelen bilgisayar mimarları ve mühendislerinden oluşuyor – Gary Lauterbach, Sean Lie, JP Fricker ve Michael James. 2015 yılında tekrar bir araya geldik ve iki şey yazdık: birlikte çalışmak istedik ve endüstrisini dönüştürecek bir şey inşa etmek istedik. Bilgisayar Tarihi Müzesi, bizim başarılarımızı tanıdı ve WSE-2 işlemcisini koleksiyonuna ekledi. Yapay zeka peyzajını nasıl dönüştürdüğünü belirterek bizi onurlandırdı.

Cerebras Sistemleri, öncü bilgisayar mimarları, bilgisayar bilimcileri, derin öğrenme araştırmacıları ve her türlü mühendislerden oluşan bir takımdır. Fearless mühendislik yapmayı severler. Misyonumuz, derin öğrenmeyi hızlandırmak için yeni bir bilgisayar sınıfı inşa etmekti. Derin öğrenme, zamanımızın en önemli iş yüklerinden biri olarak ortaya çıktı.

Derin öğrenmenin benzersiz, büyük ve artan hesaplama gereksinimleri olduğunu fark ettik. Bu, miras makinelerin (örneğin, grafik işlem birimleri) iyi eşleşmediği bir durum. Sonuç olarak, günümüzde yapay zeka, uygulamalar veya fikirlerle değil, hesaplama kullanılabilirliğiyle sınırlıdır. Yeni bir hipotezi test etmek – yeni bir modeli eğitmek – günler, haftalar veya hatta aylar sürebilir ve yüz binlerce dolarlık hesaplama zamanı maliyeti olabilir. Bu, inovasyona büyük bir engel.

Cerebras’ın doğuşu, derin öğrenme için optimize edilmiş yeni bir bilgisayar türünü inşa etmekti. Derin öğrenmenin muazzam hesaplama taleplerini karşılamak için, dünyanın en büyük işlemcisini tasarladık ve ürettik – Wafer-Scale Engine (WSE). Dünyanın ilk wafer-ölçekli işlemcisini yaratırken, tasarım, üretim ve ambalajlama konularında karşılaştığımız zorlukları aştık. WSE’nin her bir öğesi, without precedent hız ve ölçekte derin öğrenme araştırmalarını ermöglemek için tasarlandı ve endüstrinin en hızlı yapay zeka süper bilgisayarını, Cerebras CS-2’yi güçlendiriyor.

Her bileşen, AI işleri için optimize edildiğinden, CS-2, diğer sistemlerden daha az alan ve daha az güç kullanarak daha fazla hesaplama performansı sunar. Bu, programlama karmaşıklığını, duvar saatini hesaplama zamanını ve çözüme ulaşma süresini radikal olarak azaltırken gerçekleşir. İş yüküne bağlı olarak, AI’den HPC’ye kadar, CS-2, miras alternatiflerine göre yüzler veya binlerce kez daha fazla performans sağlar. CS-2, yüzlerce GPU’ye eşdeğer derin öğrenme hesaplama kaynakları sağlar ve aynı zamanda tek bir cihazın kolay programlanmasını, yönetimini ve dağıtılmasını sağlar.

Son aylarda Cerebras, haberlerde sıkça bahsedildi. Yeni Andromeda AI süper bilgisayarı hakkında neler söyleyebilirsiniz?

Andromeda’yı geçen yıl Kasım ayında duyurduk ve bu, şimdiye kadar inşa edilmiş en büyük ve en güçlü AI süper bilgisayarlardan biridir. 1 Exaflop AI hesaplama ve 120 Petaflop yoğun hesaplama sunar. Andromeda, 16 CS-2 sistemi boyunca 13,5 milyon çekirdek içerir ve büyük dil modeli iş yüklerinde neredeyse mükemmel lineer ölçekleme gösteren tek AI süper bilgisayardır. Ayrıca kullanımı çok kolaydır.

Hatırlatma olarak, dünyanın en büyük süper bilgisayarı olan Frontier, 8,7 milyon çekirdeğe sahiptir. Andromeda, ham çekirdek sayısında Frontier’dan bir buçuk kat daha büyüktür. Farklı işler yapar, ancak bu, yaklaşık 100 terabit dahili bant genişliği, yaklaşık 20.000 AMD Epyc çekirdeği ve – dev süper bilgisayarların kurulması yıllar almasına rağmen – Andromeda’yı üç günde kurduk ve hemen ardından AI’de neredeyse mükemmel lineer ölçekleme sağladı.

Argonne Ulusal Laboratuvarları, Andromeda’yı kullanan ilk müşterimizdi ve Polaris adlı 2.000 GPU kümesiyle karşılaştıkları bir sorunu çözmek için bunu kullandılar. Sorun, Covid genomunun tamamını dizi penceresine koyarak her bir geni Covid genomunun tamamı bağlamında analiz edebilen çok büyük, GPT-3XL üretken modelleri çalıştırmaktı. Andromeda, 1, 2, 4, 8 ve 16 düğüm boyunca benzersiz bir genetik iş yükü çalıştırdı ve neredeyse mükemmel lineer ölçekleme sağladı. Lineer ölçekleme, büyük bir kümenin en çok aranan özelliklerinden biridir. Andromeda, tek bir CS-2’ye kıyasla 16 CS-2 sistemi boyunca 15,87 kat daha fazla verimlilik sağladı ve eğitim süresinde bir azalma sağladı.

Cerebras, Jasper ile ortaklığını duyurdu. Bu ortaklık hakkında neler söyleyebilirsiniz?

Jasper, pazarlama için üretken AI içeriğinin liderlerinden biridir. Ürünleri, dünya çapında 100.000’den fazla müşteri tarafından pazarlama kopyaları, reklamlar, kitaplar ve daha fazlası yazmak için kullanılır. Bu, şu anda çok heyecan verici ve hızlı büyüyen bir alandır. Geçen yıl, Jasper ile ortaklık duyurduk ve bu ortaklık, girişimci ve tüketici uygulamaları için üretken AI’nin benimsemesini hızlandırmak ve doğruluğunu artırmak amacıyla yapılmıştır. Jasper, Andromeda süper bilgisayarımızı, çok fazla zaman alan modelleri çok daha kısa sürede eğitmek için kullanıyor. Bu, üretken AI modellerinin kitlesel olarak benimsenmesini sağlayacaktır.

Andromeda süper bilgisayarının gücüyle Jasper, AI çalışmalarını dramatik bir şekilde ilerletebilir. GPT ağlarını, tüm düzeylerde son kullanıcı karmaşıklığına ve granülitesine uygun AI çıktılarına uydurmak için eğitebilir. Bu, üretken modellerin bağlamsal doğruluğunu artırır ve Jasper’ın çok çeşitli müşteri sınıflarına hızlı ve kolay bir şekilde kişiselleştirilmiş içerik sunmasını sağlar.

Ortaklığımız, Jasper’ın geleceği icat etmesini sağlar. Jasper, geleneksel altyapı ile imkansız veya pratik olmayan şeyleri yapabilir ve üretken AI’nin potansiyelini hızlandırabilir. Bu, Jasper’ın müşteri tabanına küresel olarak faydalar sağlayacaktır.

Cerebras Wafer-Scale Engine hakkında bilgi verebilir misiniz?

Wafer-Scale Engine (WSE), derin öğrenme bilgisayar sistemimiz CS-2 için devrim niteliğinde bir AI işlemcisidir. Miras, genel amaçlı işlemcilerden farklı olarak WSE, derin öğrenmeyi hızlandırmak için tasarlandı: 850.000 AI optimize edilmiş çekirdek, büyük yüksek bant genişliği dahili bellek ve geleneksel bir kümeden elde edilebileceğinden çok daha hızlı olan bağlantılara sahiptir. Bunların hepsi birlikte, tek bir cihazda miras makinelerin bir kümesiyle eşdeğer derin öğrenme hesaplama kaynakları sağlar ve tek bir düğüm gibi programlanması kolaydır – programlama karmaşıklığını, duvar saatini hesaplama zamanını ve çözüme ulaşma süresini radikal olarak azaltır.

İkinci nesil WSE-2, CS-2 sistemimizi güçlendirir ve çok hızlı bir şekilde sorunları çözebilir. Gerçek zamanlı, yüksek doğruluklu mühendislik sistemleri modelleri için yeterli hızda çalışabilir. Bu, başarılı “strong scaling”ın nadir bir örneğidir. Paralellik, sabit boyutlu bir problemi çözmek için kullanılır.

Ulusal Enerji Teknoloji Laboratuvarı ve Pittsburgh Süper Bilgisayar Merkezi, bunu kullanıyor. Çok heyecan verici bir hesaplama akışkanlar dinamiği (CFD) simülasyonu sonuçlarını duyurduk. Bu simülasyon, yaklaşık 200 milyon hücreden oluşuyor ve neredeyse gerçek zamanlı oranlarda çalışıyor. Bu video, bir akışkan katmanının alttan ısıtılması ve üstten soğutulmasıyla oluşan Rayleigh-Bénard konveksiyonunun yüksek çözünürlüklü bir simülasyonunu gösteriyor. Bu tür termal olarak驱动 akışkan akışları, rüzgarlı günlerden, göl etkisine sahip kar fırtınalarına, dünya çekirdeğindeki magma akışlarına ve güneşteki plazma hareketine kadar her yerde bulunur.

Simülasyonda hangi tür verilerin işlendiğini söyleyebilirsiniz?

Test edilen iş yükü, doğal konveksiyon olarak da bilinen termal olarak驱动 akışkan akışlarıydı. Bu, hesaplama akışkanlar dinamiği (CFD) uygulamasıdır. Akışkan akışları, rüzgarlı günlerden, göl etkisine sahip kar fırtınalarına, tektonik plaka hareketine kadar her yerde doğal olarak oluşur. Bu simülasyon, yaklaşık 200 milyon hücreden oluşuyor ve “Rayleigh-Bénard” konveksiyonu olarak bilinen bir olguya odaklanıyor. Bu, bir akışkanın alttan ısıtılması ve üstten soğutulmasıyla oluşur. Doğada, bu olgu şiddetli hava olaylarına, downburst’lere, microburst’lere ve derecho’lara neden olabilir. Ayrıca, dünya çekirdeğindeki magma hareketi ve güneşteki plazma hareketi için de sorumludur.

Geçen yıl Kasım ayında, Ulusal Enerji Teknoloji Laboratuvarı, CS-2 sistemi tarafından güçlendirilen yeni bir alan denklemi modelleme API’sini tanıttı. Bu, Joule Süper Bilgisayar’da mümkün olandan 470 kat daha hızlıydı. Bu, herhangi bir CPU veya GPU kümesinden elde edilebileceğinden daha hızlı hızlar sağlayabilir. Basit bir Python API’si kullanarak, wafer-ölçekli işleme için hesaplama bilimindeki çoğu şeyi ermöglemektedir. WFA, geleneksel bilgisayarlardan ve süper bilgisayarlardan elde edilebileceğinden daha büyük performans ve kullanılabilirlik kazançları sağlar – aslında, Ulusal Enerji Teknoloji Laboratuvarı’nın Joule 2.0 süper bilgisayarındaki OpenFOAM’ı zaman çözme açısından iki kat daha fazla aşmaktadır.

Bu sonuçlar, birkaç hafta içinde elde edildi ve Ulusal Enerji Teknoloji Laboratuvarı, Pittsburgh Süper Bilgisayar Merkezi ve Cerebras Sistemleri arasındaki yakın işbirliğini sürdürdü.

WSE’miz, CFD’yi (hesaplama akışkanlar dinamiği) daha hızlı hale getirerek, bu ve diğer birçok temel HPC uygulaması için yeni, gerçek zamanlı kullanım örnekleri açabilir. Amacımız, müşterilerimize daha fazla hesaplama gücü sağlayarak daha fazla deney yapmalarını ve daha iyi bilim icat etmelerini sağlamaktır. Ulusal Enerji Teknoloji Laboratuvarı Müdürü Brian Anderson, bu projenin iklim değişikliğini hafifletme ve güvenli bir enerji geleceği sağlamak için çalıştıkları büyük projeleri önemli ölçüde hızlandıracağını ve iyileştireceğini söyledi – karbon yakalama ve mavi hidrojen üretimi gibi projeler.

Cerebras, süper bilgisayarlar çıkarmak konusunda rekabeti geride bırakıyor. Devlet-of-the-art süper bilgisayarlar inşa etmenin arkasındaki zorluklar nelerdir?

Ironik olarak, büyük AI’nin en zorlu kısmı AI değil, dağıtılmış hesaplama.

Bugünün state-of-the-art yapay zeka ağlarını eğitmek için araştırmacılar genellikle yüzlerce veya binlerce grafik işlem birimi (GPU) kullanır. Ve bu kolay değildir. Büyük dil modeli eğitimini bir GPU kümesi boyunca dağıtmak, bir iş yükünü birçok küçük cihaz boyunca dağıtmak, cihaz bellek boyutları ve bellek bant genişliği kısıtlamalarıyla başa çıkmak ve iletişim ve senkronizasyon yüklerini dikkatli bir şekilde yönetmek gerekir.

Biz, süper bilgisayarlarımızı tasarlamak için tamamen farklı bir yaklaşım izledik. Cerebras Wafer-Scale Cluster ve Cerebras Weight Streaming yürütme modu aracılığıyla, Cerebras, üç ana noktaya dayalı yeni bir ölçeklendirme yöntemi sunar:

CPU ve GPU işlemesinin, Cerebras CS-2 sistemi gibi wafer-ölçekli hızlandırıcılar tarafından değiştirilmesi. Bu, kabul edilebilir bir hesaplama hızı elde etmek için gereken hesaplama birimlerinin sayısını azaltır.

Model boyutuna meydan okumak için, hesaplama ve model depolamayı ayıran bir sistem mimarisi kullanıyoruz. CS-2 sistemlerinden oluşan bir küme (yeterli hesaplama bant genişliği sağlar) ve büyük bellek kapasitesi sunan bir bellek hizmeti (hesaplama kümesine talep üzerine modelin kısımlarını sağlar) arasında sıkı bir şekilde bağlantılı bir hesaplama hizmeti sunuyoruz. Veri hizmeti, hesaplama hizmetine gerektiğinde eğitim verilerini sunar.

CS-2 kümesi boyunca eğitim işini zamanlama ve koordinasyon için yenilikçi bir model. Veri paralelliği, katman başına eğitim ve talebe göre seyrek ağırlıkların akışını kullanır ve aktivasyonları hesaplama hizmetinde tutar.

Moore Yasası’nın sonu hakkında yaklaşık bir decade yıldır endişeler var. Endüstrinin bundan kaç yıl daha yararlanabileceğini düşünüyorsunuz ve bu için hangi tür yenilikler gerekli?

Sanırım hepimizin uğraştığı soru, Moore Yasası’nın – Moore tarafından yazıldığı şekliyle – ölümüdür. Artık iki yılda daha fazla transistör almak mümkün değil. Şimdi dört veya beş yıl alıyor. Ve bu transistörler, aynı fiyata gelmiyorlar – çok daha yüksek fiyata geliyorlar. Böylece, soru, 7 nanometreden 5 nanometreye, 3 nanometreye geçmenin faydalarını hala alıyor muyuz? Faydalar küçülüyor ve daha pahalı hale geliyor, ve çözümler, yalnızca çip değil, daha karmaşık hale geliyor.

Jack Dongarra, bir bilgisayar mimarı, yakın zamanda bir konuşma yaptı ve “FLOP’ları ve G/Ç’yi yapmak konusunda çok daha iyiyiz” dedi. Bu gerçekten doğru. WSE’mizi daha büyük bir çip haline getirmemize ve daha az şeyi çipten çıkarmamıza karar vermemizi doğruluyor. Ayrıca, sistemlerin çiplerle daha iyi performans göstermesi için gelecekteki yollar hakkında bazı rehberlik sağlıyor. Çip üzerindeki performansı artırmakla ilgili değil, aynı zamanda FLOP’ları hareket ettirmek ve çipten çipe veri hareketini sağlamak için çalışmak gerekiyor.

Cerebras Sistemleri hakkında paylaşmak istediğiniz başka bir şey var mı?

İnsanlar genellikle Cerebras’ı “çok büyük çip” kategorisine koyuyor. Büyük neural ağlar için cezbedici çözümler sunabildik ve böylece ağrı veren dağıtılmış hesaplama ihtiyacını ortadan kaldırdık. Sanırım bu, müşterilerimizin bizi neden sevdiği konusunda çok ilginç ve önemli. 2023’ün ilginç alanı, daha yüksek doğruluk seviyelerine ulaşmak için büyük hesaplama yapmayı, daha az FLOP kullanarak nasıl yapabileceğimizdir.

Sparsite konusundaki çalışmamız, bu konuda çok ilginç bir yaklaşım sunuyor. İşe yaramayan işler yapmıyoruz ve sıfıra çarpmanın kötü bir fikir olduğunu düşünüyoruz. Yakında sparsite hakkında çok ilginç bir makale yayınlayacağız ve sanırım, bu noktaya nasıl ulaşabileceğimiz ve bunu daha az güç kullanarak nasıl yapabileceğimiz konusunda daha fazla çaba sarf edeceğiz. Ve sadece eğitim için değil, aynı zamanda çıkarım için kullanılan maliyeti ve gücü en aza indirgemek için. Sanırım sparsite, her iki konuda da yardımcı olabilir.

Teşekkür ederiz, bu derinlemesine cevaplar için. Daha fazla bilgi öğrenmek isteyen okuyucular, Cerebras Sistemleri’ni ziyaret edebilir.