Lin Qiao, Fireworks AI CEO'su ve Kurucu Ortağı - Röportaj Serisi

Lin Qiao, daha önce Meta'nın PyTorch'unun başındaydı ve şu anda Fireworks AI'nın kurucu ortağı ve CEO'sudur. Havai Fişek Yapay Zekası Geliştiriciler için geliştirilmiş bir üretim yapay zeka platformu olan Fireworks, en iyi modelleri en yüksek hızlarda sunmak için dünyanın önde gelen üretken yapay zeka araştırmacılarıyla ortaklık kuruyor. Fireworks AI yakın zamanda bir 25 Milyon $ A Serisi.

Başlangıçta sizi bilgisayar bilimine çeken neydi?

Babam, kargo gemilerini sıfırdan inşa ettiği bir tersanede çok kıdemli bir makine mühendisiydi. Küçük yaşlardan itibaren gemi planlarının kesin açılarını ve ölçülerini okumayı öğrendim ve buna bayıldım.

Ortaokuldan itibaren STEM ile çok ilgiliydim; matematik, fizik ve kimyaya dair her şeyi yuttum. Lisedeki görevlerimden biri BASIC programlamayı öğrenmekti ve kuyruğunu yiyen bir yılanın oyununu kodladım. Bundan sonra bilgisayar biliminin geleceğimde olduğunu biliyordum.

Meta'dayken, Caffe300'yi ve daha sonra PyTorch'u oluşturup dağıttığınız yapay zeka çerçeveleri ve platformlarında 2'den fazla birinci sınıf mühendise liderlik ettiniz. Bu deneyimden çıkardığınız önemli çıkarımlardan bazıları nelerdi?

Meta gibi büyük teknoloji şirketleri her zaman diğerlerinden beş veya daha fazla yıl öndedir. 2015 yılında Meta'ya katıldığımda yapay zeka yolculuğumuzun başlangıcındaydık; CPU'lardan GPU'lara geçiş yapıyorduk. Yapay zeka altyapısını sıfırdan tasarlamamız gerekiyordu. Caffe2 gibi modeller yaratıldıklarında çığır açıcı nitelikteydi ancak yapay zeka o kadar hızlı gelişti ki hızla geçerliliğini yitirdi. Çözüm olarak PyTorch'u ve etrafındaki tüm sistemi geliştirdik.

PyTorch, geliştiricilerin yapay zeka geliştirme yarışında karşılaştıkları en büyük engelleri öğrendiğim yer. İlk zorluk, modellerin ölçeklenebilmesi için düşük gecikme süresine sahip ve esnek olan istikrarlı ve güvenilir model mimarisini bulmaktır. İkinci zorluk ise toplam sahip olma maliyetidir, böylece şirketler modellerini büyütmeye çalışırken iflas etmezler.

Meta'da geçirdiğim süre bana PyTorch gibi modelleri ve çerçeveleri açık kaynak tutmanın ne kadar önemli olduğunu gösterdi. Yeniliği teşvik eder. Yineleme için açık kaynak fırsatları olmasaydı PyTorch'taki kadar büyüyemezdik. Ayrıca, işbirliği olmadan en son araştırmalardan haberdar olmak imkansızdır.

Sizi Fireworks AI'yi başlatmaya iten şeyin ne olduğunu tartışabilir misiniz?

20 yılı aşkın süredir teknoloji sektöründeyim ve buluttan mobil uygulamalara kadar sektör düzeyindeki değişim dalgalarına tanık oldum. Ancak bu yapay zeka değişimi tam bir tektonik yeniden düzenlemedir. Bu değişimle mücadele eden birçok şirket gördüm. Herkes hızlı hareket etmek ve yapay zekaya öncelik vermek istiyordu ancak bunu gerçekleştirecek altyapıya, kaynaklara ve yeteneğe sahip değillerdi. Bu firmalarla konuştukça pazardaki bu açığı kapatabileceğimi daha çok anladım.

Hem bu sorunu çözmek hem de PyTorch'ta başardığımız inanılmaz çalışmanın bir uzantısı olarak hizmet etmek için Fireworks AI'yi başlattım. İsmimize bile ilham verdi! PyTorch ateşi tutan meşaledir ama biz bu ateşin her yere yayılmasını istiyoruz. Dolayısıyla: Havai fişekler.

Teknolojiyi demokratikleştirme ve geliştiricilerin kaynakları ne olursa olsun yenilik yapmalarını uygun fiyatlı ve basit hale getirme konusunda her zaman tutkulu oldum. Bu nedenle, inşaatçıların vizyonlarını hayata geçirmelerini sağlayacak kullanıcı dostu bir arayüze ve güçlü destek sistemlerine sahibiz.

Geliştirici merkezli yapay zekanın ne olduğunu ve bunun neden bu kadar önemli olduğunu tartışabilir misiniz?

Çok basit: "Geliştirici merkezli", yapay zeka geliştiricilerinin ihtiyaçlarına öncelik vermek anlamına gelir. Örneğin: geliştiricileri daha verimli ve özerk hale getiren araçlar, topluluklar ve süreçler oluşturmak.

Fireworks gibi geliştirici merkezli yapay zeka platformları mevcut iş akışlarına ve teknoloji yığınlarına entegre edilmelidir. Geliştiricilerin deneme yapmasını, hata yapmasını ve çalışmalarını geliştirmesini kolaylaştırmalılar. Geri bildirimi teşvik etmelidirler çünkü başarılı olmak için neye ihtiyaçları olduğunu anlayan geliştiricilerin kendileridir. Son olarak, bu sadece bir platform olmaktan daha fazlasıdır. Bu, işbirliği yapan geliştiricilerin yapay zeka ile mümkün olanın sınırlarını zorlayabileceği bir topluluk olmakla ilgilidir.

Geliştirdiğiniz GenAI Platformu, büyük dil modelleriyle (LLM'ler) çalışan geliştiriciler için önemli bir ilerlemedir. Platformunuzun benzersiz özelliklerini ve avantajlarını, özellikle mevcut çözümlerle karşılaştırarak detaylandırabilir misiniz?

Yapay zeka üretim platformu olarak yaklaşımımızın tamamı benzersizdir ancak en iyi özelliklerimizden bazıları şunlardır:

Verimli çıkarım – Fireworks AI'yi verimlilik ve hız için tasarladık. Platformumuzu kullanan geliştiriciler LLM uygulamalarını mümkün olan en düşük gecikme ve maliyetle çalıştırabilirler. Bunu, hızlı önbelleğe alma, uyarlanabilir parçalama, niceleme, sürekli toplu işlem, FireAttention ve daha fazlasını içeren en son model ve hizmet optimizasyon teknikleriyle başarıyoruz.

LoRA ayarlı modeller için uygun fiyatlı destek – Temel modellerde çoklu kiralama yoluyla düşük dereceli adaptasyon (LoRA) ince ayarlı modellerine uygun fiyatlı hizmet sunuyoruz. Bu, geliştiricilerin bütçeyi zorlamadan aynı model üzerinde birçok farklı kullanım durumu veya varyasyonu deneyebileceği anlamına gelir.

Basit arayüzler ve API'ler – Arayüzlerimiz ve API'lerimiz, geliştiricilerin uygulamalarına entegre etmesi için basit ve kolaydır. API'lerimiz aynı zamanda geçiş kolaylığı açısından OpenAI uyumludur.

Kullanıma hazır modeller ve ince ayarlı modeller – Geliştiricilerin kullanıma hazır olarak kullanabileceği 100'den fazla önceden eğitilmiş model sunuyoruz. En iyi LLM'leri, görüntü oluşturma modellerini, yerleştirme modellerini vb. ele alıyoruz. Ancak geliştiriciler ayrıca kendi özel modellerini barındırmayı ve sunmayı da seçebilirler. Ayrıca geliştiricilerin bu özel modelleri kendi özel verileriyle uyarlamalarına yardımcı olmak için self-servis ince ayar hizmetleri de sunuyoruz.

Topluluk işbirliği: Topluluk işbirliğinin açık kaynak ahlakına inanıyoruz. Platformumuz, geliştiricileri ince ayarlı modellerini paylaşmaya ve büyüyen yapay zeka varlıkları ve bilgi bankasına katkıda bulunmaya teşvik eder (ancak bunu gerektirmez). Herkes kolektif uzmanlığımızın gelişmesinden yararlanır.

Model paralelliği ile veri paralelliği arasında sunulan hibrit yaklaşımı tartışabilir misiniz?

Makine öğrenimi modellerinin paralelleştirilmesi, model eğitiminin verimliliğini ve hızını artırır ve geliştiricilerin tek bir GPU'nun işleyemeyeceği daha büyük modelleri yönetmesine yardımcı olur.

Model paralelliği, bir modeli birden fazla parçaya bölmeyi ve her parçayı ayrı işlemciler üzerinde eğitmeyi içerir. Öte yandan veri paralelliği, veri kümelerini alt kümelere böler ve her bir alt kümedeki bir modeli aynı anda ayrı işlemciler arasında eğitir. Hibrit bir yaklaşım bu iki yöntemi birleştirir. Modeller, her biri farklı veri alt kümeleri üzerinde eğitilen, verimliliği, ölçeklenebilirliği ve esnekliği artıran ayrı parçalara bölünmüştür.

Fireworks AI, 20,000'den fazla geliştirici tarafından kullanılıyor ve şu anda günde 60 milyardan fazla jetona hizmet veriyor. Operasyonlarınızı bu seviyeye ölçeklendirirken ne gibi zorluklarla karşılaştınız ve bunları nasıl aştınız?

Dürüst olacağım, 2022'de Fireworks AI'yi kurduğumuzdan beri aşılması gereken pek çok yüksek dağ oldu.

Müşterilerimiz ilk olarak çok düşük gecikme süreli destek arayışıyla bize geldiler; çünkü tüketiciler, üreten tüketiciler veya diğer geliştiriciler için (hızlı çözümlere ihtiyaç duyan tüm hedef kitleler) uygulamalar geliştiriyorlar. Daha sonra müşterilerimizin uygulamaları hızlı bir şekilde ölçeklenmeye başladığında, bu ölçekle ilgili tipik maliyetleri karşılayamayacaklarını fark ettiler. Daha sonra bizden toplam sahip olma maliyetini (TCO) düşürmemize yardımcı olmamızı istediler ve biz de bunu yaptık. Daha sonra müşterilerimiz OpenAI'den OSS modellerine geçmek istediler ve bizden OpenAI'ye eşdeğer, hatta daha iyi kalite sunmamızı istediler. Bunu da biz sağladık.

Ürünümüzün gelişimindeki her adım, üstesinden gelinmesi zor bir sorundu, ancak bu, müşterilerimizin ihtiyaçlarının Fireworks'ü gerçekten bugünkü haline getirdiği anlamına geliyordu: düşük TCO'ya sahip, ışık hızında bir çıkarım motoru. Ayrıca, hem aralarından seçim yapabileceğiniz yüksek kaliteli, kullanıma hazır modeller yelpazesi hem de geliştiricilerin kendi modellerini oluşturmaları için ince ayar hizmetleri sunuyoruz.

Yapay zeka ve makine öğrenimindeki hızlı gelişmelerle birlikte etik hususlar her zamankinden daha önemli hale geldi. Fireworks AI, yapay zekanın önyargısı, gizliliği ve etik kullanımına ilişkin endişeleri nasıl ele alıyor?

ChatGPT gibi genAI uygulamalarını sıklıkla kullanan iki genç kızım var. Bir anne olarak onların yanıltıcı veya uygunsuz içerik bulmasından endişeleniyorum çünkü sektör, kritik içerik güvenliği sorununu çözmeye yeni başlıyor. Meta, Purple Llama projesiyle çok şey yapıyor ve Stability AI'nin yeni SD3 modları harika. Her iki şirket de çok katmanlı filtrelere sahip yeni Llama3 ve SD3 modellerine güvenlik getirmek için yoğun şekilde çalışıyor. Giriş-çıkış koruma modeli Llama Guard, platformumuzda oldukça fazla kullanılıyor ancak benimsenmesi henüz diğer LLM'lerle aynı seviyede değil. Bir bütün olarak sektörün, içerik güvenliğini ve yapay zeka etiğini ön plana çıkarmak için hâlâ kat etmesi gereken uzun bir yol var.

Fireworks olarak biz gizlilik ve güvenliğe büyük önem veriyoruz. HIPAA ve SOC2 uyumluyuz ve güvenli VPC ve VPN bağlantısı sunuyoruz. Şirketler, iş hendeklerini inşa etmek için özel verileri ve modelleri konusunda Fireworks'e güveniyor.

Yapay zekanın nasıl gelişeceğine dair vizyonunuz nedir?

Tıpkı AlphaGo'nun kendi başına satranç oynamayı öğrenirken özerklik göstermesi gibi, genAI uygulamalarının da giderek daha özerk hale geldiğini göreceğiz diye düşünüyorum. Uygulamalar, istekleri otomatik olarak işlenecek doğru aracıya veya API'ye yönlendirecek ve doğru çıktıyı alana kadar rotayı düzeltecektir. Ve denetleyici olarak diğerlerinden oy alan tek bir işlev çağıran model yerine, sorunları çözmek için daha fazla kendi kendine organize olan, kendi kendini koordine eden temsilcilerin uyum içinde çalıştığını göreceğiz.

Fireworks'un yıldırım hızındaki çıkarımı, fonksiyon çağırma modelleri ve ince ayar hizmeti bu gerçeğe giden yolu açtı. Şimdi bunu hayata geçirmek yenilikçi geliştiricilere düşüyor.

Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular ziyaret etmelidir. Havai Fişek Yapay Zekası.