Lin Qiao, Fireworks AI’nin CEO’su ve Kurucu Ortağı – Röportaj Serisi

Lin Qiao, eskiden Meta’nın PyTorch’un başkanıydı ve şimdi Fireworks AI’nin CEO’su ve kurucu ortağıdır. Fireworks AI, geliştiriciler için üretilmiş bir AI platformudur. Fireworks, dünyanın önde gelen üretken AI araştırmacılarıyla işbirliği yaparak en iyi modelleri, en hızlı hızlarda sunar. Fireworks AI最近 bir $25M Seri A yatırımını aldı.

Bilgisayar bilimine ilk olarak neler sizi çekti?

Babam bir gemi yapım şirketinde çok kıdemli bir makine mühendisiydi ve gemileri sıfırdan inşa ediyordu. Genç yaşta gemi planlarının kesin açılarını ve ölçümlerini okumayı öğrendim ve bunu sevdim.

Ortaokuldan itibaren STEM konularına çok ilgi duydum – matematik, fizik ve kimya her şeyi öğrendim. Lise projemlerden biri, BASIC programlama dili öğrenmek ve bir yılanın kuyruğunu yiyen bir oyun yazmaktı. Bundan sonra, bilgisayar bilimi benim geleceğimde olacağını biliyordum.

Meta’da AI çerçeveleri ve platformlarında 300’den fazla dünya çapında mühendisi yönettiğiniz dönemde, PyTorch’u inşa ettiğiniz ve dağıttığınız sırada neler öğrendiniz?

Büyük teknoloji şirketleri gibi Meta, her zaman 5 veya daha fazla yıl ileridedir. 2015’te Meta’ya katıldığımda, AI yolculuğumuzun başındaydık – CPU’lardan GPU’lara geçiş yapıyorduk. AI altyapısını sıfırdan tasarlamak zorundaydık. Caffe2 gibi modeller o zamanlar devrim niteliğindeydi, ancak AI o kadar hızlı gelişti ki nhanh chóng eskimiş oldular. PyTorch’u ve tüm sistemi bunun etrafında bir çözüm olarak geliştirdik.

PyTorch, geliştiricilerin AI inşa ederken karşılaştıkları en büyük engelleri öğrendiğim yerdir. İlk zorluk, düşük gecikme ve esneklik ile ölçeklenebilir ve düşük gecikme ve maliyetli model mimarilerini bulmaktır. İkinci zorluk, şirketlerin modellerini büyütürken iflas etmemeleri için toplam sahip olma maliyetidir.

Meta’daki zamanım, PyTorch gibi modellerin ve çerçevelerin açık kaynak olması gerektiğini gösterdi. Bu, inovasyonu teşvik eder. Açık kaynak fırsatları olmadan PyTorch’ta büyüyeceğimiz kadar büyüyeemezdik. Ayrıca, en son araştırmaları takip etmek için işbirliği yapmak imkansızdır.

Fireworks AI’yi kurmaya neyin sizi teşvik ettiğini anlatır mısınız?

Teknoloji sektöründe 20 yılı aşkın süredir çalışıyorum ve endüstri düzeyindeki dalgalanmaları gördüm – bulut ve mobil uygulamalardan AI’ye. Ancak bu AI dönüşümü, tamamen bir tektonik yeniden hizalamadır. Birçok şirketin bu değişimle mücadele ettiğini gördüm. Herkes hızlı hareket etmek ve AI’yi ilk sıraya koymak istiyordu, ancak bunu gerçekleştirmek için altyapı, kaynak ve yetenek eksikliği vardı. Bu şirketlerle konuştuğum kadar, pazarın bu açığını çözebileceğimi anladım.

Fireworks AI’yi, bu sorunu çözmek ve PyTorch’ta elde ettiğimiz harika işin bir uzantısı olarak kurdum. Hatta ismimizi bile ilham verdi! PyTorch, ateşi tutan meşaledir, ancak bu ateşi her yere yaymak istiyoruz. Dolayısıyla: Fireworks.

Teknolojiyi demokratikleştirmeye, geliştiricilerin kaynaklarına bakılmaksızın inovasyon yapmasını kolay ve ucuz hale getirmeye her zaman tutkulu oldum. Bu nedenle, kullanıcı dostu bir arayüze ve geliştiricilerin vizyonlarını gerçeğe dönüştürebilmeleri için güçlü destek sistemlerine sahibiz.

Geliştirici merkezli AI nedir ve neden bu kadar önemlidir?

Basitçe söyleyeyim: “geliştirici merkezli” demek, AI geliştiricilerinin ihtiyaçlarına öncelik vermektir. Örneğin: geliştiricilerin daha verimli ve bağımsız olmasına yardımcı olacak araçlar, topluluklar ve süreçler oluşturmak.

Fireworks gibi geliştirici merkezli AI platformları, mevcut iş akışlarına ve teknoloji yığınlarına entegre olmalıdır. Geliştiricilerin deneysel çalışmasına, hatalar yapmasına ve işlerini iyileştirmesine olanak sağlamalıdır. Geri bildirimi teşvik etmelidir, çünkü geliştiriciler kendileri için neye ihtiyaç duyduklarını en iyi şekilde anlarlar. Son olarak, sadece bir platform değil, bir topluluk olmak önemlidir – işbirliği yapan geliştiricilerin AI’nin sınırlarını zorlayabileceği bir topluluk.

GenAI Platformunuz, büyük dil modelleri (LLM’ler) ile çalışan geliştiriciler için önemli bir ilerlemeyi temsil etmektedir. Platformunuzun benzersiz özelliklerini ve faydalarını, özellikle mevcut çözümlerle karşılaştırıldığında, açıklar mısınız?

AI üretim platformu olarak entire yaklaşımımız benzersizdir, ancak en iyi özelliklerimiz arasında:

Verimli çıkarım – Fireworks AI’yi verimlilik ve hız için tasarladık. Platformumuzu kullanan geliştiriciler, LLM uygulamalarını en düşük gecikme ve maliyetle çalıştırabilir. Bunu,.prompt önbelleğe alma, uyarlanabilir parçalama, nicemleme, sürekli toplu işleme, FireAttention ve daha fazlası gibi son model ve hizmet optimizasyon teknikleriyle başardık.

LoRA ayarlı modeller için uygun fiyatlı destek – LoRA ayarlı modelleri, temel modeller üzerinde çoklu kiracılık aracılığıyla uygun fiyatlı bir şekilde sunuyoruz. Bu, geliştiricilerin birçok farklı kullanım durumu veya aynı modelin varyasyonlarını denemelerine olanak tanırWithout bütçeyi aşmadan.

Basit arayüzler ve API’ler – Arayüzlerimiz ve API’lerimiz geliştiricilerin uygulamalarına entegre etmesi kolaydır. API’lerimiz ayrıca OpenAI ile uyumlu olarak kolay göç için tasarlanmıştır.

Hazır modeller ve ayarlı modeller – 100’den fazla önceden eğitilmiş modeli geliştiricilerin kullanıma hazır olarak sunuyoruz. En iyi LLM’leri, görüntü oluşturma modellerini, gömme modellerini vb. kapsıyoruz. Ancak geliştiriciler ayrıca kendi özel modellerini barındırmak ve sunmak için seçebilir. Ayrıca, bu özel modelleri kendi özel verilerine göre ayarlamak için self-servis ayar hizmeti sunuyoruz.

Topluluk işbirliği: Açık kaynak etosuna inanıyoruz – Topluluk işbirliğini teşvik ediyoruz. Platformumuz, geliştiricilerin ayarlı modellerini paylaşmasına ve AI varlıkları ve bilgisi bankasını büyütmesine olanak tanır. Herkes toplu uzmanlığımızın büyümesinden yararlanıyor.

Model paralelliği ve veri paralelliği arasında melez bir yaklaşım sunuyorsunuz. Bunu açıklar mısınız?

Makine öğrenimi modellerini paralelleştirme, model eğitiminin verimliliğini ve hızını artırır ve geliştiricilerin tek bir GPU ile işleyemeyeceği daha büyük modelleri işleyebilmesini sağlar.

Model paralelliği, bir modeli birden fazla parçaya ayırma ve her parçayı ayrı işlemcilerde eğitme işlemini içerir. Veri paralelliği ise, veri kümelerini alt kümelerine ayırma ve bir modeli aynı anda ayrı işlemcilerde eğitme işlemini içerir. Melez bir yaklaşım, bu iki yöntemi birleştirir. Modeller, ayrı parçalara bölünür ve her parça, farklı işlemcilerde farklı veri alt kümeleri üzerinde eğitilir, verimliliği, ölçeklenebilirliği ve esnekliği artırır.

Fireworks AI, 20.000’den fazla geliştirici tarafından kullanılmakta ve günlük olarak 60 milyar tokeni aşkın işlem yapmaktadır. Bu seviyeye ölçeklenirken karşılaştığınız zorluklar nelerdi ve bunları nasıl aştınız?

Fireworks AI’yi 2022’de kurduğumuzdan beri birçok yüksek dağları aşmak zorunda kaldık.

Müşterilerimiz ilk olarak bize, tüketici, prosumer veya diğer geliştiriciler için uygulamalar inşa ettikleri için çok düşük gecikme desteği istedi. Sonra, müşterilerimizin uygulamaları hızlı bir şekilde ölçeklendiğinde, bunu destekleyecek maliyeti karşılayamadıklarını anladılar. Bize, toplam sahip olma maliyetini (TCO) düşürmemizi istediler ve bunu başardık. Sonra, müşterilerimiz OpenAI’den OSS modellerine geçmek istedi ve bize, OpenAI ile aynı veya daha iyi kalite sunmamızı istediler. Bunu da başardık.

Ürününün her aşaması, çözmek zorunda olduğumuz zor bir problem oldu, ancak müşterilerimizin ihtiyaçları, Fireworks’u bugün olduğu gibi – düşük gecikme ve düşük maliyetli bir çıkarım motoru – şekillendirdi. Ayrıca, geliştiricilerin seçebileceği yüksek kaliteli, hazır modeller ve kendi özel modellerini oluşturmak için ayar hizmeti sunuyoruz.

AI ve makine öğrenimi alanındaki hızlı gelişmeler, etik endişelerin daha da önemli hale gelmesini sağladı. Fireworks AI, AI’nin etik kullanımı, önyargı ve gizlilik ile ilgili endişeleri nasıl ele alıyor?

İki genç kızım var ve onlar sık sık ChatGPT gibi genAI uygulamalarını kullanıyorlar. Bir anne olarak, onların yanlış veya uygunsuz içeriklerle karşılaşmalarından endişe duyuyorum, çünkü endüstri, içerik güvenliği sorununu henüz tam olarak çözmedi. Meta, Purple Llama projesi üzerinde çok şey yapıyor ve Stability AI’nin yeni SD3 modelleri harika. Her iki şirket de, Llama3 ve SD3 modellerinde güvenlik getirmek için çok çalışıyor. Girdi-çıktı güvenlik modeli, Llama Guard, platformumuzda bazı kullanım alıyor, ancak diğer LLM’lerle karşılaştırıldığında henüz aynı düzeyde değil. Endüstri olarak, içerik güvenliği ve AI etiği konusunda daha uzun bir yol kat etmemiz gerekiyor.

Fireworks olarak, gizlilik ve güvenlik konusunda çok hassasız. HIPAA ve SOC2 uyumlu olduğumuz ve güvenli VPC ve VPN bağlantısı sunduğumuz için şirketler, işlerini inşa etmek için özel verilerini ve modellerini bize güvenle bırakabiliyorlar.

AI’nin geleceği ile ilgili vizyonunuz nedir?

AlphaGo’nun, satranç oynarken kendini eğittiği gibi, genAI uygulamalarının daha da bağımsız hale geleceğini düşünüyorum. Uygulamalar, istekleri doğru ajan veya API’ye yönlendirecek ve çıktı alana kadar kendini düzeltmeye devam edecek. Ve bir fonksiyon çağırma modelinin diğerlerinden kontrolör olarak sorgulaması yerine, sorunları çözmek için daha çok kendini organize eden, kendini koordine eden ajanlar görecek.

Fireworks’un hızlı çıkarımı, fonksiyon çağırma modelleri ve ayar hizmeti, bu gerçekliği mümkün kıldı. Şimdi, bunu gerçeğe dönüştürmek, inovatif geliştiricilerin elinde.

Harika bir röportaj için teşekkür ederiz. Daha fazla bilgi öğrenmek isteyen okuyucular, Fireworks AI ziyaret edebilir.