Jason Knight, OctoAI’nin Kurucu Ortağı ve Makine Öğrenimi Başkan Yardımcısı – Röportaj Serisi

Jason Knight, OctoAI’nin kurucu ortağı ve makine öğrenimi başkan yardımcısıdır. OctoAI, uygulamayı oluşturanlara bulut veya şirket içinde AI uygulamalarını çalıştırma, ayaralama ve ölçeklendirme için eksiksiz bir yığın sunar.

OctoAI, Apache TVM’nin orijinal yaratıcıları tarafından Washington Üniversitesi’nden çıkarıldı. TVM, makine öğrenimi modellerinin herhangi bir donanım arka ucunda verimli bir şekilde çalışmasını sağlar ve popüler tüketici cihazlarının mimarisinin önemli bir parçası haline geldi.

OctoAI’yi kurma ve çözmeye çalıştığınız temel sorunu paylaşıp paylaşamayacağınızı sorabilir miyim?

AI geleneksel olarak yalnızca matematik ve yüksek performanslı hesaplama ile uğraşan kişiler için erişilebilir bir alandı. Ancak AI, metin, ses ve görüntüleri örnekler ve geri bildirimler ile programlayabilen ultimate bilgisayar arayüzlerini sunar ve dünyadaki herkesin bilgisayarları kullanmasını sağlar. AI’den önce, yalnızca programcılar, bilgisayarları istedikleri şekilde çalıştırabiliyorlardı.

OctoAI, daha fazla insanın AI’den yararlanabilmesi için bu gerçekliği hızlandırmak amacıyla kuruldu. İnsanlar, AI’yi kullanarak bilim, tıp, sanat ve daha fazlasını hızlandırabilir.

Intel’ (INTC ) deki deneyiminiz, OctoAI’nin kuruluşu ve geliştirilmesine nasıl hazırladı sizi?

Intel ve AI donanımı ve biyoteknoloji şirketleri, AI’nin nawet en gelişmiş teknoloji şirketleri için ne kadar zor olduğunu ve nasıl değerli olabileceğini gösterdi. AI’nin faydalanmak için altyapı, hesaplama ve en iyi uygulamalara ihtiyaç duyduğunu gördüm.

OctoStack, diğer AI dağıtım çözümlerinden nasıl farklı?

OctoStack, generatif AI modellerini her yerde çalıştırmak için tasarlanmış endüstriye özel eksiksiz teknoloji yığınıdır. OctoStack, yüksek performanslı çıkarım, model özelleştirme ve varlık yönetimi sunar.

OctoStack, organizasyonların AI bağımsızlığını sağlar ve herhangi bir modeli tercih edilen ortamda çalıştırma olanağı sunar. OctoStack, diğer çözümlere göre 12 kata kadar tasarruf sağlar.

OctoStack kullanarak AI modellerini özel bir ortamda dağıtmak ne gibi avantajlar sağlar?

Modeller günümüzde her yerde mevcut, ancak bu modelleri çalıştırmak ve uygulamak için gereken altyapıyı oluşturmak zor. OctoStack, bu altyapıyı sunar ve organizasyonların AI uygulamalarını güvenli ve esnek bir şekilde çalıştırmasına olanak tanır.

OctoStack, AI modellerini özel bir ortamda dağıtmak için güvenlik ve kontrol avantajları sunar. Müşteriler, AI uygulamalarını kendi sanal özel ağlarında veya şirket içinde çalıştırabilir.

OctoStack’i geniş bir donanım yelpazesini desteklemek için optimize ederken karşılaştığınız zorluklar nelerdi?

OctoStack’i optimize etmek, çeşitli donanımlarla uyumlu çalışmasını sağlamak anlamına geliyordu. OctoAI, bu zorluğu, derin AI sistemleri uzmanlığını kullanarak aşmıştır.

OctoAI, sürekli güncellenen ve genişletilen bir platform sunar. Bu, OctoAI’nin pazar lideri performans ve maliyet verimliliği sunmasını sağlar.

Apache TVM, OctoAI’nin yeteneklerini nasıl etkiledi?

Apache TVM, AI kütüphanelerini geliştirmek için tasarlandı. TVM, GPU ve hızlandırıcı donanımlarında yüksek performanslı AI çalıştırmak için tasarlandı.

OctoAI, bu uzmanlığı kullanarak Gen AI hizmet yığınına otomasyon sunar.

OctoStack’in önemli performans iyileştirmeleri nelerdir?

OctoStack, diğer modellere göre 12 kata kadar tasarruf sağlar. OctoStack, 4 kat daha iyi GPU kullanımı ve 50% daha az operasyonel maliyet sunar.

OctoStack’in AI dağıtımını önemli ölçüde iyileştirdiği bazı önemli kullanım örnekleri nelerdir?

Apate.ai, telefon dolandırıcılığına karşı mücadele eden bir hizmettir. Apate.ai, OctoStack’i kullanarak dil modellerini çalıştırmış ve güvenlik, ölçeklenebilirlik ve esneklik avantajları elde etmiştir.

OctoAI, OpenPipe için yüzlerce fine-tune sunar. OctoAI, müşterilerinin AI kullanımını hızlandırır ve maliyetleri düşürür.

Harika bir röportaj için teşekkür ederiz. Daha fazla bilgi almak isteyen okuyucular, OctoAI ziyaret edebilir.