Jason Knight adalah Co-founder dan Wakil Presiden ML di OctoAI – Seri Wawancara

Jason Knight adalah Co-founder dan Wakil Presiden Mesin Pembelajaran di OctoAI, platform yang menyediakan tumpukan lengkap untuk pembangun aplikasi untuk menjalankan, mengatur, dan menskalakan aplikasi AI mereka di cloud atau on-premises.

OctoAI lahir dari Universitas Washington oleh para pencipta asli Apache TVM, tumpukan sumber terbuka untuk portabilitas dan kinerja ML. TVM memungkinkan model ML untuk berjalan secara efisien di berbagai backend perangkat keras, dan telah dengan cepat menjadi bagian kunci dari arsitektur perangkat konsumen populer seperti Amazon Alexa.

Apakah Anda dapat membagikan inspirasi di balik pendirian OctoAI dan masalah inti yang Anda coba selesaikan?

AI secara tradisional merupakan bidang yang kompleks dan hanya dapat diakses oleh mereka yang nyaman dengan matematika dan komputasi kinerja tinggi yang diperlukan untuk membuat sesuatu dengan itu. Namun, AI membuka antarmuka komputasi yang ultimate, yaitu teks, suara, dan citra yang diprogram oleh contoh dan umpan balik, dan membawa kekuatan penuh komputasi kepada setiap orang di Bumi. Sebelum AI, hanya programmer yang dapat membuat komputer melakukan apa yang mereka inginkan dengan menulis teks bahasa pemrograman yang rumit.

OctoAI dibuat untuk mempercepat jalur kita menuju kenyataan itu sehingga lebih banyak orang dapat menggunakan dan memanfaatkan AI. Dan orang, pada gilirannya, dapat menggunakan AI untuk menciptakan manfaat lebih banyak lagi dengan mempercepat sains, kedokteran, seni, dan lain-lain.

Mengingat pengalaman Anda di Intel (INTC ), bagaimana peran sebelumnya mempersiapkan Anda untuk menjadi co-founder dan memimpin pengembangan di OctoAI?

Intel dan startup AI perangkat keras dan biotek sebelumnya memberi saya perspektif untuk melihat seberapa sulit AI bagi bahkan perusahaan teknologi yang paling canggih, dan bagaimana berharganya itu bagi mereka yang telah menemukan cara untuk menggunakannya. Dan melihat bahwa kesenjangan antara mereka yang memanfaatkan AI dibandingkan dengan mereka yang belum adalah terutama masalah infrastruktur, komputasi, dan praktik terbaik – bukan sihir.

Apa yang membedakan OctoStack dari solusi penerapan AI lain yang tersedia di pasar saat ini?

OctoStack adalah tumpukan teknologi lengkap pertama yang dirancang khusus untuk melayani model AI generatif di mana saja. Ini menawarkan platform produksi yang siap digunakan yang menyediakan inferensi yang sangat dioptimalkan, kustomisasi model, dan manajemen aset pada skala perusahaan.

OctoStack memungkinkan organisasi mencapai kemandirian AI dengan menjalankan model apa pun di lingkungan yang mereka pilih dengan kontrol penuh atas data, model, dan perangkat keras. Ini juga menyediakan kinerja dan efisiensi biaya yang tidak tertandingi, dengan penghematan hingga 12X dibandingkan dengan solusi lain seperti GPT-4.

Apakah Anda dapat menjelaskan keuntungan dari menerapkan model AI di lingkungan pribadi menggunakan OctoStack?

Model saat ini sangat umum, tetapi mengumpulkan infrastruktur yang tepat untuk menjalankan model tersebut dan menerapkannya dengan data Anda adalah tempat roda bisnis benar-benar mulai berputar. Menggunakan model ini pada data yang paling sensitif, dan kemudian mengubahnya menjadi wawasan, rekayasa prompt yang lebih baik, pipa RAG, dan fine-tuning adalah tempat Anda dapat mendapatkan nilai terbesar dari AI generatif. Namun, ini masih sulit bagi semua kecuali perusahaan yang paling canggih untuk melakukannya sendiri, yang mana solusi siap pakai seperti OctoStack dapat mempercepat dan mengumpulkan praktik terbaik dalam satu tempat untuk para praktisi.

Menerapkan model AI di lingkungan pribadi menggunakan OctoStack menawarkan beberapa keuntungan, termasuk keamanan dan kontrol yang ditingkatkan atas data dan model. Pelanggan dapat menjalankan aplikasi AI generatif dalam VPC mereka sendiri atau on-premises, memastikan bahwa data mereka tetap aman dan dalam lingkungan yang mereka pilih. Pendekatan ini juga memberi perusahaan fleksibilitas untuk menjalankan model apa pun, baik itu sumber terbuka, kustom, atau milik, sambil mendapatkan manfaat dari pengurangan biaya dan perbaikan kinerja.

Apa tantangan yang Anda hadapi dalam mengoptimalkan OctoStack untuk mendukung berbagai perangkat keras, dan bagaimana tantangan tersebut diatasi?

Mengoptimalkan OctoStack untuk mendukung berbagai perangkat keras melibatkan memastikan kompatibilitas dan kinerja di berbagai perangkat, seperti NVIDIA (NVDA ) dan AMD GPU dan AWS Inferentia. OctoAI mengatasi tantangan ini dengan menggunakan keahlian sistem AI yang mendalam, yang dikembangkan melalui tahun-tahun penelitian dan pengembangan, untuk menciptakan platform yang terus diperbarui dan mendukung jenis perangkat keras tambahan, kasus penggunaan GenAI, dan praktik terbaik. Ini memungkinkan OctoAI untuk menyediakan kinerja dan efisiensi biaya yang memimpin pasar.

Selain itu, mendapatkan kemampuan terbaru dalam AI generatif, seperti multi-modality, panggilan fungsi, skema JSON yang ketat, hosting fine-tune yang efisien, dan lain-lain, ke tangan pengembang internal Anda akan mempercepat titik lepas landas AI Anda.

OctoAI memiliki sejarah kaya dalam menggunakan Apache TVM. Bagaimana kerangka kerja ini mempengaruhi kemampuan platform Anda?

Kami menciptakan Apache TVM untuk membuatnya mudah bagi pengembang yang canggih untuk menulis perpustakaan AI yang efisien untuk GPU dan akselerator dengan lebih mudah. Kami melakukan ini karena mendapatkan kinerja terbaik dari perangkat keras GPU dan akselerator sangat penting untuk inferensi AI saat itu sebagaimana sekarang.

Kami sejak itu menggunakan pola pikir dan keahlian yang sama untuk seluruh tumpukan pelayanan Gen AI untuk menyediakan otomatisasi untuk sejumlah pengembang yang lebih luas.

Apakah Anda dapat membahas peningkatan kinerja yang signifikan yang ditawarkan OctoStack, seperti peningkatan kinerja 10x dalam penerapan skala besar?

OctoStack menawarkan peningkatan kinerja yang signifikan, termasuk penghematan hingga 12X dibandingkan dengan model lain seperti GPT-4 tanpa mengorbankan kecepatan atau kualitas. Ini juga menyediakan utilisasi GPU 4X lebih baik dan pengurangan biaya operasional sebesar 50 persen, memungkinkan organisasi untuk menjalankan penerapan skala besar dengan efisien dan efektif biaya.

Apakah Anda dapat membagikan beberapa kasus penggunaan yang penting di mana OctoStack secara signifikan meningkatkan penerapan AI untuk klien Anda?

Kasus penggunaan yang penting adalah Apate.ai, layanan global yang melawan penipuan telepon menggunakan AI konversasional generatif. Apate.ai menggunakan OctoStack untuk menjalankan suite model bahasa mereka di berbagai geografi, mendapatkan manfaat dari fleksibilitas, skala, dan keamanan OctoStack. Penerapan ini memungkinkan Apate.ai untuk menyediakan model kustom yang mendukung bahasa dan dialek regional yang berbeda, memenuhi persyaratan kinerja dan keamanan yang sensitif.

Selain itu, kami melayani ratusan fine-tune untuk pelanggan kami, OpenPipe. Jika mereka harus memulai instance khusus untuk setiap fine-tune ini, kasus penggunaan pelanggan mereka akan menjadi tidak layak ketika mereka tumbuh dan berkembang kasus penggunaan mereka dan terus melatih fine-tune parameter-efisien mereka untuk kualitas output maksimum dengan harga yang efektif.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi OctoAI.