Wawancara

Kismat Singh, Co-Founder dan CEO MachGen AI – Seri Wawancara

Antoine Tardif
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaInferensi difusi tetap terikat komputasi sepanjang denoising sehingga optimisasi model…
Lihat selengkapnya
  • Inferensi difusi tetap terikat komputasi sepanjang denoising sehingga optimisasi model bahasa tidak dapat ditransfer secara bersih.
  • MachGen memberikan keuntungan latensi sekitar 6x pada model video sambil menjalankan model asli yang tidak disuling tanpa mengorbankan kualitas.
  • Generasi yang lebih cepat menggeser periklanan dari beberapa iklan komersial umum menuju ribuan varian kreatif yang dipersonalisasi.

Kismat Singh, Co-Founder dan CEO MachGen AI, adalah eksekutif infrastruktur AI dan rekayasa dengan lebih dari dua dekade pengalaman membangun sistem komputasi berkinerja tinggi dan pembelajaran mesin. Sebelum mendirikan MachGen AI, Singh menjabat sebagai VP of Engineering untuk AI Frameworks di Intel dan sebelumnya memegang peran senior di bidang rekayasa di NVIDIA, AMD, HP, dan perusahaan teknologi lainnya. Karyanya mencakup kontribusi pada pustaka deep learning dan kompilator, optimasi kerangka kerja AI, serta perbaikan pada ketahanan pelatihan berskala hiperskalabel. Di Intel, ia terlibat erat dengan inisiatif PyTorch perusahaan dan berbicara secara publik tentang membuat kerangka kerja AI lebih mudah diakses di berbagai platform perangkat keras.

MachGen AI adalah perusahaan infrastruktur AI yang berfokus pada membuat model gambar dan video generatif menjadi jauh lebih cepat dan lebih ekonomis untuk dijalankan. Didirikan oleh Kismat Singh dan Manoj Krishnan, perusahaan ini mengembangkan stack inferensi dan fine-tuning berkinerja tinggi yang dirancang khusus untuk model difusi, bukan dengan menyesuaikan infrastruktur yang awalnya dibangun untuk model bahasa besar. MachGen mengoptimalkan area termasuk perhitungan attention, caching, kernel GPU, manajemen memori, paralelisme, penjadwalan, dan penyebaran untuk mengurangi latensi generasi sambil mempertahankan kualitas model. Platformnya menyediakan API untuk generasi teks-ke-gambar, gambar-ke-gambar, teks-ke-video, gambar-ke-video, dan referensi-ke-video, dengan teknologi dasar yang ditujukan untuk memungkinkan aplikasi latensi rendah seperti pembuatan konten interaktif, avatar waktu nyata, permainan, dan iklan yang dipersonalisasi.

Anda telah menghabiskan lebih dari dua dekade bekerja pada video, komputasi GPU, dan kinerja AI, termasuk TensorRT di NVIDIA, perangkat lunak AI di Intel, optimasi GPU di AMD, serta pekerjaan sebelumnya pada enkoding video waktu nyata. Apa yang Anda lihat selama tahun-tahun itu yang pada akhirnya meyakinkan Anda untuk meninggalkan perusahaan teknologi besar dan mendirikan MachGen, dan mengapa Anda percaya bahwa inferensi difusi adalah masalah infrastruktur yang layak dibangun menjadi sebuah perusahaan?

Cofounder saya, Manoj, dan saya bermain bulu tangkis di gym yang sama selama hampir 10 tahun. Selama sebagian besar waktu itu, kami berusaha merekrut satu sama lain. Akhirnya kami memutuskan bahwa lebih mudah bekerja bersama daripada terus merekrut satu sama lain.

Alasan kami memilih masalah ini adalah karena kami berdua telah menyaksikan stack inferensi berkembang dari dalam. Saya membantu membangun tim platform inferensi NVIDIA dan kemudian memimpin perangkat lunak AI di Intel. Manoj membangun infrastruktur pelatihan model besar di balik PyTorch di Meta. Kami menyaksikan bertahun-tahun kerja pada caching, batching, penjadwalan, dan kernel mengubah sistem riset LLM awal menjadi infrastruktur produksi yang melayani triliunan token.

Difusi secara kasar berada pada posisi yang sama dengan inferensi LLM tiga tahun yang lalu. Model gambar dan video telah berkembang pesat, namun sistem yang melayaninya tetap lambat, mahal, dan sulit untuk diskalakan. Sebagian besar infrastruktur yang ada dirancang untuk LLM, dengan difusi ditambahkan kemudian.

Tiga hal yang membuat timing tepat: model menjadi cukup baik untuk dibangun menjadi produk nyata, masalah tersebut membutuhkan tepat keterampilan yang telah kami kembangkan sepanjang karier, dan dampaknya cukup besar untuk membangun perusahaan generasi di sekitarnya. Ketika sebuah video yang sebelumnya memakan waktu beberapa menit dapat dihasilkan dalam hitungan detik dengan sebagian kecil biaya, generasi interaktif, iklan yang dipersonalisasi, avatar waktu nyata, dan produk kreatif baru yang sepenuhnya menjadi mungkin.

MachGen berpendapat bahwa banyak teknik yang mengubah inferensi model bahasa besar tidak dapat diterapkan secara bersih pada model difusi. Apa yang secara fundamental berbeda dalam melayani model gambar dan video, dan di mana bottleneck kinerja terbesar yang biasanya terlewat oleh infrastruktur AI konvensional?

LLM dan model difusi memiliki pola komputasi yang secara fundamental berbeda. LLM bersifat autoregresif, dengan fase prefill yang berat komputasi diikuti oleh decode token-per-token yang terbatas memori. Teknik seperti KV caching dan pemisahan prefill/decode dirancang berdasarkan struktur tersebut.

Model difusi tidak bersifat autoregresif dan tetap terbatas pada komputasi sepanjang proses denoising. Generasi video juga melibatkan sejumlah besar data spasial dan temporal, menciptakan kebutuhan berbeda terkait attention, memori, komunikasi, dan paralelisme.

Akibatnya, banyak optimisasi yang dikembangkan untuk LLM tidak dapat diterapkan secara bersih. KV caching konvensional tidak menyelesaikan masalah yang sama, paralelisme standar dapat menimbulkan overhead komunikasi yang signifikan, dan kernel open-source yang tersedia jauh kurang matang. Scheduler, model memori, strategi caching, kernel, dan paralelisme semuanya perlu dirancang khusus untuk difusi itu sendiri. Itulah mengapa kami membangun MachGen dengan difusi sebagai komponen utama.

MachGen melaporkan latensi sekitar 4–6 kali lebih rendah pada beberapa model gambar dan sekitar 6 kali peningkatan pada beberapa model video sambil menjalankan model asli yang tidak di‑distilasi. Apa terobosan teknis paling penting di balik peningkatan tersebut, dan bagaimana Anda memastikan bahwa peningkatan kinerja tidak mengorbankan kualitas output?

Keuntungan tersebut berasal dari beberapa bagian stack yang bekerja bersama. Attention mendominasi anggaran komputasi pada banyak model video, sehingga kami fokus pada resep presisi lebih rendah, sparse attention, dan teknik terkait. Kami juga telah mengembangkan metode caching yang memanfaatkan redundansi spasial dan temporal, kernel yang sangat dioptimalkan untuk arsitektur diffusion, serta teknik paralelisme yang mengurangi overhead komunikasi.

Bersama-sama, perbaikan tersebut memungkinkan MachGen menghasilkan HiDream dalam satu detik dibandingkan enam detik dan Flux dalam 1.5 detik dibandingkan 6.2 detik. Untuk video, Wan 2.2 berjalan dalam 16.5 detik dibandingkan 98 detik, sementara LTX 2.3 berjalan dalam 10.7 detik dibandingkan 67 detik. Biaya inferensi juga 2–4x lebih rendah untuk model gambar dan 2–3x lebih rendah untuk video.

Hasil ini menggunakan model asli yang tidak di‑distilasi. Kami meningkatkan cara model berjalan tanpa mengorbankan kualitas output. Untuk adopsi produksi, kecepatan, biaya, dan kualitas harus bekerja bersama.

Trusted TV adalah contoh menarik karena mengurangi waktu generasi dari menit menjadi detik mengubah lebih dari sekadar tagihan infrastruktur. Setelah generasi video menjadi cukup cepat untuk menghasilkan ribuan kampanye dan variasi kreatif yang dipersonalisasi, model bisnis atau pengalaman produk baru apa yang menjadi mungkin yang sebelumnya tidak layak.

TrustedTV membantu bisnis membuat iklan siap siar dengan AI dan menempatkannya di platform TV terhubung seperti Prime Video, Roku, dan DirecTV. Banyak pelanggannya adalah usaha kecil. Membuat iklan TV secara tradisional memerlukan tim film dan penyunting, dengan biaya mulai dari ribuan dolar dan biasanya mencapai puluhan ribu dolar. Trusted TV mengurangi biaya itu menjadi nol. Seorang pemilik usaha kecil dapat membuat iklan lengkap dari smartphone dalam sekitar lima menit dan melihatnya sebelum membayar apa pun. Lebih dari 10,000 kampanye telah dibuat di platform ini.

Ian, CEO Trusted TV, melihat benchmark latensi MachGen pada Artificial Analysis dan tidak mempercayainya. Ia mendaftar untuk mengujinya sendiri. Render pertamanya kembali dalam sekitar 25 detik tanpa kehilangan kualitas, dan ketika ia melakukan tes konkurensi, perbaikan tersebut tetap bertahan pada skala besar. Mereka memindahkan seluruh alur kerja produksi mereka ke MachGen dalam waktu kurang dari 48 jam, dan MachGen kini mendukung semua pembuatan video baru mereka. Pada penyebaran terbaru, kami mendekati 10 atau 11 detik pada model itu, dan kami akan terus memperbaikinya.

Efek produknya adalah pengiklan berhenti membuat satu atau dua iklan umum. Pengguna mereka mengganti dua atau tiga iklan baru setiap minggu, menguji materi iklan di berbagai segmen audiens, dan melakukan iterasi alih-alih berkomitmen. Selanjutnya adalah personalisasi berdasarkan geografi dan tingkat audiens pada skala besar, yang sebelumnya hanya tersedia untuk perusahaan dengan anggaran multi-juta dolar.

Sebuah versi yang saya pikirkan secara pribadi: Hari ini, saya menerima iklan sepatu yang diambil di sebuah jalan di Manhattan. Saya tinggal di Bay Area, jadi iklan itu tidak berarti bagi saya. Saya menginginkan iklan yang sama dengan latar belakang Mission Peak. Itu bukan iklan yang lebih murah; itu adalah jenis iklan yang berbeda, dan hanya menjadi layak secara ekonomi ketika generasi cepat dan murah cukup untuk membuat ribuan varian.

Untuk perusahaan yang menyematkan generasi gambar atau video langsung ke dalam produk, bagaimana mereka harus memikirkan ekonomi inferensi? Pada skala apa pengoptimalan pemanfaatan GPU menjadi penting secara strategis daripada sekadar membayar penyedia API untuk setiap generasi?

Titik balik muncul ketika inferensi mulai memengaruhi pengalaman pelanggan atau margin perusahaan.

API serbaguna dapat masuk akal saat sebuah tim sedang memvalidasi produk. Setelah generasi menjadi inti produk tersebut, tim harus melihat lebih jauh dari harga per output yang tercantum. Latensi, konkurensi, kualitas, keandalan, dan pemanfaatan GPU semuanya menjadi bagian dari ekonomi.

Generasi mungkin tampak murah, tetapi tetap menimbulkan masalah bisnis jika pengguna harus menunggu beberapa menit dan meninggalkan alur kerja. Arsitektur yang memerlukan kapasitas GPU tumbuh seiring dengan penggunaan juga akan memberi tekanan yang semakin besar pada margin.

Tidak ada ambang batas volume permintaan tunggal karena komputasi yang dibutuhkan untuk klip 540p pendek sangat berbeda dengan video 1080p yang lebih panjang. Optimasi menjadi strategis ketika peningkatan penggunaan menyebabkan biaya naik hampir pada tingkat yang sama, permintaan puncak menciptakan antrean, atau latensi mulai membatasi pengalaman produk.

MachGen bekerja di beberapa lapisan, termasuk kernel GPU khusus, caching, optimasi presisi, penjadwalan, dan paralelisme. Karena model terus berkembang dengan cepat, lapisan mana dari stack inferensi yang Anda yakini menawarkan peluang terbesar yang tersisa untuk peningkatan dramatis dalam kecepatan dan biaya?

Untuk generasi video, attention merupakan salah satu peluang terbesar yang tersisa karena ia mendominasi anggaran komputasi pada banyak model. Masih ada ruang signifikan untuk meningkatkan resep presisi lebih rendah, sparse attention, dan kernel attention khusus diffusion.

Attention hanyalah satu bagian dari peluang tersebut. Peningkatan terbesar secara keseluruhan akan datang dari menggabungkan perbaikan di seluruh stack. Caching adalah salah satu contohnya. Teknik KV caching yang digunakan dalam LLM tidak dapat langsung diterapkan, tetapi model diffusion memiliki redundansi spasial dan temporal yang dapat dimanfaatkan dengan pendekatan yang tepat.

Paralelisme memberikan peluang lain. Menambahkan GPU tidak secara otomatis menghasilkan percepatan yang proporsional karena overhead komunikasi dapat mengimbangi manfaatnya. Kami mengembangkan kernel yang disesuaikan yang menumpangtindihkan komunikasi dengan komputasi yang tidak bergantung pada data dan menyalurkannya bersama pekerjaan yang bergantung pada data.

Perhatian, caching, kernel, paralelisme, memori, dan penjadwalan saling memengaruhi satu sama lain. Mengoptimalkan hanya satu lapisan pada akhirnya menciptakan bottleneck di tempat lain. Peningkatan terbesar akan datang dari memperlakukan stack sebagai sistem lengkap yang dirancang untuk profil komputasi difusi.

Dengan model video terbaru yang memperpendek waktu generasi mendekati waktu nyata, seberapa dekat kita dengan video generatif yang benar-benar interaktif, dan hambatan teknis apa yang masih harus diatasi sebelum generasi video waktu nyata menjadi hal yang umum?

Kami sudah mencapai kecepatan interaktif untuk beberapa aplikasi. MachGen menghasilkan video Vidu Q3 Turbo berdurasi lima detik pada 720p dalam sekitar enam detik dan pada 540p dalam kurang dari tiga detik. Kecepatan itu cukup cepat untuk iterasi kreatif yang cepat dan menjadikan avatar responsif serta video interaktif dapat dicapai.

Contoh apa yang saya maksud dengan interaktif. Bayangkan Anda sedang menonton sebuah cerita, dan Anda dapat melihat ke mana akhir cerita akan menuju, namun Anda tidak menyukainya. Alih-alih duduk pasif, Anda mengarahkan ulang cerita: kedua karakter tersebut harus mencari tahu apa yang disembunyikan oleh karakter ketiga, dan menghadapinya alih-alih membiarkannya berjalan begitu saja. Konten yang Anda kendalikan bukan konten yang Anda terima. Itulah yang memungkinkan dengan generasi yang cepat dan murah, dan hal itu mengubah hampir semua yang kita konsumsi.

Mencapainya biasanya memerlukan lebih dari satu tolok ukur latensi yang kuat. Seluruh pengalaman harus tetap responsif di bawah beban lalu lintas produksi sambil mempertahankan kualitas visual, konsistensi antar frame, dan biaya yang dapat diprediksi. Video yang lebih panjang, resolusi yang lebih tinggi, dan permintaan bersamaan semuanya meningkatkan beban infrastruktur, dan sistem tetap harus menyediakan kapasitas, mengarahkan permintaan, serta memulihkan diri dari kegagalan perangkat keras tanpa pengguna menyadarinya.

Itu akan datang secara bertahap per kasus penggunaan. Klip pendek, avatar, game, dan alat kreatif kemungkinan akan menjadi yang pertama karena generasi dalam hitungan detik sudah cukup bagi mereka. Seiring kualitas model dan kinerja inferensi meningkat bersama, lebih banyak aplikasi akan melewati ambang batas tersebut.

Seiring agen AI semakin banyak menghasilkan gambar dan video secara otonom alih‑alih menunggu manusia menekan tombol, bagaimana hal itu mengubah kebutuhan infrastruktur? Apakah beban kerja yang digerakkan oleh agen menciptakan permintaan yang secara mendasar berbeda terkait latensi, konkurensi, biaya, dan keandalan?

Sebuah agen mengubah satu permintaan pengguna menjadi puluhan atau ratusan pekerjaan generasi. Ia membuat beberapa opsi, mengevaluasinya, merevisi prompt, dan mengulangi proses tersebut, tanpa intervensi manusia di antara langkah‑langkahnya.

Hal itu membuat latensi, konkurensi, biaya, dan keandalan menjadi jauh lebih penting. Jika setiap generasi memakan menit, alur kerja agen terlalu lambat untuk berguna. Jika setiap percobaan mahal, iterasi otonom menjadi tidak praktis secara ekonomi. Sistem juga harus dapat menangani banyak permintaan simultan secara andal karena satu kegagalan dapat menghentikan seluruh rangkaian pekerjaan.

Inilah saat kemampuan seperti penyediaan GPU, autoscaling, dan routing menjadi penting setara dengan optimasi pada tingkat model. Permintaan agen jauh lebih berdenyut dibandingkan permintaan dari aplikasi kreatif di mana seseorang hanya mengklik tombol.

Unit kerja yang relevan tidak lagi berupa satu gambar atau video. Itu adalah siklus lengkap menghasilkan, mengevaluasi, dan menyempurnakan konten. Infrastruktur harus membuat siklus keseluruhan itu cepat, terjangkau, dan dapat diandalkan.

Ada persaingan sengit di antara penyedia GPU, layanan cloud inferensi, pengembang model, dan platform optimisasi. Karena perangkat keras itu sendiri menjadi lebih cepat, mengapa perusahaan masih memerlukan lapisan inferensi khusus seperti MachGen alih‑alih mengandalkan perbaikan dari NVIDIA, AMD, penyedia cloud, atau pengembang model itu sendiri?

Perangkat keras yang lebih cepat meningkatkan batas atas. Perangkat lunak menentukan seberapa banyak batas tersebut yang dapat dicapai.

Kami telah melihat hal ini terjadi pada LLM. Akselerator baru meningkatkan kinerja mentah setiap generasi, dan batching kontinu, manajemen KV‑cache, decoding spekulatif, serta kernel khusus tetap menjadi faktor yang membawa industri ke tingkat throughput dan ekonomi produksi. Tidak ada satupun dari itu yang berasal dari perangkat keras.

Mengoptimalkan secara berkelanjutan jalur produksi penuh untuk generasi gambar dan video merupakan pekerjaan yang berbeda dari apa yang dilakukan vendor perangkat keras, penyedia cloud, dan pengembang model, dan itu bukan prioritas utama bagi mereka.

Ada beberapa pendekatan untuk pekerjaan itu. Salah satunya adalah model marketplace, di mana model‑model dikumpulkan dan mengarahkan permintaan. Kami tidak menganggap itu dapat dipertahankan dalam jangka panjang, karena tidak ada kontrol atas lapisan tempat kinerja berada. Kami memilih untuk membangun stack sendiri dan menghosting secara native, yang merupakan satu‑satunya cara untuk mencapai angka latensi dan biaya yang kami lihat.

Itu berarti menyetel perhatian, caching, kernel, presisi, memori, dan paralelisme per model dan per akselerator, serta mendukung API yang dikelola, cloud khusus, dan penyebaran mandiri. Seiring bertambahnya jumlah model dan opsi perangkat keras, kompleksitasnya juga meningkat. Peran kami adalah menyerapnya sehingga pelanggan kami dapat menghabiskan waktu mereka pada hal yang membedakan produk mereka.

Anda telah menggambarkan model dunia sebagai bagian dari visi jangka panjang MachGen, dengan banyak karakteristik komputasinya menyerupai beban kerja difusi. Seperti apa infrastruktur untuk model dunia skala produksi yang dibutuhkan, dan aplikasi apa yang menjadi mungkin jika menghasilkan dan mensimulasikan lingkungan visual akhirnya menjadi semurah dan secepat menghasilkan teks saat ini?

Salah satu cara memandang platform kami adalah serupa dengan LLM tujuan umum. Model yang sama menyusun perjanjian hukum dan menjawab pertanyaan tentang restoran. Bagi kami, tumpukan yang sama melayani perusahaan avatar video, iklan AI, pembuatan cerita dan mikrodrama, dan pada akhirnya model dunia. Berbagai vertikal, satu set masalah kinerja yang mendasar.

Model dunia bukanlah bisnis inti kami saat ini, tetapi itulah yang kami bangun, dan kami aktif mengerjakannya. Model dunia skala produksi akan membutuhkan throughput yang sangat tinggi dan latensi yang sangat rendah karena mereka terus-menerus menghasilkan dan memperbarui lingkungan alih-alih menghasilkan satu output tunggal. Mereka juga memerlukan konsistensi spasial dan temporal, kemampuan merespons tindakan, dan seringkali kemampuan mensimulasikan banyak kemungkinan hasil secara bersamaan. Hal itu menimbulkan masalah berat dalam memori, pergerakan data, paralelisme, dan keandalan. Model dunia yang mengendalikan robot atau game tidak dapat memakan waktu menit untuk menghasilkan status berikutnya. Kinerja menentukan apakah sistem ini dapat digunakan sama sekali.

Secara komputasi, model dunia saat ini sangat mirip dengan model difusi, sehingga tumpukan yang kami bangun sekarang menjadi fondasi alami. Belum ada lapisan layanan produksi yang matang untuk mereka, yang sebanding dengan yang ada untuk LLM. Kami berencana untuk membangunnya.

Jika simulasi menjadi seresponsif dan terjangkau seperti generasi teks saat ini, robot dapat berlatih menghadapi situasi langka sebelum mengalaminya, game dapat menghasilkan lingkungan yang merespons pemain secara individual, dan desainer dapat menguji puluhan kemungkinan sebelum membangunnya di dunia fisik. Difusi adalah bidang di mana kami menghasilkan pendapatan saat ini. Model dunia adalah Bintang Utara kami.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin belajar lebih lanjut harus mengunjungi MachGen AI.

Antoine adalah pemimpin visioner dan mitra pendiri Unite.AI, yang didorong oleh semangat tak tergoyahkan untuk membentuk dan memajukan masa depan AI dan robotika. Sebagai pengusaha yang telah mendirikan beberapa perusahaan, ia percaya bahwa AI akan mengubah masyarakat secara mendasar seperti listrik. Ia kerap berbicara dengan antusias tentang potensi teknologi disruptif dan kecerdasan buatan umum (AGI).

Sebagai futuris, ia berdedikasi untuk menelusuri bagaimana inovasi ini akan membentuk dunia kita. Ia juga merupakan pendiri Securities.io, platform yang berfokus pada investasi dalam teknologi mutakhir yang mendefinisikan ulang masa depan dan mengubah berbagai sektor secara menyeluruh.