TBC Meluncurkan Mischief, Model Video AI Berbasis Neuron yang Dibangun di Atas Wan 2.2

Membuat video AI pendek bisa berarti menunggu dan mencoba berulang kali sebelum mendapatkan klip yang layak digunakan. Biological Computing Co. (TBC) berupaya mempersingkat proses itu dengan sumber inspirasi yang tidak biasa: pengukuran aktivitas neuron hidup.

Perusahaan ini meluncurkan TBC Mischief, model yang mengubah gambar menjadi video dan berbasis Wan 2.2, melalui fal.ai pada 30 Oktober. TBC menyatakan bahwa versinya menghasilkan video lima kali lebih cepat dengan biaya 80% lebih rendah daripada model dasarnya, sekaligus meningkatkan kualitas keluaran. Perbandingan tersebut dilaporkan oleh perusahaan; pengumuman itu tidak menyertakan tolok ukur independen atau rincian pengujian yang memadai untuk memastikan apakah peningkatan tersebut berlaku pada berbagai beban kerja.

Perbedaan utamanya terletak pada cara biologi diterapkan dalam sistem. Mischief berjalan sebagai perangkat lunak pada perangkat keras AI konvensional. Pelanggan tidak mengirimkan perintah ke sel hidup atau memasang prosesor biologis. TBC menggunakan aktivitas neuron dalam proses penelitiannya, lalu menerjemahkan temuannya menjadi perangkat lunak yang memodifikasi model yang sudah ada.

Apa yang Ditawarkan TBC Mischief

Menurut pengumuman peluncurannya, Mischief akan tersedia melalui titik akhir fal.ai untuk mengubah gambar menjadi video, dengan akses gratis hingga 2 November. Harga yang diumumkan adalah $0,02 per detik video yang dihasilkan. Dengan tarif tersebut, 100 klip berdurasi lima detik akan berharga $10, belum termasuk biaya alur kerja lainnya.

TBC juga menyatakan bahwa Wonder Studios menguji model ini dalam alur kerja produksi yang menghasilkan 100 klip berdurasi lima detik dalam waktu sekitar enam menit. Hasil tersebut merupakan hasil pemrosesan secara berkelompok yang dilaporkan, bukan ukuran latensi yang seharusnya diharapkan oleh setiap pengguna. Konkurensi, resolusi, pengaturan pengambilan sampel, dan perangkat keras yang digunakan untuk menjalankan layanan dapat memengaruhi hubungan antara kapasitas pemrosesan kelompok dan waktu yang dibutuhkan untuk satu permintaan.

Bagi tim kreatif, pertanyaan praktisnya adalah apakah model yang lebih cepat menghasilkan lebih banyak cuplikan yang dapat digunakan untuk setiap dolar yang dikeluarkan. Harga pembuatan yang lebih rendah tidak terlalu berarti jika satu adegan memerlukan banyak percobaan ulang, kehilangan kesinambungan, atau tidak mengikuti gambar masukan. Karena itu, evaluasi Mischief perlu membandingkan kecepatan dan keluaran yang berhasil dengan pengaturan yang setara.

Dari Rekaman Neuron ke Lapisan Perangkat Lunak

Di situs web TBC, perusahaan menjelaskan rangkaian proses yang mencakup pengodean tantangan komputasi menjadi sinyal listrik, pengukuran respons jaringan neuron yang dikultur, serta penggalian prinsip-prinsip yang dapat diterapkan dalam perangkat lunak. Pendekatan komersialnya berupa lapisan pascapelatihan di sekitar blok transformator difusi, yang menurut perusahaan menambah kurang dari 0,1% pada jumlah parameter model dasarnya.

Penambahan kecil itu penting bagi gagasan dasar produk ini: model yang sudah ada dapat dimodifikasi secara terarah tanpa harus diganti dengan model fondasi yang sepenuhnya baru. Komponen biologis digunakan dalam penemuan dan pengembangan; sistem inferensi yang dihasilkan tetap digital.

Tulisan teknis tentang Neural Dynamics Adapter dari perusahaan ini memberikan contoh yang lebih konkret dari penelitian sebelumnya. Dalam penelitian tersebut, TBC merekam aktivitas saraf yang dikultur menggunakan susunan berkepadatan tinggi dengan 4.096 elektroda, mengubah rekaman itu menjadi representasi numerik, lalu menyertakan adaptor ringan ke dalam model difusi. Penelitian itu menggunakan Oasis, model video Minecraft interaktif, bukan model Wan 2.2 yang menjadi dasar Mischief.

Perbedaan itu penting. Hasil penelitian di satu lingkungan interaktif dapat membantu menjelaskan suatu metode, tetapi tidak membuktikan kinerja produk komersial yang berbeda. Tulisan tentang adaptor itu juga menjelaskan sejumlah keterbatasan, termasuk lingkungan pengujian yang sempit dan hasil yang bervariasi bergantung pada pengaturan penghilangan derau. Penelitian tersebut mendukung arah rekayasa yang masuk akal, tetapi penerapannya secara lebih luas masih perlu dibuktikan.

Biologi dan Optimasi Konvensional Dapat Bekerja Bersama

Tulisan TBC lainnya, A Sense of Space and Time, mengulas cara lain untuk menerapkan pengamatan biologis pada pembuatan video. Arsitektur penelitiannya menggabungkan pemrosesan spasial lokal dengan memori temporal berukuran kecil, menggunakan pengukuran saraf untuk memandu cara informasi dipertahankan dari satu bingkai ke bingkai berikutnya.

Tulisan itu juga menjelaskan secara tegas bahwa peningkatan kecepatan dalam sistem yang diterapkan menggabungkan perubahan model dengan optimasi penyajian. Optimasi tersebut mencakup penyimpanan konteks yang sudah diproses dalam tembolok, pengurangan pekerjaan pengambilan sampel, dan penyajian beberapa sesi secara efisien. Temuannya berkaitan dengan sistem video interaktif berbasis Oasis, bukan tolok ukur langsung untuk Mischief.

Hal ini memberikan konteks yang berguna untuk peluncuran tersebut: penelitian biologi dapat menjadi masukan bagi arsitektur model, sementara teknik perangkat lunak yang sudah dikenal tetap berkontribusi pada efisiensi sistem akhir. Memisahkan kontribusi tersebut akan membantu pengembang memahami peningkatan mana yang berasal dari model, mana yang berasal dari tumpukan inferensi, dan mana yang bergantung pada penerapan tertentu.

Jalur Menuju Infrastruktur AI yang Sudah Ada

Mischief menyusul pengumuman TBC pada September tentang kolaborasi dengan Amazon Web Services. Pengumuman itu menjabarkan kerja sama yang melibatkan AWS Trainium, Amazon SageMaker AI, serta rencana distribusi komersial perangkat lunak berbasis neuron tersebut melalui AWS Marketplace. Kolaborasi sebelumnya berfokus pada pembuatan teks menjadi video; peluncuran Mischief berfokus pada akses untuk mengubah gambar menjadi video melalui fal.ai.

Strategi yang umum digunakan adalah menerapkan hasil penelitian pada infrastruktur yang sudah digunakan para pengembang. Model yang dapat diakses melalui API lebih mudah dievaluasi dalam alur kerja kreatif yang sudah ada daripada sistem yang memerlukan jenis perangkat keras fisik baru. Model ini juga memberi pengguna kesempatan praktis untuk menguji klaim perusahaan menggunakan gambar, prompt, dan kriteria penerimaan mereka sendiri.

TBC, yang dipimpin CEO sekaligus salah satu pendiri Alex Ksendzovsky dan COO sekaligus salah satu pendiri Jon Pomeraniec, mengatakan bahwa perusahaan juga tengah menjajaki model video yang lebih baru, model bahasa, dan AI fisik. Semua itu merupakan arah pengembangan, bukan kemampuan yang telah dipastikan tersedia melalui peluncuran ini.

Apa yang akan membuat peluncuran ini bermakna

Bukti lanjutan yang paling bermanfaat adalah perbandingan dengan Wan 2.2 yang dapat direproduksi: perangkat keras dan resolusi yang sama, pengaturan sampling yang diungkapkan, latensi dan throughput yang diukur secara terpisah, serta kualitas yang dinilai berdasarkan beragam masukan. Pengukuran energi juga diperlukan untuk mengaitkan biaya inferensi yang lebih rendah dengan klaim tentang efisiensi komputasi.

Peluncuran Mischief membawa pendekatan TBC dari uraian penelitian menuju alat yang benar-benar dapat diuji oleh para pengembang. Arti pentingnya dalam jangka panjang akan bergantung pada apakah keunggulannya tetap terlihat di luar demonstrasi terpilih dan pada berbagai model. Untuk saat ini, tawaran konkretnya adalah modifikasi perangkat lunak sederhana, yang didasarkan pada eksperimen biologis dan bertujuan membuat model video yang sudah ada lebih hemat biaya untuk digunakan.