Clairvoyance dari Stardock Menambahkan Hivemind untuk Berbagi GPU Menganggur demi AI Lokal

Clairvoyance dari Stardock menambahkan cara bagi tim untuk memanfaatkan komputer yang menganggur guna menjalankan inferensi AI. Pengelola model lokalnya, Locama, menyertakan Hivemind, fitur yang membagikan kapasitas inferensi lokal di antara komputer-komputer perusahaan, serta alat tolok ukur yang dirancang untuk menunjukkan kinerja perangkat keras tertentu dalam menjalankan AI.

Rilis 5 November ini menempatkan Clairvoyance 0.90 sebagai lingkungan desktop untuk menggunakan model lokal dan cloud secara bersamaan. Locama mengelola pemasangan, eksekusi, dan orkestrasi model lokal di Windows, macOS, dan Linux; Hivemind memperluas konsep tersebut dari satu komputer ke komputer-komputer yang tersedia bagi sebuah tim.

Stardock menyasar pekerjaan bisnis rutin bervolume tinggi di bidang seperti pengadaan, rantai pasok, operasional hukum, dan keuangan. Menurut perusahaan, sebagian pekerjaan tersebut dapat dijalankan pada perangkat keras yang sudah dimiliki organisasi, sehingga mengurangi kebutuhan untuk mengirim setiap permintaan ke layanan cloud berbayar sesuai pemakaian.

Hivemind Mengubah Komputer Cadangan Menjadi Kapasitas Inferensi Bersama

Hivemind memungkinkan anggota tim menjalankan pekerjaan AI dengan memanfaatkan GPU yang menganggur di komputer-komputer perusahaan. Fitur ini dapat sangat berguna di luar jam kerja normal, saat komputer yang mampu menjalankan model lokal mungkin tidak digunakan.

“Sebagian besar perusahaan memiliki komputer mumpuni yang menganggur setiap malam. Hivemind memungkinkan mereka menggabungkan komputer-komputer itu dan memanfaatkannya untuk bekerja,” kata Brad Wardell, CEO Stardock Software.

Terminologi teknis perusahaan menjelaskan Hivemind sebagai inferensi lokal bersama di antara perangkat yang setara. Perusahaan secara terpisah menyebut Locama sebagai host inferensi, sementara komponen perutean bernama Concierge bertugas memilih model dan komputer untuk setiap giliran.

Penting untuk membedakan hal ini dari anggapan bahwa beberapa komputer akan menjadi satu akselerator besar. Berbagi pekerjaan di antara komputer yang tersedia dapat meningkatkan kapasitas yang bisa digunakan, tetapi pengumuman tersebut tidak menjelaskan eksekusi paralel tensor, penggabungan memori GPU, atau cara membagi satu model yang terlalu besar di antara perangkat-perangkat tersebut.

Bagi tim yang menentukan tempat untuk menjalankan beban kerja, pertanyaan pentingnya adalah apakah model tersebut muat di perangkat keras yang tersedia, apakah hasilnya memadai, dan apakah mengarahkan pekerjaan ke komputer lain menambah waktu tunda lebih besar daripada penghematan waktu yang dihasilkan. Manfaat Hivemind akan bergantung pada gabungan faktor-faktor tersebut, bukan hanya pada ketersediaan GPU.

Model Lokal dan Cloud dalam Satu Ruang Kerja

Clairvoyance mengatur asisten AI sebagai Staff bernama yang bekerja dengan berkas pengguna serta menghasilkan dokumen dan artefak lainnya. Dokumentasinya menjelaskan bahwa penyedia atau model lokal yang berbeda dapat ditetapkan kepada anggota Staff, sehingga sebuah ruang kerja dapat memadukan berbagai pilihan komputasi.

Perbedaan antara pilihan-pilihan tersebut penting. Model lokal dijalankan pada perangkat keras yang dikendalikan oleh pengguna atau organisasi. Menghubungkan alat dari penyedia cloud memberikan akses melalui akun dan autentikasi penyedia tersebut; memasang Clairvoyance tidak otomatis mencakup akses tanpa batas ke setiap model komersial yang didukungnya.

Dokumentasi tersebut juga mencatat bahwa kemampuan menggunakan alat berbeda-beda di antara model lokal. Model yang mampu menjawab pertanyaan belum tentu dapat menjalankan alur kerja berbasis agen yang dibutuhkan tim. Karena itu, memilih model lokal yang lebih kecil merupakan keputusan khusus untuk tugas tertentu, yang mempertimbangkan kemampuan selain kecepatan.

Dengan demikian, produk ini berperan secara praktis sebagai penghubung antara karyawan dan lingkungan eksekusi model yang mendasarinya. Alih-alih mewajibkan setiap tugas menggunakan sistem pemrosesan yang sama, lingkungan ini dapat mendukung pilihan berbeda untuk pekerjaan yang berbeda. Rilis ini tidak menyajikan pengukuran independen atas pengurangan biaya cloud dari penerapan Hivemind.

Tolok Ukur untuk Perangkat Keras yang Benar-Benar Dimiliki Pengguna

Locama juga menyertakan Clairvoyance Local AI Benchmark. Stardock menjelaskan bahwa ukuran utamanya, Kecepatan Model, menggabungkan waktu yang dibutuhkan model lokal untuk memproses permintaan dan memberikan jawaban lengkap. Hasil publik tersedia di clairvoyanceai.com/benchmark, dan pengguna Professional dapat menjalankan pengujian pada perangkat keras mereka sendiri.

Catatan rilis produk ini menjelaskan pengukuran yang mencakup prapengisian, dekode, waktu hingga token pertama, dan memori, serta pemeriksaan yang berorientasi pada tugas. Prapengisian adalah pemrosesan prompt masukan beserta konteksnya; dekode adalah proses menghasilkan jawaban. Tahap-tahap tersebut dapat membebani perangkat keras dengan cara yang berbeda.

Token pertama yang dihasilkan dengan cepat dapat membuat antarmuka terasa responsif, sedangkan waktu penyelesaian keseluruhan penting untuk pekerjaan pemrosesan batch atau tugas agen yang lebih panjang. Menampilkan ukuran-ukuran tersebut membuat tolok ukur lebih berguna daripada hanya mengandalkan satu spesifikasi perangkat keras.

Halaman hasil menyebutkan bahwa pengujian dikirim oleh pengguna Clairvoyance dan mencerminkan perangkat keras serta pengaturan mereka. Karena itu, basis data tersebut menjadi sumber bukti yang spesifik pada konfigurasi tertentu, bukan pemeringkatan independen yang terkendali. Perbandingan yang bermakna tetap perlu mempertimbangkan model, presisi, konteks, tugas, dan lingkungan eksekusi yang digunakan.

Integrasi Qualcomm Menambahkan Pilihan Komputasi Lokal Lainnya

Clairvoyance telah bekerja sama dengan Qualcomm sebelum rilis ini. Artikel pengembang Qualcomm tanggal 23 September mendokumentasikan integrasi GenieX, runtime AI generatif pada perangkat buatan perusahaan chip tersebut, dengan NPU Hexagon di PC Snapdragon X Series.

Integrasi tersebut memperluas inferensi lokal, melampaui GPU desktop konvensional. Qualcomm menjelaskan bahwa model dan sumber daya komputasi dipilih sesuai kebutuhan tugas, dengan dukungan untuk alur kerja berbasis agen secara lokal. Namun, hal ini tidak membuktikan bahwa setiap model lokal dapat menggantikan model cloud mutakhir untuk semua tugas.

Relevansi Hivemind terletak pada strategi perangkat keras yang lebih luas: membuat sumber daya komputasi yang sudah ada dapat digunakan melalui satu lingkungan kerja. Kemampuan model, lebar pita, dan akselerasi dapat berbeda-beda di setiap mesin, sehingga perangkat lunak harus menyesuaikan tugas dengan sumber daya yang tersedia.

Harga dan Ekonomi Pemanfaatan Kembali Perangkat Keras

Clairvoyance 0.90 dirilis untuk Windows, macOS, dan Linux. Halaman harga mencantumkan paket gratis untuk penggunaan pribadi dan nonkomersial, sedangkan Professional seharga $20 per bulan mencakup lisensi komersial, Hivemind, fitur untuk tim, sinkronisasi cloud, dan paket token AI. Enterprise tercantum seharga $100 per pengguna per bulan, dengan fitur organisasi tambahan dan skema harga volume.

Inferensi lokal dapat mengurangi pengeluaran cloud berbasis pemakaian, tetapi tetap menimbulkan biaya, termasuk listrik, keausan perangkat keras, administrasi, dan biaya peluang karena mesin digunakan. Perbandingan biaya juga perlu memperhitungkan kualitas hasil serta pekerjaan yang diperlukan untuk meninjau atau memperbaikinya.

Stardock bertaruh bahwa cukup banyak pekerjaan rutin dapat dijalankan sesuai kebutuhan dengan perangkat keras yang sudah tersedia di sekitar. Hivemind memberi tim cara untuk menjajaki kemungkinan tersebut, sementara tolok ukur menyediakan titik awal untuk mengukur model dan mesin mana yang cocok untuk tugas itu.