Backboard.io Mengumumkan Tumpukan Infrastruktur AI yang Fokus pada Efisiensi, Kontrol Perusahaan, dan Penerapan Berdaulat

Saat organisasi berlomba untuk mengadopsi kecerdasan buatan, percakapan telah bergeser dari kinerja model mentah ke pertanyaan yang lebih praktis: bagaimana perusahaan dapat menjalankan AI dengan biaya yang lebih rendah sambil mempertahankan kontrol atas data mereka? Backboard.io yang berbasis di Ottawa percaya bahwa jawabannya tidak terletak pada klaster GPU yang lebih besar, tetapi pada membuat infrastruktur AI yang ada menjadi jauh lebih efisien.

Pada Hari Kanada, perusahaan tersebut memperkenalkan empat teknologi utama yang meliputi kompresi model, pengembangan perangkat lunak yang dibantu AI, akses multi-model AI, dan memori AI jangka panjang. Sementara pengumuman tersebut menyoroti akar Kanada perusahaan, cerita yang lebih luas adalah tentang infrastruktur yang dirancang untuk perusahaan yang ingin mengurangi biaya AI sambil menjaga beban kerja yang sensitif di dalam lingkungan mereka sendiri.

Membuat GPU yang Ada Lebih Jauh

Mungkin pengumuman yang paling signifikan dari segi teknis adalah BackboardQuant (BBQ), sebuah teknologi kompresi model yang dikatakan perusahaan dapat mengurangi ukuran model AI hingga 70% sambil mempertahankan kualitas output yang hampir identik.

Kompresi model telah menjadi area penelitian AI yang semakin penting karena organisasi berjuang dengan biaya inferensi yang meningkat. Model yang lebih kecil mengonsumsi lebih sedikit memori, memerlukan lebih sedikit sumber daya perangkat keras, dan dapat sering mengeksekusi lebih cepat, memungkinkan organisasi untuk mengirimkan model canggih tanpa terus-menerus memperluas kapasitas GPU.

Menurut Backboard.io, pengujian internal menunjukkan bahwa BBQ dapat memberikan inferensi hingga 2,7 kali lebih cepat, secara efektif memungkinkan satu GPU untuk melakukan pekerjaan yang mungkin memerlukan beberapa akselerator. Daripada menggantikan model dasar yang ada, teknologi ini dirancang untuk mengoptimalkan mereka untuk penerapan produksi.

Bersaing dalam Pengembangan Perangkat Lunak yang Dibantu AI

Perusahaan tersebut juga memperkenalkan Backboard Studio, sebuah platform pengkodean AI yang ditujukan langsung pada salah satu pasar AI yang paling kompetitif saat ini.

Alih-alih mengembangkan model bahasa perbatasan sendiri, Backboard mengambil pendekatan arsitektur yang berbeda. Platform ini berada di atas model yang ada sambil mencoba meningkatkan efisiensi melalui orkestrasi, manajemen konteks, alur kerja rekursif, dan optimasi token. Pengembang dapat memilih dari model komersial terkemuka atau alternatif sumber terbuka sambil platform mengelola konteks proyek, eksekusi alur kerja, dan generasi kode produksi.

Backboard mengklaim bahwa platform ini mencapai hasil benchmark yang setara dengan asisten pengkodean terkemuka sambil mengurangi penggunaan token hingga 30%, sebuah pertimbangan yang semakin penting karena perusahaan mencari untuk mengelola biaya operasional AI.

Perusahaan tersebut juga menekankan fleksibilitas penerapan perusahaan. Backboard Studio dapat beroperasi baik sebagai layanan cloud maupun di dalam infrastruktur perusahaan sendiri, memungkinkan kode sumber propietary untuk tetap berada di dalam lingkungan perusahaan daripada dikirim ke penyedia AI pihak ketiga.

Nash Mengkonsolidasikan Ribuan Model AI

Komponen ketiga dari pengumuman tersebut adalah Nash, sebuah aplikasi obrolan terpadu yang menyediakan akses ke ribuan model AI teks dan gambar melalui antarmuka tunggal.

Konsep ini menangani kekhawatiran perusahaan yang semakin meningkat yang dikenal sebagai “bayangan AI”, di mana karyawan mengadopsi alat AI konsumen di luar sistem perusahaan yang disetujui. Alih-alih mencoba memblokir penggunaan AI, Backboard memposisikan Nash sebagai platform terpusat yang memberikan organisasi akses ke berbagai model sambil mempertahankan kontrol atas data pengguna dan memori organisasi.

Infrastruktur yang mendasarinya juga mendukung Bring Your Own Key (BYOK), manajemen konteks adaptif, dan pengalihan melintasi ribuan model yang tersedia melalui platform tunggal.

Memperlakukan Memori sebagai Infrastruktur AI

Salah satu fokus teknis yang membedakan Backboard sejak peluncurannya adalah memori AI yang persisten.

Model bahasa besar tetap secara fundamental tidak memiliki keadaan, yang berarti percakapan, preferensi, dan konteks historis biasanya menghilang kecuali pengembang membangun infrastruktur tambahan di sekitar mereka. Backboard telah memposisikan dirinya sebagai lapisan memori yang didedikasikan yang bekerja di seluruh model AI dan aplikasi yang berbeda daripada mengunci pengguna ke dalam satu ekosistem.

Perusahaan tersebut mengatakan bahwa sistem memori mereka saat ini menduduki peringkat pertama pada kedua benchmark LoCoMo dan LongMemEval, dua evaluasi yang banyak digunakan untuk mengukur alasan konteks panjang dan kinerja memori yang persisten. Awal tahun ini, Backboard menggambarkan memori sebagai infrastruktur dasar daripada hanya fitur yang ditumpuk di atas model yang ada.

Arsitektur ini memungkinkan organisasi untuk melestarikan riwayat pengguna, preferensi, dan pengetahuan kontekstual bahkan ketika beralih antara model bahasa yang berbeda.

AI yang Tetap di Dalam Batas Perusahaan

Di seluruh empat pengumuman, filosofi desain yang konsisten muncul: perusahaan semakin ingin sistem AI yang beroperasi di bawah kendali mereka sendiri.

Platform Backboard dapat diterapkan di dalam cloud pribadi pelanggan, memungkinkan organisasi untuk mempertahankan kepemilikan data mereka sambil menggunakan kemampuan AI modern. Pendekatan tersebut khususnya relevan untuk industri yang menangani informasi sensitif, termasuk perawatan kesehatan, layanan keuangan, pemerintah, dan infrastruktur kritis, di mana persyaratan peraturan sering membatasi penggunaan layanan AI yang dihosting secara eksternal.

Alih-alih membingkai kedaulatan hanya sebagai masalah nasional, arsitektur perusahaan tersebut berfokus pada kontrol perusahaan—menjaga model, memori, dan data aplikasi di dalam lingkungan yang dikelola pelanggan.

Cerita Infrastruktur AI Kanada yang Berkembang

Meskipun sebagian besar percakapan AI global masih berpusat pada pengembang model dasar Lembah Silikon, Backboard mewakili kategori lain dari perusahaan AI yang mendapatkan momentum: pembangun infrastruktur yang fokus membuat model yang ada lebih praktis untuk lingkungan produksi.

Didirikan oleh Rob Imbeault, sebelumnya sebagai co-pendiri perusahaan perangkat lunak rantai pasokan Kanada Assent, Backboard telah berkonsentrasi pada meningkatkan ekonomi dan karakteristik operasional AI perusahaan daripada bersaing untuk membangun model bahasa perbatasan berikutnya. Awal tahun ini, perusahaan tersebut mengumpulkan putaran pendanaan pra-benih untuk melanjutkan pengembangan platform infrastruktur AI.

Ketika AI perusahaan matang, teknologi yang mengurangi biaya inferensi, meningkatkan memori, mempermudah penerapan multi-model, dan memungkinkan lingkungan AI yang dihosting sendiri mungkin menjadi semakin penting di samping kemajuan kemampuan model itu sendiri. Rilis terbaru Backboard mencerminkan pergeseran yang lebih luas—dari membangun model yang lebih besar ke membangun infrastruktur yang membantu organisasi mengekstrak lebih banyak nilai dari model yang mereka gunakan saat ini.