Apa itu Multitenancy di Vector Databases?

Ketika Anda mengunggah dan mengelola data Anda di GitHub yang tidak dapat dilihat oleh orang lain kecuali Anda membuatnya publik, Anda berbagi infrastruktur fisik dengan pengguna lain. Ini karena GitHub menggunakan multitenancy sebagai alternatif yang lebih efektif biaya dan lebih mudah dikelola daripada mengassign database terpisah untuk setiap pengguna.

Namun, berbagi infrastruktur yang sama menjadi risiko keamanan ketika semua pengguna dapat melihat data satu sama lain. Multitenancy menangani masalah ini dengan mempartisi logis data pengguna sambil memungkinkan mereka berjalan pada sumber daya yang sama.

Artikel ini menjelajahi multitenancy di vector databases, manfaat, keterbatasan, dan kasus penggunaan nyata.

Bagaimana Multitenancy Bekerja di Vector Databases?

Multitenancy adalah pendekatan di mana beberapa penyewa, yaitu pengguna, berbagi database yang sama tetapi menyimpan data mereka dalam lingkungan yang terisolasi.

Lingkungan yang terisolasi dibuat menggunakan kredensial unik untuk setiap penyewa untuk mengamankan data mereka. Sebagai hasilnya, setiap penyewa dapat menyimpan, mengelola, dan mengubah data mereka dalam lingkungan yang terisolasi. Namun, perusahaan memiliki akses untuk mengelola dan mengontrol sumber daya dan keterbatasan penyewa.

Ilustrasi contoh dari koleksi dua penyewa dengan akses terisolasi ke database yang sama. Sumber Gambar: Qdrant

Vector databases menggunakan indexing sebagai teknik pencarian yang mengatur vektor berdasarkan kesamaan. Strategi indexing mempengaruhi partisi data penyewa. Saat ini, dua strategi indexing digunakan dalam multitenant vector databases.

Mari kita bahas kedua strategi indexing di multitenant vector databases:

1. Shared Indexing: Semua penyewa berbagi indeks yang sama dengan kredensial unik yang mempartisi data. Metode ini efisien memori. Namun, memerlukan mekanisme keamanan dan kontrol akses yang kuat untuk melindungi data penyewa.
2. Per-tenant Indexing: Setiap penyewa memiliki indeks terpisah dalam per-tenant indexing. Ini memungkinkan kontrol akses lengkap dan peningkatan kinerja pencarian. Namun, metode ini intensif sumber daya.

Beberapa vector databases seperti Qdrant dan Milvus menawarkan arsitektur multitenant untuk memungkinkan penyesuaian dan skalabilitas yang lebih baik untuk pengguna dengan kedua strategi indexing.

Manfaat Multitenancy di Vector Databases

Multitenancy di vector databases menawarkan banyak manfaat untuk perusahaan yang memerlukan instance database yang terisolasi untuk beberapa pengguna. Beberapa manfaatnya termasuk:

1. Pengurangan Biaya

Menggunakan sumber daya yang lebih sedikit untuk lebih banyak pengguna menghasilkan biaya infrastruktur yang lebih rendah.

2. Skalabilitas

Multitenancy memungkinkan berbagi sumber daya berdasarkan kebutuhan. Ini berarti penyewa dengan kebutuhan penyimpanan yang lebih besar mendapatkan lebih banyak sumber daya dan sebaliknya.

3. Penyesuaian

Lingkungan yang terpisah memungkinkan penyewa untuk mengonfigurasi berdasarkan kebutuhan mereka, termasuk skema database, plugin, metrik, dan dashboard. Konfigurasi ini bersifat pribadi untuk penyewa, dan penyewa dapat mengubahnya seiring dengan perubahan kebutuhan mereka.

4. Kelolaan

Database tunggal untuk semua penyewa memungkinkan pengelolaan sumber daya yang terpusat, konfigurasi, dan pemantauan daripada memantau semua penyewa secara terpisah. Sementara perusahaan dapat mengelola semua penyewa dalam satu tempat, penyewa memiliki kontrol untuk mengelola data mereka dalam lingkungan yang terisolasi.

Keterbatasan Multitenancy di Vector Databases

Seperti pendekatan arsitektur lainnya, multitenancy memiliki beberapa keterbatasan. Mempertimbangkan keterbatasan ini penting untuk pengambilan keputusan yang hati-hati. Keterbatasan yang paling umum termasuk:

1. Kompleksitas Tambahan

Mengelola beberapa penyewa pada sumber daya yang sama memerlukan konfigurasi tambahan. Ini termasuk onboarding penyewa, kontrol akses, autentikasi pengguna, dan otorisasi. Kurangnya pengetahuan dan dukungan dapat menyebabkan hasil yang tidak diinginkan seperti berbagi data yang tidak disengaja atau overhead sumber daya.

Untuk mengatasi ini, perencanaan yang hati-hati dan dukungan database memastikan lingkungan pengguna yang aman.

2. Kekhawatiran Keamanan

Akses yang tidak sah, konfigurasi yang tidak disengaja, atau kerentanan dalam infrastruktur yang mendasarinya dapat menyebabkan data yang dibagikan antara penyewa. Sebagai pengaman, implementasi desain yang hati-hati, pelaksanaan audit reguler, dan penggunaan langkah keamanan multilayer dapat memperkuat keamanan secara keseluruhan.

3. Bottleneck Kinerja

Penggunaan sumber daya yang lebih tinggi oleh penyewa dapat memperlambat kinerja penyewa lain. Indexing yang dibagikan secara khusus mempengaruhi kinerja pencarian karena periksa izin runtime untuk mencocokkan daftar akses. Pengelolaan sumber daya dan kontrol, pembaruan reguler, dan pendidikan penyewa penting untuk memitigasi masalah kinerja.

4. Kegagalan Sistem

Pemeliharaan yang dijadwalkan, kegagalan perangkat keras, dan bug perangkat lunak mempengaruhi semua penyewa ketika mereka berbagi infrastruktur yang sama. Ini menyebabkan kerugian data, reputasi, dan keuangan. Penilaian risiko reguler, jaminan kualitas infrastruktur, dan pencadangan yang tepat waktu dapat meminimalkan dampak negatif dari kegagalan sistem.

Kasus Penggunaan Multitenancy

Multitenancy berguna dalam berbagai aplikasi, dari sistem rekomendasi e-commerce hingga pelatihan model machine learning (ML) yang besar di perusahaan. Beberapa kasus penggunaan yang paling umum termasuk:

1. Sistem Rekomendasi

Bayangkan platform e-commerce di mana pengguna dapat mendaftar dan menyimpan preferensi belanja mereka. Konfigurasi multitenant akan memungkinkan rekomendasi produk yang dipersonalisasi untuk setiap pengguna.

Di platform e-commerce, semua penyewa dapat menetapkan kriteria mereka, sehingga sistem rekomendasi mengirimkan rekomendasi produk yang dipersonalisasi kepada pengguna akhir.

2. Aplikasi Perusahaan

Aplikasi perangkat lunak besar yang melayani banyak karyawan dan pelanggan menggunakan database yang sama untuk semua pengguna. Semua pengguna dapat mengunggah dan mengelola data mereka sambil melindunginya dari pengguna lain. Sebagai contoh, Dropbox dan HubSpot (HUBS ) memungkinkan semua pengguna berbagi sumber daya yang sama sambil menjaga data mereka tetap aman dari pengguna lain.

3. Deteksi Anomali dan Penipuan

Multitenancy memungkinkan pengembangan sistem deteksi penipuan yang kuat sambil menjaga data individu tetap aman. Perusahaan melatih model deteksi penipuan pada data yang anonim dan mengirimkan hanya model yang dilatih ke database terpusat. Ini memungkinkan mereka untuk menjaga data mereka tetap aman sambil berkontribusi pada pengembangan sistem deteksi penipuan.

Sebagai contoh, sistem deteksi penipuan kartu kredit menggunakan ML untuk privasi dan efisiensi yang ditingkatkan.

Kapan Menggunakan dan Kapan Tidak Menggunakan Multitenancy

Banyak faktor yang berkontribusi pada keputusan untuk beralih ke multitenancy, termasuk kinerja penyewa, kebutuhan isolasi, dan kekhawatiran keamanan. Mari kita bahas kapan dan kapan tidak menggunakan multitenancy secara rinci di bawah.

Kapan Menggunakan Multitenancy

Indikator berikut membuat multitenancy menjadi pilihan yang baik:

1. Banyak penyewa memerlukan lingkungan yang terpisah.
2. Penyewa dapat menerima tradeoff kinerja.
3. Pengurangan biaya adalah prioritas Anda.
4. Pengelolaan penyewa yang terpusat memperbaiki operasi Anda.

Kapan Tidak Menggunakan Multitenancy

Keterbatasan multitenancy menjadikannya tidak cocok untuk semua situasi. Database multitenant tidak cocok untuk Anda jika Anda memiliki persyaratan berikut:

1. Penyewa memiliki data yang sangat sensitif dengan persyaratan keamanan yang ketat.
2. Jumlah penyewa yang terbatas dengan pertumbuhan yang lambat.
3. Penyewa memerlukan lingkungan yang didedikasikan dan tidak dapat mentolerir degradasi kinerja.
4. Kemampuan dan pengetahuan multitenant yang terbatas untuk menangani kompleksitas yang meningkat.

Multitenancy memperkenalkan skalabilitas dan kelolaan tambahan ke vector databases. Jika dikonfigurasi dengan benar, multitenancy menghemat biaya dan sumber daya yang signifikan untuk sebuah organisasi.

Terinterasi dengan konten AI yang lebih banyak? Tetap terhubung dengan unite.ai.