Сравняване на техники за квантуване за мащабируемо векторно търсене

Представете си, че търсите подобни неща въз основа на по-задълбочени прозрения, вместо само на ключови думи. За това помагат векторните бази данни и търсенето на подобия. Векторни бази данни активирайте търсенето по векторно сходство. Той използва разстоянието между векторите, за да намери точки от данни в заявките за търсене.

Въпреки това, търсенето на подобие във високоразмерни данни може да бъде бавно и ресурсоемко. Въведете техники за квантуване! Те играят важна роля за оптимизиране на съхранението на данни и ускоряване на извличането на данни във векторни бази данни.

Тази статия изследва различни техники за квантуване, техните видове и случаи на употреба в реалния свят.

Какво е квантуване и как работи?

Квантуването е процес на преобразуване на непрекъснати данни в дискретни точки от данни. Особено когато работите с параметри от милиарди мащаби, квантуването е от съществено значение за управлението и обработката. Във векторните бази данни квантуването трансформира високоразмерни данни в компресирано пространство, като същевременно запазва важни характеристики и векторни разстояния.

Квантуването значително намалява тесните места в паметта и подобрява ефективността на съхранението.

Процесът на квантуване включва три ключови процеса:

1. Компресиране на високомерни вектори

При квантуването използваме техники като генериране на кодова книга, инженеринг на функции и кодиране. Тези техники компресират високомерни векторни вграждания в нискомерно подпространство. С други думи, векторът е разделен на множество подвектори. Векторните вграждания са числени представяния на аудио, изображения, видео, текст или сигнални данни, което позволява по-лесна обработка.

2. Преобразуване към дискретни стойности

Тази стъпка включва картографиране на нискоразмерните подвектори към дискретни стойности. Картографирането допълнително намалява броя на битовете на всеки подвектор.

3. Компресирано векторно съхранение

Накрая картографираните дискретни стойности на подвекторите се поставят в базата данни за оригиналния вектор. Компресираните данни, представящи същата информация в по-малко битове, оптимизират нейното съхранение.

Ползи от квантуване за векторни бази данни

Квантуването предлага набор от предимства, водещи до подобрено изчисление и намален отпечатък на паметта.

1. Ефективно мащабируемо векторно търсене

Квантуването оптимизира векторното търсене чрез намаляване на разходите за сравнение. Следователно векторното търсене изисква по-малко ресурси, което подобрява цялостната му ефективност.

2. Оптимизация на паметта

Квантуваните вектори ви позволяват да съхранявате повече данни в едно и също пространство. Освен това индексирането и търсенето на данни също са оптимизирани.

3. скорост

С ефективното съхранение и извличане идва по-бързо изчисление. Намалените размери позволяват по-бърза обработка, включително манипулиране на данни, заявки и прогнози.

Някои популярни векторни бази данни като Квадрант, Шишарка, и Милвус предлагат различни техники за квантуване с различни случаи на употреба.

Използвайте Случаи

Способността на квантуването да намалява размера на данните, като същевременно запазва значителна информация, го прави полезен актив.

Нека се потопим по-дълбоко в някои от неговите приложения.

1. Обработка на изображения и видео

Изображенията и видео данните имат по-широка гама от параметри, което значително увеличава изчислителната сложност и отпечатъка на паметта. Квантуване компресира данните, без да губи важни подробности, което позволява ефективно съхранение и обработка. Това ускорява търсенето на изображения и видеоклипове.

2. Компресиране на модел на машинно обучение

Обучението на AI модели върху големи набори от данни е интензивна задача. Квантуването помага чрез намаляване размер и сложност на модела без да се компрометира ефективността му.

3. Обработка на сигнала

Данните за сигнала представляват непрекъснати точки от данни като GPS или записи от наблюдение. Квантуването картографира данните в дискретни стойности, което позволява по-бързо съхранение и анализ. Освен това ефективното съхранение и анализ ускоряват операциите за търсене, позволявайки по-бързо сравнение на сигнали.

Различни техники за квантуване

Докато квантуването позволява безпроблемно боравене с милиардни параметри, то рискува необратима загуба на информация. Въпреки това, намирането на правилния баланс между приемливата загуба на информация и компресията подобрява ефективността.

Всяка техника за квантуване има плюсове и минуси. Преди да изберете, трябва да разберете изискванията за компресия, както и силните страни и ограниченията на всяка техника.

1. Двоично квантуване

Двоичното квантуване е метод, който преобразува всички векторни вграждания в 0 или 1. Ако дадена стойност е по-голяма от 0, тя се преобразува на 1, в противен случай се маркира като 0. Следователно, той преобразува високоразмерни данни в значително по-нискоизмерни, позволявайки по-бързо търсене на прилики.

Формула

Формулата е:

Двоична формула за квантуване. Изображение от автора.

Ето пример за това как двоичното квантуване работи върху вектор.

Графично представяне на двоично квантуване. Изображение от автора.

Силни

• Най-бързото търсене, надминаващо техниките за скаларно и продуктово квантуване.
• Намалява отпечатъка на паметта с a коефициент 32.

Ограничения

• По-висок коефициент на загуба на информация.
• Векторните компоненти изискват средна стойност, приблизително равна на нула.
• Лоша производителност при данни с ниска размерност поради по-голяма загуба на информация.
• За най-добри резултати е необходимо повторно оценяване.

Векторни бази данни като Квадрант намлява Изплетете предлагат двоично квантуване.

2. Скаларно квантуване

Скаларното квантуване преобразува числа с плаваща запетая или десетични числа в цели числа. Това започва с идентифициране на минимална и максимална стойност за всяко измерение. След това идентифицираният диапазон се разделя на няколко контейнера. И накрая, всяка стойност във всяко измерение се присвоява на контейнер.

Нивото на прецизност или детайлност в квантуваните вектори зависи от броя на контейнерите. Повече кошчета водят до по-висока точност чрез улавяне на по-фини детайли. Следователно, точността на векторното търсене също зависи от броя на контейнерите.

Формула

Формулата е:

Формула за скаларно квантуване. Изображение от автора.

Ето пример за това как скаларното квантуване работи върху вектор.

Графично представяне на скаларното квантуване. Изображение от автора.

Силни

• Значителен памет оптимизация.
• Малка загуба на информация.
• Частично обратим процес.
• Бързо компресиране.
• Ефективно мащабируемо търсене поради малка загуба на информация.

Ограничения

• Леко намаляване на качеството на търсенето.
• Нискоразмерните вектори са по-податливи на загуба на информация, тъй като всяка точка от данни носи важна информация.

Векторни бази данни като напр Квадрант намлява Милвус предлагат скаларно квантуване.

3. Квантуване на продукта

Квантуването на продукта разделя векторите на подвектори. За всяка секция централните точки или центроидите се изчисляват с помощта на клъстерни алгоритми. Тогава техните най-близки центроиди представляват всеки подвектор.

Търсенето по подобие при квантизирането на продукта работи чрез разделяне на вектора за търсене на същия брой подвектори. След това се създава списък с подобни резултати във възходящ ред на разстояние от центроида на всеки подвектор до всеки подвектор на заявка. Тъй като процесът на векторно търсене сравнява разстоянието от подвекторите на заявката до центроидите на квантования вектор, резултатите от търсенето са по-малко точни. Квантуването на продукта обаче ускорява процеса на търсене на сходство и може да се постигне по-висока точност чрез увеличаване на броя на подвекторите.

Формула

Намирането на центроиди е итеративен процес. Той използва преизчисляването на евклидовото разстояние между всяка точка от данни до нейния център до конвергенция. Формулата на евклидовото разстояние в n-мерното пространство е:

Формула за квантуване на продукта. Изображение от автора.

Ето пример за това как квантуването на продукта работи върху вектор.

Графично представяне на квантуването на продукта. Изображение от автора.

Силни

• Най-високо съотношение на компресия.
• По-добра ефективност на съхранение в сравнение с други техники.

Ограничения

• Не е подходящ за нискоразмерни вектори.
• Ресурсно интензивна компресия.

Векторни бази данни като Квадрант и Weaviate предлагат квантуване на продукта.

Избор на правилния метод за квантуване

Всеки метод на квантуване има своите плюсове и минуси. Изборът на правилния метод зависи от фактори, които включват, но не се ограничават до:

• Измерение на данните
• Компромис компресия-точност
• Изисквания за ефективност
• Ресурсни ограничения.

Разгледайте сравнителната таблица по-долу, за да разберете по-добре коя техника за квантуване отговаря на вашия случай на употреба. Тази диаграма подчертава точността, скоростта и факторите на компресия за всеки метод на квантуване.

Изображение от Qdrant

От оптимизиране на съхранението до по-бързо търсене, квантуването смекчава предизвикателствата при съхраняването на милиардни параметри. Въпреки това разбирането на изискванията и компромисите предварително е от решаващо значение за успешното внедряване.

За повече информация относно най-новите тенденции и технологии посетете Обединете AI.