AI 기초
벡터 유사도 검색이란 무엇이며 어떻게 작동합니까?
Unite.AI를 Google의 선호 소스에 추가
벡터 유사도 검색은 선택된 거리 또는 유사도 함수에 따라 쿼리 벡터와 수치적 표현이 가까운 항목을 찾습니다. 임베딩 모델은 텍스트, 이미지, 오디오, 제품 또는 사용자를 벡터로 매핑하여 관련 항목이 표현 공간의 인접 영역에 위치하도록 합니다.
검색 인덱스는 임베딩과 메트릭 없이 유사성을 독립적으로 이해하지 못합니다. 표현이 잘못된 관련성 개념을 인코딩하면, 빠른 최근접 이웃 알고리즘이 효율적으로 잘못된 이웃을 반환하게 됩니다.
핵심 요점
- 임베딩 모델, 전처리 및 거리 메트릭이 “가깝다”는 의미를 정의합니다.
- 정확한 k-최근접 이웃 검색은 모든 후보를 스캔하고; 근사 인덱스는 일부 재현율을 속도와 메모리로 교환합니다.
- HNSW, 역파일 인덱스 및 제품 양자화는 구축, 질의 및 업데이트에 서로 다른 트레이드오프를 제공합니다.
- 메타데이터 필터링, 하이브리드 검색 및 재랭킹은 시스템의 일부이며 사후 고려 사항이 아닙니다.
임베딩 및 유사도 메트릭
Transformer(또는 기타 인코더)는 항목을 고정 길이 벡터로 변환합니다. 코사인 유사도는 각도를 비교하고, 내적은 방향과 크기를 결합하며, 유클리드 거리는 직선 거리를 측정합니다.
정규화는 코사인 유사도와 내적 순위를 동등하게 만들 수 있습니다. 임베딩을 학습할 때 사용되는 메트릭은 검색과 일치해야 합니다. 의미적 유사성, 대체 가능성 및 사용자 선호는 서로 다른 목표이므로 도메인별 관련성을 평가해야 합니다.
정확 검색 vs 근사 검색
정확 검색은 모든 적격 벡터와의 유사도를 계산하고 실제 가장 가까운 후보를 반환합니다. 이는 간단하고 정확하지만 컬렉션, 차원 또는 쿼리 빈도가 증가함에 따라 비용이 많이 듭니다.
근사 최근접 이웃(ANN) 인덱스는 더 작은 후보 집합을 검사합니다. 정확한 정답과 비교한 recall@k와 함께 지연 시간, 처리량 및 메모리를 측정합니다. “근사”는 검색 알고리즘을 의미하며, 임베딩 자체가 올바른지를 나타내지는 않습니다.
HNSW, 역파일 및 압축
계층형 탐색 가능한 Small World 그래프는 레이어별로 벡터를 연결합니다. 쿼리는 희소한 장거리 링크에서 밀집된 로컬 링크로 내려갑니다. 검색 폭은 재현율‑지연 시간 트레이드오프를 제어하며, 그래프 구축 및 업데이트는 메모리를 소모합니다.
역파일 인덱스는 거친 클러스터링(종종 K-means와 관련) 을 사용하여 선택된 영역을 검색합니다. 제품 양자화는 벡터 서브스페이스를 압축하여 메모리를 줄이지만 거리 오차를 초래합니다. Faiss는 이러한 여러 기술을 결합합니다.
필터링, 하이브리드 검색 및 재랭킹
실제 쿼리에서는 종종 테넌트, 언어, 날짜, 권한 또는 제품 필터가 필요합니다. 사전 필터링은 그래프 후보를 너무 적게 만들 수 있고, 사후 필터링은 검색 작업을 낭비할 수 있습니다. 인덱스와 쿼리 계획은 현실적인 필터 선택도에서 테스트되어야 합니다.
하이브리드 검색은 레키컬 매칭과 벡터 유사도를 결합하여 정확한 이름과 의미적 의미가 모두 기여하도록 합니다. 재랭커는 상위 후보에 대해 더 비용이 많이 드는 교차 인코더나 비즈니스 규칙을 적용할 수 있습니다. 모든 단계에서 권한 검사를 유지해야 합니다.
평가, 업데이트 및 드리프트
시각적 클러스터만이 아니라 라벨이 지정된 관련성 판단 또는 하위 작업 성공을 사용하십시오. 재현율, 정밀도, 정규화된 할인 누적 이득, 지연 시간 백분위수, 메모리, 인덱스 구축 시간 및 최신성을 추적합니다.
임베딩 모델 업그레이드에는 재임베딩이 필요하며 모든 점을 이동시킬 수 있습니다. 버전 벡터와 인덱스는 이중 실행 마이그레이션을 지원하고 쿼리/인구 드리프트를 모니터링합니다. 차원 축소는 시각화에 도움이 될 수 있지만 이웃을 왜곡할 수 있으며 검색 평가와 혼동해서는 안 됩니다.
임베딩, 메트릭 및 인덱스 구조
벡터 유사도 검색은 항목을 수치 임베딩으로 표현하고 코사인 유사도, 내적 또는 유클리드 거리와 같은 메트릭에 따라 쿼리와 가까운 벡터를 검색합니다. 임베딩 모델은 “가까움”의 의미를 정의하고 인덱스는 그 기하학을 가속화할 뿐입니다. 필요할 경우 벡터를 정규화하고, 모델 및 전처리 버전을 보존하며, 호환되지 않는 임베딩 공간 간의 거리를 비교하지 마십시오. 일반 의미론에 강한 모델이라도 도메인 평가 없이 제품 호환성, 법적 인용, 이미지, 코드 또는 다국어 용어에서는 실패할 수 있습니다.
정확 검색은 모든 벡터를 비교하며 단순하지만 대규모에서는 비용이 많이 듭니다. 근사 최근접 이웃 방법은 재현율을 속도와 메모리로 교환합니다. HNSW와 같은 그래프 인덱스는 연결된 이웃을 탐색하고, 역파일 방식은 벡터를 거친 셀로 분할하며, 제품 양자화는 벡터를 압축합니다. 디스크 기반 방법은 저장소와 지연 시간을 교환합니다. 구축 시간, 질의 시간 및 메모리 매개변수가 상호 작용합니다. 생산 환경과 유사한 벡터 수, 차원, 업데이트, 필터, 동시성 및 하드웨어를 기준으로 벤치마크하십시오.
검색 품질 및 하이브리드 검색
관련 및 비관련 항목을 포함한 판단된 쿼리를 생성하고, 여기에는 희귀 용어, 모호성, 긴 텍스트, 언어 및 최신성이 포함됩니다. recall@k, precision@k, 평균 역순위, 정규화된 할인 이득, 지연 시간 및 비용을 측정합니다. ANN 재현율을 정확한 이웃과 별도로 측정하고, 의미적 관련성을 인간 판단과 비교합니다. 임베딩이 부실하면 빠른 인덱스가 수학적으로 가장 가까운 잘못된 항목을 검색할 수 있습니다.
키워드 검색은 정확한 이름, 식별자, 날짜 및 희귀 토큰에 대해 여전히 강력합니다. 하이브리드 검색은 레키컬 및 벡터 순위를 결합하고, 메타데이터 필터는 테넌트, 권한, 언어, 날짜 및 유형을 강제합니다. 결과를 반환하거나 생성하기 전에 권한을 적용하고, 검색 후 필터링은 존재 여부나 내용을 유출할 수 있습니다. 재랭커는 추가 지연 시간에 정밀도를 향상시킵니다. 청킹은 문서 구조를 따르고 인용을 위해 원본, 버전 및 오프셋을 보존해야 합니다.
프로덕션 라이프사이클
업데이트에는 결정론적 ID, 삭제 전파, 톰스톤 또는 압축, 그리고 모델 변경 후 재임베딩 전략이 필요합니다. 오래된 임베딩과 새로운 임베딩을 조용히 혼합하지 마십시오; 인덱스를 재구축하거나 버전 관리하고 전환 전 오프라인에서 비교하십시오. 쿼리 및 결과 분포, 빈 검색 및 저점수 검색, 지연 시간, 인덱스 상태 및 판단된 피드백을 모니터링합니다. 임베딩은 민감한 정보를 인코딩하고 추론을 가능하게 할 수 있으므로 보호해야 합니다. 벡터 검색은 검색 인프라일 뿐이며 사실성을 보장하지 않습니다; 하위 시스템은 증거를 보존하고 지원이 부족할 경우 중단해야 합니다.
실제 예시: 권한 인식 벡터 검색
한 기업은 매뉴얼을 섹션별로 청크하고 버전이 지정된 모델로 임베딩한 뒤 문서 ID, 권한, 언어, 버전 및 오프셋을 저장합니다. 판단된 쿼리 세트는 레키컬, 벡터, 하이브리드 및 재랭크된 검색을 비교합니다. 평가는 k에서의 재현율과 정밀도, 인용 범위, 지연 시간, 비용 및 정확한 부품 번호와 다국어 용어에 대한 결과를 측정합니다. ANN 재현율은 정확한 벡터 이웃과 별도로 확인됩니다.
쿼리 시점에 권한 필터가 콘텐츠가 반환되기 전에 후보를 걸러냅니다. 점수가 낮은 검색은 중단하고, 답변 레이어는 원본 섹션을 인용하며 충돌을 명시합니다. 재임베딩은 벡터 버전을 혼합하지 않고 새로운 인덱스를 구축하며, 삭제 이벤트는 원본, 청크 및 캐시를 제거합니다. 모니터링은 빈 쿼리, 점수 및 지연 시간 분포, 권한 거부 및 검토된 관련성을 추적합니다. 임베딩은 민감한 파생 데이터로 보호됩니다. 유사도는 증거를 검색하지만, 그 증거가 사실이거나 적용 가능함을 입증하지는 않습니다.
구현 증거 및 운영 준비성
프로덕션 의사결정은 성공적인 시연 이상을 필요로 합니다. 의도된 사용자, 운영 환경, 입력, 출력, 종속성, 소유자 및 각 중요한 실패의 결과를 정의하십시오. 튜닝 전에 재현 가능한 기준선과 버전이 지정된 평가 세트를 구축하십시오. 일반적인 경우, 경계 조건, 잘못된 또는 누락된 입력, 분포 변화, 종속성 중단, 오용 및 소외될 가능성이 높은 그룹이나 환경을 테스트합니다. 작업 품질을 보정 또는 불확실성, 지연 시간, 처리량, 자원 비용, 접근성, 프라이버시 및 보안과 함께 측정합니다. 모든 변환 및 임계값을 기록하여 독립적인 검토자가 결과를 재현하고 매력적인 프로토타입과 증거를 구분할 수 있도록 합니다.
출시 전에는 릴리스, 예외, 변경, 롤백 및 폐기에 대한 권한을 지정하십시오. 단계적 롤아웃을 사용하고 안전한 폴백을 유지하며 의도적으로 삽입된 실패를 통해 모니터링을 검증합니다. 운영 텔레메트리는 불필요한 민감 데이터를 수집하지 않으면서 입력 품질, 출력 동작, 모델 또는 규칙 버전, 종속성 상태, 인간 개입 및 확인된 결과를 보여야 합니다. 알림 임계값과 대응 담당자를 정의하고, 오프라인 성능이 지속될 것이라고 가정하지 말고 배포 후 실제 증거를 검토하십시오. 데이터 소스, 사용자, 모델, 공급업체, 정책, 하드웨어 또는 목표가 변경될 때마다 재평가합니다. 유지되는 시스템은 문서화된 복구, 사고 학습, 삭제 및 보존 절차와 함께 비활성화 또는 교체가 명확히 정의된 시점이 필요합니다.
자주 묻는 질문
유사도 검색에 벡터 데이터베이스가 필요합니까?
아니요. 라이브러리와 관계형 데이터베이스도 벡터 인덱스를 지원할 수 있습니다. 워크로드에 맞게 규모, 필터링, 내구성 및 운영 기능을 제공하는 경우에 특화된 데이터베이스가 유용합니다.
고차원 임베딩이 항상 더 나은 성능을 보입니까?
아니요. 차원이 늘어날수록 비용이 증가하고 노이즈를 인코딩할 수 있습니다. 대표적인 검색 품질, 지연 시간 및 저장량을 기준으로 모델을 비교하십시오.
주요 참고문헌
