Algolia의 최고 기술 책임자(CTO) Sean Mullaney – 인터뷰 시리즈

Sean Mullaney는 CTO입니다. Algolia, 엔드 투 엔드 AI 기반 검색 및 발견 플랫폼입니다.

Sean은 엔지니어링 조직 확장, AI 기반 검색 및 검색 도구 개발, 전 세계적으로 API 우선 솔루션 성장에 대한 배경 지식을 갖춘 전직 Stripe 및 Google 임원입니다. Algolia에서 그는 매년 1.5조 XNUMX천억 건 이상의 검색에 사용되는 Google 다음으로 큰 검색 엔진의 기술을 감독하고 있습니다. 가장 최근에는 세계에서 가장 빠르고 확장성이 뛰어나며 비용 효율적인 벡터 및 키워드 검색 API인 AlgoliaNeuralSearch의 회사 출시를 이끌었습니다.

처음에 컴퓨터 과학에 끌린 이유는 무엇입니까?

내가 10살이었을 때 부모님은 집에 처음으로 컴퓨터를 사주셨어요. 가장 먼저 하고 싶었던 일은 책에서 복사한 텍스트 어드벤처 게임을 작성하는 방법을 알아내는 것이었습니다. 몇 년 후, 저는 C++를 배우기 시작했지만, 컴퓨터 게임을 디자인하고 구축하는 것은 컴퓨터 공학을 탐구하기 시작한 십대 때 제 큰 열정이었습니다.

당신은 Google에서 7년 넘게 근무하면서 전략, 운영, 빅데이터, 머신러닝 분야의 팀을 구성하고 이끄는 데 도움을 주었습니다. 가장 좋아하는 프로젝트는 무엇이고 이 경험을 통해 무엇을 배웠나요?

우리는 광고주가 영업 팀을 돕기 위해 우리 제품을 사용하는 방법에 대한 모든 빅 데이터를 사용하는 방법을 알아냈습니다. 우리는 개발된 사용자 지정 규칙(나중에 더 복잡한 신경망)을 작성하여 영업 사원의 시간이 수익 증가로 이어질 가능성을 최대화하기 위해 어떤 고객에게 어떤 제품을 가지고 어떤 시간에 접근해야 하는지 예측했습니다. Google에 1만 명이 넘는 광고주가 있는 이 도구는 영업팀이 건초더미에서 바늘을 찾는 데 크게 도움이 되었습니다.

최근 DevBit 요약에서 당신은 Algolia의 목적이 사용자가 세상을 인덱싱하고 콘텐츠를 움직일 수 있도록 하는 것이라고 설명했습니다. 이 진술이 무엇을 의미하는지 자세히 설명해 주시겠습니까?

궁극적으로 우리는 고객이 데이터에서 가치를 얻을 수 있도록 돕고 싶습니다. 인터넷은 콘텐츠와 전자 상거래 제품의 엄청난 폭발을 일으켰고, 이러한 발전은 확실히 중요한 이정표이지만 현재 사용 가능한 엄청난 양의 정보는 무엇을 찾는 것이 그 어느 때보다 어렵고 점점 더 어려워지고 있음을 의미합니다. 당신은 실제로 사용자로 찾고 있습니다. 그러나 검색 및 발견이 AI에 의해 강화되면 증가하는 콘텐츠 목록에 지능적으로 액세스하고 사용자를 압도하는 데 그치지 않고 진정으로 도움이 되도록 실행할 수 있습니다.

2022년 XNUMX월, Search.io 및 독점 주력 제품인 NeuralSearch™가 Algolia에 인수되었습니다. 이 검색 기술이 구체적으로 무엇인지 논의할 수 있습니까?

간단히 말해서, Algolia NeuralSearch는 업계 최초로 단일 API에 LLM 기반의 벡터 기반 자연어 처리와 키워드 일치를 통합합니다. 이 솔루션에는 벡터 사용을 확장 가능하게 하고 사용 비용을 90% 더 효율적으로 만드는 당사의 독점적인 최초의 신경 해싱 기술이 통합되어 있습니다. 이는 ChatGPT를 포함한 다른 AI 회사가 직면한 문제입니다. 이 획기적인 제품에서 정말 흥미로운 점은 엔터프라이즈급 조직에 맞게 진정한 AI 검색을 확장할 수 있다는 것입니다.

또한 새로운 기술을 통해 소매업체와 같은 고객은 일반적으로 너무 대화적이어서 정확하거나 어떤 결과도 제공하지 못하는 쿼리와 일치하는 콘텐츠를 이해하고 제공할 수 있습니다(롱테일로 간주됨). 이들은 현재 사이트 검색의 55%를 차지합니다. 쿼리 이해, 검색 및 순위 지정에 AI를 적용하는 유일한 엔드 투 엔드 AI 검색 솔루션인 NeuralSearch는 이러한 쿼리를 진정으로 이해하고 놓친 기회를 수익으로 전환합니다.

Neuralsearch™ 외에 사용되는 다른 기계 학습 방법에는 어떤 것이 있습니까?

쿼리 이해, 쿼리 검색 및 결과 순위 지정이라는 세 가지 기본 기능에 AI를 통합했습니다. Algolia에서는 이것을 AI 검색 샌드위치라고 부릅니다.

• 쿼리 이해: Algolia의 고급 자연어 이해(NLU) 및 AI 기반 벡터 검색은 자유로운 형식의 자연어 표현 이해와 분석을 위해 쿼리를 준비하고 구조화하는 AI 기반 쿼리 분류를 제공합니다. 또한 사용자 피드백을 기반으로 하는 적응형 학습은 의도 이해를 미세 조정합니다.
• 검색: 그런 다음 가장 관련성이 높은 결과를 검색하고 관련성이 가장 높은 것부터 순위를 매깁니다. 검색 프로세스는 쉬운 검색 및 순위 지정을 위해 동일한 색인을 사용하여 키워드와 병렬로 신경 해싱 결과를 병합합니다. 이 접근 방식은 'null 결과' 문제를 해결하고 클릭 위치와 클릭률을 크게 향상시킵니다. 검색 및 발견 공간의 다른 어떤 검색 플랫폼도 이 강력한 기능을 제공하지 않습니다.
• 순위: 마지막으로 검색 쿼리에 첨부된 많은 신호(정확한 키워드 일치 점수, 상황별 개인화 프로필, 항목의 관찰된 인기도 포함)를 고려하는 Algolia의 AI 기반 Re-ranking에 의해 최상의 결과가 맨 위로 푸시됩니다. , 시맨틱 매칭 점수 등) 최대 관련성에 도달하는 방법을 학습합니다.

또한 인덱스가 변경되거나 새로운 제품이 추가되거나 새로운 콘텐츠가 업로드되거나 용어가 새로운 의미를 갖게 되면 AI 기반 Algolia NeuralSearch 제품이 자동으로 학습하고 조정됩니다. 추가 인력이나 수동 작업이 필요하지 않습니다. 쿼리 또는 검색 구문에 따라 키워드 또는 개념(두 가지가 혼합된 것일 수 있음)을 자동으로 일치시킵니다. 이것은 진정으로 자동 조종 장치에서 검색을 수행합니다.

Algolia는 최근 10000개의 레코드를 제공하는 무료 계획을 늘려 1만 레코드로 늘렸습니다. 이에 대한 마음가짐은 무엇이며 시장 반응은 어떻습니까?

우리는 특히 개발자 중심의 두 가지 새로운 계획인 무료 "구축" 계획과 저렴한 가격으로 손쉬운 확장성을 제공하는 "성장" 계획을 도입하여 Algolia의 가격 책정 및 패키징을 더욱 개발자 친화적으로 발전시키기로 했습니다. 새로운 빌드 계획은 개발자가 Algolia에 저장할 수 있는 무료 레코드 수를 10,000개에서 이제 1만 개로 늘립니다. 이는 개발자가 이제 Algolia에서 색인을 생성할 수 있는 무료 레코드 수가 100배 증가했음을 나타냅니다. 또한 Algolia는 성장 계획에서 검색 요청 비용을 50%, 기록을 60% 줄였습니다.

업데이트된 "구축" 가격 계획의 기본 아이디어는 개발자에게 AI 기반 검색 및 검색 플랫폼의 전체 기능 세트에 대한 무료 액세스를 제공하는 것입니다. 개발자가 애플리케이션을 확장할 준비가 되었을 때를 위한 "성장" 계획을 통해 개발자는 라이브 프로덕션 설정에 대해 보다 개발자 친화적인 사용 기반 가격을 사용할 수 있습니다.

여기에서 한 가지 중요한 점은 디자이너, 제작자 또는 빌더가 일반 소프트웨어 엔지니어이든 전적으로 헌신적인 소프트웨어 엔지니어이든 관계없이 모든 도구, 문서, 샘플 코드, 교육 콘텐츠 및 교차 플랫폼 통합 기능에 빠르고 쉽게 액세스할 수 있다는 것입니다. 데이터 관리, 검색 프런트 엔드 구축, 분석 구성 등을 모두 무료로 시작하세요. 또한 5만 명이 넘는 빌더로 구성된 성장하는 개발자 커뮤니티에 즉시 액세스할 수 있습니다.

제공되는 검색 개인화 도구에 대해 논의할 수 있습니까?

Algolia는 다양한 종류의 추천과 데이터를 활용하여 이러한 추천을 실제로 유도하는 고유한 방법을 포함하여 기업이 데이터를 활용하여 추천을 개선할 수 있는 몇 가지 검색 개인화 도구를 제공합니다.

몇 가지 예는 다음과 같습니다.

• 인기 급상승 : 인기 급상승 중이고 고객이 수행한 검색과 관련된 다른 항목을 제안하십시오.
• 등급 기반: 사람들은 최고의 평가를 받은 제품을 사고 싶어합니다.
• 개인화 : 마지막으로 구매한 항목, 검색 기록, 위치 또는 기타 요인을 기반으로 이러한 다른 제품을 추천합니다.

이러한 데이터 기반 방법은 고객이 제품과 상호 작용하는 방식을 기반으로 결과를 신속하게 개선하고 개선하는 데 도움이 될 수 있으므로 실제로 가장 좋은 제품을 추천할 가능성이 높아집니다.

당신은 Algolia가 세계에서 가장 확장 가능한 하이브리드 AI 검색 엔진이라고 설명했습니다. Algolia는 어떻게 그렇게 효율적으로 확장되도록 설계되었습니까?

모든 것이 Neural Hashing으로 돌아옵니다. 이 최첨단 솔루션은 모든 쿼리를 압축하고 극적으로 속도를 높입니다. 표준 벡터 유사성보다 해시 유사성을 계산하는 것이 훨씬 빠르고 결과를 밀리초 단위로 반환합니다.

신경 해싱은 매우 다양한 사용 사례를 위해 AI 검색을 생산에 투입하는 획기적인 기술입니다. AI 기반 쿼리 처리 및 순위 재지정과 결합하여 AI 현장 검색의 모든 기능을 발휘할 것을 약속합니다. Algolia의 독점 혁신 이전에 벡터 기반 검색은 프로덕션에서 실행하기에는 계산 비용이 너무 비쌌습니다.

샌드위치에서 제가 가장 집중하고 싶은 부분은 고기입니다: 회수. 우리가 유일한 진정한 end-to-end AI 검색 엔진이라고 말하는 이유는 검색 업계에서 검색에 AI를 추가하기 위한 끊임없는 전투가 있었기 때문입니다. 정보 검색은 매우 복잡한 프로세스이며 고성능의 비용 효율적인 AI 검색을 대규모로 마스터하는 것은 훨씬 더 복잡합니다. 우리는 획기적인 Neural Hashing 기술로 이를 마스터했습니다. 그렇게 함으로써 우리는 본질적으로 AI 검색의 성배에 대한 탐구에서 승리했습니다.

Algolia에 대해 공유하고 싶은 다른 사항이 있습니까?

Algolia에서 일하는 것은 신나는 시간이며, 우리는 항상 세계 최고의 검색 기술을 구축하기 위한 우리의 여정에 함께하고자 하는 재능 있고 열정적인 사람들과 대화를 시작하기를 기대하고 있습니다. 그게 당신처럼 들린다면, 우리의 현재 오프닝을 확인하도록 초대하고 싶습니다. https://www.algolia.com/careers/.