Perplexity AI의 검색 책임자 Alexandr Yarats – 인터뷰 시리즈

Alexandr Yarats는 Perplexity AI의 검색 책임자입니다. 그는 2017년 Yandex에서 경력을 시작했으며,同時에 Yandex School of Data Analysis에서 공부했습니다. 초기 몇 년은 집중적이고 보람 있었으며, 그는 엔지니어 팀 리드로 성장했습니다. 그는 기술 거물에서 일하기를 원했으며, 2022년 Google에 선임 소프트웨어 엔지니어로加入했습니다. Google Assistant 팀(稍後 Google Bard로 이름이 변경됨)에 집중했습니다. 그런 다음 그는 Perplexity로 이동하여 검색 책임자가 되었습니다.

Perplexity AI는 AI-챗봇 기반 연구 및 대화형 검색 엔진입니다. 2022년에 출시되었으며, Perplexity는 자연어 예측 텍스트를 사용하여 질의에 답변합니다. 웹에서 정보를 수집하여 텍스트 응답에 링크를 제공합니다.

당신은 기계 학습에 관심을 가지게 된 계기가 무엇인가?

기계 학습에 대한 나의 관심은 점진적인 과정이었다. 학교 시절, 나는 수학, 확률 이론, 통계를 공부했으며, 선형 회귀와 KNN과 같은 기초적인 기계 학습 알고리즘을 다루어보았다. 데이터에서 예측 함수를 직접 구축하여 보지 않은 데이터를 예측하는 것이 흥미로웠다. 이 관심은 나에게 러시아의 유명한 기계 학습 석사 과정인 Yandex School of Data Analysis를 소개했다. 그곳에서 나는 더 고급 기계 학습 알고리즘에 대해 배웠고, 직관을 구축했다. 가장 중요한 시점은 신경망과 딥 러닝에 대해 배웠을 때였다. 이것이 내가 다음 몇십 년 동안 추구할 것이라는 것을 알게 되었다.

당신은 이전에 Google에서 선임 소프트웨어 엔지니어로 1년 동안 일했습니다. 그 경험에서 얻은 주요 교훈은 무엇인가?

Google에加入하기 전에, 나는 Yandex에서 4년 이상 일했습니다. 그곳에서 나는 Yandex Taxi(러시아의 우버와 유사한 서비스)에서 다양한 기계 학습 방법을 개발한 팀을 이끌었습니다. 나는 이 그룹의 초기에加入하여 4년 동안 팀이 빠르게 성장하는 것을 목격했습니다(30명에서 500명으로, 시장 가치도 러시아에서 가장 큰 택시 서비스 제공업체가 되었습니다).

이 기간 동안, 나는 여러 프로젝트를 처음부터 끝까지 구축하고 출시하는 기회를 가졌습니다. 내가 그곳에서 마지막으로 작업한 프로젝트 중 하나는 서비스 지원을 위한 챗봇을 구축하는 것이었습니다. 그곳에서私は 대규모 언어 모델의 힘을 처음으로 목격하고, 미래에 얼마나 중요한 역할을 할 수 있는지에 대해 감명받았습니다. 이 깨달음은 나를 Google로 데려갔습니다. 그곳에서私は Google Assistant 팀(稍後 Google Bard로 이름이 변경됨)에加入했습니다.

Google에서私は 세계적인 수준의 인프라가 어떻게 구성되어 있는지, 검색과 LLM이 어떻게 상호 작용하여 사실적이고 정확한 답변을 제공하는지 배웠습니다. 이는 훌륭한 학습 경험이었지만, 시간이 지나면서私は Google의 느린 속도와 아무 것도 이루어지지 않는다는 느낌에 좌절했습니다.私は 검색과 LLM에 대해 작업하는 회사를 찾고 싶었습니다.幸運히, 이것은 자연스럽게 발생했습니다.

Google 내부에서私は Perplexity의 스크린샷과 Google Assistant와 Perplexity를 비교하는 작업을เห었습니다. 이것은 나를 Perplexity에 대해 더 관심 있게 만들었습니다. 몇 주 동안의 연구 후, 나는 그곳에서 일하기를 원했습니다. 그래서私は 팀에 연락하여我的 서비스를 제공했습니다.

당신의 현재 역할과 책임을 설명해 주십시오.

현재私は 검색 팀의 책임자로, Perplexity의 내부 검색 시스템을 구축하는 책임이 있습니다. 우리의 검색 팀은 웹 크롤링 시스템, 검색 엔진, 및 랭킹 알고리즘을 구축하는 일을합니다. 이러한 도전은 나에게 Google과 Yandex에서 얻은 경험을 활용할 수 있는 기회를 제공합니다. 한편으로, Perplexity의 제품은 검색 시스템을 재설계하고 재구성할 수 있는 唯一한 기회를 제공합니다. 예를 들어, 더 이상 클릭 확률을 높이는 랭킹 알고리즘을 최적화할 필요가 없습니다. 대신, 우리는 우리의 답변의 유용성과 사실성을 향상시키는 데 집중하고 있습니다. 이것은 답변 엔진과 검색 엔진 사이의 근본적인 차이입니다. 나와我的 팀은 전통적인 10개의 블루 링크를 넘어서는 것을 구축하려고 노력하고 있습니다. 현재로서는 더 흥미로운 프로젝트는 없습니다.

Perplexity에서 텍스트-SQL 도구 개발에서 AI 기반 검색으로 전환한 과정을 설명해 주십시오.

우리는 처음에 구조화된 데이터(예: 스프레드시트 또는 테이블)에서 빠른 답변을 제공하는 전문 답변 엔진을 구축하기 위해 텍스트-SQL 엔진을 개발했습니다. 텍스트-SQL 프로젝트에서 우리는 LLM과 RAG에 대한 더 깊은 이해를 얻었습니다. 우리는 이 기술이 우리가 처음 생각한 것보다 훨씬 더 강력하고 일반적이라는 것을 깨달았습니다. 우리는 구조화된 데이터 소스만을 넘어서 비구조화된 데이터도 다룰 수 있다는 것을 빠르게 깨달았습니다.

이 전환 과정에서 주요 도전과 통찰은 무엇인가?

이 전환 과정에서 주요 도전은 회사를 B2B에서 B2C로 전환하고, 비구조화된 검색을 지원하는 인프라 스택을 재구축하는 것이었습니다. 우리는 매우 빠르게 이 과정을 통해 고객용 제품을 개발하는 것이 더 즐겁다는 것을 깨달았습니다. 우리는 끊임없이 피드백과 참여를 받기 시작했습니다. 이것은 우리가 기업 솔루션에 집중하고 텍스트-SQL 엔진을 구축할 때 보지 못했던 것입니다.

Perplexity의 검색 기능에서 Retrieval-Augmented Generation(RAG)이 어떻게 사용되나요?

RAG는 LLM에 외부 지식을 제공하는 일반적인 개념입니다. 이 아이디어는 처음에는 간단해 보이지만, 수십 triệu 명의 사용자를 효율적이고 정확하게 지원하는 시스템을 구축하는 것은重大한 도전입니다. 우리는 이 시스템을 처음부터 구축해야 했으며, 성능과 정확성을 달성하기 위해 많은 사용자 정의 구성 요소를 개발해야했습니다. 우리는 수십개의 LLM(큰 것과 작은 것 모두)이 한 사용자의 요청을 빠르고 비용 효율적으로 처리할 수 있는 시스템을 구축했습니다. 우리는 또한 LLM과 검색을 종단간으로 함께 교육하고 추론할 수 있는 인프라를 구축했습니다. 이것은 우리의 답변의 유용성과 사실성을 크게 향상시켰습니다.

Google의 자원 제한과 비교하여, Perplexity는 어떻게 웹 크롤링과 색인화 전략을 관리하여 경쟁력을 유지하고 최신 정보를 제공합니까?

Google의 색인과 같은 광범위한 색인을 구축하는 것은 상당한 시간과 자원이 필요합니다. 대신, 우리는 Perplexity에서 자주ถาม되는 주제에 집중하고 있습니다. 대부분의 사용자는 Perplexity를 작업/연구 보조工具로 사용하며, 많은 질의는 높은 품질의 신뢰할 수 있는 웹의 일부를 찾고 있습니다. 이것은 80/20 법칙의 분포입니다. 여기서 우리는 훨씬 더 комп팩트한 색인을 구축하여 품질과 진실성을 최적화할 수 있습니다. 현재 우리는 꼬리 부분을 추적하는 데 시간을 덜 보냅니다. 그러나 인프라를 확장함에 따라, 우리는 꼬리 부분도 추적할 것입니다.

대규모 언어 모델(LLM)은 어떻게 Perplexity의 검색 기능을 강화합니까?

우리는 실시간 및 오프라인 처리 모두에서 LLM을 사용합니다. LLM은 웹 페이지의 가장 중요한 부분과 관련된 정보에 집중할 수 있도록합니다. 이것은 이전에 불가능했던 많은 것을 다룰 수 있는 신호 대 잡음 비율을 최대화합니다. 일반적으로, 이것은 LLM의 가장 중요한 측면 중 하나입니다. 즉, 작은 팀으로 복잡한 일을 할 수 있습니다.

미래를 내다보면, Perplexity는 어떤 기술적 또는 시장적 도전을 예상합니까?

미래를 내다보면, 우리에게 가장 중요한 기술적 도전은 답변의 유용성과 정확성을 계속해서 개선하는 것입니다. 우리는 질의와 질문의 범위와 복잡성을 확대하여 신뢰성 있게 답변할 수 있도록 노력할 것입니다. 또한, 우리는 시스템의 속도와 제공 효율성을 개선하고, 품질을 손상하지 않으면서 제공 비용을 최대한 줄이기 위해 집중할 것입니다.

당신의 의견으로, Perplexity의 검색 접근법은 왜 Google의 백링크에 따라 웹사이트를 랭킹하는 접근법보다 우수합니까?

우리는 전통적인 검색 엔진과 다른 랭킹 지표를 최적화합니다. 우리의 랭킹 목표는 검색 시스템과 LLM을 네이티브로 결합하도록 설계되었습니다. 이것은 전통적인 검색 엔진과는 다르며, 클릭 확률이나 광고 노출을 최적화합니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Perplexity AI를 방문하십시오.