Rescale 미팅 예약

인터뷰

Alexandr Yarats, Perplexity 검색 책임자 – 인터뷰 시리즈

mm

게재

 on

Alexandr Yarats는 검색 부문 책임자입니다. 곤혹 AI. 그는 2017년 Yandex에서 경력을 시작했으며 동시에 Yandex School of Data Analysis에서 공부했습니다. 초기 몇 년간은 강렬하면서도 보람찼고, 엔지니어링 팀 리더로 성장하는 데 박차를 가했습니다. 거대 기술 기업과 협력하겠다는 열망에 힘입어 2022년에 수석 소프트웨어 엔지니어로 Google에 입사하여 Google 어시스턴트팀(이후 Google Bard)을 담당했습니다. 그런 다음 검색 책임자로 Perplexity로 옮겼습니다.

Perplexity AI는 자연어 예측 텍스트를 사용하여 쿼리에 답변하는 AI 챗봇 기반 연구 및 대화형 검색 엔진입니다. 2022년에 출시된 Perplexity는 웹 소스를 사용하여 답변을 생성하고 텍스트 응답 내의 링크를 인용합니다.

처음에 머신러닝에 관심을 가지게 된 계기는 무엇인가요?

머신러닝(ML)에 대한 나의 관심은 점진적인 과정이었습니다. 학창 시절에는 수학, 확률 이론, 통계를 공부하는 데 많은 시간을 보냈고 선형 회귀 및 KNN과 같은 고전적인 기계 학습 알고리즘을 다룰 기회를 얻었습니다. 데이터에서 직접 예측 함수를 구축한 다음 이를 사용하여 보이지 않는 데이터를 예측할 수 있는 방법을 보는 것은 흥미로웠습니다. 이러한 관심으로 저는 러시아에서 경쟁이 치열한 기계 학습 석사 학위 프로그램인 Yandex School of Data Analysis에 진학하게 되었습니다(매년 200명만 입학 가능). 그곳에서 저는 더 발전된 기계 학습 알고리즘에 대해 많은 것을 배웠고 직관을 쌓았습니다. 이 과정에서 가장 중요한 점은 신경망과 딥러닝에 대해 배웠을 때였습니다. 이것이 제가 앞으로 수십 년 동안 추구하고 싶은 일이라는 것이 나에게 매우 분명해졌습니다.

이전에 Google에서 수석 소프트웨어 엔지니어로 1년 동안 근무하셨는데, 이번 경험에서 얻은 주요 교훈은 무엇입니까?

Google에 합류하기 전에는 Yandex School of Data Analysis를 졸업한 직후 Yandex에서 30년 넘게 근무했습니다. 그곳에서 저는 Yandex Taxi(러시아의 Uber와 유사)를 위한 다양한 기계 학습 방법을 개발하는 팀을 이끌었습니다. 저는 이 그룹이 처음 시작할 때 합류했고, 인원수(500명에서 XNUMX명까지)와 시가총액(최대 택시 서비스가 됨) 모두에서 XNUMX년에 걸쳐 빠르게 성장한 긴밀하고 빠르게 진행되는 팀에서 일할 기회를 가졌습니다. Uber 등을 능가하는 러시아의 서비스 제공업체).

이 기간 동안 나는 처음부터 많은 것을 구축하고 여러 프로젝트를 처음부터 끝까지 시작할 수 있는 특권을 누렸습니다. 제가 그곳에서 작업한 마지막 프로젝트 중 하나는 서비스 지원을 위한 챗봇을 구축하는 것이었습니다. 그곳에서 나는 대규모 언어 모델의 힘을 처음으로 엿볼 수 있었고 그것이 미래에 얼마나 중요할 수 있는지에 매료되었습니다. 이러한 깨달음은 나를 Google로 이끌었고, 그곳에서 Google Assistant 팀에 합류했습니다. 이 팀은 나중에 Google Bard(Perplexity의 경쟁사 중 하나)로 이름이 변경되었습니다.

Google에서 저는 세계적 수준의 인프라가 어떤 것인지, 검색과 LLM이 어떻게 작동하는지, 사실적이고 정확한 답변을 제공하기 위해 서로 상호작용하는 방식을 배울 수 있는 기회를 가졌습니다. 이것은 훌륭한 학습 경험이었지만 시간이 지나면서 Google의 느린 속도와 아무 것도 이루어지지 않았다는 느낌에 좌절감을 느꼈습니다. 저는 검색 및 LLM 업무를 수행하고 제가 Yandex에 있을 때보다 더 빠르게, 또는 더 빠르게 움직이는 회사를 찾고 싶었습니다. 다행히도 이것은 유기적으로 일어났습니다.

Google 내부에서는 Perplexity의 스크린샷과 Google Assistant와 Perplexity를 비교해야 하는 작업을 보기 시작했습니다. 이것이 회사에 대한 관심을 불러일으켰고, 몇 주간의 조사 끝에 나는 그곳에서 일하고 싶다는 확신을 갖게 되었고, 팀에 연락하여 서비스를 제안했습니다.

Perplexity에서 현재 역할과 책임을 정의할 수 있나요?

저는 현재 검색 팀의 책임자로 근무하고 있으며 Perplexity를 지원하는 내부 검색 시스템 구축을 담당하고 있습니다. 우리 검색팀은 웹 크롤링 시스템, 검색 엔진 및 순위 알고리즘을 구축하는 작업을 수행합니다. 이러한 과제를 통해 저는 Google(검색 및 LLM 작업)과 Yandex에서 얻은 경험을 활용할 수 있습니다. 반면에 Perplexity의 제품은 매우 강력한 LLM이 있는 세계에서 검색 시스템이 어떻게 보여야 하는지 재설계하고 재설계할 수 있는 독특한 기회를 제공합니다. 예를 들어, 클릭 확률을 높이기 위해 순위 알고리즘을 최적화하는 것은 더 이상 중요하지 않습니다. 대신, 우리는 답변의 유용성과 사실성을 높이는 데 중점을 두고 있습니다. 이는 답변 엔진과 검색 엔진의 근본적인 차이점입니다. 저희 팀과 저는 기존의 10개 블루 링크를 넘어서는 무언가를 구축하려고 노력하고 있으며 현재로서는 이보다 더 흥미로운 작업이 생각나지 않습니다.

Perplexity가 텍스트-SQL 도구 개발에서 AI 기반 검색 생성으로 전환하는 과정에 대해 자세히 설명해주실 수 있나요?

우리는 처음에 구조화된 데이터(예: 스프레드시트 또는 테이블)를 기반으로 빠른 답변을 얻어야 하는 상황에서 특수 답변 엔진을 제공하는 텍스트-SQL 엔진을 구축하는 작업을 진행했습니다. text-to-SQL 프로젝트 작업을 통해 우리는 LLM 및 RAG에 대해 훨씬 더 깊이 이해할 수 있었고 중요한 깨달음을 얻었습니다. 이 기술은 원래 생각했던 것보다 훨씬 더 강력하고 일반적입니다. 우리는 잘 구조화된 데이터 소스를 넘어 구조화되지 않은 데이터도 처리할 수 있다는 것을 빨리 깨달았습니다.

이 전환 과정에서 주요 과제와 통찰력은 무엇이었습니까?

이러한 전환 중 주요 과제는 회사를 B2B에서 B2C로 전환하고 구조화되지 않은 검색을 지원하기 위해 인프라 스택을 재구축하는 것이었습니다. 이 마이그레이션 프로세스 동안 우리는 지속적인 피드백과 참여 흐름을 받기 시작하면서 고객 대면 제품 작업이 훨씬 더 즐겁다는 것을 매우 빠르게 깨달았습니다. text-to-SQL 엔진을 사용하고 엔터프라이즈 솔루션에 중점을 두고 있습니다.

검색 증강 생성(RAG)은 Perplexity 검색 기능의 초석인 것 같습니다. Perplexity가 다른 플랫폼과 비교하여 어떻게 RAG를 다르게 활용하는지, 그리고 이것이 검색 결과 정확도에 어떤 영향을 미치는지 설명해 주시겠습니까?

RAG는 ​​LLM에 외부 지식을 제공하기 위한 일반적인 개념입니다. 얼핏 보면 아이디어가 단순해 보일 수도 있지만, 수천만 명의 사용자에게 효율적이고 정확하게 서비스를 제공하는 시스템을 구축하는 것은 중요한 과제입니다. 우리는 이 시스템을 처음부터 자체적으로 설계하고 정확성과 성능의 마지막 부분을 달성하는 데 중요한 것으로 입증된 많은 맞춤형 구성 요소를 구축해야 했습니다. 우리는 하나의 사용자 요청을 빠르고 비용 효율적으로 처리하기 위해 수십 개의 LLM(큰 것부터 작은 것까지)이 병렬로 작동하는 시스템을 설계했습니다. 또한 우리는 엔드투엔드 검색과 함께 LLM을 교육할 수 있는 교육 및 추론 인프라를 구축하여 긴밀하게 통합되었습니다. 이는 환각을 크게 줄이고 답변의 유용성을 향상시킵니다.

Google 리소스에 비해 한계가 있는 상황에서 Perplexity는 경쟁력을 유지하고 최신 정보를 보장하기 위해 웹 크롤링 및 색인 생성 전략을 어떻게 관리합니까?

Google만큼 광범위한 색인을 구축하려면 상당한 시간과 자원이 필요합니다. 대신, 우리는 사용자가 Perplexity에 대해 자주 문의하는 주제에 중점을 두고 있습니다. 대다수의 사용자가 Perplexity를 작업/연구 보조자로 활용하고 있으며 많은 쿼리가 웹의 고품질, 신뢰할 수 있고 유용한 부분을 찾는 것으로 나타났습니다. 이는 80/20 접근 방식으로 중요한 결과를 얻을 수 있는 거듭제곱 법칙 분포입니다. 이러한 통찰력을 바탕으로 우리는 품질과 진실성에 최적화된 훨씬 더 컴팩트한 인덱스를 구축할 수 있었습니다. 현재 우리는 꼬리를 쫓는 데 더 적은 시간을 소비하지만 인프라를 확장함에 따라 꼬리도 추구할 것입니다.

LLM(대형 언어 모델)은 Perplexity의 검색 기능을 어떻게 향상시키며, 웹에서 정보를 구문 분석하고 표시하는 데 특히 효과적인 이유는 무엇입니까?

우리는 실시간 및 오프라인 처리를 위해 어디에서나 LLM을 사용합니다. LLM을 통해 우리는 웹 페이지의 가장 중요하고 관련 있는 부분에 집중할 수 있습니다. 신호 대 잡음비를 최대화하는 데 있어서 이전의 어떤 것보다 뛰어나므로 이전에는 소규모 팀이 처리할 수 없었던 많은 일을 훨씬 쉽게 처리할 수 있습니다. 일반적으로 이것은 아마도 LLM의 가장 중요한 측면일 것입니다. 이를 통해 매우 작은 팀으로 정교한 작업을 수행할 수 있습니다.

앞으로 Perplexity가 예상하는 주요 기술 또는 시장 과제는 무엇입니까?

앞으로 우리에게 가장 중요한 기술적 과제는 답변의 유용성과 정확성을 지속적으로 개선하는 데 집중될 것입니다. 우리는 안정적으로 답변할 수 있는 쿼리 및 질문 유형의 범위와 복잡성을 늘리는 것을 목표로 합니다. 이와 함께 우리는 시스템의 속도와 서비스 효율성에 많은 관심을 갖고 있으며 제품 품질을 저하시키지 않으면서 서비스 비용을 최대한 낮추는 데 중점을 둘 것입니다.

귀하의 의견으로는 왜 Perplexity의 검색 접근 방식이 백링크 및 기타 입증된 검색 엔진 순위 지표에 따라 웹사이트 순위를 매기는 Google의 접근 방식보다 우수합니까?

우리는 기존 검색 엔진과는 완전히 다른 순위 지표를 최적화하고 있습니다. 우리의 순위 목표는 검색 시스템과 LLM을 기본적으로 결합하도록 설계되었습니다. 이 접근 방식은 클릭 확률이나 광고 노출 가능성을 최적화하는 기존 검색 엔진의 접근 방식과는 상당히 다릅니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 곤혹 AI.

unite.AI의 창립 파트너이자 포브스 기술 위원회, 앙투안은 미래파 예술가 AI와 로봇공학의 미래에 열정을 갖고 있는 사람입니다.

그는 또한 증권.io, 파괴적인 기술에 대한 투자에 초점을 맞춘 웹사이트입니다.