에도 리버티, 파인콘의 설립자이자 최고 과학자 – 인터뷰 시리즈

에도 리버티, 파인콘의 설립자이자 최고 과학자는 대규모 데이터 시스템과 기계 학습 분야의 선도적인 전문가입니다. 파인콘을 설립하기 전에 그는 AWS의 연구 책임자이자 아마존 AI 랩스의 책임자였으며, 그의 팀은 SageMaker, OpenSearch, Kinesis 등 핵심 기술을 개발했습니다. 그는 이전에 야후의 뉴욕 연구소에서 기계 학습 플랫폼과 응용 프로그램을 개발했습니다. 그의 연구는 대규모 데이터셋을 처리하는 알고리즘과 수학적 기초에 중점을 두고 있습니다.

파인콘은 성능과 규모를 위해 구축된 완전 관리형 벡터 데이터베이스입니다. оно 지원 둘다 밀도 및 희소 임베딩, 실시간 인덱싱 및 메타데이터 기반 필터링을 지원하며 주요 클라우드, 모델 및 프레임워크와无缝하게 통합됩니다. 서버리스 자동 확장, 기업급 보안 및 규제 표준을 준수하여 대규모 AI 응용 프로그램을 배포하기 위한 신뢰할 수 있는 기반을 제공합니다.

파인콘을 2019년에 설립한 후 아마존 AI 랩스에서 연구를 이끌고 SageMaker를 구축했습니다. 파인콘을 설립하고 벡터 데이터베이스에 집중한 이유는 무엇입니까?

아마존에서 우리의 ML 팀은 놀라운 시스템을 구축했지만, 메모리에 관해서는 방대한 양의 비정형 데이터를 의미적으로 검색할 수 있는 방법이 없었습니다. 이는 매우 전문적인 엔지니어가 필요했습니다. 벡터 검색 기반 솔루션을 구축하는 방법을 알고 있었기 때문입니다. 나는 만약 사람들이 쉽게 의미 있는 정보를 얻을 수 있는 방법이 있다면, 누구든지 AI의 가치를 가속화할 수 있을 것이라고 생각했습니다. 그래서 나는 AWS를 떠나서 비정형 데이터의 가치를 쉽게 얻을 수 있는 방법을 만들기 위해 노력했습니다.

파인콘은 벡터 데이터베이스 분야에서 대표적인 회사로 성장했습니다. 회사를 설립하고 새로운 카테고리를 정립하기 위해 극복해야 했던 가장 큰 기술적 또는 시장적 장벽은 무엇입니까?

가장 큰 도전은 무엇일까요? 아무도 벡터 데이터베이스가 무엇인지 몰랐습니다! 우리는 시장에 우리가 무엇을 구축하고 있는지 교육해야 했습니다. 고객들에게 무엇이라고 불렀는지 물어봤고, 벡터 데이터베이스라고 했습니다.

다른 사람들이 이해하기 시작했을 때, 사람들이 오픈 소스를 사용하지 왜 사용하지 못하는지 물어보았습니다. 우리는 오픈 소스의 한계와 확장성-성능 트레이드오프를 설명해야 했습니다. 그리고 그 후에도 경험豊富한 엔지니어가 인프라를 구축해야 했습니다. 그래서 우리는 항상 관리 서비스를 제공하고 사용자 경험에 중점을 두었습니다. 우리의 시스템은 매우 복잡하지만, 개발자가 사용할 수 있는 API 호출로 간단하게 사용할 수 있습니다.

이것은 근사最近 이웃 알고리즘, 인덱스 관리 및 분산 시스템의 복잡성을 추상화하는 것을 의미했습니다. 개발자는 HNSW 매개변수에 대해 생각하지 않습니다. 그것이 작동하기만 하면 됩니다.

최근에 최고 과학자로 역할을 전환하고, 아시 아슈토시를 회사 대표로 영입했습니다. 이 결정의 동기는 무엇이며, 파인콘의 다음 단계에서 자신의 역할이 어떻게 진화할 것이라고 생각합니까?

파인콘은 AI 회사이자 연구 중심 회사입니다. 우리는 오늘날에 이르기까지 검색, 시스템 및 알고리즘을 재정의했습니다. 우리는 기술 보고서와 논문을 출판하고, 강의를 하고, 시장에 교육했습니다. 회사가 성장함에 따라 우리는 연구소를 분리하여 사업의 나머지 부분과 분리해야 합니다. 딥마인드와 구글을 예로 들 수 있습니다. 앞으로 나는 연구에 집중하고, AI를 더 잘 알게 하고, 파인콘의 다음 제품을 구축할 것입니다.

同时, 아시 아슈토시는 파인콘의 훌륭한 대표가 될 것입니다. 그는 인프라 회사들을 설립하고 성장시켰으며, 파인콘과 같은 회사를 운영하는 방법을 알고 있습니다. 그는 우리의 기술과 시장에 대해 매우 잘 알고 있으며, 고객에 대한 열정을 가지고 있습니다. 아시와 나는 회사를 성장시키고 사업을 함께할 것입니다.

블로그 포스트에서 “AI를 지식 있게 만드는” 것에 대해 썼습니다. 이것이 실제로 무엇을 의미하는지와 파인콘의 기술이 어떻게 유니크하게 이것을 가능하게 하는지 설명해 주시겠습니까?

기억력이 없는 AI는 기억력이 없는 천재와 같습니다. “AI를 지식 있게 만드는” 것은 AI 시스템이 방대한 양의 정보를 실시간으로 접근하고, 이해하고, 추론할 수 있는 능력을 제공하는 것을 의미합니다.

우리는 AI를 사용한 응용 프로그램이 의미 있는 정보를 실시간으로 제공할 수 있도록 데이터를 의미적으로 이해하고 조직하고, AI 시스템이 추론할 수 있도록 지원합니다. 이것은 사용자에게 더 정확하고, 정보가 풍부하고, 최신의 출력을 제공합니다.

우리는 높은 품질의 정확한 엔드투엔드 검색을 위한 모든 구성 요소와 기능을 제공하고, 대규모 검색을 위한 산업 최고의 성능을 제공합니다.

프린스턴에서 “AI의 장기 기억”을 가르쳤습니다. 벡터 데이터베이스와 미래의 AI 모델之间의 관계를 어떻게 생각합니까? 기억과 맥락이 오늘날의 대규모 모델에缺失한 성분이라고 생각합니까?

絶対적으로. LLMs는 패턴 매칭 머신입니다. 훈련 데이터의 한계와 맥락 창으로 인해 본질적으로 제한됩니다. 내가 메타의 마티스 두제와 함께 가르친 강의는 대규모 데이터셋에서 벡터 검색을 가능하게 하는 알고리즘에 중점을 두었습니다. 미래는 더 큰 모델이 아니라, 더 많은 데이터에서 더智能한 검색입니다.

많은 기업들은 AI를 생산 규모로 배포하는 데 어려움을 겪고 있습니다. 파인콘은 어떻게 이 간극을 메우는지, 그리고 성공적인 고객에서 어떤 모범 사례를 관찰했는지 설명해 주시겠습니까?

간극은 일반적으로 성능(및 비용), 보안 및 복잡성의 세 가지로 좁혀집니다. 1,000만 개의 문서로 작동하는 데모는 10억 개의 문서로 작동하지 않을 수 있습니다. 1시간 동안 작동하는 것은 24/7로 작동하는 것과 다릅니다. 따라서 우리는 서버리스 아키텍처, 기업급 기능 및 사용자 편의성에 집중했습니다.

가장 중요한 것은 시작하는 것입니다. 고객들은 종종 우리에게 연락하지 않고도 많은 것을 할 수 있다는 것을 놀라는 경우가 많습니다. 우리는 의도적으로这样 설계했습니다. 그러나 고객이 필요로 할 때 언제든지 도와드리겠습니다.

학계, 대규모 기술 연구(야후, 아마존), 기업가 정신 사이를 오가며 경력을 쌓았습니다. 이러한 다양한 환경이 파인콘을 구축하는 데 어떻게 영향을 미쳤는지 설명해 주시겠습니까?

학계는 제일 원리에서 생각하는 방법을 가르쳤습니다. 아마존과 야후에서 나는 단순한 데이터 플랫폼을 구축하는 방법을 배웠습니다.

기업가 정신은 최고의 기술이 실제 문제를 해결할 수 있는 방법으로 승리한다는 것을 가르쳤습니다.

이 혼합은 우리가 구축하는 데 매우 중요합니다. 우리는 연구 논문을 쓰거나 기술을 위해 기술을 구축하는 것이 아닙니다. 모든 혁신은 개발자의 삶을 쉽게 하고, 기업의 응용 프로그램을 더 강력하게 만들어야 합니다.

검색과 AI의 hội수는 컴퓨팅에서 가장 큰 변화 중 하나로 느껴집니다. 5년 내에 이 분야가 어디로 향할지, 그리고 파인콘의 작업이 어떻게 이 미래를 형성할지 설명해 주시겠습니까?

검색은 대화형이고 맥락적인 방향으로 진행될 것입니다. 5년 후에는 “검색”을 하지 않고, 의도, 맥락, 역사 등을 이해하는 AI 시스템과 대화할 것입니다. 모든 상호작용은 실시간으로 업데이트되는 방대한 지식 베이스에 의해 정보를 제공할 것입니다.

우리는 이러한 인프라를 구축하고 있습니다. 우리의 벡터 데이터베이스는 시작에 불과합니다. 나는 모든 응용 프로그램에 내장된 맥락, AI가 데이터에 기반하여 추론할 수 있는 미래를 보습니다. 검색과 아는 것의 경계가消滅하는 미래를 보입니다.

최고 과학자로서, 데이터, 모델 및 프로토 타입에 더 많이 참여할 것입니다. 현재 어떤 연구 분야에 가장 관심이 있습니까?

오, 어디부터 시작해야 할까요? 단기적으로는 효율성과 사용자 편의성에 대해 더 깊이研究하고 싶습니다. 벡터 검색을 10배 빠르게 만들면서 10배 더 저렴하게 만들 수 있을까요? 우리의 API를 오늘보다 더 단순하게 만들 수 있을까요? 이것들은 어려운 문제입니다.

장기적으로는 검색과 추론의 교차점에 대해 집착합니다. 관련 사실을 찾는 것뿐만 아니라, 그 사이의 관계를 이해하는 시스템을 구축하는 방법은 무엇일까요? 그리고 그 맥락을 사용하여 지식 있는 AI와 더 강력한 에이전트를 생성하는 방법은 무엇일까요?

마지막으로, 개인적으로 CEO 역할에서 물러난 후, 이 전환에서 가장 흥奋하는 것은 무엇이며, 파인콘의 다음 단계에서 어떤 돌파구를 기대합니까?

나는 코드에 깊이涉及되어 있고, 연구 팀과 함께 일하며, 2시의 “와, 이것이 실제로 작동합니다!” 순간을 경험할 때 가장 행복합니다.

私の 꿈은 검색을 så 좋게 만들어서, 개발자가 맥락있는 응용 프로그램을 구축할 때, 임베딩이나 인덱스, 또는その他의 것에 대해 생각하지 않아도 되도록 하는 것입니다. 그것이 그냥 작동합니다.

우리는 AI와 데이터가 hội수하는 놀라운 순간에 있습니다. 잠재력은 무한하며, 나는 이 미래를 지금 만들기 위해 매일을 보내고 있습니다.

감사합니다. 파인콘에 대해 더 알고 싶은 독자는 파인콘을 방문하십시오.