Edo Liberty, Pendiri dan Ilmuwan Utama di Pinecone – Seri Wawancara

Edo Liberty, Pendiri dan Ilmuwan Utama di Pinecone, adalah seorang ahli terkemuka di bidang sistem data skala besar dan pembelajaran mesin. Sebelum meluncurkan Pinecone—basis data vektor yang dibangun untuk kinerja dan skala—he adalah Direktur Penelitian di AWS dan Kepala Laboratorium AI Amazon (AMZN ), di mana timnya mengembangkan teknologi inti di balik SageMaker, OpenSearch, Kinesis, dan lain-lain. Sebelumnya, ia memimpin laboratorium penelitian Yahoo di New York, memajukan platform dan aplikasi pembelajaran mesin di bidang pencarian, periklanan, dan keamanan. Penelitiannya berfokus pada algoritma dan fondasi matematika untuk menangani dataset besar, mencakup reduksi dimensionalitas, clustering, streaming, dan aljabar linear skala besar.

Pinecone adalah basis data vektor yang sepenuhnya dikelola yang dibangun untuk memungkinkan pencarian yang efisien dan skalabel di seluruh dataset dinamis yang besar. Ini mendukung baik embedding yang padat dan sparse, pengindeksan waktu nyata, dan filtering berbasis metadata sambil terintegrasi dengan awan, model, dan kerangka kerja terkemuka. Dengan auto-scaling tanpa server, keamanan kelas perusahaan, dan standar kepatuhan seperti SOC 2, ISO 27001, GDPR, dan HIPAA, Pinecone menyediakan fondasi yang dapat diandalkan untuk mengembangkan aplikasi AI skala besar.

Anda mendirikan Pinecone pada 2019 setelah memimpin penelitian di Amazon AI Labs dan membangun sistem seperti SageMaker. Apa yang menginspirasi Anda untuk meluncurkan Pinecone dan fokus secara khusus pada basis data vektor?

Di AWS, tim ML kami membangun sistem yang luar biasa, tetapi ketika datang ke memori, tidak ada cara untuk melakukan pencarian semantik melalui jumlah data tak terstruktur yang sangat besar. Ini memerlukan insinyur yang sangat spesialis yang tahu cara membangun solusi pencarian vektor yang kompleks. Saya tahu bahwa jika ada cara bagi orang untuk dengan mudah mengakses kekayaan semantik yang ditangkap vektor dan menggabungkannya dengan model yang canggih, maka siapa pun dapat mempercepat nilai AI untuk diri mereka sendiri. Jadi, saya meninggalkan AWS dengan tujuan untuk benar-benar mengubah cara membuatnya semudah mungkin untuk mendapatkan nilai maksimal dari data tak terstruktur milik sendiri menggunakan kekuatan AI.

Pinecone telah berkembang menjadi perusahaan yang mendefinisikan ruang basis data vektor. Dengan melihat kembali, apa tantangan teknis atau pasar terbesar yang Anda hadapi untuk membangun kategori baru ini?

Tantangan terbesar? Tidak ada yang tahu apa itu basis data vektor! Kami harus mendidik pasar tentang apa yang kami bangun dan mengapa itu penting. Kami bertanya kepada pelanggan kami apa yang mereka sebutkan dan mereka mengatakan kepada kami bahwa itu adalah basis data vektor.

Ketika orang lain mulai memahami, mereka akan bertanya mengapa mereka tidak bisa menggunakan sumber terbuka? Dan kami harus menjelaskan semua keterbatasan sumber terbuka dan perdagangan antara skala dan kinerja yang akan mereka dapatkan – dan, setelah semua itu, mereka masih memerlukan insinyur berpengalaman untuk membangun infrastruktur mereka. Itulah mengapa kami selalu menjadi layanan yang dikelola dan fokus pada pengalaman pengguna. Sistem kami sangat kompleks di balik layar karena Anda memerlukan infrastruktur khusus untuk pencarian kesamaan miliaran. Tetapi kami membuatnya dapat diakses dengan panggilan API yang dapat digunakan oleh setiap pengembang.

Anda baru-baru ini bergeser dari CEO ke Ilmuwan Utama, membawa Ash Ashutosh untuk memimpin perusahaan. Apa yang memotivasi keputusan ini, dan bagaimana Anda melihat peran Anda berkembang dalam babak berikutnya Pinecone?

Pinecone, sebagai perusahaan, adalah perusahaan AI dan penelitian-pusat. Kami mencapai titik ini hari ini karena kami telah mendefinisikan kembali pencarian, sistem, dan algoritma. Dan, kami telah sangat aktif secara akademis, menerbitkan laporan teknis dan makalah, memberikan ceramah dan mendidik pasar, bahkan menulis buku teks dan memberikan kursus universitas tentang AI dan Memori. Ketika perusahaan tumbuh, kami perlu memformalkan upaya ini di bawah laboratorium penelitian yang terpisah dari bisnis lainnya. Pikirkan tentang DeepMind dan Google (GOOGL ) sebagai contoh. Ke depan, saya akan fokus energi saya pada memimpin penelitian, membuat AI yang berpengetahuan, dan membangun serangkaian produk kontekstual berikutnya dari Pinecone.

Di posting blog Anda, Anda menulis tentang fokus pada “membuat AI yang berpengetahuan.” Apa yang dimaksud dengan ini dalam praktek dan bagaimana teknologi Pinecone secara unik diposisikan untuk memungkinkan hal ini?

AI tanpa memori seperti orang yang cerdas dengan amnesia: banyak kecerdasan, tetapi tidak ada konteks. “Membuat AI yang berpengetahuan” berarti memberi sistem AI kemampuan untuk mengakses, memahami, dan bernalar atas jumlah informasi yang sangat besar dalam waktu nyata.

Kami memungkinkan aplikasi AI-powered untuk memberikan wawasan yang relevan dalam waktu nyata, diambil dari data yang dipahami dan diatur secara semantik dan memastikan bahwa sistem AI tidak hanya menebak, tetapi dapat mengambil dan mensintesis pengetahuan sesuai permintaan. Ini menghasilkan output yang lebih akurat, lebih terinformasi, dan lebih mutakhir untuk pengguna akhir.

Setelah mengajar “Memori Jangka Panjang di AI” di Princeton, bagaimana Anda melihat hubungan antara basis data vektor dan masa depan model AI? Apakah Anda percaya bahwa memori dan konteks adalah bahan yang hilang untuk model besar saat ini?

Tentu. LLM adalah mesin pencocokan pola – yang brilian, tetapi masih secara fundamental terbatas oleh data pelatihan yang dipotong dan jendela konteks. Kursus yang saya ajarkan dengan Matthijs Douze dari Meta berfokus pada algoritma yang membuat pencarian vektor memungkinkan di atas jumlah data yang sangat besar. Masa depan bukanlah model yang lebih besar, tetapi pengambilan yang lebih pintar atas lebih banyak data, dalam waktu nyata.

Banyak perusahaan kesulitan dalam memindahkan AI dari pilot ke penerapan skala produksi. Bagaimana Pinecone membantu menjembatani kesenjangan ini, dan apa praktik terbaik yang Anda amati dari pelanggan yang sukses?

Gap biasanya turun ke tiga hal: kinerja (dan biaya) pada skala, keamanan, dan kompleksitas. Demo yang bekerja dengan 10 juta dokumen runtuh pada 10 miliar. Menjalankan sesuatu selama satu jam berbeda dari menjalankannya 24/7 dengan tidak ada toleransi untuk downtime. Itulah mengapa kami telah mengobsesi arsitektur tanpa server, fitur kelas perusahaan, dan kemudahan penggunaan.

Anda telah menghabiskan karir Anda berpindah antara akademisi, penelitian teknologi besar (Yahoo, AWS), dan kewirausahaan. Bagaimana lingkungan yang berbeda ini membentuk pendekatan Anda dalam membangun Pinecone?

Akademisi mengajarkan saya untuk berpikir dari prinsip-prinsip dasar. Bagaimana mengabstrak dan merancang solusi yang hebat. Di Yahoo dan AWS, saya belajar bagaimana membangun platform data sederhana yang disukai insinyur.

Kewirausahaan adalah tempat Anda belajar bahwa teknologi terbaik hanya menang jika itu memecahkan masalah nyata dengan cara yang dapat digunakan orang. Campuran ini sangat penting untuk apa yang kami bangun. Kami tidak hanya menulis makalah penelitian atau membangun teknologi untuk teknologi itu sendiri. Setiap inovasi harus membuat kehidupan pengembang lebih mudah dan aplikasi perusahaan lebih kuat.

Konvergensi pencarian dan AI terasa seperti salah satu pergeseran terbesar dalam komputasi. Di mana Anda pikir ini menuju dalam lima tahun ke depan, dan bagaimana pekerjaan Pinecone akan membantu membentuk masa depan itu?

Pencarian menjadi konversasional dan kontekstual. Dalam lima tahun, Anda tidak akan “mencari” – Anda akan memiliki dialog dengan sistem AI yang memahami tidak hanya pertanyaan Anda tetapi niat, konteks, dan sejarah Anda. Setiap interaksi akan diberitahu oleh basis pengetahuan yang sangat besar yang diperbarui dalam waktu nyata.

Kami membangun infrastruktur untuk ini. Basis data vektor kami hanya awal. Saya melihat masa depan di mana setiap aplikasi memiliki konteks yang tertanam, di mana AI tidak berhalusinasi karena itu didasarkan pada data, di mana batas antara pencarian dan mengetahui menghilang.

Sebagai Ilmuwan Utama, Anda akan lebih banyak berinteraksi dengan data, model, dan prototipe. Apa bidang penelitian yang paling Anda minati untuk digali sekarang?

Oh, di mana saya harus memulai? Untuk jangka pendek-menengah, saya sedang mendalami efisiensi dan kemudahan penggunaan. Bisakah kami membuat pencarian vektor 10x lebih cepat sambil membuatnya 10x lebih murah? Bisakah kami membuat API kami bahkan lebih sederhana dari yang ada saat ini? Ini adalah masalah yang sulit.

Akhirnya, pada tingkat pribadi: mengundurkan diri dari peran CEO, apa yang paling Anda minati tentang transisi ini, dan apa temuan yang Anda harapkan untuk dikunci dalam tahap berikutnya Pinecone?

Saya paling bahagia ketika saya berada di dalam kode, bekerja dengan tim penelitian kami, memiliki momen “wow, ini benar-benar bekerja!” pada pukul 2 pagi.

Mimpi saya? Membuat pengambilan sehingga baik sehingga itu menjadi tidak terlihat. Di mana pengembang dapat membangun aplikasi kontekstual tanpa memikirkan tentang embedding atau indeks atau apa pun dan itu hanya bekerja.

Kami berada di momen luar biasa di mana AI dan data berkumpul. Potensinya tidak terbatas dan saya dapat menghabiskan hari-hari saya membuat masa depan itu terjadi sekarang.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Pinecone.