Alexandr Yarats, Kepala Pencarian di Perplexity – Seri Wawancara

Alexandr Yarats adalah Kepala Pencarian di Perplexity AI. Ia memulai karirnya di Yandex pada 2017, bersamaan dengan studi di Yandex School of Data Analysis. Tahun-tahun awalnya sangat intensif namun bermanfaat, mendorong pertumbuhannya menjadi Engineering Team Lead. Dipicu oleh aspirasinya untuk bekerja dengan teknologi raksasa, ia bergabung dengan Google (GOOGL ) pada 2022 sebagai Senior Software Engineer, fokus pada tim Google Assistant (kemudian Google Bard). Ia kemudian pindah ke Perplexity sebagai Kepala Pencarian.

Perplexity AI adalah mesin pencari dan penelitian berbasis AI yang menjawab pertanyaan menggunakan teks prediktif bahasa alami. Diluncurkan pada 2022, Perplexity menghasilkan jawaban menggunakan sumber dari web dan menyertakan tautan dalam teks jawaban.

Apa yang awalnya membuat Anda tertarik dengan pembelajaran mesin?

Minat saya dalam pembelajaran mesin (ML) adalah proses bertahap. Selama tahun-tahun sekolah, saya menghabiskan banyak waktu untuk mempelajari matematika, teori probabilitas, dan statistik, dan mendapatkan kesempatan untuk bermain dengan algoritma pembelajaran mesin klasik seperti regresi linier dan KNN. Ini sangat menarik untuk melihat bagaimana Anda dapat membangun fungsi prediktif langsung dari data dan kemudian menggunakannya untuk memprediksi data yang tidak terlihat. Minat ini membawa saya ke Yandex School of Data Analysis, program master pembelajaran mesin yang sangat kompetitif di Rusia (hanya 200 orang yang diterima setiap tahun). Di sana, saya belajar banyak tentang algoritma pembelajaran mesin yang lebih maju dan membangun intuisi saya. Poin yang paling kritis selama proses ini adalah ketika saya mempelajari tentang jaringan saraf dan pembelajaran dalam. Ini menjadi sangat jelas bagi saya bahwa ini adalah sesuatu yang ingin saya kejar selama beberapa dekade ke depan.

Sebelumnya Anda bekerja di Google sebagai Senior Software Engineer selama setahun, apa saja yang menjadi pengalaman utama Anda dari pengalaman ini?

Sebelum bergabung dengan Google, saya menghabiskan lebih dari empat tahun di Yandex, langsung setelah lulus dari Yandex School of Data Analysis. Di sana, saya memimpin tim yang mengembangkan berbagai metode pembelajaran mesin untuk Yandex Taxi (analog Uber di Rusia). Saya bergabung dengan grup ini sejak awal dan memiliki kesempatan untuk bekerja dalam tim yang kompak dan dinamis yang tumbuh pesat selama empat tahun, baik dalam jumlah kepala (dari 30 menjadi 500 orang) dan kapitalisasi pasar (menjadi penyedia layanan taksi terbesar di Rusia, mengalahkan Uber dan lain-lain).

Selama waktu ini, saya memiliki kesempatan untuk membangun banyak hal dari awal dan meluncurkan beberapa proyek dari nol ke satu. Salah satu proyek terakhir yang saya kerjakan di sana adalah membangun chatbot untuk dukungan layanan. Di sana, saya mendapatkan gambaran pertama tentang kekuatan model bahasa besar dan terkesan dengan betapa pentingnya mereka di masa depan. Pemahaman ini membawa saya ke Google, di mana saya bergabung dengan tim Google Assistant, yang kemudian berganti nama menjadi Google Bard (salah satu pesaing Perplexity).

Di Google, saya memiliki kesempatan untuk mempelajari apa yang terlihat seperti infrastruktur kelas dunia, bagaimana Pencarian dan LLM bekerja, dan bagaimana mereka berinteraksi satu sama lain untuk memberikan jawaban yang akurat dan faktual. Ini adalah pengalaman belajar yang sangat baik, namun seiring waktu saya merasa frustrasi dengan kecepatan yang lambat di Google dan perasaan bahwa tidak ada yang pernah selesai. Saya ingin menemukan perusahaan yang bekerja pada pencarian dan LLM dan bergerak secepat, atau bahkan lebih cepat, daripada ketika saya di Yandex. Untungnya, ini terjadi secara alami.

Secara internal di Google, saya mulai melihat cuplikan Perplexity dan tugas yang memerlukan membandingkan Google Assistant dengan Perplexity. Ini membangkitkan minat saya pada perusahaan, dan setelah beberapa minggu penelitian, saya yakin bahwa saya ingin bekerja di sana, jadi saya menghubungi tim dan menawarkan jasa saya.

Bagaimana Anda mendefinisikan peran dan tanggung jawab Anda saat ini di Perplexity?

Saya saat ini menjabat sebagai kepala tim pencarian dan bertanggung jawab untuk membangun sistem pengambilan internal yang memungkinkan Perplexity. Tim pencarian kami bekerja pada membangun sistem pengambilan web, mesin pengambilan, dan algoritma peringkat. Tantangan ini memungkinkan saya untuk memanfaatkan pengalaman yang saya dapatkan di Google (bekerja pada Pencarian dan LLM) serta di Yandex. Di sisi lain, produk Perplexity menawarkan kesempatan unik untuk merancang ulang dan merekayasa kembali bagaimana sistem pengambilan seharusnya terlihat di dunia yang memiliki LLM yang sangat kuat. Misalnya, tidak lagi penting untuk mengoptimalkan algoritma peringkat untuk meningkatkan kemungkinan klik; sebaliknya, kami fokus pada meningkatkan kemanfaatan dan keakuratan jawaban kami. Ini adalah perbedaan mendasar antara mesin jawaban dan mesin pencari. Saya dan tim saya berusaha untuk membangun sesuatu yang akan melampaui tautan biru tradisional 10, dan saya tidak bisa membayangkan sesuatu yang lebih menarik untuk dikerjakan saat ini.

Bagaimana transisi di Perplexity dari mengembangkan alat teks-ke-SQL ke mengembangkan pencarian berbasis AI?

Kami awalnya bekerja pada membangun mesin teks-ke-SQL yang menyediakan mesin jawaban khusus dalam situasi di mana Anda perlu mendapatkan jawaban cepat berdasarkan data terstruktur (misalnya, spreadsheet atau tabel). Bekerja pada proyek teks-ke-SQL memungkinkan kami untuk memperoleh pemahaman yang lebih dalam tentang LLM dan RAG, dan membawa kami ke pemahaman kunci: teknologi ini jauh lebih kuat dan umum daripada yang kami pikirkan sebelumnya. Kami dengan cepat menyadari bahwa kami bisa melampaui sumber data terstruktur dan menangani data tidak terstruktur juga.

Apa saja tantangan dan wawasan utama selama transisi ini?

Tantangan utama selama transisi ini adalah mengalihkan perusahaan dari B2B ke B2C dan membangun kembali tumpukan infrastruktur untuk mendukung pencarian tidak terstruktur. Sangat cepat selama proses migrasi ini, kami menyadari bahwa jauh lebih menyenangkan untuk bekerja pada produk yang menghadap pelanggan karena Anda mulai menerima aliran umpan balik dan keterlibatan yang konstan, sesuatu yang tidak kami lihat banyak ketika kami membangun mesin teks-ke-SQL dan fokus pada solusi perusahaan.

Generasi-augmentasi pengambilan (RAG) tampaknya menjadi fondasi dari kemampuan pencarian Perplexity. Bagaimana Perplexity menggunakan RAG secara berbeda dibandingkan dengan platform lain, dan bagaimana ini mempengaruhi akurasi hasil pencarian?

RAG adalah konsep umum untuk memberikan pengetahuan eksternal kepada LLM. Sementara ide ini mungkin terlihat sederhana pada pandangan pertama, membangun sistem seperti itu yang melayani puluhan juta pengguna secara efisien dan akurat adalah tantangan yang signifikan. Kami harus merancang sistem ini dari awal dan membangun banyak komponen khusus yang terbukti kritis untuk mencapai akurasi dan kinerja terakhir. Kami merancang sistem kami di mana puluhan LLM (mulai dari besar hingga kecil) bekerja secara paralel untuk menangani satu permintaan pengguna dengan cepat dan efisien. Kami juga membangun infrastruktur pelatihan dan inferensi yang memungkinkan kami untuk melatih LLM bersama dengan pencarian dari ujung ke ujung, sehingga mereka terintegrasi erat. Ini secara signifikan mengurangi halusinasi dan meningkatkan kemanfaatan jawaban kami.

Dengan keterbatasan dibandingkan dengan sumber daya Google, bagaimana Perplexity mengelola strategi pengambilan web dan pengindeksan untuk tetap kompetitif dan memastikan informasi yang mutakhir?

Membangun indeks yang sebesar Google memerlukan waktu dan sumber daya yang cukup. Sebaliknya, kami fokus pada topik yang sering ditanyakan pengguna Perplexity. Ternyata sebagian besar pengguna kami menggunakan Perplexity sebagai asisten kerja/penelitian, dan banyak pertanyaan mencari bagian web yang berkualitas, tepercaya, dan bermanfaat. Ini adalah distribusi hukum kuasa, di mana Anda dapat mencapai hasil yang signifikan dengan pendekatan 80/20. Berdasarkan wawasan ini, kami dapat membangun indeks yang jauh lebih kompak yang dioptimalkan untuk kualitas dan kebenaran. Saat ini, kami menghabiskan waktu lebih sedikit untuk mengejar ekor, tetapi ketika kami menskalakan infrastruktur kami, kami juga akan mengejar ekor.

Bagaimana model bahasa besar (LLM) meningkatkan kemampuan pencarian Perplexity, dan apa yang membuatnya sangat efektif dalam memarsing dan menyajikan informasi dari web?

Kami menggunakan LLM di mana-mana, baik untuk pemrosesan waktu nyata maupun offline. LLM memungkinkan kami untuk fokus pada bagian yang paling penting dan relevan dari halaman web. Mereka melampaui apa pun sebelumnya dalam memaksimalkan rasio sinyal-ke-bisingan, yang membuatnya jauh lebih mudah untuk menangani banyak hal yang sebelumnya tidak dapat diatasi oleh tim kecil. Secara umum, ini mungkin adalah aspek yang paling penting dari LLM: mereka memungkinkan Anda untuk melakukan hal-hal yang canggih dengan tim yang sangat kecil.

Menghadap ke depan, apa saja tantangan teknologi atau pasar utama yang diantisipasi Perplexity?

Ketika kami melihat ke depan, tantangan teknologi yang paling penting bagi kami akan berpusat pada terus meningkatkan kemanfaatan dan akurasi jawaban kami. Kami bertujuan untuk meningkatkan cakupan dan kompleksitas jenis pertanyaan dan pertanyaan yang dapat kami jawab dengan andal. Bersama dengan ini, kami sangat peduli dengan kecepatan dan efisiensi pelayanan sistem kami dan akan fokus berat pada mengurangi biaya pelayanan sebanyak mungkin tanpa mengompromikan kualitas produk kami.

Menurut Anda, mengapa pendekatan Perplexity terhadap pencarian lebih unggul daripada pendekatan Google yang menilai situs web berdasarkan tautan balik, dan metrik peringkat mesin pencari lainnya?

Kami mengoptimalkan metrik peringkat yang sama sekali berbeda dari mesin pencari klasik. Tujuan peringkat kami dirancang untuk menggabungkan sistem pengambilan dan LLM secara asli. Pendekatan ini sangat berbeda dari mesin pencari klasik, yang mengoptimalkan kemungkinan klik atau impresi iklan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Perplexity AI.