Sam Stone, PM, Pricing di Opendoor – Seri Wawancara

Sam sangat bersemangat untuk membangun produk di persimpangan keuangan dan machine learning. Ia saat ini menjabat sebagai Kepala Produk untuk Kelompok Pricing di Opendoor, sebuah startup tahap akhir yang menggunakan algoritma untuk membeli dan menjual rumah secara instan, sehingga menghemat waktu dan ketidakpastian bagi pemilik rumah dalam proses listing dan hosting.

Apa yang awalnya menarik Anda untuk mempelajari machine learning dan ilmu data?

Setelah lulus kuliah, saya bekerja untuk sebuah perusahaan jasa profesional besar yang merekrut ratusan lulusan kuliah untuk posisi entry-level yang sama. Ketika saya terlibat dalam proses perekrutan, saya terkejut dan kecewa dengan perbedaan pendapat yang sangat besar di antara karyawan perusahaan tentang atribut kandidat yang mempengaruhi kesuksesan. Ini tampak seperti masalah yang sangat penting, di mana kejelasan sangat dibutuhkan. Namun, saya juga sangat antusias karena kita memiliki data yang cukup tentang kandidat dan hasil perekrutan sebelumnya yang belum pernah dianalisis secara mendalam. Jadi, saya mulai mengerjakan proyek tersebut, menganggapnya sebagai masalah statistik, menggunakan alat-alat dasar seperti regresi linier. Seiring waktu, proyek tersebut berkembang menjadi sebuah startup, dan metode yang kita gunakan menjadi lebih canggih. Misalnya, kita ingin memproses audio dan teks tidak terstruktur dari wawancara secara langsung, dan itu membuat kita mengadopsi model machine learning yang lebih kuat seperti jaringan saraf.

Bisakah Anda membahas tentang model valuasi otomatis Opendoor (OVM), dan bagaimana itu menghitung nilai estimasi sebuah properti?

Model Valuasi Opendoor (OVM) adalah bagian inti dari bisnis kita dan mempengaruhi banyak aplikasi harga downstream.

Dalam banyak hal, OVM berperilaku seperti pembeli atau penjual biasa—ia melihat ke seluruh lingkungan, termasuk jenis dan harga rumah yang baru saja dijual. Namun, ketika datang ke penentuan harga rumah, terutama mengingat keanekaragaman rumah di seluruh Amerika Serikat, tidak cukup hanya untuk melihat harga penjualan yang sebanding. Ini jauh lebih kompleks daripada itu. Kita mempertimbangkan berbagai faktor, mulai dari luas tanah dan ruang belakang hingga jumlah kamar mandi dan kamar tidur, tata letak, jalan sibuk, renovasi, dan banyak lagi. OVM diberi makan oleh berbagai sumber data, termasuk informasi pajak properti, tren pasar, serta banyak sinyal khusus rumah dan lingkungan. Kita juga mencari penyesuaian manusia sebelumnya pada rumah untuk menghitung nilai penyesuaian rata-rata. Dan kita dapat memperbaiki nilai-nilai ini dengan skala. Ketika kita mengumpulkan lebih banyak data penyesuaian manusia untuk pasar, dataset tumbuh dan memperbaiki kinerja OVM. Ini adalah loop umpan balik yang terus memperbaiki kinerja seiring waktu.

Selain sangat akurat, itu juga harus berjalan dengan latency rendah dan cakupan tinggi. Artinya, setiap kali kita memasuki pasar baru, kita perlu memperluas kemampuan OVM untuk memastikan bahwa itu dapat melayani pemilik rumah di seluruh lingkungan dan jenis rumah.

Apa beberapa metode machine learning yang digunakan?

Ketika kita pertama kali membangun OVM, kita sangat bergantung pada model statistik linier untuk memahami proses pengambilan keputusan pembeli dan penjual. Namun, seiring waktu, OVM berkembang dan sekarang didasarkan pada jaringan saraf, khususnya arsitektur yang disebut Jaringan Siamese. Kita menggunakan ini untuk mengintegrasikan perilaku pembeli dan penjual, termasuk memilih rumah yang sebanding, menyesuaikan, dan memberi bobot. Ini sangat penting karena kita telah menemukan bahwa untuk mencapai akurasi tinggi, model harus mencerminkan langkah-langkah kunci yang diikuti oleh peserta pasar dalam arsitektur mereka.

Salah satu kelebihan menggunakan jaringan saraf adalah bahwa itu memiliki presisi dan fleksibilitas untuk mengolah data di semua pasar dan mendeteksi nuansa lokal yang halus. Sebagai hasilnya, ketika Opendoor meluncurkan di pasar baru atau memperluas inventori di pasar yang ada, kita dapat menggunakan model yang sama, melewati sebagian besar pekerjaan infrastruktur yang datang dari membuat model produksi baru. Sebagai gantinya, kita menjalankan data baru melalui model yang ada, yang secara signifikan mengurangi waktu yang dihabiskan oleh insinyur kita dalam proses tersebut.

Ada juga banyak metode machine learning lainnya yang kita gunakan di Opendoor, selain jaringan saraf. Ini termasuk, tetapi tidak terbatas pada, pohon keputusan, teknik clustering, sistem peringkat, dan algoritma optimasi.

Opendoor bergantung pada jumlah data yang besar, dari mana data tersebut dikumpulkan?

Data yang paling berharga bagi algoritma kita juga seringkali data yang paling sulit ditemukan. Ini adalah data yang kita generasikan sendiri atau kembangkan melalui hubungan yang dipatenkan. Kita menggunakan kombinasi data internal dan data real estat pihak ketiga, termasuk data poin dari listing, seperti tanggal penjualan, jumlah kamar tidur dan kamar mandi, luas tanah, dan banyak lagi. Selain itu, kita melihat fitur yang menunjukkan keunikan rumah, yang merupakan hal-hal yang hanya dapat disediakan oleh keahlian manusia, seperti pencahayaan, kebisingan jalan, kualitas peralatan dan finishing, dan banyak lagi. Kita mengumpulkan data dari rumah yang sudah ada di pasar serta rumah di luar pasar di mana pemilik telah berbagi informasi dengan kita.

Bisakah Anda membahas tentang upaya Opendoor untuk memperbaiki kecepatan dan keandalan infrastruktur yang memungkinkan penggunaan data mentah?

Sebelum meluncurkan di pasar baru, kita mengumpulkan banyak data historis. Data berkualitas tinggi sangat penting untuk melatih algoritma kita dan operator lokal kita untuk memastikan mereka memahami variasi dalam pasar tersebut. Untuk mempercepat, kita telah membangun alat pemetaan data yang fleksibel dan alat untuk secara otomatis menilai cakupan bidang data baru. Dengan alat-alat ini, kita dapat mengumpulkan dan memvalidasi sejumlah besar data transaksi real estat historis dalam hitungan jam atau hari, bukan minggu.

Strategi lain yang kita investasikan adalah pemantauan kualitas data yang proaktif dan otomatis. Kita telah mengatur sistem yang memeriksa distribusi data yang kita kumpulkan dan transformasikan pada setiap tahap proses, secara real-time. Misalnya, jika kita mengharapkan bahwa di pasar tertentu 20% dari listing baru rata-rata adalah apartemen, dan kemudian hari ini 50% dari listing baru diklasifikasikan sebagai apartemen, itu akan memicu peringatan untuk insinyur untuk menyelidiki.

Bagaimana penilaian manusia yang ahli digabungkan dengan algoritma machine learning untuk menciptakan loop umpan balik yang terus memperbaiki kinerja?

Ahli harga internal kita memainkan peran besar dalam keputusan harga kita, bekerja bersama dengan algoritma kita. Di mana mesin masih memiliki kebutaan, operator ahli kita mengisi, dan kita sangat mengandalkan mereka melalui berbagai tahap. Misalnya, mereka menambahkan atau memverifikasi data input, seperti kualitas proyek renovasi tertentu. Mereka membuat keputusan menengah tentang fitur yang mungkin sulit untuk dievaluasi, dan mereka juga membuat keputusan yang menghadap pengguna, seperti penawaran yang harus kita terima. Unsur manusia akan selalu menjadi kritis dalam strategi kita, dan kita percaya bahwa menggabungkan ahli dan algoritma adalah yang terbaik.

Bisakah Anda mendefinisikan backtesting dan membahas pentingnya di Opendoor?

Backtesting adalah cara untuk menilai akurasi model menggunakan data historis. Misalnya, kita mungkin melatih Model Valuasi Opendoor pada data dari Januari 2015 hingga Januari 2021. Dalam konteks ini, “melatih” berarti kita memberi makan input historis, seperti atribut rumah, dan hasil, seperti harga rumah yang terjual, ke model. Dan, sebagai gantinya, model tersebut mempelajari hubungan antara input dan hasil. Kemudian kita mengambil model ini, yang mencerminkan hubungan yang baru dipelajari, dan kita memberi makan set data historis lain, misalnya dari Februari 2021. Karena data tersebut historis, kita tahu hasilnya, dan kita dapat mengukur seberapa jauh hasil tersebut menyimpang dari prediksi.

Proses ini sangat penting di Opendoor, dan digunakan untuk semua produk machine learning kita. Ini mengurangi risiko masalah yang disebut overfitting, yaitu ketika model machine learning mengidentifikasi pola dalam data historis yang sebenarnya tidak ada. Misalnya, korelasi semu yang tidak membantu dalam peramalan dunia nyata. Ini juga menyelamatkan kita dari menjalankan tes A/B yang mahal di dunia nyata pada produk dan strategi baru yang dapat dihilangkan berdasarkan data historis.

Apakah ada yang lain yang ingin Anda bagikan tentang Opendoor?

Kita sedang merekrut! Jika Anda tertarik untuk membangun masa depan real estat, dan/atau bekerja di persimpangan fintech, machine learning, dan produk konsumen, silakan melamar! Kita memiliki posisi terbuka di berbagai fungsi dan kota. Lihat halaman karir kita di sini.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Opendoor.