Sam Stone, PM, Pricing at Opendoor – Interview Series

Sam è appassionato di costruire prodotti all’intersezione di finanza e apprendimento automatico. Attualmente è il Responsabile del Prodotto per il Gruppo di Prezzi presso Opendoor, una startup in fase avanzata che utilizza algoritmi per acquistare e vendere case istantaneamente, risparmiando ai proprietari di case il fastidio e l’incertezza della messa in lista e dell’organizzazione di visite.

Cosa ti ha inizialmente attirato verso l’apprendimento automatico e la scienza dei dati?

Dopo il college, ho lavorato per una grande società di servizi professionali che ha assunto centinaia di laureati nella stessa posizione di ingresso. Man mano che mi sono impegnato nelle assunzioni, sono stato colpito e sconvolto da quanto le opinioni delle persone all’interno della società differivano ampiamente su quali attributi dei candidati portavano al successo. Sembra un problema molto importante, dove mancava chiarezza. Ma ero entusiasta del fatto che avevamo molti dati sui candidati e sui risultati dei nuovi assunti che non erano mai stati collegati o analizzati a fondo. Quindi ho iniziato a lavorarci, trattandolo come un problema statistico, utilizzando strumenti di base come la regressione lineare. Nel tempo, il progetto è cresciuto in una startup e i metodi che abbiamo utilizzato sono diventati più sofisticati. Ad esempio, volevamo elaborare direttamente audio e testo non strutturati dalle interviste e questo ci ha portato ad adottare modelli di apprendimento automatico più potenti come le reti neurali.

Puoi discutere del modello di valutazione automatizzato di Opendoor (OVM) e di come calcola il valore stimato di una proprietà?

Il modello di valutazione di Opendoor (OVM) è un pezzo fondamentale del nostro business e alimenta molte applicazioni di prezzi a valle.

In molti modi, OVM si comporta come un compratore o venditore tipico – guarda attraverso un quartiere, compresi i tipi e i prezzi di case recentemente vendute. Tuttavia, quando si tratta di prezzi delle case, specialmente data la diversità di case in tutto gli Stati Uniti, non basta guardare solo ai prezzi di vendite comparabili. È molto più complesso di questo. Teniamo conto di una varietà di fattori, che vanno dalla metratura e dallo spazio del giardino al numero di bagni e camere da letto, layout, strade trafficate, aggiornamenti e molto altro. OVM è alimentato da una moltitudine di fonti di dati, comprese informazioni fiscali sulla proprietà, tendenze del mercato e molti segnali specifici della casa e del quartiere. Cerchiamo anche di calcolare il valore medio di aggiustamento precedente per le case per migliorare le prestazioni dell’OVM. E siamo in grado di raffinare questi valori con la scala. Man mano che raccogliamo più dati di aggiustamento umano per i mercati, l’insieme dei dati cresce e migliora le prestazioni dell’OVM. È un ciclo di feedback che migliora costantemente le prestazioni nel tempo.

In aggiunta all’essere altamente preciso, deve funzionare con bassa latenza e alta copertura. Ciò significa che ogni volta che entriamo in un nuovo mercato, dobbiamo ampliare le capacità dell’OVM per assicurarci che possa servire i proprietari di case in tutto i quartieri e i tipi di case.

Quali sono alcune delle diverse metodologie di apprendimento automatico utilizzate?

Quando abbiamo iniziato a costruire OVM, ci siamo affidati principalmente a modelli statistici lineari per comprendere meglio il processo decisionale dei nostri acquirenti e venditori. Ma nel tempo, OVM si è evoluto e ora si basa su una rete neurale, in particolare su un’architettura chiamata rete Siamese. Utilizziamo questo per incorporare i comportamenti degli acquirenti e dei venditori, compreso la selezione di case comparabili, l’aggiustamento e il ponderamento. Ciò è vitale perché abbiamo scoperto che per raggiungere un’elevata precisione, i modelli devono riflettere questi passaggi chiave che i partecipanti al mercato seguono nella loro architettura.

Uno dei molti vantaggi dell’utilizzo di una rete neurale è che ha la precisione e la flessibilità per elaborare dati in tutti i mercati e rilevare sfumature locali granulari. Di conseguenza, quando Opendoor lancia un nuovo mercato o espande l’inventario in un mercato esistente, possiamo utilizzare lo stesso modello, bypassando gran parte del lavoro di infrastruttura di ingegneria che deriva dall’istanziare un nuovo modello di produzione. Invece, eseguiamo i nuovi dati attraverso il modello esistente, il che riduce notevolmente il tempo che i nostri ingegneri impiegano nel processo.

Ci sono anche molte altre metodologie di apprendimento automatico che utilizziamo in Opendoor, oltre alle reti neurali. Ciò include, ma non è limitato a, alberi decisionali, tecniche di clustering, sistemi di classificazione e algoritmi di ottimizzazione.

Opendoor si basa su enormi quantità di dati, dove vengono raccolti questi dati?

I dati che i nostri algoritmi trovano più preziosi sono anche spesso i dati più difficili da trovare. Questo è il dato che generiamo noi stessi o sviluppiamo attraverso relazioni proprietarie. Utilizziamo una combinazione di dati interni e dati immobiliari di terze parti, compresi punti dati dalle liste, come la data di vendita, il numero di camere da letto e bagni, la metratura e molto altro. Inoltre, esaminiamo le caratteristiche che indicano l’unicità delle case, che sono cose che solo l’esperienza umana può fornire, come l’illuminazione, il rumore della strada, la qualità degli elettrodomestici e dei finimenti e molto altro. Raccogliamo dati dalle case che sono già sul mercato, nonché dalle case fuori mercato dove i proprietari hanno condiviso informazioni con noi.

Puoi discutere alcuni degli sforzi di Opendoor per migliorare la velocità e l’affidabilità dell’infrastruttura che alimenta l’ingestione grezza dei dati?

Prima del lancio di un nuovo mercato, ingeriamo molti anni di dati storici. I dati di alta qualità sono fondamentali per addestrare sia i nostri algoritmi che i nostri operatori locali per assicurarci che comprendano le variazioni all’interno di quel mercato. Per migliorare la velocità, la qualità e l’affidabilità, abbiamo costruito strumenti di mappatura dei dati flessibili e strumenti per valutare automaticamente la copertura di nuovi campi di dati. Con questi strumenti in atto, ci vuole solo questione di ore o giorni per ingerire e convalidare grandi quantità di dati storici di transazioni immobiliari, invece di settimane.

Un’altra strategia in cui abbiamo investito è il monitoraggio della qualità dei dati automatizzato e proattivo. Abbiamo configurato sistemi che controllano le distribuzioni dei dati che stiamo ingerendo e trasformando ad ogni passaggio del processo, in tempo reale. Ad esempio, se ci aspettiamo che in un particolare mercato il 20% delle nuove liste sia in media costituito da appartamenti, e poi oggi il 50% delle nuove liste è classificato come appartamenti, ciò attiverà un allarme per un ingegnere da indagare.

Come viene combinato il giudizio umano esperto con gli algoritmi di apprendimento automatico per creare cicli di feedback di prestazioni sempre migliorate?

I nostri esperti di prezzi interni svolgono un ruolo enorme in tutte le nostre decisioni di prezzi, lavorando in tandem con i nostri algoritmi. Dove le macchine hanno ancora punti ciechi, i nostri operatori esperti li colmano, e ci affidiamo a loro in varie fasi. Ad esempio, aggiungono o verificano i dati di input, come la qualità di determinati progetti di ristrutturazione. Prendono decisioni intermedie su quali caratteristiche potrebbero essere difficili da valutare e prendono anche decisioni di interfaccia utente, come quali offerte dobbiamo accettare. L’elemento umano sarà sempre critico per la nostra strategia e crediamo che sposare esperti e algoritmi sia il meglio.

Puoi definire il backtesting e discutere della sua importanza in Opendoor?

Il backtesting è un modo per valutare l’accuratezza di un modello utilizzando dati storici. Ad esempio, potremmo addestrare il modello di valutazione di Opendoor con dati da gennaio 2015 a gennaio 2021. In questo contesto, “addestrare” significa che forniamo input storici, come attributi della casa, e risultati, come prezzi di case vendute, al modello. E, a sua volta, il modello apprende una relazione tra input e output. Quindi prendiamo questo modello, che riflette queste nuove relazioni apprese, e lo alimentiamo con un altro set di dati storici, diciamo da febbraio 2021. Poiché i dati sono storici, conosciamo i risultati e possiamo misurare quanto questi divergono dalle previsioni.

Questo processo è molto importante in Opendoor e viene utilizzato per tutti i nostri prodotti di apprendimento automatico. Riduce il rischio di un problema chiamato overfitting, che è quando un modello di apprendimento automatico identifica pattern nei dati storici che non sono realmente lì. Ad esempio, correlazioni spurie che non aiutano con la previsione nel mondo reale. Ci salva anche dall’eseguire costosi test A/B nel mondo reale su nuovi prodotti e strategie che possono essere eliminate in base ai dati storici.

C’è qualcos’altro che ti piacerebbe condividere su Opendoor?

Stiamo assumendo! Se sei interessato a costruire il futuro del settore immobiliare e/o lavorare all’intersezione di fintech, apprendimento automatico e prodotti per il consumatore, applica! Abbiamo ruoli aperti in tutte le funzioni e le città. Controlla la nostra pagina delle carriere qui.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Opendoor.