Sam Stone, PM, Pricing at Opendoor – Intervista di Serie

Sam è appassionato di costruire prodotti all’intersezione di finanza e apprendimento automatico. Attualmente è il capo del prodotto per il gruppo di pricing di Opendoor, una startup in fase avanzata che utilizza algoritmi per acquistare e vendere case istantaneamente, risparmiando ai proprietari di casa la seccatura e l’incertezza della lista e dell’ospitazione.

Cosa ti ha inizialmente attirato verso l’apprendimento automatico e la scienza dei dati?

Dopo il college, ho lavorato per una grande società di servizi professionali che ha assunto centinaia di laureati nella stessa posizione di ingresso. Mentre mi sono impegnato nelle assunzioni, sono stato colpito e deluso da quanto le opinioni delle persone all’interno della società differivano ampiamente su quali attributi dei candidati portavano al successo. Sembra un problema molto importante, dove la chiarezza mancava. Ma ero entusiasta del fatto che avevamo molti dati sui candidati e sui risultati dei nuovi assunti che non erano mai stati collegati o analizzati a fondo. Quindi ho iniziato a lavorarci, trattandolo come un problema statistico, utilizzando strumenti di base come la regressione lineare. Nel tempo, il progetto è cresciuto in una startup e i metodi che abbiamo utilizzato sono diventati più sofisticati. Ad esempio, abbiamo voluto elaborare direttamente l’audio e il testo non strutturati dalle interviste e questo ci ha portato ad adottare modelli di apprendimento automatico più potenti come le reti neurali.

Puoi discutere del modello di valutazione automatizzato di Opendoor (OVM) e di come calcola il valore stimato di una proprietà?

Il modello di valutazione di Opendoor (OVM) è un pezzo fondamentale del nostro business e alimenta molte applicazioni di pricing a valle.

In molti modi, l’OVM si comporta come un acquirente o venditore tipico – guarda attraverso un quartiere, comprese le tipologie e i prezzi delle case vendute di recente. Tuttavia, quando si tratta di prezzi delle case, specialmente considerata la diversità delle case negli Stati Uniti, non è sufficiente guardare solo ai prezzi delle vendite comparabili. È molto più complesso di questo. Teniamo in considerazione una varietà di fattori, che vanno dalla metratura e dallo spazio del cortile al numero di bagni e camere da letto, layout, strade trafficate, miglioramenti e molto altro. L’OVM è alimentato da una molteplicità di fonti di dati, comprese le informazioni fiscali sulla proprietà, le tendenze del mercato e molti segnali specifici della casa e del quartiere. Cerchiamo anche gli aggiustamenti umani precedenti sulle case per calcolare il valore di aggiustamento medio. E siamo in grado di raffinare questi valori con la scala. Man mano che raccogliamo più dati di aggiustamento umano per i mercati, il set di dati cresce e migliora le prestazioni dell’OVM. È un ciclo di feedback che migliora costantemente le prestazioni nel tempo.

Oltre ad essere molto preciso, deve funzionare con bassa latenza e alta copertura. Ciò significa che ogni volta che entriamo in un nuovo mercato, dobbiamo estendere le capacità dell’OVM per garantire che possa servire i proprietari di casa in tutti i quartieri e tipi di case.

Quali sono alcune delle diverse metodologie di apprendimento automatico utilizzate?

Quando abbiamo iniziato a costruire l’OVM, ci siamo affidati principalmente a modelli statistici lineari per comprendere meglio il processo decisionale dei nostri acquirenti e venditori. Ma nel tempo, l’OVM si è evoluto e ora si basa su una rete neurale, specificamente un’architettura chiamata Siamese Network. Utilizziamo questo per incorporare i comportamenti degli acquirenti e dei venditori, compreso la selezione di case comparabili, l’aggiustamento e il peso. Ciò è vitale perché abbiamo trovato che per raggiungere un’elevata precisione, i modelli devono riflettere questi passaggi chiave che i partecipanti al mercato seguono nella loro architettura.

Uno dei molti vantaggi dell’utilizzo di una rete neurale è che ha la precisione e la flessibilità per elaborare dati in tutti i mercati e rilevare sfumature locali granulari. Di conseguenza, quando Opendoor lancia un nuovo mercato o estende l’inventario in un mercato esistente, possiamo utilizzare lo stesso modello, bypassando gran parte del lavoro di infrastruttura di ingegneria che deriva dall’istanziare un nuovo modello di produzione. Invece, eseguiamo nuovi dati attraverso il modello esistente, il che riduce notevolmente il tempo che i nostri ingegneri spendono nel processo.

Ci sono anche molte altre metodologie di apprendimento automatico che utilizziamo in Opendoor, oltre alle reti neurali. Ciò include, ma non è limitato a, alberi decisionali, tecniche di clustering, sistemi di classificazione e algoritmi di ottimizzazione.

Opendoor si basa su enormi quantità di dati, dove vengono raccolti questi dati?

I dati che i nostri algoritmi trovano più preziosi sono anche quelli più difficili da trovare. Questo è il dato che generiamo noi stessi o sviluppiamo attraverso relazioni proprietarie. Utilizziamo una combinazione di dati interni e dati immobiliari di terze parti, compresi punti di dati dalle liste, come la data di vendita, il numero di camere da letto e bagni, la metratura e altro. Inoltre, guardiamo alle caratteristiche che indicano l’unicità delle case, che sono cose che solo l’esperienza umana può fornire, come l’illuminazione, il rumore della strada, la qualità degli elettrodomestici e dei finimenti e molto altro. Raccogliamo dati dalle case che sono già sul mercato, così come dalle case fuori mercato dove i proprietari hanno condiviso informazioni con noi.

Puoi discutere alcuni degli sforzi di Opendoor per migliorare la velocità e l’affidabilità dell’infrastruttura che alimenta l’ingestione dei dati grezzi?

Prima del lancio di ogni nuovo mercato, ingeriamo molti anni di dati storici. I dati di alta qualità sono vitali per addestrare sia i nostri algoritmi che i nostri operatori locali per garantire che comprendano le variazioni all’interno di quel mercato. Per migliorare la velocità, la qualità e l’affidabilità, abbiamo costruito strumenti di mappatura dei dati flessibili e strumenti per valutare automaticamente la copertura di nuovi campi di dati. Con questi strumenti in atto, ci vuole solo questione di ore o giorni per ingerire e convalidare grandi quantità di dati di transazioni immobiliari storiche, invece di settimane.

Un’altra strategia in cui abbiamo investito è il monitoraggio della qualità dei dati automatizzato e proattivo. Abbiamo configurato sistemi che controllano le distribuzioni dei dati che stiamo ingerendo e trasformando ad ogni passaggio del processo, in tempo reale. Ad esempio, se ci aspettiamo che in un particolare mercato il 20% delle nuove liste siano mediamente appartamenti, e poi oggi il 50% delle nuove liste sono classificate come appartamenti, ciò attiverà un allarme per un ingegnere da indagare.

Come si combina il giudizio umano esperto con gli algoritmi di apprendimento automatico per creare cicli di feedback di prestazioni sempre migliori?

I nostri esperti di pricing interni svolgono un ruolo enorme nelle nostre decisioni di pricing, lavorando in tandem con i nostri algoritmi. Dove le macchine hanno ancora punti ciechi, i nostri operatori esperti li colmano, e ci affidiamo a loro in varie fasi. Ad esempio, aggiungono o verificano dati di input, come la qualità di certi progetti di ristrutturazione. Prendono decisioni intermedie su quali caratteristiche potrebbero essere difficili da valutare e prendono anche decisioni di front-end, come quali offerte dovremmo accettare. L’elemento umano sarà sempre critico per la nostra strategia e crediamo che sposare esperti e algoritmi sia il meglio.

Puoi definire il backtesting e discutere della sua importanza in Opendoor?

Il backtesting è un modo per valutare l’accuratezza di un modello utilizzando dati storici. Ad esempio, potremmo addestrare il modello di valutazione di Opendoor sui dati da gennaio 2015 a gennaio 2021. In questo contesto, “addestrare” significa che forniamo input storici, come attributi di casa, e risultati, come prezzi di case vendute, al modello. E, a sua volta, il modello apprende una relazione tra input e output. Poi prendiamo questo modello, che riflette quelle nuove relazioni apprese, e forniamo un altro set di dati storici, ad esempio da febbraio 2021. Poiché i dati sono storici, conosciamo i risultati e possiamo misurare quanto questi divergono dalle previsioni.

Questo processo è molto importante in Opendoor e viene utilizzato per tutti i nostri prodotti di apprendimento automatico. Riduce il rischio di un problema chiamato overfitting, che si verifica quando un modello di apprendimento automatico identifica pattern nei dati storici che non sono realmente lì. Ad esempio, correlazioni spurie che non aiutano con la previsione del mondo reale. Ci salva anche dall’eseguire costosi test A/B nel mondo reale su nuovi prodotti e strategie che possono essere eliminate in base ai dati storici.

C’è qualcos’altro che vorresti condividere su Opendoor?

Stiamo assumendo! Se sei interessato a costruire il futuro del settore immobiliare e/o lavorare all’intersezione di fintech, apprendimento automatico e prodotti per il consumatore, applica! Abbiamo ruoli aperti in tutte le funzioni e le città. Controlla la nostra pagina delle carriere qui.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Opendoor.