Sam Stone, PM, Pricing at Opendoor – Intervju-serie

Sam er lidenskapelig opptatt av å bygge produkter der finansiell og maskinlæring møtes. Han er for tiden sjef for produktutvikling for prissætningsgruppen i Opendoor, en startup som bruker algoritmer til å kjøpe og selge hjem umiddelbart, og dermed spare hjemme-eiere for besværet og usikkerheten ved å liste og vise hjem.

Hva var det som først tiltalte deg til maskinlæring og data-vitenskap?

Etter college, jobbet jeg for et stort profesjonelt tjenesteselskap som ansatte hundrevis av studenter i samme innledende stilling. Da jeg ble involvert i rekruttering, ble jeg slått av og skuffet over hvor forskjellige menneskenes meninger innen selskapet var om hva som førte til suksess. Det virket som et veldig viktig problem, der klarskap manglet. Men jeg ble også begeistret over at vi hadde mye data om tidligere jobbsøkere og nye ansattes resultater som aldri hadde blitt koblet eller dypt analysert. Så jeg begynte å jobbe med det, og behandlet det som et statistisk problem, med basis-verktøy som lineær regresjon. Over tid, vokste prosjektet til en startup, og metodene vi brukte ble mer avanserte. For eksempel, ønsket vi å prosessere ustrukturert lyd og tekst fra intervjuer direkte, og det ledet oss til å adoptere mer kraftfulle maskinlæringsmodeller som nevralt nettverk.

Kunne du diskutere Opendoors automatiserte verdsettingsmodell (OVM), og hvordan den beregner den estimerte verdien av en eiendom?

Opendoor-verdsettingsmodellen (OVM) er en sentral del av vår forretning og går inn i mange nedstrøms prissætningsapplikasjoner.

På mange måter, oppfører OVM seg som en typisk kjøper eller selger – den ser på et nabolag, inkludert typene og prisene på nylig solgte hjem. Men når det kommer til prissætning av hjem, spesielt gitt mangfoldet av hjem i USA, er det ikke nok å bare se på prisene på sammenlignbare salg. Det er mye mer komplisert enn det. Vi tar en rekke faktorer i betraktning, fra kvadratmeter og bakgården til antall bad og soverom, layout, travle veier, oppgraderinger og mer. OVM mates med en mengde datakilder, inkludert eiendomsskattinformasjon, markedstrender samt mange hjem- og nabolagsspesifikke signaler. Vi ser også etter tidligere menneskelige justeringer på hjem for å beregne gjennomsnittsjusteringsverdien. Og vi kan forbedre disse verdiene med skala. Etter hvert som vi samler inn mer menneskelig justeringsdata for markedene, vokser datamengden og forbedrer OVM-ytelsen. Det er en tilbakemeldingsloop som kontinuerlig forbedrer ytelsen over tid.

I tillegg til å være svært nøyaktig, må den også kjøre med lav ventetid og høy dekning. Det betyr at hver gang vi går inn i et nytt marked, må vi utvide OVMs kapasiteter for å sikre at den kan betjene hjemme-eiere over nabolag og hjemtyper.

Hva er noen av de forskjellige maskinlæringsmetodene som brukes?

Da vi først begynte å bygge OVM, brukte vi hovedsakelig lineære statistiske modeller for å bedre forstå våre kjøperes og selgeres beslutningsprosess. Men over tid, har OVM utviklet seg og er nå basert på et nevralt nettverk, spesifikt en arkitektur kalt Siamese Network. Vi bruker dette til å innkapsle kjøperes og selgeres atferd, inkludert valg av sammenlignbare hjem, justering og vekting. Dette er avgjørende fordi vi har funnet at for å oppnå høy nøyaktighet, må modellene reflektere disse nøkkelstegene som markedsdeltagere følger i sin arkitektur.

En av de mange fordelene med å bruke et nevralt nettverk, er at det har presisjon og fleksibilitet til å fordøye data over alle marked og detektere lokale nyanser. Som et resultat, når Opendoor lanserer i et nytt marked eller utvider lager i et eksisterende marked, kan vi bruke samme modell, og unngå mye av den ingeniørarbeidet som kommer fra å instantiere en ny produksjonsmodell. I stedet, kjører vi ny data gjennom den eksisterende modellen, som betyr at våre ingeniører bruker mye mindre tid på prosessen.

Det er også mange andre maskinlæringsmetoder vi bruker i Opendoor, i tillegg til nevralt nettverk. Dette inkluderer, men er ikke begrenset til, beslutningstre, klusteringsteknikker, rangeringssystemer og optimaliseringsalgoritmer.

Opendoor avhenger av enorme mengder data, hvor hentes denne data fra?

Den data våre algoritmer finner mest verdifull, er også ofte den data som er hardest å finne. Dette er data vi genererer selv eller utvikler via proprietære relasjoner. Vi bruker en kombinasjon av intern data og tredjeparts eiendomsdata, inkludert datapunkter fra listinger, som salgsdato, antall soverom og bad, kvadratmeter og mer. I tillegg, ser vi på egenskaper som indikerer hjemmenes unikhet, som er ting bare menneskelig ekspertise kan gi, som lys, gatestøy, kvalitet på apparater og finish og mye mer. Vi samler inn data fra hjem som allerede er på markedet, samt hjem utenfor markedet hvor eierne har delt informasjon med oss.

Kunne du diskutere noen av Opendoors innsats for å forbedre hastigheten og påliteligheten av infrastrukturen som driver inn raw data?

Før en ny markeds-lansering, tar vi inn mange års historisk data. Høykvalitetsdata er avgjørende for å trene både våre algoritmer og lokale operatører, for å sikre at de forstår variasjonene innen markedet. For å forbedre hastighet, kvalitet og pålitelighet, har vi bygget fleksible data-mapping-verktøy og verktøy for automatisk vurdering av dekningen av nye data-felt. Med disse verktøyene på plass, tar det oss kun timer eller dager å ta inn og validere store mengder historisk eiendomstransaksjonsdata, i stedet for uker.

En annen strategi vi har investert i, er proaktiv, automatisk data-kvalitets-overvåking. Vi har satt opp systemer som sjekker distribusjonen av dataene vi tar inn og transformerer på hvert trinn i prosessen, i sanntid. For eksempel, hvis vi forventer at i et bestemt marked, 20% av nye listinger i gjennomsnitt er leiligheter, og så i dag 50% av de nye listingene er klassifisert som leiligheter, vil det utløse en varsel for en ingeniør å undersøke.

Hvordan kombineres ekspert-menneskelig dømmekraft med maskinlæringsalgoritmer for å skape tilbakemeldingsløkker av stadig forbedret ytelse?

Våre interne prissætnings-eksperter spiller en enorm rolle over vår prissætnings-prosess, og arbeider i tandem med våre algoritmer. Der maskiner fortsatt har blinde flekker, fyller våre ekspert-operatører inn, og vi avhenger av dem gjennom ulike stadier. For eksempel, legger de til eller verifiserer inndata, som kvaliteten på visse renovasjonsprosjekter. De tar også mellomliggende beslutninger om hva som kan være vanskelig å verdsette, og de tar også bruker-orienterte beslutninger, som hvilke tilbud vi bør akseptere. Den menneskelige faktoren vil alltid være kritisk for vår strategi, og vi mener at å gifte eksperter og algoritmer er best.

Kunne du definere tilbake-testning og diskutere dens betydning i Opendoor?

Tilbake-testning er en måte å vurdere nøyaktigheten av en modell ved å bruke historisk data. For eksempel, kan vi trene Opendoor-verdsettingsmodellen på data fra januar 2015 til januar 2021. I denne sammenhengen, “trene” betyr at vi mates modellen med historiske inndata, som hjem-egenskaper, og resultater, som solgte hjem-priser, og modellen lærer en relasjon mellom inndata og resultater. Deretter tar vi denne modellen, som reflekterer disse ny-lærte relasjonene, og mates den med en annen mengde historisk data, for eksempel fra februar 2021. Fordi dataene er historiske, vet vi resultater, og vi kan måle hvor mye disse avviker fra forutsagnene.

Dette prosessen er svært viktig i Opendoor, og det brukes for alle våre maskinlærings-produkter. Det reduserer risikoen for et problem kalt over-tilpasning, som er når en maskinlæringsmodell identifiserer mønster i historisk data som ikke virkelig er der. For eksempel, spuriøse korrelasjoner som ikke hjelper med virkelige verdens-forecasting. Det sparer oss også fra å kjøre kostbare virkelige verden A/B-tester på nye produkter og strategier som kan elimineres basert på historisk data.

Er det noe annet du ville like å dele om Opendoor?

Vi rekrutterer! Hvis du er interessert i å bygge fremtiden for eiendom, og/eller jobbe på skjæringspunktet mellom fin-tech, maskinlæring og forbruker-produkter, vennligst søk! Vi har åpne stillinger over funksjoner og byer. Se vår karriere-side her.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Opendoor.