Sam Stone, PM, Pricing at Opendoor – Interview Serie

Sam er passioneret om at bygge produkter i skæringspunktet mellem finans og maskinlæring. Han er i øjeblikket Head of Product for Pricing Group hos Opendoor, en sen-startup, der bruger algoritmer til at købe og sælge hjem på få sekunder, hvilket sparere hjemmeejere besværet og usikkerheden ved at liste deres hjem og være vært.

Hvad var det, der oprindeligt tiltrak dig til maskinlæring og datavidenskab?

Efter college arbejdede jeg for et stort professionelt services-firma, der ansatte hundredvis af college-uddannede i samme entry-level position. Da jeg blev involveret i rekruttering, blev jeg slået og foruroliget af, hvor meget menneskers mening inden for firmaet forskellige om, hvilke kandidatattributter, der førte til succes. Det lignede et rigtigt vigtigt problem, hvor der manglede klarhed. Men jeg var begejstret over, at vi havde rigeligt med data om tidligere jobansøgere og nye medarbejderes resultater, som aldrig var blevet forbundet eller dybt analyseret. Så jeg begyndte at arbejde på det, hvor jeg behandlede det som et statistisk problem, ved hjælp af grundlæggende værktøjer som lineær regression. Over tid voksede projektet til en startup, og metoderne, vi brugte, blev mere avancerede. For eksempel ville vi behandle ustruktureret lyd og tekst fra interviews direkte, og det førte os til at antage mere kraftfulde maskinlæringsmodeller som neurale netværk.

Kunne du diskutere Opendoors automatiserede vurderingsmodel (OVM) og hvordan den beregner den estimerede værdi af en ejendom?

Opendoor Vurderingsmodellen (OVM) er en central del af vores forretning og indgår i mange nedstrøms prissætningsapplikationer.

På mange måder opfører OVM sig som en typisk køber eller sælger – den kigger på tværs af et kvarter, herunder typer og priser på nyligt solgte hjem. Men når det kommer til prissætning af hjem, især givet diversiteten af hjem i USA, er det ikke nok at kun kigge på priserne af sammenlignelige salg. Det er meget mere komplekst end det. Vi tager en række faktorer i betragtning, der spænder fra kvadratmeter og baghave til antallet af badeværelser og soveværelser, layout, travle veje, opgraderinger og meget mere. OVM er fødet af en mangfoldighed af datakilder, herunder ejendomsskattens information, markedsrends samt mange hjem- og kvartersspecifikke signaler. Vi kigger også efter tidligere menneskelige justeringer på hjem for at beregne den gennemsnitlige justeringsværdi. Og vi kan forfine disse værdier med skala. Da vi samler mere menneskelig justeringsdata for markeder, vokser datasset og forbedrer OVM’s præstation. Det er en feedback-løkke, der kontinuerligt forbedrer præstationen over tid.

Ud over at være meget præcis, skal den køre med lav forsinkelse og høj dækning. Det betyder, at hver gang vi indtræder et nyt marked, skal vi udvide OVM’s kapaciteter for at sikre, at den kan betjene hjemmeejere på tværs af kvarterer og hustomtyper.

Hvad er nogle af de forskellige maskinlæringsmetoder, der bruges?

Da vi først startede med at bygge OVM, afhændede vi primært af lineære statistiske modeller for bedre at forstå vores køberes og sælgeres beslutningsprocesser. Men over tid udviklede OVM sig og er nu baseret på et neuralt netværk, specifikt en arkitektur kaldet et Siamese Network. Vi bruger dette til at indlejre køberes og sælgeres adfærd, herunder udvælgelse af sammenlignelige hjem, justering og vægning. Dette er afgørende, fordi vi har fundet, at for at opnå høj præcision, skal modellerne reflektere disse nøgletrin, som markedsdeltagere følger i deres arkitektur.

En af de mange fordele ved at bruge et neuralt netværk er, at det har præcision og fleksibilitet til at fordøje data på tværs af alle markeder og opdage lokale nuancer. Som resultat heraf kan vi, når Opendoor lancerer i et nyt marked eller udvider lager i et eksisterende marked, bruge samme model, og dermed undgå en stor del af den ingeniørarbejde, der følger med at instantiere en ny produktionsmodel. I stedet kører vi nye data gennem den eksisterende model, hvilket reducerer den tid, vores ingeniører bruger på processen.

Der er også mange andre maskinlæringsmetoder, vi bruger hos Opendoor, ud over neurale netværk. Dette inkluderer, men er ikke begrænset til, beslutningstræer, klustringsteknikker, rangsystemer og optimeringsalgoritmer.

Opendoor afhænger af enorme mængder data, hvor kommer denne data fra?

De data, vores algoritmer finder mest værdifulde, er også ofte de data, der er sværest at finde. Dette er de data, vi genererer selv eller udvikler via proprietære relationer. Vi bruger en kombination af interne data og tredjeparts fast ejendomsdata, herunder datapunkter fra listings, som salgsdato, antal soveværelser og badeværelser, kvadratmeter og meget mere. Derudover kigger vi på funktioner, der indikerer hjemmets unikhed, som er ting, kun menneskelig ekspertise kan give, såsom belysning, gadenøj, kvalitet af apparater og finish og meget mere. Vi indsamler data fra hjem, der allerede er på markedet, samt fra hjem, der ikke er på markedet, hvor ejerne har delt information med os.

Kunne du diskutere nogle af Opendoors bestræbelser på at forbedre hastigheden og pålideligheden af infrastrukturen, der driver deres rå dataindtagelse?

Før lanceringen af et nyt marked, indtager vi mange års historiske data. Højkvalitetsdata er afgørende for at træne både vores algoritmer og vores lokale operatører, så de forstår variationerne inden for det marked. For at forbedre hastighed, kvalitet og pålidelighed har vi bygget fleksible datakortningsværktøjer og værktøjer til automatisk vurdering af dækningen af nye datafelter. Med disse værktøjer på plads kan det tage os kun timer eller dage at indtage og validerer store mængder historiske fast ejendomstransaktionsdata, i stedet for uger.

En anden strategi, vi har investeret i, er proaktiv, automatisk datakvalitetsovervågning. Vi har oprettet systemer, der checker fordelingen af de data, vi indtager og transformerer på hvert trin i processen, i realtid. For eksempel, hvis vi forventer, at i et bestemt marked 20% af nye listings i gennemsnit er lejligheder, og så i dag 50% af de nye listings er klassificeret som lejligheder, vil det udløse en alarm for en ingeniør at undersøge.

Hvordan kombineres ekspert-menneskelig dømmekraft med maskinlæringsalgoritmerne for at skabe feedback-løkker af stadig forbedret præstation?

Vore interne prissætnings-eksperter spiller en enorm rolle på tværs af vores prissætningsbeslutninger, hvor de arbejder i tæt samarbejde med vores algoritmer. Hvor maskiner stadig har blinde pletter, udfylder vores ekspert-operatører, og vi afhænger af dem gennem forskellige faser. For eksempel tilføjer de eller verificerer inputdata, som kvaliteten af visse renoveringsprojekter. De træffer intermediate beslutninger om, hvilke funktioner, der kan være svære at vurdere, og de træffer også bruger-orienterede beslutninger, som hvilke tilbud, vi skal acceptere. Den menneskelige faktor vil altid være kritisk for vores strategi, og vi mener, at ægteskab mellem eksperter og algoritmer er bedst.

Kunne du både definere backtesting og diskutere dets betydning hos Opendoor?

Backtesting er en måde at vurderere nøjagtigheden af en model ved hjælp af historiske data. For eksempel kan vi træne Opendoor Vurderingsmodellen på data fra januar 2015 til januar 2021. I denne kontekst betyder “træne”, at vi føder historiske input, som hjemattributter, og resultater, som solgte hjempriser, til modellen. Og modellen lærer en relation mellem input og output. Så tager vi denne model, der reflekterer disse ny-lærte relationer, og føder den med en anden sæt historiske data, sagen fra februar 2021. Fordi data er historisk, ved vi resultaterne, og vi kan måle, hvor meget de afviger fra forudsigelserne.

Denne proces er meget vigtig hos Opendoor, og den bruges til alle vores maskinlæringsprodukter. Den reducerer risikoen for et problem kaldet overfitting, der er, når en maskinlæringsmodel identificerer mønstre i historiske data, som ikke rigtigt er der. For eksempel spurious korrelationer, der ikke hjælper med rigtig verdens fremtidsforudsigelser. Den redder os også fra at køre dyre virkelige verden A/B-tests på nye produkter og strategier, der kan elimineres baseret på historiske data.

Er der noget andet, du gerne vil dele om Opendoor?

Vi søger! Hvis du er interesseret i at bygge fremtiden for fast ejendom, og/eller arbejde i skæringspunktet mellem fintech, maskinlæring og forbrugerprodukter, så ansøg! Vi har åbne stillinger på tværs af funktioner og byer Se vores karriere-side her.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Opendoor.