Sam Stone, PM, Pricing at Opendoor – Intervieuserie

Sam er passioneret om at bygge produkter, der kombinerer finans og maskinlæring. Han er i øjeblikket Head of Product for Pricing-gruppen i Opendoor, en sen-startup, der bruger algoritmer til at købe og sælge huse med det samme, hvilket spare hjemmeejere for besværet og usikkerheden ved at liste deres hjem og arrangere visninger.

Hvad var det, der oprindeligt tiltrak dig til maskinlæring og datavidenskab?

Efter college arbejdede jeg for et stort professionelt services-firma, der ansatte hundredvis af college-uddannede i samme indgangsstillingsposition. Da jeg blev involveret i rekruttering, blev jeg slået og deprimeret af, hvor meget menneskers meninger inden for firmaet forskellige, hvad angår kandidatattributter, der fører til succes. Det virkede som et rigtigt vigtigt problem, hvor der manglede klarhed. Men jeg var begejstret over, at vi havde rigeligt med data om tidligere jobansøgere og nyansatte resultater, som aldrig var blevet forbundet eller dybt analyseret. Så jeg begyndte at arbejde på det, og behandlede det som et statistisk problem, ved hjælp af grundlæggende værktøjer som lineær regression. Over tid voksede projektet til en startup, og metoderne, vi brugte, blev mere avancerede. For eksempel ville vi behandle ukontrolleret lyd og tekst fra interviews direkte, og det fik os til at adoptere kraftigere maskinlæringsmodeller som neurale netværk.

Kan du diskutere Opendoors automatiserede vurderingsmodel (OVM), og hvordan den beregner den estimerede værdi af en ejendom?

Opendoor Vurderingsmodellen (OVM) er en central del af vores forretning og indgår i mange nedstrøms prisanvendelser.

På mange måder opfører OVM sig som en typisk køber eller sælger – det kigger på et kvarter, herunder typer og priser på nyligt solgte huse. Men når det kommer til at prissætte huse, især på grund af mangfoldigheden af huse over hele USA, er det ikke nok at kun kigge på priserne på lignende salg. Det er langt mere komplekst end det. Vi tager en række faktorer i betragtning, der spænder fra kvadratmeter og baghave til antallet af badeværelser og soveværelser, layout, travle veje, opgraderinger og meget mere. OVM fødes af en mangfoldighed af datakilder, herunder ejendomsskattinformation, markedstrends samt mange hjem- og kvartersspecifikke signaler. Vi søger også efter tidligere menneskelige justeringer på huse for at beregne den gennemsnitlige justeringsværdi. Og vi kan forfine disse værdier med skala. Da vi samler mere menneskelig justeringsdata for markeder, vokser datasættet og forbedrer OVM’s præstation. Det er en feedback-løkke, der kontinuerligt forbedrer præstationen over tid.

Ud over at være meget nøjagtig, skal den også køre med lav ventetid og høj dækning. Det betyder, at hver gang vi indtræder et nyt marked, skal vi udvide OVM’s kapaciteter for at sikre, at den kan betjene hjemmeejere på tværs af kvarterer og hustyper.

Hvad er nogle af de forskellige maskinlæringsmetoder, der bruges?

Da vi først begyndte at bygge OVM, afhængte vi hovedsagelig af lineære statistiske modeller for bedre at forstå vores købere og sælgeres beslutningsprocesser. Men over tid udviklede OVM sig og er nu baseret på et neuralt netværk, specifikt en arkitektur kaldet et Siamese Netværk. Vi bruger dette til at indlejre købere og sælgeres adfærd, herunder udvælgelse af lignende huse, justering og vægning. Dette er afgørende, fordi vi har fundet, at for at opnå høj nøjagtighed, skal modellerne afspejle disse nøgletrin, som markedsdeltagere følger i deres arkitektur.

En af de mange fordele ved at bruge et neuralt netværk er, at det har præcision og fleksibilitet til at fordøje data på tværs af alle markeder og opdage lokale nuancer. Som resultat heraf, når Opendoor lancerer i et nyt marked eller udvider lager i et eksisterende marked, kan vi bruge samme model, og omgå meget af den ingeniørarbejde, der følger med at instantiere en ny produktionsmodel. I stedet kører vi nye data gennem den eksisterende model, hvilket betydeligt reducerer den tid, vores ingeniører bruger på processen.

Der er også mange andre maskinlæringsmetoder, vi bruger i Opendoor, ud over neurale netværk. Dette inkluderer, men er ikke begrænset til, beslutningstræer, klusteringsteknikker, rangsystemer og optimeringsalgoritmer.

Opendoor afhænger af enorme mængder data, hvor kommer denne data fra?

De data, vores algoritmer finder mest værdifulde, er også ofte de data, der er sværest at finde. Dette er de data, vi genererer selv eller udvikler via proprietære forhold. Vi bruger en kombination af interne data og tredjeparts fastejendomsdata, herunder datapunkter fra listings, som salgsdato, antal soveværelser og badeværelser, kvadratmeter og mere. Derudover kigger vi på funktioner, der indikerer hjemmernes unikhed, som er ting, kun menneskelig ekspertise kan give, som lys, gadestøj, kvalitet af apparater og afslutninger og meget mere. Vi indsamler data fra huse, der allerede er på markedet, samt huse, der ikke er på markedet, hvor ejerne har delt information med os.

Kan du diskutere nogle af Opendoors bestræbelser på at forbedre hastigheden og pålideligheden af infrastrukturen, der driver dens rådataindtagelse?

Før en ny markeds lancering indtager vi mange års historiske data. Høj kvalitetsdata er afgørende for at træne både vores algoritmer og vores lokale operatører, så de forstår variationerne inden for det marked. For at forbedre hastigheden, kvaliteten og pålideligheden har vi bygget fleksible datakortøjer og værktøjer til automatisk vurdering af dækningen af nye datafelter. Med disse værktøjer på plads tager det os kun timer eller dage at indtage og validere store mængder historiske fastejendomstransaktionsdata, i stedet for uger.

En anden strategi, vi har investeret i, er proaktiv, automatisk datakvalitetsovervågning. Vi har sat systemer op, der checker datafordelingen af de data, vi indtager og transformerer på hvert trin i processen, i realtid. For eksempel, hvis vi forventer, at i et bestemt marked 20% af nye listings i gennemsnit er lejligheder, og så i dag 50% af de nye listings er klassificeret som lejligheder, vil det udløse en advarsel til en ingeniør til at undersøge.

Hvordan kombineres ekspert-menneskelig dømmekraft med maskinlæringsalgoritmerne for at skabe feedback-løkker af stadig forbedret præstation?

Vores interne prisersexperter spiller en enorm rolle på tværs af vores priserbeslutninger, og arbejder i tandem med vores algoritmer. Hvor maskiner stadig har blinde pletter, udfylder vores ekspertoperatører, og vi afhænger af dem gennem forskellige faser. For eksempel tilføjer eller verificerer de inddata, som kvaliteten af visse renoveringsprojekter. De træffer mellemliggende beslutninger om, hvilke funktioner, der kan være svære at værdi, og de træffer også bruger-orienterede beslutninger, som hvilke tilbud, vi skal acceptere. Den menneskelige faktor vil altid være kritisk for vores strategi, og vi mener, at ægteskab mellem eksperter og algoritmer er det bedste.

Kan du både definere backtesting og diskutere dets betydning i Opendoor?

Backtesting er en måde at vurdere nøjagtigheden af en model ved hjælp af historiske data. For eksempel kan vi træne Opendoor Vurderingsmodellen på data fra januar 2015 til januar 2021. I denne kontekst betyder “træne”, at vi føder historiske inputs, som hjemattributter, og resultater, som solgte hjempriser, til modellen. Og i retur lærer modellen en relation mellem inputs og resultater. Så tager vi denne model, der afspejler disse ny-lærte relationer, og føder den ind i en anden sæt historiske data, sagen fra februar 2021. Fordi data er historisk, ved vi resultaterne, og vi kan måle, hvor meget de afviger fra forudsigelserne.

Dette proces er meget vigtig i Opendoor, og det bruges til alle vores maskinlæringsprodukter. Det reducerer risikoen for et problem kaldet overfitting, som er, når en maskinlæringsmodel identificerer mønstre i historiske data, der ikke virkelig er der. For eksempel spurious korrelationer, der ikke hjælper med rigtig verden forudsigelse. Det redder os også fra at køre dyre virkelige verden A/B-tests på nye produkter og strategier, der kan elimineres på baggrund af historiske data.

Er der noget andet, du gerne vil dele om Opendoor?

Vi søger! Hvis du er interesseret i at bygge fremtiden for fast ejendom, og/eller arbejde ved skæringen af fintech, maskinlæring og forbrugerprodukter, ansøg venligst! Vi har åbne stillinger på tværs af funktioner og byer. Se vores karriere-side her.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Opendoor.