Sam Stone, PM, Priser hos Opendoor – Interview Series

Sam brænder for at bygge produkter i krydsfeltet mellem økonomi og maskinlæring. Han er i øjeblikket produktchef for prisgruppen på Åben dør, en opstart i de sene stadier, der bruger algoritmer til at købe og sælge boliger øjeblikkeligt, hvilket sparer husejere for besværet og usikkerheden ved at opføre deres hjem og hosting.

Hvad tiltrak dig oprindeligt til maskinlæring og datavidenskab?

Efter college arbejdede jeg for et stort professionelt servicefirma, der ansatte hundredvis af universitetsuddannede til den samme entry-level position. Da jeg blev involveret i ansættelser, blev jeg slået og forfærdet over, hvor vildt folks meninger i firmaet var forskellige om, hvilke kandidategenskaber der førte til succes. Det virkede som et rigtig vigtigt problem, hvor der manglede klarhed. Men jeg var begejstret over det faktum, at vi havde rigelig data om tidligere jobansøgere og nye ansættelsesresultater, som aldrig var blevet forbundet eller dybt analyseret. Så jeg begyndte at arbejde på det, behandlede det som et statistisk problem ved at bruge grundlæggende værktøjer som lineær regression. Med tiden voksede projektet til en startup, og de metoder, vi brugte, blev mere sofistikerede. For eksempel ønskede vi at behandle ustruktureret lyd og tekst fra interviews direkte, og det fik os til at vedtage mere kraftfulde maskinlæringsmodeller som neurale netværk.

Kunne du diskutere Opendoors automatiserede værdiansættelsesmodel (OVM), og hvordan den beregner den anslåede værdi af en ejendom?

Opendoor Valuation Model (OVM) er en kerne af vores forretning og indgår i mange downstream-prissætningsapplikationer.

På mange måder opfører OVM sig, som en typisk køber eller sælger ville - det ser ud over et kvarter, inklusive typerne og priserne på nyligt solgte boliger. Men når det kommer til prissætning af boliger, især i betragtning af mangfoldigheden af ​​boliger rundt om i USA, er det ikke nok kun at se på priserne på sammenlignelige salg. Det er meget mere komplekst end som så. Vi tager en række faktorer i betragtning, lige fra kvadratmeter og baggårdsplads til antallet af badeværelser og soveværelser, layout, befærdede veje, opgraderinger og meget mere. OVM er fodret af et væld af datakilder, herunder ejendomsskatteoplysninger, markedstendenser samt mange bolig- og nabolagsspecifikke signaler. Vi ser også efter tidligere menneskelige justeringer på boliger for at beregne den gennemsnitlige reguleringsværdi. Og vi er i stand til at forfine disse værdier med skala. Efterhånden som vi indsamler flere menneskelige tilpasningsdata for markeder, vokser datasættet og forbedrer OVM-ydelsen. Det er en feedback-loop, der løbende forbedrer ydeevnen over tid.

Ud over at være meget præcis skal den køre med lav latenstid og høj dækning. Det betyder, at hver gang vi går ind på et nyt marked, skal vi udvide OVMs muligheder for at sikre, at det kan betjene husejere på tværs af kvarterer og boligtyper.

Hvad er nogle af de forskellige maskinlæringsmetoder, der bruges?

Da vi først begyndte at bygge OVM, stolede vi hovedsageligt på lineære statistiske modeller for bedre at forstå vores køberes og sælgeres beslutningsproces. Men med tiden udviklede OVM sig og er nu baseret på et neuralt netværk, specifikt en arkitektur kaldet et siamesisk netværk. Vi bruger dette til at integrere købers og sælgeres adfærd, herunder at vælge sammenlignelige boliger, justere dem og vægte dem. Dette er afgørende, fordi vi har fundet ud af, at modeller for at opnå høj nøjagtighed skal afspejle disse nøgletrin, som markedsdeltagere følger i deres arkitektur.

En af de mange fordele ved at bruge et neuralt netværk er, at det har præcisionen og fleksibiliteten til at fordøje data på tværs af alle markeder og opdage granulære lokale nuancer. Som et resultat, når Opendoor lancerer på et nyt marked eller udvider lagerbeholdningen på et eksisterende marked, kan vi bruge den samme model og omgå meget af det tekniske infrastrukturarbejde, der kommer fra instansiering af en ny produktionsmodel. I stedet kører vi nye data gennem den eksisterende model, hvilket væsentligt reducerer den tid, vores ingeniører bruger på processen.

Der er også mange andre maskinlæringsmetoder, vi bruger hos Opendoor, foruden neurale netværk. Dette inkluderer, men er ikke begrænset til, beslutningstræer, klyngeteknikker, rangordningssystemer og optimeringsalgoritmer.

Opendoor er afhængig af enorme mængder data, hvor er disse data indsamlet fra?

De data, vores algoritmer finder mest værdifulde, er også ofte de data, der er sværest at finde. Dette er de data, vi selv genererer eller udvikler via proprietære relationer. Vi bruger en kombination af interne data og tredjeparts ejendomsdata, herunder datapunkter fra fortegnelser, såsom salgsdato, antal soveværelser og badeværelser, kvadratmeter og mere. Derudover ser vi på funktioner, der indikerer boligernes unikke egenskaber, som er ting kun menneskelig ekspertise kan levere, såsom belysning, gadestøj, kvalitet af hvidevarer og finish og meget mere. Vi indsamler data fra de boliger, der allerede er på markedet, samt off-market boliger, hvor ejerne har delt information med os.

Kunne du diskutere nogle af Opendoors bestræbelser på at forbedre hastigheden og pålideligheden af ​​den infrastruktur, der driver dets rådataindtagelse?

Forud for enhver ny markedslancering indtager vi mange års historiske data. Data af høj kvalitet er afgørende for at træne både vores algoritmer og vores lokale operatører for at sikre, at de forstår variationerne på det pågældende marked. For at forbedre hastighed, kvalitet og pålidelighed har vi bygget fleksible datakortlægningsværktøjer og værktøjer til automatisk vurdering af dækningen af ​​nye datafelter. Med disse værktøjer på plads tager det os et spørgsmål om timer eller dage at indtage og validere store mængder af historiske ejendomstransaktionsdata i stedet for uger.

En anden strategi, vi har investeret i, er proaktiv, automatiseret datakvalitetsovervågning. Vi har opsat systemer, der kontrollerer distributionen af ​​de data, som vi indtager og transformerer på hvert trin af processen, i realtid. For eksempel, hvis vi forventer, at 20 % af de nye annoncer i gennemsnit på et bestemt marked er lejligheder, og i dag er 50 % af de nye boliger klassificeret som lejligheder, vil det udløse en alarm, som en ingeniør skal undersøge.

Hvordan kombineres ekspert menneskelig dømmekraft med maskinlæringsalgoritmerne for at skabe feedback-loops med stadigt forbedret ydeevne?

Vores interne priseksperter spiller en stor rolle på tværs af vores prisbeslutninger og arbejder sammen med vores algoritmer. Hvor maskiner stadig har blinde vinkler, udfylder vores dygtige operatører, og vi stoler på dem gennem forskellige stadier. For eksempel tilføjer eller verificerer de inputdata, såsom kvaliteten af ​​visse renoveringsprojekter. De træffer mellemliggende beslutninger om, hvilke funktioner der kan være svære at værdsætte, og de træffer også brugervendte beslutninger, som hvilke tilbud vi skal acceptere. Det menneskelige element vil altid være afgørende for vores strategi, og vi mener, at det er bedst at gifte sig med eksperter og algoritmer.

Kunne du både definere backtesting og diskutere dens betydning hos Opendoor?

Backtesting er en måde at vurdere nøjagtigheden af ​​en model ved hjælp af historiske data. For eksempel kan vi træne Opendoor Valuation Model på data fra januar 2015 til januar 2021. I denne sammenhæng betyder "train" at vi leverer historiske input, såsom boligattributter, og resultater, såsom solgte boligpriser, til modellen. Og til gengæld lærer modellen en sammenhæng mellem input og resultater. Så tager vi denne model, som afspejler de nyoplærte relationer, og vi tilfører et andet sæt historiske data, f.eks. fra februar 2021. Fordi dataene er historiske, kender vi resultaterne, og vi kan måle, hvor meget de afviger fra forudsigelser.

Denne proces er meget vigtig hos Opendoor, og den bruges til alle vores maskinlæringsprodukter. Det reducerer risikoen for et problem kaldet overfitting, som er, når en maskinlæringsmodel identificerer mønstre i historiske data, som ikke rigtig er der. For eksempel falske korrelationer, der ikke hjælper med prognoser i den virkelige verden. Det sparer os også for at køre dyre A/B-tests i den virkelige verden på nye produkter og strategier, der kan elimineres baseret på historiske data.

Er der andet, du gerne vil dele om Opendoor?

Vi ansætter! Hvis du er interesseret i at bygge fremtiden for fast ejendom og/eller arbejde i krydsfeltet mellem fintech, machine learning og forbrugerprodukter, så ansøg! Vi har åbne roller på tværs af funktioner og byer Tjek vores karriereside link..

Tak for det gode interview, læsere, der ønsker at lære mere, bør besøge Åben dør.