Sam Stone, PM, Pricing at Opendoor – Interview Series

Sam je vášnivý o budování produktů na rozhraní financí a strojového učení. V současné době je Head of Product pro Pricing Group ve firmě Opendoor, late-stage startupu, který používá algoritmy pro nákup a prodej domů okamžitě, čímž šetří majitelům domů starosti a nejistotu spojené s vystavením jejich domu a jeho prodejem.

Co vás původně přitáhlo ke strojovému učení a datové vědě?

Po vysoké škole jsem pracoval pro velkou profesionální servisní firmu, která najímala stovky absolventů vysokých škol do stejné vstupní pozice. Když jsem se stal součástí náboru, byl jsem překvapen a zklamán tím, jak velmi se lišily názory lidí uvnitř firmy na to, jaké atributy kandidátů vedou k úspěchu. Zdálo se to jako velmi důležitý problém, kde chyběla jasnost. Ale byl jsem nadšen tím, že jsme měli dostatek dat o minulých žadatelích o práci a nových zaměstnancích, která nebyla nikdy propojena nebo hluboce analyzována. Takže jsem začal pracovat na tom, trattujíc to jako statistický problém, pomocí základních nástrojů jako lineární regrese. Postupem času se projekt rozrostl do startupu a metody, které jsme používali, se staly složitějšími. Například jsme chtěli zpracovat nestrukturovaný audio a text z rozhovorů přímo, a to nás vedlo k přijetí výkonnějších modelů strojového učení, jako jsou neuronové sítě.

Můžete diskutovat o Opendoorově automatizovaném modelu oceňování (OVM) a o tom, jak vypočítává odhadovanou hodnotu nemovitosti?

Opendoor Valuation Model (OVM) je klíčovou součástí našeho podnikání a je využíván v mnoha následných aplikacích pro stanovení cen.

V mnoha ohledech OVM funguje jako typický kupující nebo prodávající – hledá v okolí, včetně typů a cen nedávno prodaných domů. Avšak při stanovení cen domů, zejména vzhledem k rozmanitosti domů po celých Spojených státech, nestačí se pouze dívat na ceny srovnatelných prodejů. Je to mnohem složitější než to. Bereme v úvahu širokou škálu faktorů, od velikosti a prostoru v zadním traktu po počet koupelen a ložnic, rozložení, rušné silnice, úpravy a mnoho dalšího. OVM je krmen z mnoha zdrojů dat, včetně informací o nemovitostních daních, tržních trendech a mnoha specifických signálů pro domy a okolí. Také hledáme předchozí lidské úpravy na domech, abychom mohli vypočítat průměrnou úpravu hodnoty. A jsme schopni tyto hodnoty vylepšovat se škálou. Jakmile shromáždíme více lidských úprav dat pro trhy, datová sada roste a zlepšuje výkon OVM. Je to zpětná smyčka, která neustále zlepšuje výkon v čase.

Kromě toho, že je velmi přesný, musí běžet s nízkou latencí a vysokou pokrytím. To znamená, že každé fois, když vstoupíme na nový trh, potřebujeme rozšířit schopnosti OVM, abychom zajistili, že může sloužit majitelům domů po celých čtvrtích a typech domů.

Jaké jsou některé z různých metod strojového učení, které se používají?

Když jsme poprvé začali budovat OVM, spoléhali jsme se hlavně na lineární statistické modely, abychom lépe pochopili rozhodovací proces našich kupujících a prodávajících. Ale postupem času se OVM vyvinul a nyní je založen na neuronové síti, konkrétně na architektuře nazvané Siamese Network. Používáme to k vložení chování kupujících a prodávajících, včetně výběru srovnatelných domů, úprav a vážení. To je vitální, protože jsme zjistili, že aby modely dosáhly vysoké přesnosti, musí odrážet tyto klíčové kroky, které účastníci trhu následují ve své architektuře.

Jednou z mnoha výhod používání neuronové sítě je, že má přesnost a flexibilitu, aby strávil data napříč všemi trhy a detekoval jemné místní nuance. V důsledku toho, když Opendoor spustí na novém trhu nebo rozšíří zásoby v existujícím trhu, můžeme použít stejný model, obejít většinu inženýrské infrastruktury práce, která pochází z instantiation nového produkčního modelu. Místo toho běžím nová data skrz existující model, což výrazně snižuje čas, který naši inženýři tráví na procesu.

Existuje také mnoho dalších metod strojového učení, které používáme v Opendoor, kromě neuronových sítí. To zahrnuje, ale není omezeno na, rozhodovací stromy, clusteringové techniky, rankingové systémy a optimalizační algoritmy.

Opendoor se spoléhá na obrovské množství dat, odkud jsou tato data shromažďována?

Data, která naše algoritmy považují za nejvíce cenná, jsou také často data, která jsou nejobtížněji nalezená. To jsou data, která generujeme sami nebo vyvíjíme prostřednictvím proprietárních vztahů. Používáme kombinaci interních dat a třetích stran realitních dat, včetně datových bodů z nabídek, jako je datum prodeje, počet ložnic a koupelen, velikost a mnoho dalšího. Kromě toho se díváme na funkce, které ukazují jedinečnost domů, které jsou věci, které může poskytnout pouze lidská odbornost, jako je osvětlení, hluk z ulice, kvalita spotřebičů a dokončování a mnoho dalšího. Shromažďujeme data z domů, které jsou již na trhu, stejně jako z domů mimo trh, kde majitelé sdíleli informace s námi.

Můžete diskutovat o některých Opendoorových snahách o zlepšení rychlosti a spolehlivosti infrastruktury, která pohání surovou datovou ingestaci?

Před spuštěním na novém trhu ingestujeme mnoho let historických dat. Vysokokvalitní data jsou zásadní pro školení našich algoritmů a našich místních operátorů, aby zajistili, že rozumí variacím uvnitř trhu. Abychom zlepšili rychlost, kvalitu a spolehlivost, postavili jsme flexibilní nástroje pro mapování dat a nástroje pro automatické hodnocení pokrytí nových datových polí. S těmito nástroji na místě nám to trvá pouze hodiny nebo dny, abychom ingestovali a ověřili velké množství historických realitních transakčních dat, místo týdnů.

Jinou strategií, do které jsme investovali, je proaktivní, automatizované monitorování kvality dat. Nastavili jsme systémy, které kontrolují distribuce dat, která ingestujeme a transformujeme na každém kroku procesu, v reálném čase. Například, pokud očekáváme, že v určitém trhu je 20% nových nabídek v průměru bytů, a pak dnes 50% nových nabídek je klasifikováno jako byty, to spustí upozornění pro inženýra, aby to prošetřili.

Jak je odborné lidské úsudky kombinováno se strojovým učením algoritmy, aby vytvořily zpětné smyčky neustále zlepšující se výkon?

Naši interní odborníci na ceny hrají obrovskou roli napříč našimi cenovými rozhodnutími, pracují v tandemu s našimi algoritmy. Tam, kde stroje stále mají slepá místa, naši odborní operátoři vyplňují, a spoléháme se na ně prostřednictvím různých fází. Například přidávají nebo ověřují vstupní data, jako je kvalita určitých renovací. Dělají mezilehlá rozhodnutí o funkcích, které by mohly být obtížně ocenitelné, a také dělají uživatelsky orientovaná rozhodnutí, jako je které nabídky bychom měli přijmout. Lidský prvek bude vždy kritický pro naši strategii a věříme, že spojení odborníků a algoritmů je nejlepší.

Můžete definovat backtesting a diskutovat o jeho důležitosti v Opendoor?

Backtesting je způsob, jak posoudit přesnost modelu pomocí historických dat. Například můžeme trénovat Opendoor Valuation Model na data z ledna 2015 do ledna 2021. V tomto kontextu “trénovat” znamená, že krmit historické vstupy, jako jsou atributy domů, a výsledky, jako jsou prodané ceny domů, do modelu. A model se učí vztah mezi vstupy a výsledky. Pak vezmeme tento model, který odráží nově naučené vztahy, a krmit další soubory historických dat, řekněme od února 2021. Protože data jsou historická, víme výsledky, a můžeme měřit, jak se liší od předpovědí.

Tento proces je velmi důležitý v Opendoor, a je používán pro všechny naše produkty strojového učení. To snižuje riziko problému nazvaného overfitting, který je když model strojového učení identifikuje vzory v historických datech, které nejsou realmente tam. Například falešné korelace, které nepomáhají s reálným předpovídáním. To také šetří nás před spuštěním nákladných reálných A/B testů na nových produktech a strategiích, které lze eliminovat na základě historických dat.

Je něco jiného, co byste rádi sdíleli o Opendoor?

Nábory! Pokud máte zájem o budování budoucnosti realit, a/nebo pracovat na rozhraní fintech, strojového učení a spotřebitelských produktů, přihlaste se! Máme otevřené pozice napříč funkcemi a městy. Zkontrolujte naši stránku kariéry zde.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, měli by navštívit Opendoor.