Sam Stone, PM, Pricing at Opendoor – Rozhovorová série

Sam je vášnivý o budování produktů na rozhraní financí a strojového učení. V současné době je vedoucím produktu pro cenovou skupinu ve společnosti Opendoor, pozdní startup, který používá algoritmy pro nákup a prodej domů okamžitě, čímž šetří majitelům domů starosti a nejistotu spojené s prodejem a ubytováním.

Co vás původně přitáhlo ke strojovému učení a datové vědě?

Po vysoké škole jsem pracoval pro velkou profesní servisní firmu, která najímala stovky absolventů vysokých škol do stejné vstupní pozice. Když jsem se stal součástí náboru, byl jsem překvapen a zklamán tím, jak rozdílně lidé ve firmě hodnotili atributy kandidátů, které vedou k úspěchu. Zdálo se to jako velmi důležitý problém, kde chyběla jasnost. Ale byl jsem nadšen tím, že jsme měli dostatek dat o předchozích žadatelích o práci a nových zaměstnancích, která nebyla nikdy propojena nebo hluboce analyzována. Takže jsem začal pracovat na tom, behandlovat to jako statistický problém, používal základní nástroje jako lineární regresi. Postupem času se projekt rozrostl do startupu a metody, které jsme používali, se staly složitějšími. Například jsme chtěli zpracovat nestrukturovaný audio a text z rozhovorů přímo, a to nás vedlo k přijetí výkonnějších modelů strojového učení, jako jsou neuronové sítě.

Můžete diskutovat o Opendoorově automatickém modelu oceňování (OVM) a o tom, jak vypočítává odhadovanou hodnotu nemovitosti?

Opendoorův model oceňování (OVM) je klíčovou součástí našeho podnikání a vstupuje do mnoha následných aplikací cenového stanovení.

Ve mnoha ohledech se OVM chová jako typický kupující nebo prodávající – hledá v okolí, včetně typů a cen nedávno prodaných domů. Ale při stanovení cen nemovitostí, zejména vzhledem k rozmanitosti domů po celých Spojených státech, nestačí se pouze dívat na ceny srovnatelných prodejů. Je to mnohem složitější. Bereme v úvahu řadu faktorů, od velikosti a prostoru zahrady po počet koupelen a ložnic, rozložení, rušivé silnice, úpravy a mnoho dalšího. OVM je napájen množstvím zdrojů dat, včetně informací o nemovitostních daních, tržních trendech a mnoha specifických signálů pro domy a okolí. Také hledáme předchozí lidské úpravy na domech, abychom mohli vypočítat průměrnou úpravu hodnoty. A jsme schopni tyto hodnoty vylepšit se škálovatelností. Jakmile shromáždíme více lidských úprav dat pro trhy, datová sada roste a zlepšuje výkon OVM. Je to zpětná smyčka, která neustále zlepšuje výkon v čase.

Kromě toho, že je velmi přesný, musí běžet s nízkou latencí a vysokou pokrytím. To znamená, že každé fois, když vstupujeme na nový trh, musíme rozšířit možnosti OVM, abychom zajistili, že může sloužit majitelům domů napříč čtvrtěmi a typy domů.

Jaké jsou některé z různých metod strojového učení, které se používají?

Když jsme poprvé začali budovat OVM, spoléhali jsme se hlavně na lineární statistické modely, abychom lépe pochopili rozhodovací proces našich kupujících a prodávajících. Ale postupem času se OVM vyvinul a je nyní založen na neuronové síti, konkrétně na architektuře zvané Siamese Network. Používáme ji k vložení chování kupujících a prodávajících, včetně výběru srovnatelných domů, úprav a vážení. To je důležité, protože jsme zjistili, že aby modely dosáhly vysoké přesnosti, musí odrážet tyto klíčové kroky, které účastníci trhu následují ve své architektuře.

Jedním z mnoha výhod používání neuronové sítě je, že má přesnost a flexibilitu, aby strávil data napříč všemi trhy a detekoval jemné místní nuance. Jako výsledek, když Opendoor spustí na novém trhu nebo rozšíří inventář na existujícím trhu, můžeme použít stejný model, čímž se vyhneme velké části inženýrské infrastruktury, která pochází z vytváření nového produkčního modelu. Místo toho běžíme nová data skrz existující model, což výrazně snižuje čas, který naši inženýři tráví na tomto procesu.

Existuje také mnoho dalších metod strojového učení, které používáme v Opendoor, kromě neuronových sítí. To zahrnuje, ale není omezeno na, rozhodovací stromy, shlukovací techniky, řazené systémy a optimalizační algoritmy.

Opendoor spoléhá na obrovské množství dat, odkud tato data pocházejí?

Data, která naše algoritmy považují za nejvýznamnější, jsou také často data, která jsou nejobtížnější najít. To jsou data, která generujeme sami nebo vyvíjíme prostřednictvím vlastních vztahů. Používáme kombinaci interních dat a třetích stran realitních dat, včetně datových bodů z nabídek, jako je datum prodeje, počet ložnic a koupelen, velikost a další. Kromě toho se díváme na funkce, které indikují jedinečnost domů, což jsou věci, které pouze lidská odbornost může poskytnout, jako je osvětlení, hluk z ulice, kvalita spotřebičů a dokončení a mnoho dalšího. Shromažďujeme data z domů, které jsou již na trhu, stejně jako z domů, které nejsou na trhu, kde majitelé sdílejí informace s námi.

Můžete diskutovat o některých úsilích Opendooru o zlepšení rychlosti a spolehlivosti infrastruktury, která pohání jeho surovou datovou ingestaci?

Před spuštěním na novém trhu ingestujeme mnoho let historických dat. Vysokokvalitní data jsou zásadní pro školení našich algoritmů a místních operátorů, aby zajistili, že rozumějí variacím v rámci trhu. Abychom zlepšili rychlost, kvalitu a spolehlivost, vyvinuli jsme flexibilní nástroje pro mapování dat a nástroje pro automatické hodnocení pokrytí nových datových polí. S těmito nástroji na místě trvá několik hodin nebo dnů ingestovat a ověřit velké množství historických realitních transakčních dat, místo týdnů.

Jinou strategií, do které jsme investovali, je proaktivní, automatizované monitorování kvality dat. Nastavili jsme systémy, které kontrolují distribuce dat, která ingestujeme a transformujeme na každém kroku procesu, v reálném čase. Například, pokud očekáváme, že v určitém trhu je 20% nových nabídek v průměru bytů, a pak dnes 50% nových nabídek je klasifikováno jako byty, to spustí upozornění pro inženýra, aby to prošetřili.

Jak je odborné lidské úsudku kombinováno se strojovými algoritmy, aby se vytvořily zpětné smyčky neustále zlepšujícího se výkonu?

Naši interní odborníci na ceny hrají obrovskou roli napříč našimi cenovými rozhodnutími, pracují v tandemu s našimi algoritmy. Tam, kde stroje stále mají slepá místa, naši operátoři vyplňují, a spoléháme se na ně prostřednictvím různých fází. Například přidávají nebo ověřují vstupní data, jako je kvalita určitých renovací. Rozhodují o mezitímcích, jako je to, které funkce by mohly být obtížně ocenitelné, a také rozhodují o uživatelsky orientovaných rozhodnutích, jako je to, které nabídky bychom měli přijmout. Lidský prvek bude vždy kritický pro naši strategii a věříme, že spojení odborníků a algoritmů je nejlepší.

Můžete definovat zpětné testování a diskutovat o jeho důležitosti v Opendoor?

Zpětné testování je způsob, jak posoudit přesnost modelu pomocí historických dat. Například můžeme školení Opendoor Valuation Modelu na datech od ledna 2015 do ledna 2021. V tomto kontextu “školení” znamená, že krmíme historickými vstupy, jako jsou atributy domů, a výsledky, jako jsou prodané ceny domů, do modelu. A v návaznosti na to model učí vztah mezi vstupy a výsledky. Pak vezmeme tento model, který odráží nově naučené vztahy, a krmíme do něj další sadu historických dat, řekněme od února 2021. Protože data jsou historická, víme, jaké jsou výsledky, a můžeme měřit, jak se liší od předpovědí.

Tento proces je velmi důležitý v Opendoor a je používán pro všechny naše produkty strojového učení. Snižuje riziko problému nazývaného přeučení, který je, když model strojového učení identifikuje vzory v historických datech, které nejsou真的. Například falešné korelace, které nepomáhají s reálným předpovídáním. Také nás zachraňuje před spuštěním nákladných reálných A/B testů na nových produktech a strategiích, které lze eliminovat na základě historických dat.

Je něco jiného, co byste rádi sdíleli o Opendoor?

Nábory! Pokud máte zájem o budování budoucnosti realit, a/nebo pracovat na rozhraní fintech, strojového učení a spotřebitelských produktů, přihlaste se! Máme otevřené pozice napříč funkcemi a městy. Zkontrolujte naši stránku kariéry zde.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, měli by navštívit Opendoor.