Sam Stone, PM, Pricing at Opendoor – Haastattelusarja

Sam on intohimoisen kiinnostunut rakentamaan tuotteita rahoituksen ja koneoppimisen leikkauskohdassa. Hän on tällä hetkellä Pricing-ryhmän tuotepäällikkö Opendoorissa, myöhäisvaiheen startupissa, joka käyttää algoritmeja ostamaan ja myymään taloja välittömästi, säästäen kotitalouksilta vaivaa ja epävarmuutta kotinsa listauksessa ja isäntien järjestämisessä.

Mikä alun perin veti sinut koneoppimisen ja data-analytiikan puoleen?

Yliopiston jälkeen työskentelin suuressa ammattipalveluyrityksessä, joka palkkasi satoja yliopiston valmistuneita samaan aloittelijan asemaan. Kun aloin osallistua palkkaamiseen, olin hämmästynyt ja pettynyt siitä, kuinka voimakkaasti ihmisten mielipiteet yrityksessä erosivat siitä, mitkä ehdokkaan ominaisuudet johtivat menestykseen. Vaikutti siltä, että se oli todella tärkeä ongelma, jossa puuttui selkeää tietoa. Mutta olin innoissani siitä, että meillä oli runsaasti tietoa aiemmista työnhakijoista ja uusien työntekijöiden tuloksista, joita ei ollut koskaan yhdistetty tai syvällisesti analysoitu. Niinpä aloin työskennellä siinä, kohtelemalla sitä tilastollisena ongelmana, käyttäen perustyökaluja kuten lineaarista regressiota. Ajan myötä projekti kasvoi ja menetelmistämme tuli monimutkaisempia. Esimerkiksi halusimme prosessoida rakenteettomia ääni- ja tekstitietoja haastatteluista suoraan, ja se johti meidät ottamaan käyttöön voimakkaampia koneoppimismalleja, kuten neuroverkkoja.

Voitko keskustella Opendoorin automaattisen arvostusmallin (OVM) kanssa ja kuinka se laskee arvioidun kiinteistön arvon?

Opendoorin arvostusmalli (OVM) on liiketoimintamme keskeinen osa ja se vaikuttaa moniin alasvirtaan suuntautuviin hinnoittelusovelluksiin.

Monin tavoin OVM toimii kuin tyypillinen ostaja tai myyjä – se tarkastelee naapurustoa, mukaan lukien talojen tyypit ja hinnat, jotka on myyty äskettäin. Mutta kun on kyse kiinteistöjen hinnoittelusta, erityisesti ottaen huomioon kotien monimuotoisuuden ympäri Yhdysvaltoja, ei ole riittävää tarkastella ainoastaan vertailukelpoisten myyntien hintoja. Se on paljon monimutkaisempaa. Otamme huomioon monia tekijöitä, joista muutamia ovat neliömetrimäärä, takapihan tila, määrä wc:itä ja makuuhuoneita, asettelu, kiireiset tiet, parannukset ja paljon muuta. OVM saa syötettä useista tietolähteistä, mukaan lukien kiinteistöverotiedot, markkinatrendit sekä monia koti- ja naapurustokohtaisia signaaleja. Etsimme myös aiempia ihmisten sopeutumisia koteihin laskea keskimääräistä sopeutumisarvoa. Ja pystymme parantamaan näitä arvoja mittakaavassa. Kun keräämme enemmän ihmisten sopeutumisdataa markkinoille, tietojoukko kasvaa ja parantaa OVM:n suorituskykyä. Se on palautekehä, joka jatkuvasti parantaa suorituskykyä ajan myötä.

Lisäksi siinä on oltava erittäin tarkin ja se on suoritettava matalalla viiveellä ja korkealla kattavuudella. Tämä tarkoittaa, että jokaisen uuden markkinan aloittamisen yhteydessä meidän on laajennettava OVM:n kykyjä varmistaaksemme, että se voi palvella kotitalouksia ympäri naapurustoja ja kotityyppejä.

Mitkä ovat erilaiset koneoppimismenetelmät, joita käytetään?

Kun aloimme rakentamaan OVM:ää, luotimme pääasiassa lineaarisiin tilastollisiin malleihin ymmärtääksemme paremmin ostajien ja myyjien päätöksentekoprosessia. Mutta ajan myötä OVM kehittyi ja se perustuu nyt neuroverkkoon, erityisesti arkkitehtuuriin, jota kutsutaan Siamese-verkoksi. Käytämme sitä upottamaan ostajien ja myyjien käyttäytymistä, mukaan lukien vertailukelpoisten kotien valinta, sopeutus ja painotus. Tämä on olennaisen tärkeää, koska olemme havainneet, että jotta voidaan saavuttaa korkea tarkkuus, malleissa on oltava heijastettuina nämä avainaskeleet, joita markkinatoimijat seuraavat arkkitehtuurissaan.

Yksi monista hyödyistä, joita neuroverkon käytöstä on, on sen tarkkuus ja joustavuus syödä dataa kaikista markkinoista ja havaita hienoja paikallisia nuansseja. Tämän seurauksena, kun Opendoor lanseeraa uuden markkinan tai laajentaa varastoa olemassa olevassa markkinassa, voimme käyttää samaa mallia, ohittaen suuren osan insinöörien tekemästä prosessin infrastruktuurityöstä. Sen sijaan suoritamme uuden datan olemassa olevan mallin kautta, mikä vähentää merkittävästi insinöörien työaikaa prosessissa.

Opendoorissa käytetään myös monia muita koneoppimismenetelmiä, mukaan lukien, mutta ei rajoittuen, päätöspuut, klusterointitekniikat, luokittelujärjestelmät ja optimointialgoritmit.

Opendoor luottaa valtaviin määriin dataa, mistä tämä data kerätään?

Algoritmien löytämä arvokkain data on usein myös se data, joka on vaikein löytää. Tämä on dataa, jonka kehittämme itse tai kehitämme omistusjärjestelyjen kautta. Käytämme yhdistelmää sisäistä dataa ja kolmannen osapuolen kiinteistödataa, mukaan lukien tietoja listauksista, kuten myyntipäivämäärä, määrä makuuhuoneita ja wc:itä, neliömetrimäärä ja paljon muuta. Lisäksi tarkastelemme ominaisuuksia, jotka osoittavat kotien yksilöllisyyttä, jotka ovat asioita, joita ainoastaan ihmisten asiantuntemus voi tarjota, kuten valaistus, kadun melu, laitteiden ja viimeistelyjen laatu ja paljon muuta. Keräämme dataa koteista, jotka ovat jo markkinoilla, sekä markkinoilta poistuneista koteista, joiden omistajat ovat jakaneet meille tietoja.

Voitko keskustella Opendoorin pyrkimyksistä parantamaan infrastruktuurin nopeutta ja luotettavuutta, joka mahdollistaa raakadatan syötön?

Ennen jokaisen uuden markkinan lanseerausta syötämme useita vuosia historiallista dataa. Laadukas data on olennaisen tärkeää kouluttaa sekä algoritmejamme että paikallisia toimijoitamme varmistaaksemme, että he ymmärtävät markkinoiden vaihteluita. Nopeuden, laadun ja luotettavuuden parantamiseksi olemme kehittäneet joustavia datakartoitusvälineitä ja työkaluja automaattiseen uusien datakenttien kattavuuden arviointiin. Nämä työkalut mahdollistavat meille suorittaa ja validoida suuria määriä historiallista kiinteistökaupan dataa muutamassa tunnissa tai päivässä, sen sijaan kuin viikossa.

Toinen strategia, johon olemme panostaneet, on proaktiivinen, automaattinen datan laadun valvonta. Olemme asettaneet järjestelmät, jotka tarkkailevat datan jakautumia, jonka syötämme ja muunnammme jokaisessa prosessin vaiheessa, reaaliajassa. Esimerkiksi, jos odotamme, että tietyssä markkinassa 20 % uusista listauksista on keskimäärin asuntoja, ja sitten tänään 50 % uusista listauksista on luokiteltu asunnoiksi, se laukaisee hälytyksen insinöörille tutkittavaksi.

Kuinka asiantuntijoiden ihmisten tuomista arvioista yhdistetään koneoppimisalgoritmeihin luomaan palautekehä, joka parantaa jatkuvasti suorituskykyä?

Sisäiset hinnoittelun asiantuntijamme ovat keskeisessä roolissa hinnoittelupäätöksissämme, toimien yhdessä algoritmien kanssa. Siellä, missä koneilla on edelleen sokeita pisteitä, asiantuntijamme täyttävät ne, ja luotamme heihin useissa vaiheissa. Esimerkiksi he lisäävät tai vahvistavat syötedataa, kuten tietyn korjausprojektin laatu. He tekevät väliaikaisia päätöksiä siitä, mitkä ominaisuudet voivat olla vaikeita arvioida, ja he myös tekevät loppukäyttäjien päätöksiä, kuten mitkä tarjoukset meidän pitäisi hyväksyä. Ihmisen osuus on aina kriittinen strategiaamme, ja uskomme, että asiantuntijoiden ja algoritmien yhdistäminen on paras tapa.

Voitko määritellä takaisinsoiton ja keskustella sen tärkeydestä Opendoorissa?

Takaisinsoitto on tapa arvioida mallin tarkkuutta käyttäen historiallista dataa. Esimerkiksi voimme kouluttaa Opendoorin arvostusmallin datalla vuosilta 2015-2021. Tässä yhteydessä “koulutus” tarkoittaa, että syötämme historialliset syötteet, kuten kotien ominaisuudet, ja tulokset, kuten myytyjen kotien hinnat, malliin. Ja vastavuoroisesti malli oppii suhteen syötteiden ja tuloksien välillä. Sitten otamme tämän mallin, joka heijastaa näitä uusia suhteita, ja syötämme siihen toisen joukon historiallista dataa, esimerkiksi vuodelta 2021. Koska data on historiallista, tiedämme tulokset, ja voimme mitata, kuinka paljon ne poikkeavat ennusteista.

Tämä prosessi on erittäin tärkeä Opendoorissa, ja sitä käytetään kaikissa koneoppimistuotteissamme. Se vähentää riskiä ongelman nimeltä ylioppiminen, jossa koneoppimismalli tunnistaa historiallisesta datasta kuvioita, jotka eivät todella ole olemassa. Esimerkiksi harhaanjohtavia korrelaatioita, jotka eivät auta ennustamisessa. Se myös säästää meiltä kalliiden todellisten maailman A/B-kokeiden suorittamista uusille tuotteille ja strategioille, jotka voidaan poistaa perusteellisen historiallisen datan perusteella.

Onko mitään muuta, mitä haluaisit jakaa Opendoorista?

Olemme palkkaamassa! Jos olet kiinnostunut rakentamaan tulevaisuuden kiinteistöalaa ja/tai työskentelemään rahoituksen, koneoppimisen ja kuluttajatuotteiden leikkauskohdassa, hae roolia! Meillä on avoimia tehtäviä eri toimintojen ja kaupunkien osalla. Tarkastele urasivujamme täällä.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Opendoorissa.