Sam Stone, PM, Tarification chez Opendoor – Série d'interviews

Sam est passionné par la création de produits à l'intersection de la finance et de l'apprentissage automatique. Il est actuellement chef de produit pour le groupe Pricing chez porte ouverte, une start-up en phase avancée qui utilise des algorithmes pour acheter et vendre des maisons instantanément, évitant ainsi aux propriétaires les tracas et l'incertitude liés à l'inscription de leur maison et de leur hébergement.

Qu'est-ce qui vous a initialement attiré vers l'apprentissage automatique et la science des données ?

Après l'université, j'ai travaillé pour une grande entreprise de services professionnels qui a embauché des centaines de diplômés universitaires pour le même poste de débutant. Au fur et à mesure que je me suis impliqué dans le recrutement, j'ai été frappé, et consterné, par l'ampleur des divergences d'opinions au sein du cabinet sur les qualités des candidats qui ont conduit au succès. Cela semblait être un problème vraiment important, où la clarté manquait. Mais j’étais enthousiasmé par le fait que nous disposions de nombreuses données sur les anciens candidats à un emploi et les résultats des nouvelles embauches qui n’avaient jamais été reliées ou analysées en profondeur. J'ai donc commencé à travailler là-dessus, en le traitant comme un problème statistique, en utilisant des outils de base comme la régression linéaire. Au fil du temps, le projet est devenu une startup et les méthodes utilisées sont devenues plus sophistiquées. Par exemple, nous voulions traiter directement l’audio et le texte non structurés des entretiens, ce qui nous a conduit à adopter des modèles d’apprentissage automatique plus puissants comme les réseaux de neurones.

Pourriez-vous discuter du modèle d'évaluation automatisé (OVM) d'Opendoor et de la manière dont il calcule la valeur estimée d'une propriété ?

Le modèle d'évaluation Opendoor (OVM) est un élément central de notre activité et alimente de nombreuses applications de tarification en aval.

À bien des égards, OVM se comporte comme le ferait un acheteur ou un vendeur typique : il regarde à travers un quartier, y compris les types et les prix des maisons récemment vendues. Cependant, lorsqu'il s'agit de fixer le prix des maisons, en particulier compte tenu de la diversité des maisons aux États-Unis, il ne suffit pas de regarder uniquement les prix de ventes comparables. C'est beaucoup plus complexe que cela. Nous prenons en compte divers facteurs, allant de la superficie en pieds carrés et de l'espace de la cour arrière au nombre de salles de bains et de chambres à coucher, en passant par l'aménagement, les routes très fréquentées, les améliorations, etc. OVM est alimenté par une multitude de sources de données, y compris des informations sur l'impôt foncier, les tendances du marché ainsi que de nombreux signaux spécifiques à la maison et au quartier. Nous recherchons également des ajustements humains antérieurs sur les maisons pour calculer la valeur d'ajustement moyenne. Et nous sommes en mesure d'affiner ces valeurs avec l'échelle. Au fur et à mesure que nous collectons des données d'ajustement humain pour les marchés, l'ensemble de données augmente et améliore les performances de l'OVM. C'est une boucle de rétroaction qui améliore continuellement les performances au fil du temps.

En plus d'être très précis, il doit fonctionner avec une faible latence et une couverture élevée. Cela signifie que chaque fois que nous entrons sur un nouveau marché, nous devons étendre les capacités d'OVM pour nous assurer qu'il peut servir les propriétaires de tous les quartiers et types de maisons.

Quelles sont certaines des différentes méthodologies d'apprentissage automatique utilisées ?

Lorsque nous avons commencé à construire OVM, nous nous appuyions principalement sur des modèles statistiques linéaires pour mieux comprendre le processus de prise de décision de nos acheteurs et vendeurs. Mais au fil du temps, OVM s'est développé et est maintenant basé sur un réseau de neurones, plus précisément une architecture appelée réseau siamois. Nous l'utilisons pour intégrer les comportements des acheteurs et des vendeurs, notamment en sélectionnant des maisons comparables, en les ajustant et en les pondérant. Ceci est essentiel car nous avons constaté que pour atteindre une précision élevée, les modèles doivent refléter ces étapes clés que les acteurs du marché suivent dans leur architecture.

L'un des nombreux avantages de l'utilisation d'un réseau neuronal est qu'il a la précision et la flexibilité nécessaires pour digérer les données sur tous les marchés et détecter les nuances locales granulaires. Par conséquent, lorsqu'Opendoor se lance sur un nouveau marché ou étend son inventaire sur un marché existant, nous pouvons utiliser le même modèle, en contournant une grande partie du travail d'infrastructure d'ingénierie qui découle de l'instanciation d'un nouveau modèle de production. Au lieu de cela, nous exécutons de nouvelles données via le modèle existant, ce qui réduit considérablement le temps que nos ingénieurs consacrent au processus.

Il existe également de nombreuses autres méthodologies d'apprentissage automatique que nous utilisons chez Opendoor, en plus des réseaux de neurones. Cela inclut, mais sans s'y limiter, les arbres de décision, les techniques de clustering, les systèmes de classement et les algorithmes d'optimisation.

Opendoor s'appuie sur d'énormes quantités de données, d'où ces données sont-elles collectées ?

Les données que nos algorithmes trouvent les plus précieuses sont aussi souvent les données les plus difficiles à trouver. Ce sont les données que nous générons nous-mêmes ou que nous développons via des relations propriétaires. Nous utilisons une combinaison de données internes et de données immobilières tierces, y compris des points de données provenant d'annonces, comme la date de vente, le nombre de chambres et de salles de bains, la superficie en pieds carrés et plus encore. De plus, nous examinons les caractéristiques qui indiquent le caractère unique des maisons, qui sont des choses que seule l'expertise humaine peut fournir, telles que l'éclairage, le bruit de la rue, la qualité des appareils et des finitions et bien plus encore. Nous recueillons des données sur les maisons qui sont déjà sur le marché ainsi que sur les maisons hors marché où les propriétaires ont partagé des informations avec nous.

Pourriez-vous discuter de certains des efforts d'Opendoor pour améliorer la vitesse et la fiabilité de l'infrastructure qui alimente son ingestion de données brutes ?

Avant tout nouveau lancement sur le marché, nous ingérons de nombreuses années de données historiques. Des données de haute qualité sont essentielles pour former à la fois nos algorithmes et nos opérateurs locaux afin de s'assurer qu'ils comprennent les variations au sein de ce marché. Pour améliorer la vitesse, la qualité et la fiabilité, nous avons conçu des outils de mappage de données flexibles et des outils pour évaluer automatiquement la couverture de nouveaux champs de données. Avec ces outils en place, il nous faut quelques heures ou quelques jours pour ingérer et valider de grandes quantités de données historiques sur les transactions immobilières, au lieu de semaines.

Une autre stratégie dans laquelle nous avons investi est la surveillance proactive et automatisée de la qualité des données. Nous avons mis en place des systèmes qui vérifient les distributions des données que nous ingérons et transformons à chaque étape du processus, en temps réel. Par exemple, si nous prévoyons que sur un marché particulier, 20 % des nouvelles annonces en moyenne sont des appartements, et qu'aujourd'hui 50 % des nouvelles annonces sont classées comme appartements, cela déclenchera une alerte pour qu'un ingénieur enquête.

Comment le jugement humain expert est-il combiné aux algorithmes d'apprentissage automatique pour créer des boucles de rétroaction de performances en constante amélioration ?

Nos experts en tarification internes jouent un rôle énorme dans nos décisions de tarification, travaillant en tandem avec nos algorithmes. Là où les machines ont encore des angles morts, nos opérateurs experts les remplacent et nous comptons sur eux à différentes étapes. Par exemple, ils ajoutent ou vérifient des données d'entrée, comme la qualité de certains projets de rénovation. Ils prennent des décisions intermédiaires sur les fonctionnalités qui pourraient être difficiles à évaluer, et ils prennent également des décisions orientées vers l'utilisateur, comme les offres que nous devrions accepter. L'élément humain sera toujours essentiel à notre stratégie et nous pensons qu'il est préférable de marier experts et algorithmes.

Pourriez-vous tous les deux définir le backtesting et discuter de son importance chez Opendoor ?

Le backtesting est un moyen d'évaluer la précision d'un modèle à l'aide de données historiques. Par exemple, nous pouvons entraîner le modèle d'évaluation Opendoor sur des données de janvier 2015 à janvier 2021. Dans ce contexte, « entraîner » signifie que nous alimentons le modèle en données historiques, telles que les attributs de la maison, et les résultats, tels que les prix des maisons vendues. Et, à son tour, le modèle apprend une relation entre les intrants et les résultats. Ensuite, nous prenons ce modèle, qui reflète ces relations nouvellement apprises, et nous alimentons un autre ensemble de données historiques, disons à partir de février 2021. Parce que les données sont historiques, nous connaissons les résultats et nous pouvons mesurer à quel point ceux-ci divergent de la prédictions.

Ce processus est très important chez Opendoor, et il est utilisé pour tous nos produits d'apprentissage automatique. Cela réduit le risque d'un problème appelé surajustement, qui se produit lorsqu'un modèle d'apprentissage automatique identifie des modèles dans des données historiques qui n'existent pas vraiment. Par exemple, de fausses corrélations qui n'aident pas à faire des prévisions dans le monde réel. Cela nous évite également d'exécuter des tests A/B coûteux dans le monde réel sur de nouveaux produits et stratégies qui peuvent être éliminés sur la base de données historiques.

Y a-t-il autre chose que vous aimeriez partager à propos d'Opendoor ?

Nous embauchons! Si vous souhaitez construire l'avenir de l'immobilier et/ou travailler à l'intersection de la fintech, de l'apprentissage automatique et des produits de consommation, veuillez postuler ! Nous avons des postes ouverts à travers les fonctions et les villes Consultez notre page carrières ici.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter porte ouverte.