Marlos C. Machado, Adjunct Professor an der University of Alberta, Amii Fellow, CIFAR AI Chair – Interviewreihe

Marlos C. Machado ist ein Fellow in Residence am Alberta Machine Intelligence Institute (Amii), ein Adjunct Professor an der University of Alberta und ein Amii Fellow, wo er auch einen Canada CIFAR AI Chair innehat. Marlos’ Forschung konzentriert sich hauptsächlich auf das Problem des Reinforcement Learning. Er erhielt seinen B.Sc. und M.Sc. von der UFMG in Brasilien und seinen Ph.D. von der University of Alberta, wo er die Idee der temporally-extended Exploration durch Optionen populär machte.

Er war von 2021 bis 2023 Forscher bei DeepMind und von 2019 bis 2021 bei Google (GOOGL ) Brain, wo er wichtige Beiträge zum Reinforcement Learning leistete, insbesondere bei der Anwendung des Deep Reinforcement Learning zur Steuerung von Loons Stratosphärenballons. Marlos’ Arbeit wurde in den führenden Konferenzen und Zeitschriften im Bereich KI veröffentlicht, darunter Nature, JMLR, JAIR, NeurIPS, ICML, ICLR und AAAI. Seine Forschung wurde auch in populären Medien wie BBC, Bloomberg TV, The Verge und Wired vorgestellt.

Wir führten ein Interview mit ihm auf der jährlichen Upper Bound-Konferenz 2023 über KI, die in Edmonton, AB, stattfand und von Amii (Alberta Machine Intelligence Institute) ausgerichtet wurde.

Ihre Hauptarbeit konzentriert sich auf Reinforcement Learning, was zieht Sie an diese Art des Machine Learning?

Was ich an Reinforcement Learning mag, ist das Konzept, es ist eine sehr natürliche Art des Lernens, nämlich durch Interaktion. Es fühlt sich an, als ob es die Art und Weise ist, wie wir als Menschen lernen. Ich mag es nicht, wenn man KI anthropomorphisiert, aber es ist einfach eine intuitive Art, Dinge auszuprobieren, einige Dinge fühlen sich gut an, einige Dinge fühlen sich schlecht an, und man lernt, die Dinge zu tun, die einem gut tun. Eines der Dinge, die mich am Reinforcement Learning faszinieren, ist die Tatsache, dass man durch die Interaktion mit der Welt ein Agent ist, der versucht, Hypothesen zu überprüfen.

Der Grund, warum dies wichtig ist, liegt darin, dass es die Entdeckung neuer Verhaltensweisen ermöglicht. Zum Beispiel ist eines der berühmtesten Beispiele AlphaGo, der berühmte Zug 37, der in dem Dokumentarfilm erwähnt wird, der als kreativ bezeichnet wird. Es war etwas, das nie zuvor gesehen wurde, es ließ uns alle sprachlos zurück. Es war nicht irgendwo, es war einfach durch die Interaktion mit der Welt entstanden. Man erhält diese Fähigkeit, zu entdecken, wie zum Beispiel in einem Projekt, an dem ich gearbeitet habe, bei dem es um das Fliegen von sichtbaren Ballons in der Stratosphäre ging, und wir sahen sehr ähnliche Dinge.

Wir sahen Verhaltensweisen entstehen, die jeden beeindruckten und die niemand von uns je zuvor gesehen hatte, aber es war genial. Ich denke, dass Reinforcement Learning besonders gut geeignet ist, um diese Art von Verhaltensweisen zu entdecken, weil man interagiert und weil man in einem bestimmten Sinne eines der wirklich schwierigen Probleme in der allgemeinen Maschinenlernen-Forschung angeht, nämlich die Konterfaktizität, also die Frage, was passiert wäre, wenn man etwas anderes getan hätte. Dies ist ein sehr schwieriges Problem, aber im Reinforcement Learning kann man es angehen, indem man einfach ausprobiert, was passiert, wenn man etwas anderes tut.

Ich denke, dass dies der interaktive Aspekt des Reinforcement Learning ist, den ich wirklich mag. Natürlich bin ich nicht hypokritisch, ich denke, dass viele der coolen Anwendungen, die daraus entstanden sind, es sehr interessant gemacht haben. Wie zum Beispiel, wenn man zurückblickt, sogar auf die frühen Beispiele für den großen Erfolg des Reinforcement Learning, all dies machte es für mich sehr attraktiv.

Was war Ihre Lieblingsanwendung in der Vergangenheit?

Ich denke, dass es zwei sehr berühmte Beispiele gibt, eines ist der fliegende Hubschrauber, den sie an der Stanford-Universität mit Reinforcement Learning gebaut haben, und ein weiteres ist TD-Gammon, ein Backgammon-Spieler, der Weltmeister wurde. Dies war in den 90er Jahren, und zu dieser Zeit machte ich mein Ph.D. an der University of Alberta, wo ich die Idee der temporally-extended Exploration durch Optionen populär machte. Es ist lustig, weil als ich mit Reinforcement Learning begann, wusste ich nicht genau, was es war. Als ich mich für die Graduiertenschule bewarb, erinnere ich mich, dass ich viele Websites von Professoren besuchte, weil ich Maschinenlernen machen wollte, und ich las die Beschreibung ihrer Forschung, und ich dachte, “Oh, das ist interessant.” Als ich zurückblicke, ohne das Feld zu kennen, wählte ich alle berühmten Professoren im Reinforcement-Learning-Bereich, aber nicht, weil sie berühmt waren, sondern weil die Beschreibung ihrer Forschung ansprechend war.

Wie Sie es gefunden haben.

Genau, also als ich zurückblicke, dachte ich, “Oh, diese Leute, mit denen ich vor langer Zeit zusammenarbeiten wollte”, oder diese Papiere, die ich las, bevor ich wusste, was ich tat, ich las die Beschreibung in jemandes Papier, und ich dachte, “Oh, das ist etwas, das ich lesen sollte”, und es führte mich immer wieder zum Reinforcement Learning zurück.

Während Ihrer Zeit bei Google Brain arbeiteten Sie an der autonomen Navigation von Stratosphärenballons. Warum war dies ein guter Anwendungsfall für die Bereitstellung von Internetzugang in schwer zugängliche Gebiete?

Dafür bin ich kein Experte, dies ist die Präsentation, die Loon, eine Tochtergesellschaft von Alphabet (GOOG ), gemacht hat. Wenn man über die Art und Weise nachdenkt, wie man Internet an viele Menschen auf der Welt bereitstellt, baut man normalerweise eine Antenne, wie zum Beispiel eine Antenne in Edmonton, und diese Antenne ermöglicht es, Internet in einem Radius von etwa fünf oder sechs Kilometern zu bereitstellen. Wenn man eine Antenne in der Innenstadt von New York aufstellt, kann man Millionen von Menschen bedienen, aber wenn man versucht, Internet an eine Stammesgemeinschaft im Amazonas-Regenwald zu liefern, vielleicht gibt es nur 50 Menschen in der Stammesgemeinschaft, und der wirtschaftliche Aufwand, um eine Antenne dort aufzustellen, ist sehr hoch, nicht zu erwähnen, dass es sogar schwierig ist, in diese Region zu gelangen.

Wirtschaftlich gesehen macht es keinen Sinn, in eine schwer zugängliche Region, die sehr dünn besiedelt ist, eine große Infrastrukturinvestition zu tätigen. Die Idee der Ballons war einfach, “Was, wenn wir eine Antenne bauen könnten, die wirklich hoch ist? Was, wenn wir eine Antenne bauen könnten, die 20 Kilometer hoch ist?” Natürlich wissen wir nicht, wie man eine solche Antenne baut, aber wir könnten einen Ballon dort platzieren, und dann könnte der Ballon eine Region bedienen, die ein Radius von zehn Mal größer ist oder, wenn man von Radius spricht, dann ist es 100 Mal größer als die Fläche, in der Internet bereitgestellt wird. Wenn man den Ballon in der Mitte des Waldes oder in der Mitte des Dschungels platzieren würde, könnte man möglicherweise mehrere Stammesgemeinschaften bedienen, die sonst jeweils eine eigene Antenne benötigen würden.

Die Bereitstellung von Internetzugang in diese schwer zugänglichen Gebiete war eine der Motivationen. Ich erinnere mich, dass Loons Motto nicht darin bestand, Internet an die nächsten Milliarden Menschen zu liefern, sondern an die letzten Milliarden Menschen, was sehr ambitioniert war. Es geht nicht um die nächsten Milliarden, sondern um die schwersten Milliarden Menschen, die man erreichen kann.

Welche Navigationsprobleme versuchten Sie zu lösen?

Die Art und Weise, wie diese Ballons funktionieren, ist, dass sie nicht angetrieben werden, ähnlich wie bei der Navigation von Heißluftballons, bei der man entweder aufsteigt oder absteigt und den Windstrom findet, der einen in eine bestimmte Richtung bläst, und dann reitet man auf diesem Wind. Dies ist auch, was der Ballon tut, er ist kein Heißluftballon, sondern ein Ballon mit festem Volumen, der in der Stratosphäre fliegt.

Alles, was er tun kann, ist, aufzusteigen, abzusteigen oder an seinem Ort zu bleiben, und dann muss er Winde finden, die ihn dorthin bringen, wo er hinwants. In diesem Sinne navigiert er, und es gibt viele Herausforderungen, tatsächlich. Die erste Herausforderung ist, dass man, wenn man von der Formulierung spricht, in einer Region sein will, um Internet bereitzustellen, aber man will auch sicherstellen, dass diese Ballons solarbetrieben sind, dass man die Energie aufrechterhält. Es gibt ein Multi-Objekt-Optimierungsproblem, um nicht nur sicherzustellen, dass man in der Region ist, in der man sein will, sondern auch, dass man energieeffizient ist.

Dies war das Problem selbst, aber wenn man sich die Details ansieht, weiß man nicht, wie die Winde aussehen, man weiß, wie die Winde aussehen, wo man ist, aber man weiß nicht, wie die Winde 500 Meter über einem aussehen. Man hat, was man in der KI als partielle Beobachtbarkeit bezeichnet, also man hat nicht alle Daten. Man kann Vorhersagen haben, und es gibt Papiere darüber, aber die Vorhersagen können bis zu 90 Grad falsch sein. Es ist ein sehr schwieriges Problem, weil man mit dieser partiellen Beobachtbarkeit umgehen muss, es ist ein extrem hochdimensionales Problem, weil man von hunderten verschiedenen Windlagen spricht, und dann muss man die Windgeschwindigkeit, die Windrichtung, die Art und Weise, wie man es modelliert, und wie sicher man sich auf diese Vorhersage ist, berücksichtigen.

Dies macht das Problem sehr schwer zu bewältigen. Eines der Dinge, mit denen wir in diesem Projekt am meisten zu kämpfen hatten, war, dass wir, nachdem alles erledigt war, wie konnten wir vermitteln, wie schwer dieses Problem ist? Weil es schwer ist, sich das vorzustellen, weil es nicht etwas ist, das man auf dem Bildschirm sieht, es sind hunderte von Dimensionen und Winde, und wenn man das letzte Mal eine Messung von diesem Wind hatte. Man muss all dies verarbeiten, während man an die Energie, die Tageszeit, den Ort, an dem man sein will, denkt, es ist viel.

Was studiert die Maschinenlernen-Technik? Ist es einfach Windmuster und Temperatur?

Die Art und Weise, wie es funktioniert, ist, dass wir ein Modell der Winde hatten, das ein Maschinenlernen-System war, aber es war kein Reinforcement Learning. Man hat historische Daten über verschiedene Höhen, und dann baut man ein Maschinenlernen-Modell auf dieser Grundlage. Wenn ich “wir” sage, war ich nicht Teil davon, dies war etwas, das Loon bereits getan hatte, bevor Google Brain involviert war. Sie hatten dieses Windmodell, das nicht nur die verschiedenen Höhen umfasste, sondern auch, wie man zwischen den verschiedenen Höhen interpoliert.

Man könnte sagen, “Lass uns sagen, vor zwei Jahren sah der Wind so aus, aber wie sah er 10 Meter darüber aus?” Dann legt man ein Gaussian-Process-Modell auf, und sie hatten Papiere darüber, wie gut diese Modellierung war. Die Art und Weise, wie wir es gemacht haben, war, dass wir von einem Reinforcement-Learning-Perspektive ausgingen, wir hatten ein sehr gutes Simulationsmodell der Dynamik des Ballons, und dann hatten wir auch dieses Windmodell. Dann gingen wir zurück in der Zeit und sagten, “Lass uns so tun, als ob wir 2010 wären.” Wir hatten Daten darüber, wie der Wind 2010 über die ganze Welt aussah, aber sehr grob, und dann konnten wir dieses Maschinenlernen-Modell, diesen Gaussian-Process, aufsetzen, um tatsächlich die Messungen der Winde zu erhalten, und dann konnten wir Rauschen einfügen, wir konnten all sorts von Dingen tun.

Dann, weil wir die Dynamik des Modells und das Windmodell hatten und wir zurück in der Zeit gingen und so taten, als ob wir 2010 wären, hatten wir tatsächlich einen Simulator.

Es ist wie ein digitales Zwilling-Modell in der Vergangenheit.

Genau, wir entwarfen eine Belohnungsfunktion, die es ermöglichte, auf dem Ziel zu bleiben und ein bisschen energieeffizient zu sein, aber wir entwarfen diese Belohnungsfunktion, die es dem Ballon ermöglichte, durch Interaktion mit dieser Welt zu lernen, aber er konnte nur interagieren, weil wir nicht wissen, wie man das Wetter und die Winde modelliert, aber weil wir so taten, als ob wir in der Vergangenheit wären, und dann konnten wir lernen, wie man navigiert. Es war einfach, ob man aufsteigt, absteigt oder bleibt, gegeben alles, was um einen herum passiert, am Ende des Tages ist es so, dass man Internet an diese Region liefern will. Das war das Problem, in einem Sinne.

Was sind einige der Herausforderungen bei der Bereitstellung von Reinforcement Learning in der realen Welt im Vergleich zu einem Spielumfeld?

Ich denke, dass es ein paar Herausforderungen gibt. Ich denke nicht, dass es notwendigerweise um Spiele und die reale Welt geht, sondern um grundlegende Forschung und angewandte Forschung. Weil man in der angewandten Forschung oft Spiele als Forschungsumgebung verwendet, weil sie viele der Eigenschaften aufgreifen, die uns wichtig sind, aber sie tun dies in einem besser definierten Satz von Einschränkungen. Weil davon auszugehen ist, dass man die Forschung durchführen, das Lernen validieren kann, aber es ist eher ein sicherer Satz von Einschränkungen, den man besser versteht.

Es ist nicht so, dass die Forschung notwendigerweise sehr unterschiedlich sein muss, aber ich denke, dass die reale Welt viele zusätzliche Herausforderungen mit sich bringt. Es geht um die Bereitstellung von Systemen wie Sicherheitseinschränkungen, wie wir es bei den Ballons hatten, wir mussten sicherstellen, dass die Lösung sicher war. Wenn man nur Spiele macht, denkt man nicht unbedingt darüber nach. Wie kann man sicherstellen, dass der Ballon nicht etwas Dummes tut oder dass der Reinforcement-Learning-Agent nicht etwas gelernt hat, das wir nicht vorhergesehen haben und das schlechte Konsequenzen haben könnte? Dies war eine unserer größten Sorgen, nämlich die Sicherheit.

Das ist die Herausforderung, die andere ist der Ingenieurstack. Es ist sehr unterschiedlich, wenn man als Forscher auf eigene Faust mit einem Computerspiel interagiert, weil man es validieren will, es ist okay, aber jetzt hat man einen Ingenieurstack eines ganzen Produkts, mit dem man umgehen muss. Es ist nicht so, dass sie einem einfach erlauben, wild zu werden und alles zu tun, was man will, also denkt man, dass man viel vertrauter mit diesem zusätzlichen Stück werden muss. Ich denke, dass die Größe des Teams auch sehr unterschiedlich sein kann, wie Loon zu dieser Zeit, sie hatten Dutzende, wenn nicht Hunderte von Menschen. Wir interagierten natürlich mit einer kleinen Anzahl von ihnen, aber dann hatten sie ein Kontrollzentrum, das tatsächlich mit dem Luftfahrt-Personal sprach.

Wir waren ahnungslos darüber, aber dann hat man viele mehr Stakeholder, in einem Sinne. Ich denke, dass viele der Unterschiede darin bestehen, dass man mit Ingenieurstack, Sicherheit und so weiter umgehen muss, und vielleicht ist der andere, dass die Annahmen, die man macht, nicht gelten. Viele der Annahmen, auf denen diese Algorithmen basieren, wenn sie in die reale Welt kommen, gelten nicht, und dann muss man herausfinden, wie man damit umgeht. Die Welt ist nicht so freundlich wie jede Anwendung, die man in Spielen macht, es ist hauptsächlich, wenn man von einem sehr eingeschränkten Spiel spricht, das man auf eigene Faust macht.

Ein Beispiel, das ich wirklich liebe, ist, dass sie uns alles gegeben haben, wir sind wie, “Okay, jetzt können wir einige dieser Dinge ausprobieren, um dieses Problem zu lösen”, und dann gingen wir los und kamen eine Woche später, zwei Wochen später, zu den Loon-Ingenieuren zurück und sagten, “Wir haben euer Problem gelöst.” Wir waren wirklich clever, sie sahen uns mit einem Schmunzeln im Gesicht an und sagten, “Ihr habt es nicht gelöst, wir wissen, dass ihr es nicht lösen könnt, es ist zu schwer”, wie, “Nein, wir haben es gelöst, wir haben absolut euer Problem gelöst, schaut, wir haben 100-prozentige Genauigkeit.” Wie, “Das ist buchstäblich unmöglich, manchmal habt ihr nicht die Winde, die es euch ermöglichen …” “Nein, lass uns sehen, was los ist.”

Wir fanden heraus, was los war. Der Ballon, der Reinforcement-Learning-Algorithmus, hatte gelernt, in die Mitte der Region zu gehen, und dann stieg er auf und auf, und dann platzte der Ballon, und dann sank er und war für immer in der Region. Sie sagten, “Das ist offensichtlich nicht, was wir wollen”, aber dann, natürlich, war dies eine Simulation, und dann sagten wir, “Oh, okay, wie können wir das beheben?” Sie sagten, “Oh, ja, es gibt ein paar Dinge, aber eines der Dinge, wir stellen sicher, dass der Ballon nicht über die Höhe steigt, auf der er platzt.”

Diese Einschränkungen in der realen Welt, diese Aspekte, wie die Lösung tatsächlich mit anderen Dingen interagiert, es ist leicht, sie zu übersehen, wenn man nur ein Reinforcement-Learning-Forscher ist, der an Spielen arbeitet, und wenn man tatsächlich in die reale Welt geht, ist man wie, “Oh, warte, diese Dinge haben Konsequenzen, und ich muss mir dessen bewusst sein.” Ich denke, dass dies eine der Haupt schwierigkeiten ist.

Ich denke, dass die andere Herausforderung einfach ist, wie der Zyklus dieser Experimente sehr lang ist, wie in einem Spiel kann man einfach auf Play drücken. Schlimmstenfalls hat man nach einer Woche Ergebnisse, aber wenn man tatsächlich Ballons in der Stratosphäre fliegen lassen muss, haben wir diesen Ausdruck, den ich in meiner Rede verwende, nämlich, dass wir die Stratosphäre A/B getestet haben, weil schließlich, nachdem wir die Lösung hatten und wir uns sicher waren, dass sie gut war, wollten wir sicherstellen, dass sie tatsächlich statistisch besser war. Wir bekamen 13 Ballons, ich denke, und wir ließen sie über den Pazifischen Ozean für mehr als einen Monat fliegen, weil das die Zeit war, die es brauchte, um zu validieren, dass alles, was wir herausgefunden hatten, tatsächlich besser war. Der Zeitrahmen ist sehr unterschiedlich, also bekommt man nicht so viele Chancen, Dinge auszuprobieren.

Im Gegensatz zu Spielen gibt es nicht eine Million Iterationen desselben Spiels, die gleichzeitig laufen.

Ja. Wir hatten das für das Training, weil wir die Simulation nutzten, obwohl, wiederum, der Simulator viel langsamer ist als jedes Spiel, das man haben könnte, aber wir konnten damit umgehen, weil wir ingenieurstechnisch damit umgehen konnten. Wenn man es in der realen Welt macht, ist es anders.

Was ist Ihre aktuelle Forschung, an der Sie arbeiten?

Jetzt bin ich an der University of Alberta und habe hier eine Forschungsgruppe mit vielen Studenten. Meine Forschung ist viel vielfältiger, weil meine Studenten es mir ermöglichen, dies zu tun. Eines der Dinge, auf die ich besonders aufgeregt bin, ist dieses Konzept des kontinuierlichen Lernens. Was passiert, ist, dass fast jederzeit, wenn wir über Maschinenlernen im Allgemeinen sprechen, wir eine Berechnung durchführen, sei es mit einem Simulator oder mit einem Datensatz und der Verarbeitung der Daten, und wir lernen ein Maschinenlernen-Modell, und wir bereitstellen das Modell und hoffen, dass es okay ist, und das ist okay. Viele Male ist das genau das, was man braucht, viele Male ist das perfekt, aber manchmal ist es nicht, weil manchmal die Probleme in der realen Welt zu komplex sind, um zu erwarten, dass ein Modell, egal wie groß es ist, tatsächlich alle Komplexitäten der Welt aufgreifen kann, also muss man anpassen.

Eines der Projekte, an dem ich beteiligt bin, zum Beispiel hier an der University of Alberta, ist eine Wasseraufbereitungsanlage. Es geht darum, wie man Reinforcement-Learning-Algorithmen entwickeln kann, die andere Menschen bei der Entscheidungsfindung unterstützen oder wie man es autonom für die Wasseraufbereitung macht. Wir haben die Daten, wir können die Daten sehen, und manchmal ändert sich die Wasserqualität innerhalb von Stunden, also selbst wenn man sagt, “Jeden Tag werde ich mein Maschinenlernen-Modell vom Vortag trainieren und es innerhalb von Stunden des Tages bereitstellen”, ist das Modell nicht mehr gültig, weil es Daten-Drift gibt, es ist nicht stationär. Es ist sehr schwer, diese Dinge zu modellieren, weil vielleicht ein Waldbrand im Gange ist, der stromaufwärts ist, oder vielleicht schmilzt der Schnee, also muss man die ganze Welt modellieren, um dies zu tun.

Natürlich tut niemand dies, wir tun es nicht als Menschen, also was tun wir? Wir passen uns an, wir lernen weiter, wir sind wie, “Oh, das, was ich getan habe, funktioniert nicht mehr, also werde ich lernen, etwas anderes zu tun.” Ich denke, dass es viele Veröffentlichungen gibt, hauptsächlich die realen, die kontinuierliches Lernen erfordern und immer. Dies ist nicht die Standardart, wie wir über Maschinenlernen sprechen. Oft sprechen wir darüber, “Ich werde eine große Berechnung durchführen und ein Modell bereitstellen”, und vielleicht bereitstelle ich ein Modell, während ich bereits weitere Berechnungen durchführe, weil ich ein Modell ein paar Tage oder Wochen später bereitstellen werde, aber manchmal funktionieren die Zeitskalen nicht.

Die Frage ist, “Wie können wir kontinuierlich lernen und immer besser werden und uns anpassen?” und das ist sehr schwer. Wir haben ein paar Papiere darüber, wie unsere aktuelle Maschinerie nicht in der Lage ist, dies zu tun, wie viele der Lösungen, die wir haben und die der Goldstandard in diesem Bereich sind, wenn man einfach weiterlernt, anstatt aufzuhören und zu bereitstellen, sehr schnell schlecht werden. Dies ist eines der Dinge, auf die ich wirklich aufgeregt bin, das ich denke, ist jetzt, da wir so viele erfolgreiche Dinge getan haben, wie zum Beispiel die Bereitstellung fester Modelle, und wir werden dies weiterhin tun, als Forscher denke ich, “Was ist die Grenze dieses Bereichs?” Ich denke, dass eine der Grenzen, die wir haben, dieser Aspekt des kontinuierlichen Lernens ist.

Ich denke, dass eines der Dinge, die Reinforcement Learning besonders gut geeignet macht, um dies zu tun, ist, dass viele unserer Algorithmen Daten verarbeiten, während die Daten hereinkommen, und viele Algorithmen sind einfach in der Lage, zu lernen. Es bedeutet nicht, dass sie es tun oder dass sie gut darin sind, aber wir müssen uns nicht fragen, und ich denke, dass es viele interessante Forschungsfragen gibt, was man tun kann.

Welche zukünftigen Anwendungen mit diesem kontinuierlichen Lernen sind Sie am meisten aufgeregt?

Dies ist die Milliardendollarfrage, weil ich als Forscher versuche, die richtigen Fragen zu stellen, es ist mehr als die Hälfte der Arbeit, also denke ich, dass in unserem Reinforcement Learning viele Male getrieben wird, ich mag es, wenn ich von Problemen getrieben werde. Es ist einfach, “Oh, schaut, wir haben diese Herausforderung, lass uns herausfinden, wie wir sie lösen”, und dann macht man auf dem Weg wissenschaftliche Fortschritte. Jetzt arbeite ich mit anderen, wie Adam White, Martha White, an diesem Projekt, das tatsächlich von ihnen geleitet wird, auf dieser Wasseraufbereitungsanlage. Es ist etwas, auf das ich wirklich aufgeregt bin, weil es sehr schwer ist, es mit Sprache zu beschreiben, es ist einfach, es ist nicht, dass alle aktuellen Erfolge, die wir mit Sprache haben, leicht anwendbar sind.

Es erfordert diesen Aspekt des kontinuierlichen Lernens, wie ich bereits sagte, weil das Wasser sehr oft ändert, sei es die Trübung, die Temperatur und so weiter, und es funktioniert auf verschiedenen Zeitskalen. Ich denke, dass es unvermeidlich ist, dass wir kontinuierlich lernen müssen. Es hat einen enormen sozialen Einfluss, es ist schwer vorzustellen, etwas Wichtigeres als die Bereitstellung von Trinkwasser für die Bevölkerung, und manchmal ist es sehr wichtig. Weil es leicht ist, zu übersehen, dass manchmal in Kanada, zum Beispiel, wenn man in diese spärlich besiedelten Gebiete im Norden und so weiter geht, manchmal haben wir nicht einmal einen Bediener, um eine Wasseraufbereitungsanlage zu bedienen. Es ist nicht so, dass es notwendigerweise den Bediener ersetzen soll, aber es soll uns ermöglichen, Dinge zu tun, die wir sonst nicht könnten, weil wir einfach nicht das Personal oder die Stärke haben, es zu tun.

Ich denke, dass es ein enormes Potenzial für sozialen Einfluss hat, es ist ein extrem schwieriges Forschungsproblem. Wir haben keinen Simulator, wir haben keine Möglichkeit, einen zu beschaffen, also müssen wir die besten Daten verwenden, wir müssen online lernen, also gibt es viele Herausforderungen. Dies ist eines der Dinge, auf die ich aufgeregt bin. Ein weiteres, und das ist nicht etwas, an dem ich viel gearbeitet habe, aber ein weiteres ist die Kühlung von Gebäuden, und wieder, wenn man an das Wetter, den Klimawandel und Dinge denkt, die man beeinflussen kann, oft ist es einfach, wie entscheidet man, wie man ein Gebäude kühlt? Wie zum Beispiel dieses Gebäude, in dem wir heute Hunderte von Menschen haben, es ist sehr unterschiedlich von dem, was es letzte Woche war, und werden wir genau die gleiche Politik verwenden? Wir haben höchstens ein Thermostat, also sind wir wie, “Oh, es ist warm, also können wir wahrscheinlich cleverer sein und anpassen”, wieder, und manchmal sind es viele Menschen in einem Raum, nicht im anderen.

Es gibt viele dieser Möglichkeiten, kontrollierte Systeme, die hochdimensional sind und sehr schwer zu verstehen, die wir wahrscheinlich viel besser machen können als die Standardansätze, die wir derzeit im Bereich haben.

In einigen Orten kann bis zu 75% des Stromverbrauchs buchstäblich aus Klimaanlagen bestehen, also macht das viel Sinn.

Genau, und ich denke, dass viele dieser Dinge in Ihrem Haus bereits Maschinenlernen-Produkte haben, die von den Kunden lernen, und dann können sie lernen, wie man es autonom macht. In diesen Gebäuden kann man einen viel feineren Ansatz haben, wie in Florida, Brasilien, es ist viele Orte, die diesen Bedarf haben. Die Kühlung von Rechenzentren, das ist ein weiteres Beispiel, es gibt einige Unternehmen, die bereits damit beginnen, und es klingt fast wie Science-Fiction, aber es gibt die Fähigkeit, kontinuierlich zu lernen und sich anzupassen, während der Bedarf entsteht. Dies kann einen enormen Einfluss auf diese Kontrollprobleme haben, die hochdimensional sind und so weiter, wie zum Beispiel, wenn wir die Ballons flogen. Zum Beispiel war eine der Dinge, die wir zeigen konnten, genau, wie Reinforcement Learning, insbesondere Deep Reinforcement Learning, Entscheidungen auf der Grundlage von Sensoren lernen kann, die viel komplexer sind als das, was Menschen entwerfen können.

Nur durch Definition, wenn man sich ansieht, wie ein Mensch eine Antwortkurve entwerfen würde, es ist wie, “Nun, es ist wahrscheinlich linear, quadratisch”, aber wenn man ein neuronales Netzwerk hat, kann es alle Nichtlinearitäten lernen, die es zu einer viel feineren Entscheidung machen, die manchmal sehr effektiv ist.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten die folgenden Ressourcen besuchen:

• Upper Bound AI-Konferenz.
• Amii (Alberta Machine Intelligence Institute)