rozhovory
Marlos C. Machado, mimořádný profesor na University of Alberta, Amii Fellow, CIFAR AI Chair – série rozhovorů
Marlos C. Machado je členem rezidence na Alberta Machine Intelligence Institute (Amii), mimořádným profesorem na University of Alberta a členem Amii, kde je také držitelem kanadského CIFAR AI Chair. Marlosův výzkum se většinou zaměřuje na problém posilování učení. Získal titul B.Sc. a M.Sc. z UFMG v Brazílii a jeho Ph.D. z University of Alberta, kde popularizoval myšlenku časově rozšířeného zkoumání prostřednictvím možností.
V letech 2021 až 2023 byl výzkumným pracovníkem ve společnosti DeepMind a v letech 2019 až 2021 ve společnosti Google Brain, během této doby významně přispěl k posílení učení, zejména k aplikaci učení hlubokého posílení k ovládání stratosférických balónů Loon. Marlosova práce byla publikována na předních konferencích a časopisech v AI, včetně Nature, JMLR, JAIR, NeurIPS, ICML, ICLR a AAAI. Jeho výzkum byl také uveden v populárních médiích, jako je BBC, Bloomberg TV, The Verge a Wired.
Zasedli jsme k rozhovoru na výročním ročníku 2023 Horní hranice konference o AI, která se koná v Edmontonu, AB a kterou pořádá Amii (Alberta Machine Intelligence Institute).
Vaším hlavním zaměřením je posilování učení, co vás přitahuje k tomuto typu strojového učení?
Co se mi na posilovacím učení líbí, je tento koncept, je to podle mého názoru velmi přirozený způsob učení, to znamená, že se učíte interakcí. Cítí, že se tak v jistém smyslu učíme jako lidé. Nerad antropomorfizuji AI, ale je to tak, že je to tento intuitivní způsob, jak si věci vyzkoušet, některé věci se cítíte dobře, některé špatně a naučíte se dělat věci, díky kterým se budete cítit lépe. Jedna z věcí, která mě na posilovacím učení fascinuje, je skutečnost, že protože skutečně interagujete se světem, jste tím agentem, o kterém mluvíme, zkouší věci ve světě a agent může přijít s hypotézou a testovat ta hypotéza.
Důvodem je to, že to umožňuje objevování nového chování. Například jedním z nejznámějších příkladů je AlphaGo, tah 37, o kterém mluví v dokumentu, což je tento tah, o kterém lidé říkají, že byl kreativitou. Bylo to něco, co jsme ještě neviděli, všechny nás to ohromilo. Není to nikde, bylo to jen díky interakci se světem, můžete ty věci objevit. Získáte tuto schopnost objevovat, jako jeden z projektů, na kterém jsem pracoval, bylo létat s viditelnými balóny ve stratosféře a také jsme viděli velmi podobné věci.
Viděli jsme, jak se objevuje chování, které na všechny udělalo dojem a jako bychom o tom nikdy nepřemýšleli, ale je to skvělé. Myslím si, že posilovací učení je jedinečně situováno, aby nám umožnilo objevit tento typ chování, protože spolu komunikujete, protože v jistém smyslu jsou jednou ze skutečně obtížných věcí kontrafaktuální situace, jako co by se stalo, kdybych to udělal, místo toho, co dělal? Toto je obecně velmi obtížný problém, ale v mnoha nastaveních ve studiích strojového učení s tím nemůžete nic dělat. V posilovacím učení můžete: "Co by se stalo, kdybych to udělal?" Mohl bych to zkusit příště, když to zažívám. Myslím, že tento interaktivní aspekt se mi opravdu líbí.
Samozřejmě nebudu pokrytecký, myslím si, že díky mnoha skvělým aplikacím, které s tím byly, to bylo docela zajímavé. Jako když se vracíme před desetiletími a desetiletími, i když mluvíme o prvních příkladech velkého úspěchu posilovacího učení, toto všechno pro mě bylo velmi atraktivní.
Jaká byla vaše oblíbená historická aplikace?
Myslím, že existují dva velmi slavné, jeden je létající vrtulník, který dělali ve Stanfordu s posilovacím učením, a další je TD-Gammon, což je hráč vrhcáby, který se stal mistrem světa. Bylo to v 90. letech, a tak je to během mého doktorského studia, ujistil jsem se, že jsem absolvoval stáž v IBM u Geralda Tesaura a Gerald Tesauro byl ten, kdo vedl projekt TD-Gammon, takže to bylo opravdu skvělé. . Je to legrační, protože když jsem se začal věnovat posilování, nebylo to tak, že bych si byl plně vědom toho, co to bylo. Když jsem se hlásil na postgraduální školu, pamatuji si, že jsem chodil na spoustu webů profesorů, protože jsem chtěl dělat strojové učení, jako velmi obecně, a četl jsem popis výzkumu všech a říkal jsem si: „Ach , to je zajímavé." Když se podívám zpět, aniž bych znal obor, vybral jsem si všechny slavné profesory v našem posilovacím učení, ale ne proto, že by byli slavní, ale proto, že mě popis jejich výzkumu lákal. Říkal jsem si: "Ach, tento web je opravdu pěkný, chci pracovat s tímhle chlapem a tímhle chlapem a touhle ženou," takže v jistém smyslu to bylo...
Jako byste je našli organicky.
Přesně tak, takže když se ohlédnu zpět, říkal jsem si: „Ach, to jsou lidé, se kterými jsem se kdysi dávno ucházel o práci,“ nebo to jsou noviny, o kterých jsem předtím, než jsem vlastně věděl, co dělám, četl popis v něčích novinách, byl jsem rád: "Ach, to je něco, co bych si měl přečíst," důsledně se to vrátilo k posilujícímu učení.
V Google Brain jste pracoval na autonomní navigaci stratosférických balónů. Proč to byl dobrý případ použití pro poskytování přístupu k internetu do těžko dostupných oblastí?
Na to nejsem odborník, tohle je hřiště, na kterém pracoval Loon, což byla dceřiná společnost Alphabet. Když si projdeme způsob, jakým poskytujeme internet mnoha lidem na světě, je to tak, že postavíte anténu, například postavíte anténu v Edmontonu, a tato anténa vám umožní poskytovat internet do oblasti řekněme pěti, v okruhu šesti kilometrů. Pokud umístíte anténu do centra New Yorku, sloužíte milionům lidí, ale teď si představte, že se snažíte poskytovat internet kmeni v amazonském deštném pralese. Možná máte v kmeni 50 lidí, ekonomické náklady na umístění antény to ztěžují, nemluvě dokonce o přístupu k tomuto regionu.
Ekonomicky vzato nemá smysl dělat velké investice do infrastruktury v těžko dostupném regionu, který je tak řídce osídlený. Myšlenka balónů byla jako: „Ale co kdybychom dokázali postavit anténu, která by byla opravdu vysoká? Co kdybychom dokázali postavit anténu vysokou 20 kilometrů? Samozřejmě nevíme, jak postavit tu anténu, ale mohli bychom tam dát balón a ten by pak byl schopen obsloužit oblast, která má poloměr 10krát větší, nebo pokud mluvíte o poloměru, pak je to 100x větší oblast internetu. Když to tam dáte, řekněme doprostřed lesa nebo doprostřed džungle, pak možná posloužíte několika kmenům, které by jinak vyžadovaly jednu anténu pro každý z nich.
Poskytování přístupu k internetu do těchto těžko dostupných regionů bylo jednou z motivací. Pamatuji si, že Loonovým heslem nebylo poskytovat internet další miliardě lidí, ale poskytovat internet poslední miliardě lidí, což bylo v jistém smyslu nesmírně ambiciózní. Nejde o další miliardu, ale je to jako pro nejtěžší miliardu lidí dosažitelných.
Jaké byly problémy s navigací, které jste se snažili vyřešit?
Způsob, jakým tyto balóny fungují, je, že nejsou poháněny, stejně jako způsob, jakým lidé navigují horkovzdušné balóny, je ten, že buď jdete nahoru nebo dolů a najdete proud větru, který vás fouká určitým směrem, pak jedete tím větrem a pak je to jako: „Ach, už tam nechci,“ možná pak půjdete nahoru nebo sejdete dolů a najdete si jinou a tak dále. To je to, co dělá také s těmi balónky. Není to horkovzdušný balón, je to balón s pevným objemem, který létá ve stratosféře.
Vše, co může v určitém smyslu z navigační perspektivy udělat, je jít nahoru, sestoupit nebo zůstat tam, kde je, a pak musí najít větry, které ho nechají jít tam, kde chce být. V tomto smyslu bychom se pohybovali takto a ve skutečnosti je tu mnoho výzev. První z nich je, že když mluvíme nejprve o formulaci, chcete být v regionu, sloužit internetu, ale také se chcete ujistit, že tyto balóny jsou na solární pohon, abyste si udrželi energii. Je tu problém optimalizace s více cíli, nejen zajistit, že jsem v regionu, ve kterém chci být, ale také být svým způsobem energeticky efektivní, takže toto je první věc.
To byl problém sám o sobě, ale pak, když se podíváte na detaily, nevíte, jak vypadají větry, víte, jak vypadají větry, kde jste, ale nevíte, jak vypadají větry 500 metrů nad tebou. Máte to, čemu říkáme částečná pozorovatelnost AI, takže tato data nemáte. Můžete mít předpovědi a jsou o tom psané noviny, ale předpovědi se často mohou mýlit až o 90 stupňů. Je to opravdu obtížný problém v tom smyslu, jak se vypořádáte s touto částečnou pozorovatelností, je to extrémně velký rozměrový problém, protože mluvíme o stovkách různých vrstev větru, a pak musíte vzít v úvahu rychlost větru, směr větru, způsobu, jakým jsme jej modelovali, jak jsme si jisti touto prognózou nejistoty.
S tímto problémem je jen velmi těžké počítat. Jedna z věcí, se kterou jsme v tomto projektu nejvíce bojovali, je, že poté, co bylo vše hotovo a tak dále, to bylo jen jako, jak můžeme vyjádřit, jak těžký je tento problém? Protože je těžké si to zabalit, protože to není věc, kterou vidíte na obrazovce, jsou to stovky dimenzí a větrů, a kdy jsem měl naposledy měřit ten vítr? V jistém smyslu to všechno musíte spolknout, zatímco myslíte na moc, denní dobu, kde chcete být, je to hodně.
Co studuje strojové učení? Jsou to jen vzorce větru a teplota?
Funguje to tak, že jsme měli model větrů, který byl systémem strojového učení, ale nebylo to posilovací učení. Máte historická data o nejrůznějších nadmořských výškách, takže jsme na to postavili model strojového učení. Když říkám „my“, nebyl jsem toho součástí, byla to věc, kterou Loon udělal ještě předtím, než se zapojil Google Brain. Měli tento model větru, který byl za hranicemi různých nadmořských výšek, takže jak interpolujete mezi různými nadmořskými výškami?
Dalo by se říci: „řekněme, že před dvěma lety takhle vypadal vítr, ale jak to vypadalo možná 10 metrů výše, nevíme“. Pak jste k tomu přidali Gaussův proces, takže měli napsané papíry o tom, jak dobrý model to byl. Způsob, jakým jsme to udělali, je, že jste začali z pohledu posilování, měli jsme velmi dobrý simulátor dynamiky balónu a pak jsme měli také tento simulátor větru. Pak jsme se vrátili v čase a řekli: "Předstírejme, že jsem v roce 2010." Máme data o tom, jaký byl vítr v roce 2010 po celém světě, ale velmi hrubá, ale pak můžeme překrýt tento model strojového učení, tento Gaussův proces nahoře, takže dostaneme skutečně měření větrů, a pak můžeme zavést hluk, můžeme také dělat všelijaké věci.
Pak nakonec, protože máme dynamiku modelu a máme větry a vracíme se v čase a předstíráme, že tady jsme byli, tak jsme vlastně měli simulátor.
Je to jako digitální dvojče zpět v čase.
Přesně tak, navrhli jsme funkci odměny, která zůstala na cíli a byla trochu energeticky účinná, ale navrhli jsme tuto funkci odměny, kterou jsme se balón naučili interakcí s tímto světem, ale může komunikovat pouze se světem, protože my ne. vědět, jak modelovat počasí a vítr, ale protože jsme předstírali, že jsme v minulosti, a pak se nám podařilo naučit se navigovat. V podstatě šlo o to jít nahoru, dolů nebo zůstat? Vzhledem ke všemu, co se kolem mě děje, je nakonec nejdůležitější, že chci poskytovat internet tomuto regionu. V tom byl v jistém smyslu problém.
Jaké jsou některé z výzev při nasazení posilovacího učení v reálném světě oproti hernímu prostředí?
Myslím, že existuje několik výzev. Dokonce si nemyslím, že je to nutně o hrách a reálném světě, je to o základním výzkumu a aplikovaném výzkumu. Protože byste mohli dělat aplikovaný výzkum ve hrách, řekněme, že se pokoušíte nasadit další model ve hře, která bude odeslána milionům lidí, ale myslím si, že jednou z hlavních výzev je inženýrství. Pokud pracujete, často používáte hry jako výzkumné prostředí, protože zachycují mnoho vlastností, na kterých nám záleží, ale zachycují je v přesněji definovaném souboru omezení. Díky tomu můžeme provádět výzkum, můžeme ověřovat učení, ale je to něco bezpečnějšího. Možná „bezpečnější“ není to správné slovo, ale je to spíše omezené nastavení, kterému lépe rozumíme.
Není to tak, že by se výzkum nutně musel výrazně lišit, ale myslím si, že skutečný svět přináší spoustu výzev navíc. Jde o nasazení systémů, jako jsou bezpečnostní omezení, jako bychom se museli ujistit, že řešení je bezpečné. Když hrajete jen hry, nemusíte na to nutně myslet. Jak se ujistíte, že balón neudělá nějakou hloupost nebo že se agent pro učení posil nenaučil něco, co jsme nepředvídali, a že to bude mít špatné následky? To byla jedna z největších obav, kterou jsme měli, bezpečnost. Samozřejmě, pokud jen hrajete hry, pak nás to opravdu nezajímá, v nejhorším případě jste hru prohráli.
To je výzva, další je technický zásobník. Je to velmi odlišné, než když jste výzkumníkem na vlastní pěst, abyste interagovali s počítačovou hrou, protože ji chcete ověřit, je to v pořádku, ale nyní máte inženýrský zásobník celého produktu, se kterým se musíte vypořádat. Není to tak, že by vás nechali jen tak se zbláznit a dělat, co chcete, takže si myslím, že se s tím dodatečným kouskem také musíte mnohem blíže seznámit. Myslím, že velikost týmu může být také výrazně odlišná, jako Loon v té době měli desítky, ne-li stovky lidí. Stále jsme samozřejmě komunikovali s malým počtem z nich, ale pak mají velín, který by ve skutečnosti mluvil s leteckým personálem.
O tom jsme nevěděli, ale pak máte v jistém smyslu mnohem více zúčastněných stran. Myslím, že velký rozdíl je v tom, že jeden, inženýrství, bezpečnost a tak dále, a možná ten druhý je samozřejmě ten, že vaše předpoklady neplatí. Spousta předpokladů, na kterých jsou tyto algoritmy založeny, když jdou do reálného světa, neplatí, a pak musíte přijít na to, jak se s tím vypořádat. Svět není tak přátelský jako jakákoli aplikace, kterou se chystáte dělat ve hrách, je to hlavně tehdy, když mluvíte jen o velmi omezené hře, kterou děláte sami.
Jeden příklad, který opravdu miluji, je, že nám dali všechno, řekli jsme si: "Dobře, takže teď můžeme zkusit některé z těchto věcí, abychom tento problém vyřešili," a pak jsme to šli udělat a o týden později, o dva týdny později se vracíme k inženýrům Loon jako: "Vyřešili jsme váš problém." Byli jsme opravdu chytří, dívali se na nás s úšklebkem na tváři jako: "Ne, my víme, že tento problém nevyřešíš, je to příliš těžké," jako: "Ne, udělali jsme, absolutně jsme tvůj problém vyřešili." Podívejte, máme 100% přesnost." Jako: "To je doslova nemožné, někdy nemáte vítr, který vám dovolí..." "Ne, pojďme se podívat, co se děje."
Přišli jsme na to, co se děje. Balón, algoritmus pro učení se zesílení, se naučil jít do středu oblasti, a pak stoupal a stoupal, pak balón praskl a pak klesal a byl navždy uvnitř oblasti. Říkají: "Tohle zjevně nechceme," ale pak to samozřejmě byla simulace, ale pak řekneme: "Ach jo, tak jak to napravíme?" Říkají si: "Ach jo, samozřejmě je tu pár věcí, ale jedna z věcí je, že zajistíme, aby balón nevyletěl nad úroveň, že praskne."
Tato omezení v reálném světě, tyto aspekty toho, jak vaše řešení skutečně interaguje s jinými věcmi, je snadné přehlédnout, když jste jen výzkumník posilujícího učení a pracujete na hrách, a když ve skutečnosti přejdete do skutečného světa, jako: "Počkejte, tyhle věci mají důsledky a toho si musím být vědom." Myslím, že toto je jeden z hlavních problémů.
Myslím si, že ten druhý je stejně jako cyklus těchto experimentů je opravdu dlouhý, jako ve hře, kterou stačí stisknout play. V nejhorším případě po týdnu mám výsledky, ale když už musím skutečně létat s balony ve stratosféře, máme tento výraz, který rád používám, jako bychom byli A/B testování stratosféry, protože nakonec řešení a jsme si s ním jisti, takže se nyní chceme ujistit, že je skutečně statisticky lepší. Dostali jsme 13 balónů, myslím, a létali jsme s nimi v Tichém oceánu déle než měsíc, protože tak dlouho trvalo, než jsme vůbec potvrdili, že to, co jsme vymysleli, je vlastně lepší. Časová osa je také mnohem odlišnější, takže nemáte tolik šancí něco vyzkoušet.
Na rozdíl od her zde neprobíhá milion iterací stejné hry současně.
To jo. Měli jsme to na školení, protože jsme využívali simulaci, i když je simulátor opět mnohem pomalejší než jakákoli hra, kterou byste měli, ale dokázali jsme se s tím vypořádat z technického hlediska. Když to děláte v reálném světě, pak je to jiné.
Jaký je váš výzkum, na kterém dnes pracujete?
Nyní jsem na University of Alberta a mám zde výzkumnou skupinu se spoustou studentů. Můj výzkum je v jistém smyslu mnohem rozmanitější, protože mi to moji studenti dovolují. Jedna věc, ze které jsem obzvláště nadšený, je tento pojem neustálého učení. Co se stane, je to, že prakticky pokaždé, když mluvíme o strojovém učení obecně, provedeme nějaké výpočty, ať už to bude pomocí simulátoru, ať už pomocí datové sady a zpracování dat, a naučíme se stroj model učení a nasadíme tento model a doufáme, že bude v pořádku, a to je v pořádku. Mnohokrát je to přesně to, co potřebujete, často je to dokonalé, ale někdy to není proto, že někdy jsou problémy ve skutečném světě příliš složité na to, abyste očekávali, že model, nezáleží na tom, jak velký je, vlastně dokázal začlenit vše, co jste chtěli, všechny složitosti světa, takže se musíte přizpůsobit.
Jedním z projektů, na kterém se podílím například zde na University of Alberta, je úpravna vody. V zásadě jde o to, jak vymyslíme algoritmy zesílení učení, které jsou schopny podporovat ostatní lidi v procesu rozhodování, nebo jak to udělat autonomně pro úpravu vody? Máme data, můžeme je vidět a někdy se kvalita vody změní během několika hodin, takže i když řeknete: „Každý den budu trénovat svůj model strojového učení z předchozího dne a nasadím jej během několika hodin vašeho dne,“ tento model již není platný, protože dochází k posunu dat, není stacionární. Je pro vás opravdu těžké ty věci modelovat, protože možná je to lesní požár, který probíhá proti proudu řeky, nebo možná sníh začíná tát, takže byste museli modelovat celý svět, abyste to mohli udělat.
To samozřejmě nikdo nedělá, my to jako lidé neděláme, tak co budeme dělat? Přizpůsobujeme se, stále se učíme, říkáme si: "Ach, tahle věc, kterou jsem dělal, už nefunguje, takže bych se mohl naučit dělat něco jiného." Myslím, že existuje spousta publikací, hlavně těch z reálného světa, které vyžadují, abyste se neustále a věčně učili, a to není standardní způsob, jak o strojovém učení mluvíme. Často mluvíme o tom, že „provedu velkou dávku výpočtů a nasadím model,“ a možná nasadím model, zatímco už dělám více výpočtů, protože nasadím model a o pár dní, týdnů později, ale někdy časové měřítko těch věcí nevyjde.
Otázkou je: "Jak se můžeme neustále věčně učit, abychom se jen zlepšovali a přizpůsobovali?" a tohle je opravdu těžké. Máme o tom pár papírů, jako že naše současné stroje toho nejsou schopny, jako spousta řešení, která máme a která jsou zlatým standardem v oboru, pokud prostě něco máte, prostě se učte místo toho, abyste přestali a nasadit, věci se zhorší opravdu rychle. To je jedna z věcí, ze kterých jsem opravdu nadšený, což je podle mě stejně jako nyní, kdy jsme udělali tolik úspěšných věcí, nasadili pevné modely a budeme v nich pokračovat, přičemž jako výzkumník přemýšlím: „Co je hranice oblasti?" Myslím, že jednou z našich hranic je tento aspekt neustálého učení.
Myslím si, že jedna z věcí, které posilují učení, je k tomu obzvláště vhodná, protože mnoho našich algoritmů zpracovává data tak, jak data přicházejí, a tak mnoho algoritmů je v jistém smyslu přímo přirozeně vhodné k učení. Neznamená to, že to dělají nebo že jsou v tom dobří, ale nemusíme se ptát sami sebe a myslím, že jsme hodně zajímavé výzkumné otázky o tom, co můžeme dělat.
Které budoucí aplikace využívající toto kontinuální učení se nejvíce těšíte?
To je otázka za miliardu dolarů, protože v jistém smyslu jsem ty aplikace hledal. Myslím, že v jistém smyslu jako výzkumník jsem byl schopen klást správné otázky, je to více než polovina práce, takže si myslím, že v našem posilovacím učení se mnohokrát rád nechávám řídit problémy. Je to jako: "Podívejte, máme tu výzvu, řekněme pět balónů ve stratosféře, takže teď musíme přijít na to, jak to vyřešit," a pak na cestě děláte vědecké pokroky. Právě teď na tom pracuji s dalšími API, jako je Adam White, Martha White, což jsou projekty, které ve skutečnosti vedou na této úpravně vody. Je to něco, z čeho jsem opravdu nadšený, protože je to opravdu těžké popsat to jazykem v určitém smyslu, takže to není tak, že všechny současné vzrušující úspěchy, které s jazykem máme, jsou tam snadno použitelné.
Vyžadují tento aspekt neustálého učení, jak jsem říkal, voda se mění poměrně často, ať už je to zákal, její teplota a tak dále, a funguje v různých časových měřítcích. Myslím, že je nevyhnutelné, že se musíme neustále učit. Má to obrovský společenský dopad, je těžké si představit něco důležitějšího, než je skutečné zajištění pitné vody pro obyvatelstvo, a na tom někdy hodně záleží. Protože je snadné přehlédnout, že někdy například v Kanadě, když jedeme do těchto řidčeji obydlených oblastí, jako je severní část a tak dále, někdy nemáme ani operátora, který by provozoval úpravnu vody. Nejde o to, že by to mělo nutně nahradit operátory, ale ve skutečnosti nás má pohánět k věcem, které bychom jinak nemohli, protože na to prostě nemáme personál ani sílu.
Myslím si, že to má obrovský potenciální společenský dopad, je to extrémně náročný výzkumný problém. Nemáme simulátor, nemáme prostředky k jeho obstarání, takže pak musíme používat nejlepší data, musíme se učit online, takže je tam spousta výzev, a tohle je jedna z věcí ze kterého jsem nadšený. Další, a to není něco, co jsem moc nedělal, ale další je chlazení budov, a zase přemýšlení o počasí, o změně klimatu a věcech, na které můžeme mít vliv, dost často jde o to, jak rozhodujeme o tom, jak budeme chladit budovu? Stejně jako tato budova, ve které dnes máme stovky lidí, je toto velmi odlišné od toho, co bylo minulý týden, a budeme používat úplně stejnou politiku? Maximálně máme termostat, takže si zase říkáme: „Ach jo, je teplo, takže asi můžeme být chytřejší a přizpůsobit se,“ a někdy je v jedné místnosti hodně lidí, ve druhé ne. .
Existuje mnoho těchto příležitostí ohledně řízených systémů, které jsou vysoce dimenzované, v našich myslích je velmi těžké s nimi počítat, které pravděpodobně dokážeme mnohem lépe než standardní přístupy, které v této oblasti nyní máme.
V některých místech tvoří až 75 % spotřeby energie doslova klimatizační jednotky, takže to dává velký smysl.
Přesně tak, a myslím, že hodně z toho u vás doma, už jsou to v jistém smyslu nějaké produkty, které dělají strojové učení a které se pak učí od svých klientů. V těchto budovách můžete mít mnohem jemnější přístup, jako je Florida, Brazílie, je to spousta míst, která tuto potřebu potřebují. Chlazení datových center, to je také další, jsou některé společnosti, které s tím začínají, a zní to jako téměř sci-fi, ale je tu schopnost se neustále učit a přizpůsobovat, jak přijde potřeba. to může mít obrovský dopad na problémy s ovládáním, které jsou vysokorozměrné a tak dále, jako když létáme s balóny. Například jedna z věcí, kterou jsme byli schopni ukázat, bylo přesně to, jak se posilovací učení, a konkrétně učení s hlubokým posilováním, může naučit rozhodnutí na základě senzorů, které jsou mnohem složitější, než jaké mohou lidé navrhnout.
Jen z definice se podíváte na to, jak by člověk navrhl křivku odezvy, jen nějaký smysl, kde je to jako: "No, pravděpodobně to bude lineární, kvadratické," ale když máte neuronovou síť, může se naučit vše, co -linearity, díky kterým je to mnohem jemnější rozhodnutí, že někdy je to docela efektivní.
Děkujeme za úžasný rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit následující zdroje:
