Det var i 2018, da idéen om forstærkninglæring i sammenhæng med en neural netværksverdensmodel først blev introduceret, og snart blev denne grundlæggende princip anvendt på verdensmodeller. Nogle af de fremtrædende modeller, der implementerer forstærkninglæring, var Dreamer-rammen, der introducerede forstærkninglæring fra den latente rum af en rekurrerende tilstandsrummodel. DreamerV2 demonstrerede, at brugen af diskrete latenter kan resultere i reducerede fejl, og DreamerV3-rammen kunne opnå menneske-lignende præstationer på en række opgaver på tværs af forskellige domæner med faste hyperparametre.

Desuden kan der trækkes paralleller mellem billedgenereringsmodeller og verdensmodeller, hvilket indikerer, at fremskridtet i generative visionsmodeller kan gentages til fordel for verdensmodellerne. Siden brugen af transformatorer i naturligsprogsbehandlingsrammer fik popularitet, opstod DALL-E og VQGAN-rammerne. Rammerne implementerede diskrete autoencodere til at konvertere billeder til diskrete tokens og kunne bygge meget kraftfulde og effektive tekst-til-billede-genereringsmodeller ved at udnytte sekvensmodelleringsfærdighederne af de autoregressive transformatorer. Samtidig fik diffusionsmodellerne træk, og i dag har diffusionsmodellerne etableret sig som en dominerende paradigm for højopløsningsbilledegenerering. Takket være diffusionsmodellernes og forstærkninglæringens evner forsøges det at kombinere de to tilgange, med det formål at udnytte diffusionsmodellernes fleksibilitet som trajektorimodeller, belønningsmodeller, planlæggere og som politik for dataforstærkning i offline-forstærkninglæring.

Verdensmodeller tilbyder en lovende metode til træning af forstærkninglæringssystemer på en sikker og effektiv måde. Traditionelt bruger disse modeller sekvenser af diskrete latente variabler til at simulere miljødynamik. Imidlertid kan denne kompression overse visuelle detaljer, der er afgørende for forstærkninglæring. Samtidig har diffusionsmodellerne vundet popularitet til billedgenerering, hvilket udfordrer traditionelle metoder, der bruger diskrete latenter. Inspireret af denne udvikling vil vi i denne artikel tale om DIAMOND (DIffusion As a Model Of eNvironment Dreams), en forstærkninglæringssystem, der er trænet inden for en diffusionsverdensmodel. Vi vil undersøge de nødvendige designvalg for at gøre diffusionsmodellen egnet til verdensmodelering og vise, at forbedrede visuelle detaljer fører til bedre systempræstation. DIAMOND sætter en ny standard på den konkurrerende Atari 100k-test, med en gennemsnitlig menneske-normaliseret score på 1,46, den højeste for systemer, der er trænet helt inden for en verdensmodel.

DIAMOND: DIffusion As a Model Of eNvironment Dreams

Verdensmodeller eller generative modeller af miljøer er ved at blive en af de vigtigste komponenter for generative systemer til at planlægge og forstå deres miljøer. Selvom brugen af forstærkninglæring har opnået betydelig succes i de seneste år, er modeller, der implementerer forstærkninglæring, kendt for at være prøveineffektive, hvilket begrænser deres virkelige anvendelser betydeligt. På den anden side har verdensmodeller demonstreret deres evne til at træne forstærkninglæringssystemer effektivt på tværs af forskellige miljøer med en betydelig forbedret prøveeffektivitet, hvilket giver mulighed for, at modellen kan lære fra virkelige erfaringer. Nylige verdensmodel-rammer modellerer normalt miljødynamikken som en sekvens af diskrete latente variabler, med modellen, der diskretiserer det latente rum for at undgå fejl over multi-trinshorisonten. Selvom denne tilgang kan give betydelige resultater, er den også forbundet med en informations tabs, der fører til en tabs af rekonstruktionskvalitet og en tabs af generelhed.

Desuden kan det i de seneste år konstateres, at diffusionsmodeller er blevet den dominerende tilgang til højkvalitetsbilledgenereringsrammer, da rammer, der er bygget på diffusionsmodeller, lærer at omvende en støjproces og konkurrerer direkte med nogle af de mere etablerede tilgange, der modellerer diskrete tokens, og derfor tilbyder en lovende alternativ til at eliminere behovet for diskretisering i verdensmodelering. Diffusionsmodeller er kendt for deres evne til at være let betinget og til at modellere komplekse, multimodale fordelinger uden mode-kollaps. Disse egenskaber er afgørende for verdensmodelering, da betingelse giver mulighed for, at en verdensmodel kan reflektere en systems handlinger nøjagtigt, hvilket fører til en mere pålidelig kredittilskrivning. Desuden giver modellering af multimodale fordelinger en større diversitet af træningsscenarier for systemet, hvilket forbedrer dets samlede præstation.

Bygget på disse egenskaber er DIAMOND (DIffusion As a Model Of eNvironment Dreams) en forstærkninglæringssystem, der er trænet inden for en diffusionsverdensmodel. DIAMOND-rammen gør omhyggelige designvalg for at sikre, at dens diffusionsverdensmodel forbliver effektiv og stabil over lange tidshorisonter. Rammen giver en kvalitativ analyse for at demonstrere vigtigheden af disse designvalg. DIAMOND sætter en ny standard på den etablerede Atari 100k-benchmark med en gennemsnitlig menneske-normaliseret score på 1,46, den højeste for systemer, der er trænet helt inden for en verdensmodel. Funktionen i billedrummet giver DIAMOND mulighed for at erstatte miljøet uden problemer og giver større indsigt i verdensmodel- og systemadfærd. Bemærkelsesværdigt er den forbedrede præstation i visse spil tilskrevet en bedre modellering af kritiske visuelle detaljer. DIAMOND-rammen modellerer miljøet som en standard POMDP eller Partially Observable Markov Decision Process med en samling af tilstande, en samling af diskrete handlinger og en samling af billedobservationer. Overgangsfunktionerne beskriver miljødynamikken, og belønningsfunktionen mapper overgangene til skalarbelønninger.

DIAMOND: Metodologi og Arkitektur

I sin kerne er diffusionsmodeller en klasse af generative modeller, der genererer en prøve ved at omvende støjprocessen og trækker kraftigt på ikke- ligevægts-termodynamik. DIAMOND-rammen overvejer en diffusionsproces, der er indekseret af en kontinuert tidsvariabel med tilhørende marginaler og grænsebetingelser med en tractabel, ustruktureret priorfordeling. Desuden for at opnå en generativ model, der mapper fra støj til data, må DIAMOND-rammen omvende processen, hvor omvendingsprocessen også er en diffusionsproces, der køres baglæns i tiden. Desuden er det på et given tidspunkt ikke trivialt at estimere scorefunktionen, da DIAMOND-rammen ikke har adgang til den sande scorefunktion, og modellen overvinder dette hinder ved at implementere en score-matching-objektiv, en tilgang, der giver mulighed for at træne en scoremodel uden at kende den underliggende scorefunktion. Score-baseret diffusionsmodel giver en ubetinget generativ model. Imidlertid kræves en betinget generativ model af miljødynamik til at fungere som en verdensmodel, og for at opfylde dette formål ser DIAMOND-rammen på det generelle tilfælde af POMDP-tilgangen, hvor rammen kan bruge tidligere observationer og handlinger til at approksimere den ukendte markovske tilstand.

Bygget på ovenstående erfaringer skal vi nu se på den praktiske realisering af DIAMOND-rammen for en diffusionsbaseret verdensmodel, herunder drifts- og diffusionskoefficienter, der svarer til en bestemt valg af diffusionsmetode. I stedet for at vælge DDPM, en naturlig egnet kandidat til opgaven, bygger DIAMOND-rammen på EDM-formuleringen og overvejer en perturbationskernel med en reelværdi-funktion af diffusions tid kaldet støj-skemaet. Rammen vælger prækonditioneringsfaktorerne for at holde input- og output-variansen for enhver lydniveau. Netværkstræningen kombinerer signal og støj adaptivt afhængigt af nedbrydningsniveauet, og når støjen er lav, og målet bliver forskellen mellem den rene og den perturberede signal, dvs. den tilføjede Gaussiske støj. Intuitivt forhindrer dette, at træningsobjektivet bliver trivielt i lav-støj-regimet. I praksis er dette objekt høj-variabel på yderpunkterne af støj-skemaet, så modellen sampler støjniveauet fra en log-normalfordeling valgt empirisk for at konkatenerer træningen omkring de medium støj-områder.

DIAMOND: Eksperimenter og Resultater

Til en omfattende evaluering vælger DIAMOND-rammen Atari 100k-benchmarket. Atari 100k-benchmarket består af 26 spil, der er designede til at teste en bred vifte af systemsfærdigheder. I hvert spil er et system begrænset til 100.000 handlinger i miljøet, hvilket svarer til ca. 2 timers menneske-spilletid, for at lære spillet før evaluering. Til sammenligning træner ubegrænsede Atari-systemer normalt i 50 millioner trin, hvilket repræsenterer en 500-fold øgning i erfaring. Vi trænede DIAMOND fra scratch ved hjælp af 5 tilfældige frø for hvert spil. Hver træningsløb krævede ca. 12 GB VRAM og tog ca. 2,9 dage på en enkelt Nvidia RTX 4090, svarende til 1,03 GPU-år i alt.

Efter begrænsningerne af punkt-estimater giver DIAMOND-rammen stratificeret bootstrap-forsikring i gennemsnittet og den interkvartile gennemsnit af menneske-normaliserede score samt yderligere metrikker, som sammenfattes i følgende figur.

Resultaterne viser, at DIAMOND udfører sig ekstraordinært godt på hele benchmarket, overgår menneskelige spillere i 11 spil og opnår en superhumansk gennemsnitlig HNS på 1,46, hvilket sætter en ny rekord for systemer, der er trænet helt inden for en verdensmodel. Desuden er DIAMONDs IQM sammenlignelig med STORM og overgår alle andre baseline. DIAMOND udfører sig godt i miljøer, hvor indfanging af små detaljer er afgørende, såsom Asterix, Breakout og RoadRunner.

I ovenstående figur viser trajektorierne, der er forestillet af DIAMOND, generelt en højere visuel kvalitet og er mere trofaste over for det sande miljø sammenlignet med de forestillede af IRIS. Trajektorierne, der er genereret af IRIS, indeholder visuelle inkonsistenser mellem rammerne (højligt af hvide kasser), såsom fjender, der vises som belønninger og vice versa. Selvom disse inkonsistenser kun kan påvirke få pixel, kan de have en betydelig indvirkning på forstærkninglæring. For eksempel søger et system normalt at målrette belønninger og undgå fjender, så disse små visuelle diskrepanser kan gøre det sværere at lære en optimal politik. Figuren viser på hinanden følgende rammer, der er forestillet med IRIS (venstre) og DIAMOND (højre). De hvide kasser højligter inkonsistenser mellem rammerne, som kun vises i trajektorier, der er genereret med IRIS.

Konklusion

I denne artikel har vi talt om DIAMOND, en forstærkninglæringssystem, der er trænet inden for en diffusionsverdensmodel. DIAMOND-rammen gør omhyggelige designvalg for at sikre, at dens diffusionsverdensmodel forbliver effektiv og stabil over lange tidshorisonter. Rammen giver en kvalitativ analyse for at demonstrere vigtigheden af disse designvalg. DIAMOND sætter en ny standard på den etablerede Atari 100k-benchmark med en gennemsnitlig menneske-normaliseret score på 1,46, den højeste for systemer, der er trænet helt inden for en verdensmodel. Funktionen i billedrummet giver DIAMOND mulighed for at erstatte miljøet uden problemer og giver større indsigt i verdensmodel- og systemadfærd. Bemærkelsesværdigt er den forbedrede præstation i visse spil tilskrevet en bedre modellering af kritiske visuelle detaljer. DIAMOND-rammen modellerer miljøet som en standard POMDP eller Partially Observable Markov Decision Process med en samling af tilstande, en samling af diskrete handlinger og en samling af billedobservationer. Overgangsfunktionerne beskriver miljødynamikken, og belønningsfunktionen mapper overgangene til skalarbelønninger. DIAMOND-rammen modellerer miljøet som en standard POMDP eller Partially Observable Markov Decision Process med en samling af tilstande, en samling af diskrete handlinger og en samling af billedobservationer. Overgangsfunktionerne beskriver miljødynamikken, og belønningsfunktionen mapper overgangene til skalarbelønninger. The DIAMOND framework models the environment as a standard POMDP or Partially Observable Markov Decision Process with a set of states, a set of discrete actions, and a set of image observations. The transition functions describe the environment dynamics, and the reward function maps the transitions to scalar rewards.