Forskere Utvikler Ny Metode for Kontroll av AI-Bildegenerering

Forskere fra North Carolina State University har utviklet en ny metode for kontroll av kunstig intelligens (AI)-bildegenerering, som kan brukes i fag som autonome kjøretøy.

Betinget Bildegenerering og Andre Teknikker

Betinget bildegenerering er en AI-oppgave som innebærer at AI-systemer lager bilder basert på en bestemt sett med betingelser, som brukeren kan be om. Nyere teknikker har tatt dette enda lenger og inkorporert betingelser for et bildeoppsett, som gjør det mulig for brukerne å spesifisere hvilke objekter de ønsker å se i bestemte områder på skjermen.

Den nye metoden som er utviklet av forskerne ved universitetet bygger på alle disse teknikkene, og den gjør det mulig for brukerne å ha mer kontroll over bildene samtidig som de beholder bestemte karakteristika over en serie bilder.

Tianfu Wu er medforfatter av forskningsrapporten og en assistentprofessor i datateknikk ved NC State. 

“Vår tilnærming er høyt konfigurerbar,” sier Wu. “Liksom tidligere tilnærminger, tillater vår metode brukerne å få systemet til å generere et bilde basert på en bestemt sett med betingelser. Men vår metode tillater også at du kan beholde bildet og legge til det. For eksempel kunne brukerne få AI til å lage et fjellandskap. Brukerne kunne deretter få systemet til å legge til skiløpere i det landskapet.”

Manipulering av Elementer

Med den nye metoden kan brukerne også tillate at AI manipulerer elementer så de er identifiserbare som de samme, samtidig som de beveger seg eller endrer seg på en eller annen måte. Et slikt eksempel ville være at AI lager en serie bilder hvor skiløpere vender mot betrakteren samtidig som de beveger seg over et landskap.

“En anvendelse for dette ville være å hjelpe autonome roboter ‘forestille’ seg hva sluttresultatet kan se ut som før de begynner en bestemt oppgave,” sier Wu. “Du kunne også bruke systemet til å generere bilder for AI-trening. Så, i stedet for å samle bilder fra eksterne kilder, kunne du bruke dette systemet til å lage bilder for trening av andre AI-systemer.”

Den nye metoden ble testet med COCO-Stuff-datasettet og Visual Genome-datasettet, og basert på standardene for bildekvalitet, overgår den tidligere metoder.

“Vår neste skritt er å se om vi kan utvide dette arbeidet til video og tredimensjonale bilder,” sier Wu.

For å trene den nye metoden, måtte forskerne bruke en 4-GPU-arbeidsstasjon på grunn av den tunge beregningskraften som var nødvendig. Likevel er det å deploye systemet mindre beregningskrevende. 

“Vi fant ut at en GPU gir deg nesten sanntids-hastighet,” sier Wu.

“I tillegg til vår rapport, har vi gjort vår kildekode for denne metoden tilgjengelig på GitHub. Det er sagt, at vi alltid er åpne for å samarbeide med industripartnere.”