Het creëren van een aangepaste generatieve tegenstelling netwerk met schetsen

Onderzoekers van Carnegie Mellon en MIT hebben een nieuwe methode ontwikkeld die het mogelijk maakt voor een gebruiker om een aangepaste generatieve tegenstelling netwerk (GAN) beeldcreatie-systemen te maken door middel van het schetsen van indicatieve tekeningen.

Een systeem van dit type zou het mogelijk maken voor een eindgebruiker om beeldgenererende systemen te creëren die in staat zijn om zeer specifieke beelden te genereren, zoals bijvoorbeeld specifieke dieren, soorten gebouwen – en zelfs individuele personen. Momenteel produceren de meeste GAN-generatie-systemen brede en vrij willekeurige output, met beperkte mogelijkheden om specifieke kenmerken te specificeren, zoals dierensoort, haartypen bij mensen, architectuurstijlen of daadwerkelijke gezichtsidentiteiten.

De benadering, zoals beschreven in het artikel Sketch Your Own GAN, maakt gebruik van een novum schetsinterface als een effectieve ‘zoek’ functie om kenmerken en klassen te vinden in anders overvolle beeld databases die duizenden soorten objecten kunnen bevatten, waaronder veel subtypen die niet relevant zijn voor de intentie van de gebruiker. De GAN wordt vervolgens getraind op deze gefilterde sub-set van beelden.

Door het schetsen van het specifieke objecttype waarmee de gebruiker de GAN wil kalibreren, worden de generatieve mogelijkheden van het kader gespecialiseerd in die klasse. Als een gebruiker bijvoorbeeld een kader wil creëren dat een specifiek type kat (in plaats van gewoon een willekeurige kat, zoals te verkrijgen met This Cat Does Not Exist) genereert, dienen de invoerschetsen als filter om niet-relevante klassen van katten uit te sluiten.

Bron: https://peterwang512.github.io/GANSketching/

Het onderzoek wordt geleid door Sheng Yu-Wang van Carnegie Mellon University, samen met collega Jun-Yan Zhu, en David Bau van MIT’s Computer Science & Artificial Intelligence Laboratory.

De methode zelf wordt ‘GAN schetsen’ genoemd en maakt gebruik van de invoerschetsen om direct de gewichten van een ‘template’ GAN-model te veranderen om specifiek het geïdentificeerde domein of subdomein te richten via cross-domein tegenstelling verlies.

Verschillende regularisatie methoden werden onderzocht om ervoor te zorgen dat de output van het model divers is, terwijl een hoge beeldkwaliteit wordt behouden. De onderzoekers hebben voorbeeldtoepassingen gemaakt die in staat zijn om latent ruimte te interpoleren en beeldbewerkingen uit te voeren.

Deze [$class] Bestaat Niet

GAN-gebaseerde beeldgeneratie-systemen zijn de afgelopen jaren een rage geworden, zo niet een meme, met een vermeerdering van projecten die in staat zijn om beelden van niet-bestaande dingen te genereren, waaronder mensen, huurappartementen, snacks, voeten, paarden, politici en insecten, om er maar een paar te noemen.

GAN-gebaseerde beeldsynthesesystemen worden gemaakt door uitgebreide datasets samen te stellen die beelden uit het doeldomein bevatten, zoals gezichten of paarden; modellen die een reeks kenmerken over de beelden in de database generaliseren; en generator modules die willekeurige voorbeelden kunnen produceren op basis van de geleerde kenmerken.

Output van schetsen in DeepFacePencil, die gebruikers in staat stelt om fotorealistische gezichten te creëren vanuit schetsen. Veel soortgelijke schets-naar-beeld projecten bestaan.

Hoge-dimensionale kenmerken zijn onder de eerste die worden geconcretiseerd tijdens het trainingsproces en zijn equivalent aan de eerste brede verfstreken van een schilder op een canvas. Deze hoge-dimensionale kenmerken zullen uiteindelijk correleren met veel meer gedetailleerde kenmerken (bijv. de glinstering in de ogen en scherpe snorharen van een kat, in plaats van alleen een generieke beige klodder die het hoofd vertegenwoordigt).

Ik Weet Wat Je Bedoelt…

Door de relatie tussen deze vroege seminale vormen en de uiteindelijk gedetailleerde interpretaties die later in het trainingsproces worden verkregen, is het mogelijk om relaties tussen ‘vaag’ en ‘specifiek’ beelden af te leiden, waardoor gebruikers complexe en fotorealistische beelden kunnen creëren vanuit ruwe schetsen.

Onlangs bracht NVIDIA een desktopversie van zijn langlopende GauGAN-onderzoek naar GAN-gebaseerde landschapsgeneratie uit, die gemakkelijk dit principe demonstreert:

Benaderende schetsen worden omgezet in rijke landschapsbeelden via NVIDIA’s GauGAN, en nu de NVIDIA Canvas-toepassing. Bron: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Evenzo hebben meerdere systemen, zoals DeepFacePencil, hetzelfde principe gebruikt om schets-geïnduceerde fotorealistische beeldgeneratoren te creëren voor verschillende domeinen.

De architectuur van DeepFacePencil.

Vereenvoudiging van Schets-naar-Beeld

De nieuwe paper’s GAN Sketching-benadering zoekt ernaar om de formidabele last van dataverzameling en -curatie die typisch betrokken is bij de ontwikkeling van GAN-beeldkaders, te verwijderen door middel van het gebruik van gebruikersinvoer om te definiëren welke sub-set van beelden de trainingsdata zou moeten vormen.

Het systeem is ontworpen om slechts een klein aantal invoerschetsen te vereisen om het kader te kalibreren. Het systeem keert effectief de functionaliteit van PhotoSketch om, een gezamenlijk onderzoeksinitiatief van 2019 door onderzoekers van Carnegie Mellon, Adobe, Uber ATG en Argo AI, dat is opgenomen in het nieuwe werk. PhotoSketch was ontworpen om artistieke schetsen van beelden te creëren en bevat al de effectieve mapping van vaag>specifiek beeldcreatie-relaties.

Voor het generatiegedeelte van het proces, verandert de nieuwe methode alleen de gewichten van StyleGAN2. Aangezien de beeldgegevens die worden gebruikt slechts een sub-set zijn van de totale beschikbare gegevens, wordt het modificeren van het mapping-netwerk gewenste resultaten behaald.

De methode werd geëvalueerd op een aantal populaire sub-domeinen, waaronder paarden, kerken en katten.

De LSUN-dataset van Princeton University uit 2016 werd gebruikt als de kernmateriaal van waaruit de doelsub-domeinen konden worden afgeleid. Om een schetskaart-systeem te creëren dat robuust is tegen de eigenaardigheden van echte gebruikersinvoerschetsen, wordt het systeem getraind op beelden uit de QuickDraw-dataset ontwikkeld door Microsoft tussen 2021-2016.

Hoewel de schetskaart tussen PhotoSketch en QuickDraw vrij verschillend zijn, vonden de onderzoekers dat hun kader goed werkt bij het overbruggen van hen op relatief eenvoudige poses, hoewel meer ingewikkelde poses (zoals katten die liggen) een grotere uitdaging vormen, terwijl zeer abstracte gebruikersinvoer (bijv. te ruwe tekeningen) ook de kwaliteit van de resultaten beïnvloeden.

Latente Ruimte en Natuurlijke Beeldbewerking

De onderzoekers hebben twee toepassingen ontwikkeld op basis van het kernwerk: latente ruimte bewerking en beeldbewerking. Latente ruimte bewerking biedt interpreteerbare gebruikerscontroles die worden gefaciliteerd tijdens de training, en stellen een brede variatie mogelijk terwijl ze trouw blijven aan het doeldomein en aangenaam consistent zijn over variaties.

Gladde latente ruimte interpolatie met de aangepaste modellen van GAN Sketching.

Het latente ruimte bewerking onderdeel werd aangedreven door het 2020 GANSpace-project, een gezamenlijk initiatief van Aalto University, Adobe en NVIDIA.

Een enkel beeld kan ook worden doorgegeven aan het aangepaste model, waardoor natuurlijke beeldbewerking mogelijk wordt. In deze toepassing wordt een enkel beeld geprojecteerd op het aangepaste GAN, niet alleen om directe bewerking mogelijk te maken, maar ook om hogere latent ruimte bewerking te behouden, indien deze ook is gebruikt.

Hier is een echt beeld gebruikt als invoer voor het GAN (katmodel), dat het invoerbeeld bewerkt om overeen te komen met de ingediende schetsen. Dit maakt beeldbewerking via schetsen mogelijk.

Hoewel configureerbaar, is het systeem niet ontworpen om in real-time te werken, tenminste niet in termen van training en kalibratie. Momenteel vereist GAN Sketching 30.000 trainingsiteraties. Het systeem vereist ook toegang tot de oorspronkelijke trainingsgegevens voor het oorspronkelijke model.

In gevallen waarin de dataset open source is en een licentie heeft die lokale kopiëring toestaat, kan dit worden ondersteund door de brondata op te nemen in een lokaal geïnstalleerd pakket, hoewel dit aanzienlijke schijfruimte in beslag zou nemen; of door gegevens op afstand te benaderen of te verwerken via een cloud-gebaseerde benadering, die netwerkoverhead introduceert en (in het geval van verwerking die daadwerkelijk op de cloud plaatsvindt) mogelijk rekenkostenoverwegingen.

Transformaties van aangepaste FFHQ-modellen getraind op slechts voor door de mens gegenereerde schetsen.