Het trainen van computer vision-modellen met willekeurig ruis in plaats van echte afbeeldingen

Onderzoekers van het MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) hebben een experiment uitgevoerd waarbij ze willekeurige ruisafbeeldingen in computer vision-datasets gebruiken om computer vision-modellen te trainen, en hebben ontdekt dat in plaats van rommel te produceren, de methode verrassend effectief is:

Generatieve modellen uit het experiment, gesorteerd op prestatie. Bron: https://openreview.net/pdf?id=RQUl8gZnN7O

Het voeren van ogenschijnlijk ‘visueel afval’ in populaire computer vision-architecturen zou niet tot dit soort prestaties moeten leiden. Aan de rechterkant van de bovenstaande afbeelding vertegenwoordigen de zwarte kolommen de nauwkeurigheidscores (op Imagenet-100) voor vier ‘echte’ datasets. Terwijl de ‘willekeurige ruis’-datasets die eraan voorafgaan (in verschillende kleuren, zie index linksboven) deze niet kunnen evenaren, liggen ze bijna allemaal binnen respectabele boven- en ondergrenzen (rode gestippelde lijnen) voor nauwkeurigheid.

In deze zin betekent ‘nauwkeurigheid’ niet noodzakelijkerwijs dat een resultaat eruitziet als een gezicht, een kerk, een pizza, of een andere specifieke domein voor het creëren van een beeldsynthesesysteem, zoals een Generatief Adversariaal Netwerk of een encoder/decoder-kader.

Het betekent eerder dat de CSAIL-modellen breder toepasbare centrale ‘waarheden’ hebben afgeleid uit beeldgegevens die ogenschijnlijk zo ongestructureerd zijn dat ze dit niet zouden moeten kunnen bieden.

Diversiteit vs. Naturalisme

Deze resultaten kunnen ook niet worden toegeschreven aan overfitting: een levendige discussie tussen de auteurs en recensenten bij Open Review onthult dat het mengen van verschillende inhoud uit visueel diverse datasets (zoals ‘dode bladeren’, ‘fractals’ en ‘procedurale ruis’ – zie afbeelding hieronder) in een trainingsdataset de nauwkeurigheid in deze experimenten daadwerkelijk verbetert.

Dit suggereert (en het is een beetje een revolutionaire notie) een nieuw type ‘onderfitting’, waarbij ‘diversiteit’ ‘naturalisme’ overtreft.

Het projectpagina voor de initiatief laat je interactief de verschillende soorten willekeurige beeld datasets die in het experiment worden gebruikt, bekijken. Bron: https://mbaradad.github.io/learning_with_noise/

De resultaten die de onderzoekers hebben behaald, doen twijfels rijzen over de fundamentele relatie tussen beeldgebaseerde neurale netwerken en de ‘echte wereld’-beelden die er jaarlijks in toenemende mate aan worden toegevoegd, en impliceren dat de noodzaak om hyperschaalbeelddatasets te verkrijgen, te cureren en anderszins te hanteren, uiteindelijk overbodig kan worden.

De auteurs stellen:

‘Huidige visiesystemen worden getraind op enorme datasets, en deze datasets komen met kosten: curatie is duur, ze erven menselijke vooroordelen, en er zijn zorgen over privacy en gebruiksrechten. Om deze kosten te compenseren, is de interesse in het leren van goedkopere gegevensbronnen, zoals ongelabelde beelden, toegenomen.’

‘In dit artikel gaan we een stap verder en vragen we ons af of we helemaal zonder echte beelddatasets kunnen doen, door te leren van procedurale ruisprocessen.’

De onderzoekers suggereren dat de huidige generatie machine learning-architecturen mogelijk iets veel fundamentelers (of tenminste onverwachts) uit beelden afleiden dan eerder werd gedacht, en dat ‘onzin’-beelden potentieel veel van deze kennis kunnen overdragen tegen een veel lagere kost, zelfs met de mogelijke gebruikt van ad-hoc synthetische gegevens, via dataset-generatie-architecturen die willekeurige beelden gegenereerd tijdens de training:

‘We identificeren twee sleutelkenmerken die goede synthetische gegevens voor het trainen van visiesystemen maken: 1) naturalisme, 2) diversiteit. Het is interessant dat de meest naturalistische gegevens niet altijd de beste zijn, aangezien naturalisme ten koste van diversiteit kan gaan.

‘Het feit dat naturalistische gegevens helpen, is niet verrassend, en het suggereert dat inderdaad grote, echte gegevens waardevol zijn. Echter, we vinden dat wat cruciaal is, niet dat de gegevens echt zijn, maar dat ze naturalistisch zijn, d.w.z. ze moeten bepaalde structurele eigenschappen van echte gegevens vastleggen.

‘Veel van deze eigenschappen kunnen worden vastgelegd in eenvoudige ruismodellen.’

Feature visualisaties die resulteren uit een AlexNet-gebaseerde encoder op enkele van de verschillende ‘willekeurige beeld’-datasets die door de auteurs worden gebruikt, die de 3e en 5e (laatste) convolutionale laag bestrijken. De methode die hier wordt gebruikt, volgt die van Google AI-onderzoek uit 2017.

Het artikel, dat op de 35e Conferentie over Neurale Informatieverwerkingssystemen (NeurIPS 2021) in Sydney werd gepresenteerd, heeft als titel Learning to See by Looking at Noise en komt van zes onderzoekers bij CSAIL, met gelijke bijdrage.

Het werk werd aanbevolen door consensus voor een spotlight-selectie op NeurIPS 2021, met peer-commentatoren die het artikel karakteriseerden als ‘een wetenschappelijke doorbraak’ die een ‘groot gebied van onderzoek’ opent, zelfs als het evenveel vragen oproept als het beantwoordt.

In het artikel concluderen de auteurs:

‘We hebben aangetoond dat, wanneer ontworpen met resultaten uit eerder onderzoek naar natuurlijke beeldstatistieken, deze datasets succesvol visuele representaties kunnen trainen. We hopen dat dit artikel het onderzoek naar nieuwe generatieve modellen zal stimuleren die gestructureerde ruis kunnen produceren met een nog hogere prestatie wanneer ze in een diverse set van visuele taken worden gebruikt.

‘Zou het mogelijk zijn om de prestatie te evenaren die wordt behaald met ImageNet-voortraining? Misschien is, in de afwezigheid van een grote trainingsset specifiek voor een bepaalde taak, de beste voortraining niet het gebruik van een standaard echte dataset zoals ImageNet.’