Er zijn enorme hoeveelheden gegevens nodig om machine learning-modellen te trainen om beeldclassificatietaken uit te voeren, zoals het identificeren van schade in satellietfoto's na een natuurramp. Deze gegevens zijn echter niet altijd gemakkelijk te verkrijgen. Het genereren van datasets kan miljoenen dollars kosten, als er al bruikbare data bestaat, en zelfs de beste datasets bevatten vaak vooroordelen die een negatieve invloed hebben op de prestaties van een model.

Om enkele van de problemen van datasets te omzeilen, ontwikkelden MIT-onderzoekers een methode voor het trainen van een machine learning-model dat, in plaats van een dataset te gebruiken, een speciaal type machine learning-model gebruikt om extreem realistische synthetische data te genereren die een ander model kunnen trainen voor downstream vision-taken.

Hun resultaten laten zien dat een leermodel met contrastieve representatie dat is getraind met alleen deze synthetische gegevens, in staat is om visuele representaties te leren die wedijveren met of zelfs beter presteren dan die welke zijn geleerd van echte gegevens.

Dit speciale machine learning-model, dat bekend staat als een generatief model, vereist veel minder geheugen om op te slaan of te delen dan een dataset. Het gebruik van synthetische gegevens heeft ook het potentieel om een ​​aantal zorgen over privacy en gebruiksrechten te omzeilen die beperken hoe sommige echte gegevens kunnen worden gedistribueerd. Een generatief model kan ook worden bewerkt om bepaalde kenmerken, zoals ras of geslacht, te verwijderen, wat een aantal vooroordelen zou kunnen aanpakken die in traditionele datasets bestaan.

"We wisten dat deze methode uiteindelijk zou moeten werken; we moesten gewoon wachten tot deze generatieve modellen steeds beter werden. Maar we waren vooral blij toen we lieten zien dat deze methode het soms zelfs beter doet dan het echte werk", zegt Ali Jahanian, een onderzoekswetenschapper in het Computer Science and Artificial Intelligence Laboratory (CSAIL) en hoofdauteur van het artikel.

Jahanian schreef het artikel met CSAIL-studenten Xavier Puig en Yonglong Tian, ​​en senior auteur Phillip Isola, een assistent-professor bij de afdeling Elektrotechniek en Computerwetenschappen. Het onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.

Synthetische gegevens genereren

Als een generatief model eenmaal is getraind op echte gegevens, kan het synthetische gegevens genereren die zo realistisch zijn dat ze bijna niet van echt te onderscheiden zijn. Het trainingsproces houdt in dat het generatieve model miljoenen afbeeldingen toont die objecten in een bepaalde klasse bevatten (zoals auto's of katten), en vervolgens leert het hoe een auto of kat eruit ziet, zodat het vergelijkbare objecten kan genereren.

Door een schakelaar om te zetten, kunnen onderzoekers een vooraf getraind generatief model gebruiken om een ​​gestage stroom van unieke, realistische beelden te produceren die zijn gebaseerd op die in de trainingsdataset van het model, zegt Jahanian.

Maar generatieve modellen zijn nog nuttiger omdat ze leren de onderliggende data waarop ze zijn getraind te transformeren, zegt hij. Als het model wordt getraind op afbeeldingen van auto's, kan het 'zich voorstellen' hoe een auto eruit zou zien in verschillende situaties - situaties die het tijdens de training niet zag - en vervolgens afbeeldingen uitvoeren die de auto in unieke poses, kleuren of maten laten zien.

Het hebben van meerdere weergaven van dezelfde afbeelding is belangrijk voor een techniek die contrastief leren wordt genoemd, waarbij een machine-learningmodel veel niet-gelabelde afbeeldingen wordt getoond om te leren welke paren vergelijkbaar of verschillend zijn.

De onderzoekers koppelden een vooraf getraind generatief model aan een contrastief leermodel op een manier waardoor de twee modellen automatisch konden samenwerken. De contrastieve leerling kan het generatieve model vertellen om verschillende weergaven van een object te produceren en vervolgens leren om dat object vanuit meerdere hoeken te identificeren, legt Jahanian uit.

"Dit was als het verbinden van twee bouwstenen. Omdat het generatieve model ons verschillende visies op hetzelfde kan geven, kan het de contrastieve methode helpen om betere representaties te leren", zegt hij.

Zelfs beter dan in het echt

De onderzoekers vergeleken hun methode met verschillende andere beeldclassificatiemodellen die waren getraind met behulp van echte gegevens en ontdekten dat hun methode even goed, en soms beter, presteerde dan de andere modellen.

Een voordeel van het gebruik van een generatief model is dat het in theorie een oneindig aantal steekproeven kan maken. Dus onderzochten de onderzoekers ook hoe het aantal monsters de prestaties van het model beïnvloedde. Ze ontdekten dat het genereren van grotere aantallen unieke samples in sommige gevallen tot extra verbeteringen leidde.

"Het leuke van deze generatieve modellen is dat iemand anders ze voor je heeft getraind. Je kunt ze vinden in online repositories, zodat iedereen ze kan gebruiken. En je hoeft niet in het model in te grijpen om goede representaties te krijgen", zegt Jahanian .

Maar hij waarschuwt dat er enkele beperkingen zijn aan het gebruik van generatieve modellen. In sommige gevallen kunnen deze modellen brongegevens onthullen, wat privacyrisico's met zich mee kan brengen, en kunnen ze vooroordelen versterken in de datasets waarvoor ze zijn getraind als ze niet goed worden gecontroleerd.

Hij en zijn medewerkers zijn van plan deze beperkingen in toekomstig werk aan te pakken. Een ander gebied dat ze willen verkennen, is het gebruik van deze techniek om hoekgevallen te genereren die machine learning-modellen zouden kunnen verbeteren. Hoekgevallen kunnen vaak niet worden geleerd van echte gegevens. Als onderzoekers bijvoorbeeld een computervisiemodel voor een zelfrijdende auto trainen, zouden echte gegevens geen voorbeelden bevatten van een hond en zijn eigenaar die over een snelweg rennen, dus het model zou nooit leren wat te doen in deze situatie. Door die hoekgegevens synthetisch te genereren, kunnen de prestaties van machine learning-modellen in sommige situaties met een hoge inzet worden verbeterd.

De onderzoekers willen ook generatieve modellen blijven verbeteren, zodat ze beelden kunnen samenstellen die nog geavanceerder zijn, zegt hij.