Kunstmatige-intelligentiesystemen kunnen taken misschien snel voltooien, maar dat betekent niet dat ze dit altijd eerlijk doen. Als de datasets die worden gebruikt om machine learning-modellen te trainen, vooringenomen gegevens bevatten, is het waarschijnlijk dat het systeem diezelfde vooringenomenheid vertoont wanneer het in de praktijk beslissingen neemt.

Als een dataset bijvoorbeeld voornamelijk afbeeldingen van blanke mannen bevat, kan een met deze gegevens getraind gezichtsherkenningsmodel minder nauwkeurig zijn voor vrouwen of mensen met verschillende huidskleuren.

Een groep onderzoekers van MIT, in samenwerking met onderzoekers van Harvard University en Fujitsu, Ltd., probeerde te begrijpen wanneer en hoe een machine learning-model in staat is om dit soort dataset-bias te overwinnen. Ze gebruikten een benadering uit de neurowetenschappen om te bestuderen hoe trainingsgegevens van invloed zijn op de vraag of een kunstmatig neuraal netwerk objecten kan leren herkennen die het nog niet eerder heeft gezien. Een neuraal netwerk is een machinaal lerend model dat het menselijk brein nabootst zoals het lagen van onderling verbonden knooppunten of 'neuronen' bevat die gegevens verwerken.

De nieuwe resultaten laten zien dat diversiteit in trainingsgegevens een grote invloed heeft op de vraag of een neuraal netwerk in staat is om vooringenomenheid te overwinnen, maar tegelijkertijd kan de diversiteit van datasets de prestaties van het netwerk verslechteren. Ze laten ook zien dat hoe een neuraal netwerk wordt getraind en de specifieke soorten neuronen die tijdens het trainingsproces naar voren komen, een belangrijke rol kunnen spelen bij de vraag of het een vooringenomen dataset kan overwinnen.

"Een neuraal netwerk kan de vooringenomenheid van datasets overwinnen, wat bemoedigend is. Maar de belangrijkste conclusie hier is dat we rekening moeten houden met datadiversiteit. We moeten stoppen met te denken dat als je gewoon een hoop onbewerkte gegevens verzamelt, dat je je ergens. We moeten in de eerste plaats heel voorzichtig zijn met hoe we datasets ontwerpen ", zegt Xavier Boix, een onderzoekswetenschapper bij het Department of Brain and Cognitive Sciences (BCS) en het Centre for Brains, Minds, and Machines (CBMM) ), en senior auteur van het papier.

Co-auteurs zijn onder meer voormalige afgestudeerde studenten Spandan Madan, een corresponderende auteur die momenteel een Ph.D. aan Harvard, Timothy Henry, Jamell Dozier, Helen Ho en Nishchal Bhandari; Tomotake Sasaki, een voormalig gastwetenschapper die nu onderzoeker is bij Fujitsu; Frédo Durand, hoogleraar elektrotechniek en informatica en lid van het laboratorium voor computerwetenschappen en kunstmatige intelligentie; en Hanspeter Pfister, de An Wang hoogleraar computerwetenschappen aan de Harvard School of Engineering and Applied Sciences. Het onderzoek verschijnt vandaag in Nature Machine Intelligence .

Denken als een neurowetenschapper

Boix en zijn collega's benaderden het probleem van dataset-bias door te denken als neurowetenschappers. In de neurowetenschappen, legt Boix uit, is het gebruikelijk om gecontroleerde datasets te gebruiken in experimenten, dat wil zeggen een dataset waarin de onderzoekers zoveel mogelijk weten over de informatie die het bevat.

Het team bouwde datasets met afbeeldingen van verschillende objecten in verschillende poses, en controleerde zorgvuldig de combinaties, zodat sommige datasets meer diversiteit hadden dan andere. In dit geval had een dataset minder diversiteit als deze meer afbeeldingen bevat die objecten vanuit slechts één gezichtspunt laten zien. Een meer diverse dataset had meer afbeeldingen met objecten vanuit meerdere gezichtspunten. Elke dataset bevatte hetzelfde aantal afbeeldingen.

The researchers used these carefully constructed datasets to train a neural network for image classification, and then studied how well it was able to identify objects from viewpoints the network did not see during training (known as an out-of-distribution combination).

For example, if researchers are training a model to classify cars in images, they want the model to learn what different cars look like. But if every Ford Thunderbird in the training dataset is shown from the front, when the trained model is given an image of a Ford Thunderbird shot from the side, it may misclassify it, even if it was trained on millions of car photos.

The researchers found that if the dataset is more diverse—if more images show objects from different viewpoints—the network is better able to generalize to new images or viewpoints. Data diversity is key to overcoming bias, Boix says.

"But it is not like more data diversity is always better; there is a tension here. When the neural network gets better at recognizing new things it hasn't seen, then it will become harder for it to recognize things it has already seen," he says.

Testing training methods

The researchers also studied methods for training the neural network.

In machine learning, it is common to train a network to perform multiple tasks at the same time. The idea is that if a relationship exists between the tasks, the network will learn to perform each one better if it learns them together.

But the researchers found the opposite to be true—a model trained separately for each task was able to overcome bias far better than a model trained for both tasks together.

"The results were really striking. In fact, the first time we did this experiment, we thought it was a bug. It took us several weeks to realize it was a real result because it was so unexpected," he says.

They dove deeper inside the neural networks to understand why this occurs.

They found that neuron specialization seems to play a major role. When the neural network is trained to recognize objects in images, it appears that two types of neurons emerge—one that specializes in recognizing the object category and another that specializes in recognizing the viewpoint.

When the network is trained to perform tasks separately, those specialized neurons are more prominent, Boix explains. But if a network is trained to do both tasks simultaneously, some neurons become diluted and don't specialize for one task. These unspecialized neurons are more likely to get confused, he says.

"But the next question now is, how did these neurons get there? You train the neural network and they emerge from the learning process. No one told the network to include these types of neurons in its architecture. That is the fascinating thing," he says.

That is one area the researchers hope to explore with future work. They want to see if they can force a neural network to develop neurons with this specialization. They also want to apply their approach to more complex tasks, such as objects with complicated textures or varied illuminations.

Boix is encouraged that a neural network can learn to overcome bias, and he is hopeful their work can inspire others to be more thoughtful about the datasets they are using in AI applications.