Modellen en algoritmen voor het analyseren van complexe netwerken worden veel gebruikt in onderzoek en beïnvloeden de samenleving als geheel door hun toepassingen in online sociale netwerken, zoekmachines, en aanbevelingssystemen. Volgens een nieuwe studie, echter, een veelgebruikte algoritmische benadering voor het modelleren van deze netwerken is fundamenteel gebrekkig, er niet in slagen om belangrijke eigenschappen van real-world complexe netwerken vast te leggen.

"Het is niet zo dat deze technieken je absoluut afval opleveren. Ze bevatten waarschijnlijk wat informatie, maar niet zoveel informatie als veel mensen denken, " zei C. "Sesh" Seshadhri, universitair hoofddocent computerwetenschappen en techniek aan de Baskin School of Engineering aan de UC Santa Cruz.

Seshadhri is de eerste auteur van een paper over de nieuwe bevindingen die op 2 maart zijn gepubliceerd Proceedings van de National Academy of Sciences . De studie evalueerde technieken die bekend staan ​​als "laagdimensionale inbeddingen, " die vaak worden gebruikt als input voor machinale leermodellen. Dit is een actief onderzoeksgebied, waarbij in hoog tempo nieuwe inbeddingsmethoden worden ontwikkeld. Maar Seshadhri en zijn coauteurs zeggen dat al deze methoden dezelfde tekortkomingen hebben.

Om uit te leggen waarom, Seshadhri gebruikte het voorbeeld van een sociaal netwerk, een bekend type complex netwerk. Veel bedrijven passen machine learning toe op sociale netwerkgegevens om voorspellingen te doen over het gedrag van mensen, aanbevelingen voor gebruikers, enzovoort. Inbeddingstechnieken zetten in wezen de positie van een persoon in een sociaal netwerk om in een reeks coördinaten voor een punt in een geometrische ruimte, wat een lijst met getallen oplevert voor elke persoon die in een algoritme kan worden ingeplugd.

"Dat is belangrijk omdat iets abstracts als de 'positie van een persoon in een sociaal netwerk' kan worden omgezet in een concrete lijst met getallen. Een ander belangrijk ding is dat je dit wilt omzetten in een laagdimensionale ruimte, zodat de lijst met getallen die elke persoon vertegenwoordigen relatief klein is, ' legde Seshadhri uit.

Zodra deze conversie is voltooid, het systeem negeert het eigenlijke sociale netwerk en doet voorspellingen op basis van de relaties tussen punten in de ruimte. Bijvoorbeeld, als veel mensen die dicht bij je staan ​​in die ruimte een bepaald product kopen, het systeem kan voorspellen dat u waarschijnlijk hetzelfde product zult kopen.

Seshadhri en zijn co-auteurs hebben wiskundig aangetoond dat belangrijke structurele aspecten van complexe netwerken verloren gaan in dit inbeddingsproces. Ze bevestigden dit resultaat ook empirisch door verschillende inbeddingstechnieken te testen op verschillende soorten complexe netwerken.

"We zeggen niet dat bepaalde specifieke methoden falen. We zeggen dat elke inbeddingsmethode die je een kleine lijst met getallen geeft, fundamenteel zal mislukken, omdat een laagdimensionale geometrie gewoon niet expressief genoeg is voor sociale netwerken en andere complexe netwerken, ' zei Seshadhri.

Een cruciaal kenmerk van sociale netwerken in de echte wereld is de dichtheid van driehoeken, of connecties tussen drie mensen.

"Waar je veel driehoeken hebt, het betekent dat er veel gemeenschapsstructuur is in dat deel van een sociaal netwerk, "zei Seshadhri. "Bovendien, deze driehoeken zijn nog belangrijker als je kijkt naar mensen met beperkte sociale netwerken. In een typisch sociaal netwerk, sommige mensen hebben heel veel connecties, maar de meeste mensen hebben niet veel connecties."

In hun analyse van inbeddingstechnieken, de onderzoekers merkten op dat veel van de sociale driehoeken die de gemeenschapsstructuur vertegenwoordigen, verloren gaan in het inbeddingsproces. "Al deze informatie lijkt te verdwijnen, dus het is bijna alsof het ding dat je wilde vinden verloren is gegaan toen je deze geometrische representaties construeerde, ' zei Seshadhri.

Laagdimensionale inbeddingen zijn zeker niet de enige methoden die worden gebruikt om voorspellingen en aanbevelingen te genereren. Ze zijn meestal slechts een van de vele inputs in een zeer groot en complex machine learning-model.

"Dit model is een enorme zwarte doos, en veel van de positieve resultaten die worden gerapporteerd, zeggen dat als je deze laagdimensionale inbeddingen opneemt, je prestaties gaan omhoog, misschien krijg je een lichte stoot. Maar als je het alleen gebruikt, het lijkt erop dat je veel zou missen, ' zei Seshadhri.

Hij merkt ook op dat nieuwe inbeddingsmethoden veelal worden vergeleken met andere inbeddingsmethoden. Recent empirisch werk van andere onderzoekers, echter, laat zien dat verschillende technieken betere resultaten kunnen geven voor specifieke taken.

"Stel dat je wilt voorspellen wie een Republikein en wie een Democraat is. Er zijn speciaal voor die taak ontwikkelde technieken die beter werken dan inbeddingen, " zei hij. "De bewering is dat deze inbeddingstechnieken voor veel verschillende taken werken, en daarom hebben veel mensen ze geadopteerd. Het is ook heel eenvoudig om ze aan te sluiten op een bestaand machine learning-systeem. Maar voor een bepaalde taak, het blijkt dat er altijd iets beters is dat je kunt doen."

Gezien de groeiende invloed van machine learning in onze samenleving, Seshadhri zei dat het belangrijk is om te onderzoeken of de onderliggende aannames achter de modellen valide zijn.

"We hebben al deze gecompliceerde machines die dingen doen die ons leven aanzienlijk beïnvloeden. Onze boodschap is alleen dat we voorzichtiger moeten zijn bij het evalueren van deze technieken, ', zei hij. 'Vooral in deze tijd waarin machinaal leren steeds ingewikkelder wordt, het is belangrijk om enig begrip te hebben van wat wel en niet kan worden gedaan."