Een team van onderzoekers van het Rensselaer Polytechnic Institute heeft een nieuwe manier ontwikkeld om ruwe overheidsgegevens te analyseren, waardoor het voor mensen gemakkelijker wordt om deze te begrijpen en te gebruiken.

Het team, onder leiding van hoogleraar computerwetenschappen Jure Leskovec, creëerde een systeem genaamd "Data Wrangler" dat ruwe gegevens automatisch kan opschonen en transformeren in een formaat dat toegankelijker en bruikbaarder is.

“Ruwe overheidsgegevens zijn vaak rommelig en moeilijk te begrijpen”, zegt Leskovec. "Ons doel was om een ​​tool te creëren die deze gegevens toegankelijker zou kunnen maken voor mensen die deze willen gebruiken voor onderzoek, journalistiek of andere doeleinden."

Data Wrangler maakt gebruik van verschillende machine learning- en natuurlijke taalverwerkingstechnieken om fouten in de gegevens te identificeren en te corrigeren, en om betekenisvolle informatie uit de tekst te halen.

Het systeem kan worden gebruikt voor het analyseren van een breed scala aan overheidsgegevens, waaronder financiële gegevens, misdaadstatistieken en milieugegevens.

Leskovec en zijn team hebben Data Wrangler al gebruikt om verschillende grote datasets te analyseren, waaronder de American Community Survey van het US Census Bureau en de stop-and-frisk-gegevens van de New York City Police Department.

De resultaten van deze analyses zijn gepubliceerd in verschillende wetenschappelijke tijdschriften en zijn door journalisten en beleidsmakers gebruikt om hun werk te informeren.

"Wij geloven dat Data Wrangler het potentieel heeft om een ​​revolutie teweeg te brengen in de manier waarop mensen overheidsgegevens gebruiken", aldus Leskovec. "Door deze gegevens toegankelijker en bruikbaarder te maken, kunnen we mensen in staat stellen betere beslissingen te nemen over hun leven en hun gemeenschap."

Het onderzoek van het team werd gepubliceerd in het tijdschrift "Nature Machine Intelligence".