"De afgelopen twee decennia hebben we een aanzienlijke groei gezien in de verspreiding van instrumenten om stedelijke prestaties te classificeren en te meten (ranglijsten, indexen, enz.) bij zowel de openbare als de particuliere instellingen die ze gebruiken, als reactie op verschillende soorten druk die uniformiteit aanmoedigen. Van nature, al deze instrumenten zijn nuttig voor het sturen en beoordelen van het beleid dat door lokale autoriteiten op verschillende actiegebieden wordt gevoerd, en zijn bijzonder productief op het gebied van duurzaamheid. Toch is er een gebrek aan kennis over de feitelijke methodologische basis die eraan ten grondslag ligt en die het gebruik ervan zou moeten legitimeren, " legde Lucía Sáez-Vegas uit, doctoraat houder in de UPV/EHU's Department of Financial Economics II.

"Met het oog op het analyseren en beoordelen van kwaliteit en goede praktijken op het gebied van stedelijke meting en monitoring, en met bijzondere aandacht voor de methodologische aspecten, we namen honderden meetinstrumenten en selecteerden een set van 21 vergelijkbare ranglijsten, indexen en tools die zijn ontworpen om stedelijke duurzaamheid te rangschikken en te bewaken (in een zeer brede zin begrepen), zodat we ze diepgaand kunnen bestuderen en zo een analysemethodologie kunnen aanpassen en toepassen die op een ander gebied is getest, die van universitaire ranglijsten, " voegde Dr. Sáez eraan toe.

De betekenis van methodologische aspecten

In elk van de vergelijkbare ranglijsten, indexen en tools geanalyseerd, de onderzoekers onderzochten de volgende vier hoofdprincipes:doel en doelgroep waarop ze zich richten; methodologie en weging gebruikt in hun ontwerp; transparantie met betrekking tot gegevensverzameling en informatieverwerking; en tenslotte, de presentatie van de resultaten. Zoals Dr. Saéz uitlegde, "van deze vier aspecten is de informatie over de eerste en de laatste het meest toegankelijk, met andere woorden, de beschrijvende informatie. Dat wordt gespecificeerd door alle geanalyseerde classificaties; maar dat gebeurt niet als het gaat om toegang tot alle informatie over de methodologische aspecten, gegevensverzameling en informatieverwerking; dit resulteert in wat bekend staat als de zwarte doos, een artefact waarvan de resultaten worden bestudeerd en verspreid zonder dat de innerlijke werking ervan in twijfel wordt getrokken."

Zo bevestigden de onderzoekers verschillende methodologische zwakheden in alle geanalyseerde ranglijsten. De onderzoeker benadrukt dat "tools van dit type de neiging hebben om complexe causaliteiten te verwaarlozen en transparantie te missen met betrekking tot het verzamelen van gegevens, weging- en aggregatieproces in hun ontwerp - ze hebben de neiging bevooroordeeld te zijn en, als resultaat, hebben de neiging slecht gerangschikte steden te negeren en bestaande stereotypen te versterken."

"De mogelijkheid om steden van verschillende dimensies te rangschikken en te vergelijken, kan helpen om diegene te vinden die beter lijken te presteren in verschillende stedelijke aspecten. Daarom worden deze tools soms gebruikt door stadsmanagers en openbare besluitvormers om een ​​actieplan te ontwikkelen, ook al moet men een duidelijk idee hebben hoe de ranking of index tot stand is gekomen, en wees voorzichtig bij het gebruik ervan, vooral als er onvoldoende informatie wordt gegeven over de methodologische aspecten en de robuustheid van de resultaten. We begrijpen dat deze tools meer moeten worden gebruikt als een bron van informatie en zelfs als inspiratie, en minder als een routekaart voor actie, " voegde ze eraan toe.

"Deze rankings trekken de aandacht van het grote publiek omdat ze concepten meten van complexe aard die door middel van een ranking worden gepresenteerd, meestal van een numeriek type, wat heel gemakkelijk te begrijpen is. Vanuit ons academisch oogpunt, het feit dat de resultaten worden gepresenteerd in de vorm van een eindrangschikking met vermelding van de belangrijkste bevindingen, maar met weinig of geen oog voor de methodologische aspecten die, aan het einde van de dag, zijn degenen die de score of ranking ondersteunen, duidt op een duidelijke zwakte van deze instrumenten wanneer ze worden gebruikt om stedelijke prestaties te meten en te monitoren, ' zei Saez.