Sinds het begin van de sociale media, er is opwinding over hoe gegevenssporen die door gebruikers zijn achtergelaten, kunnen worden misbruikt voor de studie van menselijk gedrag. Vandaag de dag, onderzoekers die ooit beperkt waren tot enquêtes of experimenten in laboratoriumomgevingen, hebben toegang tot enorme hoeveelheden "real-world" gegevens van sociale media.

De onderzoeksmogelijkheden die mogelijk worden gemaakt door gegevens van sociale media zijn onmiskenbaar. Echter, onderzoekers analyseren deze gegevens vaak met tools die niet zijn ontworpen om het soort grote, luidruchtige observatiesets van gegevens die je op sociale media vindt.

We onderzochten problemen die onderzoekers kunnen tegenkomen als gevolg van deze mismatch tussen gegevens en methoden.

Wat we ontdekten, is dat de methoden en statistieken die gewoonlijk worden gebruikt om bewijs te leveren voor schijnbaar significante wetenschappelijke bevindingen, ook onzinnige beweringen kunnen ondersteunen.

Absurde wetenschap

De motivatie voor ons artikel komt uit een reeks onderzoeksstudies die opzettelijk absurde wetenschappelijke resultaten presenteren.

Een hersenbeeldvormingsonderzoek leek de neurale activiteit te laten zien van een dode zalm die was belast met het identificeren van emoties op foto's. Een analyse van longitudinale statistieken uit volksgezondheidsdossiers suggereerde dat acne, hoogte, en hoofdpijn is besmettelijk. En een analyse van menselijke besluitvorming wees erop dat mensen de bevolkingsomvang van verschillende steden nauwkeurig kunnen beoordelen door ze in alfabetische volgorde te rangschikken.

Waarom zou een onderzoeker zijn best doen om zulke belachelijke ideeën te onderzoeken? De waarde van deze studies ligt niet in het presenteren van een nieuwe inhoudelijke bevinding. Geen enkele serieuze onderzoeker zou beweren, bijvoorbeeld, dat een dode zalm een ​​perspectief heeft op emoties in foto's.

Liever, de onzinnige resultaten wijzen op problemen met de methoden die worden gebruikt om ze te bereiken. Ons onderzoek onderzoekt of dezelfde problemen kunnen leiden tot studies die gegevens van sociale media gebruiken. En we ontdekten dat ze dat inderdaad doen.

Positieve en negatieve resultaten

Wanneer een onderzoeker een onderzoeksvraag probeert te beantwoorden, de methode die ze gebruiken moet twee dingen kunnen doen:

• een effect onthullen wanneer er een betekenisvol effect is
• laten geen effect zien als er geen betekenisvol effect is.

Bijvoorbeeld, stel je voor dat je chronische rugpijn hebt en je ondergaat een medische test om de oorzaak te vinden. De test identificeert een verkeerd uitgelijnde schijf in uw wervelkolom. Deze bevinding kan belangrijk zijn en een behandelplan informeren.

Echter, als u vervolgens ontdekt dat dezelfde test deze slecht uitgelijnde schijf identificeert bij een groot deel van de bevolking die geen chronische rugpijn heeft, de bevinding wordt veel minder informatief voor u.

Het feit dat de test geen relevante, het onderscheidende kenmerk van negatieve gevallen (geen rugpijn) van positieve gevallen (rugpijn) betekent niet dat de slecht uitgelijnde schijf in uw wervelkolom niet bestaat. Dit deel van de bevinding is net zo "echt" als elke andere bevinding. Maar de mislukking betekent dat het resultaat niet bruikbaar is:"bewijs" dat net zo waarschijnlijk wordt gevonden als er een zinvol effect is (in dit geval, rugpijn) zoals wanneer er geen is, gewoon niet diagnostisch is, en, als resultaat, dergelijk bewijs is niet informatief.

XYZ-besmetting

Met dezelfde redenering, we evalueerden veelgebruikte methoden voor het analyseren van sociale-mediagegevens - "null-hypothese-significantietests" en "correlationele statistieken" genoemd - door een absurde onderzoeksvraag te stellen.

Eerdere en huidige onderzoeken hebben geprobeerd vast te stellen welke factoren van invloed zijn op de beslissingen van Twitter-gebruikers om andere tweets te retweeten. Dit is zowel interessant als een venster op het menselijk denken en omdat het opnieuw delen van berichten een belangrijk mechanisme is waarmee berichten worden versterkt of verspreid op sociale media.

Dus besloten we Twitter-gegevens te analyseren met behulp van de bovenstaande standaardmethoden om te zien of een onzinnig effect dat we "XYZ-besmetting" noemen, retweets beïnvloedt. specifiek, We vroegen, "Heeft het aantal X'en, ja, en Z's in een tweet vergroten de kans dat het wordt verspreid?"

Na analyse van zes datasets met honderdduizenden tweets, het "antwoord" dat we vonden was ja. Bijvoorbeeld, in een dataset van 172, 697 tweets over COVID-19, de aanwezigheid van een X, ja, of Z in een tweet bleek het bereik van het bericht met een factor 8% te vergroten.

Onnodig te zeggen, we geloven de aanwezigheid van Xs niet, ja, en Zs is een centrale factor in de vraag of mensen ervoor kiezen om een ​​bericht op Twitter te retweeten.

Echter, zoals de medische test voor het diagnosticeren van rugpijn, onze bevinding laat zien dat soms, methoden voor data-analyse van sociale media kunnen effecten 'onthullen' waar er geen zouden moeten zijn. Dit roept vragen op over hoe zinvol en informatief de resultaten zijn die worden verkregen door de huidige sociaalwetenschappelijke methoden toe te passen op gegevens van sociale media.

Terwijl onderzoekers sociale-mediagegevens blijven analyseren en factoren identificeren die de evolutie van de publieke opinie bepalen, onze aandacht trekken, of anderszins ons gedrag verklaren, we moeten kritisch nadenken over de methoden die aan dergelijke bevindingen ten grondslag liggen en heroverwegen wat we ervan kunnen leren.

Wat is een 'zinvolle' bevinding?

De kwesties die in onze paper aan de orde worden gesteld, zijn niet nieuw, en er zijn inderdaad veel onderzoekspraktijken die zijn ontwikkeld om ervoor te zorgen dat de resultaten zinvol en robuust zijn.

Bijvoorbeeld, onderzoekers worden aangemoedigd om hun hypothesen en analyseplannen vooraf te registreren voordat ze aan een onderzoek beginnen om een ​​soort data-cherry-picking genaamd "p-hacking" te voorkomen. Een andere nuttige oefening is om te controleren of de resultaten stabiel zijn na het verwijderen van uitbijters en controle voor covariaten. Ook belangrijk zijn replicatiestudies, die beoordelen of de resultaten van een experiment teruggevonden kunnen worden wanneer het experiment onder vergelijkbare omstandigheden wordt herhaald.

Deze praktijken zijn belangrijk, maar ze alleen zijn niet voldoende om het probleem dat we identificeren aan te pakken. Hoewel het ontwikkelen van gestandaardiseerde onderzoekspraktijken nodig is, de onderzoeksgemeenschap moet eerst kritisch nadenken over wat een bevinding in social media data zinvol maakt.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.