Contentmoderatie is een delicate evenwichtsoefening voor sociale-mediaplatforms die proberen hun gebruikersbestand te laten groeien. Grotere platforms zoals Facebook en Twitter, die het grootste deel van hun winst uit advertenties halen, kunnen het zich niet veroorloven om oogbollen of betrokkenheid op hun sites te verliezen. Toch staan ​​ze onder enorme publieke en politieke druk om desinformatie te stoppen en schadelijke inhoud te verwijderen. Ondertussen laten kleinere platforms die zich richten op bepaalde ideologieën liever de vrije meningsuiting regeren.

In hun aanstaande paper, getiteld "Implications of Revenue Models and Technology for Content Moderation Strategies", laten Wharton marketingprofessoren Pinar Yildirim en Z. John Zhang, en Wharton-promovendus Yi Liu zien hoe de contentmoderatiestrategie van een socialmediabedrijf vooral wordt beïnvloed door zijn verdienmodel. Een platform onder adverteren zal eerder zijn inhoud modereren dan een platform met abonnement, maar het modereert minder agressief dan het laatste wanneer dit het geval is. In het volgende essay bespreken de auteurs hun onderzoek en de implicaties ervan voor beleidsmakers die sociale mediaplatforms willen reguleren.

Elke dag delen miljoenen gebruikers over de hele wereld hun uiteenlopende visies op sociale-mediaplatforms. Niet al deze opvattingen zijn in harmonie. Sommige worden als beledigend, schadelijk of zelfs extreem beschouwd. Met uiteenlopende meningen zijn consumenten in conflict:aan de ene kant willen ze vrijelijk hun mening geven over lopende politieke, sociale en economische kwesties op sociale-mediaplatforms zonder tussenkomst en zonder te horen dat hun mening ongepast is. Aan de andere kant, wanneer anderen hun mening vrijuit uiten, kunnen ze een deel van die inhoud als ongepast, ongevoelig, schadelijk of extreem beschouwen en willen ze dat deze wordt verwijderd. Bovendien zijn consumenten het niet altijd eens over welke posts aanstootgevend zijn of welke acties social media platforms moeten nemen. Volgens een onderzoek van Morningconsult wil bijvoorbeeld 80% van de ondervraagden dat haatzaaiende uitlatingen, zoals berichten waarin beledigingen worden gebruikt tegen een raciale, religieuze of gendergroep, worden verwijderd, 73% wil dat video's met geweldsmisdrijven worden verwijderd, en 66% wil afbeeldingen van seksuele handelingen verwijderd zien.

Social-mediaplatforms staan ​​voor de uitdaging om op te treden als de beheerders van internet, terwijl ze tegelijkertijd het centrum zijn van zelfexpressie en door gebruikers gegenereerde inhoud. Inspanningen om content te modereren slorpen inderdaad aanzienlijke middelen van bedrijven op. Alleen Facebook heeft toegezegd 5% van de omzet van het bedrijf, $ 3,7 miljard, toe te wijzen aan contentmoderatie, een bedrag dat groter is dan de volledige jaaromzet van Twitter. Toch lijken noch de consumenten, noch de regelgevers tevreden te zijn met hun inspanningen. In een of andere vorm moeten bedrijven beslissen hoe ze inhoud moeten modereren om individuele gebruikers en hun belangen te beschermen. Moet gevoelige inhoud van internet worden verwijderd? Of moet de vrijheid van meningsuiting vrij heersen, waarbij wordt aangegeven dat iedereen vrij is om te posten wat ze willen, en dat het de beslissing van de consument is om zich in of uit deze wereld van vrijheid van meningsuiting te kiezen? Het verwijderen van iemands inhoud vermindert het plezier van die gebruiker (en sommige andere gebruikers) van de site, terwijl het niet verwijderen ervan ook anderen kan beledigen. Therefore, in terms of a social media platform's economic incentives, content moderation can affect user engagement, which ultimately can affect the platform's profitability.

Moderating Content, Maximizing Profits

In our forthcoming paper, "Implications of Revenue Models and Technology for Content Moderation Strategies," we study how social media platforms driven by profits may or may not moderate online content. We take into account the considerable user heterogeneity and different revenue models that platforms may have, and we derive the platform's optimal content moderation strategy that maximizes revenue.

When different social media platforms moderate content, the most significant determinant is their bottom line. This bottom line may rely heavily on advertising, or delivering eyeballs to advertisers, or the subscription fees that individual consumers are paying. But there is a stark contrast between the two revenue models. While advertising relies on delivering many, many eyeballs to advertisers, subscription revenues depend on being able to attract paying customers. As a result of the contrast, the content moderation policy in an effort to retain consumers also looks different under advertising vs. subscription. Social media platforms running on advertising revenue are more likely to conduct content moderation but with lax community standards in order to retain a larger group of consumers, compared to platforms with subscription revenue. Indeed, subscription-based platforms like Gab and MeWe are less likely to do content moderation, claiming free speech for their users.

A second important factor in content moderation is the quality of the content moderation technology. A significant volume of content moderation is carried out with the help of computers and artificial intelligence. Why, then, do social media executives claim the technology is not sufficient? When asked about content moderation, most executives at Facebook emphasize that they care a lot about content moderation and allocate large amounts of firm revenue to the task.

We find that a self-interested social media platform does not always benefit from technological improvement. In particular, a platform whose main source of revenue is from advertising may not benefit from better technology, because less accurate technology creates a porous community with more eyeballs. This finding suggests that content moderation on online platforms is not merely an outcome of their technological capabilities, but their economic incentives.

The findings from the paper overall cast doubt on whether social media platforms will always remedy the technological deficiencies on their own. We take our analysis one step further and compare the content moderation strategy for a self-interested platform with that for a social planner, which is a government institution or similar acting body that sets rules for the betterment of societal welfare. A social planner will use content moderation to prune any user who contributes negatively to the total utility of society, whereas a self-interested platform may keep some of these users, if it serves its interests. Perhaps counter to lay beliefs, we find that a self-interested platform is more likely to conduct content moderation than a social planner, which indicates that individual platforms have more incentives to moderate their content compared to the government.

However, more incentives do not mean right incentives. When conducting content moderation, a platform under advertising will be less strict than a social planner, while a platform under subscription will be stricter than a social planner. Moreover, a social planner will always push for perfect technology when the cost of developing technology is not an issue. Only a platform under subscription will have its interest aligned with a social planner in perfecting the technology for content moderation. These conclusions overall demonstrate that there is room for government regulations, and when they are warranted, they need to be differentiated with regard to the revenue model a platform adopts.