"Als AI-taalmodel heb ik geen directe toegang tot actuele onderzoeksartikelen of onderzoeken. Ik kan u echter wel een overzicht geven van enkele recente trends en ontwikkelingen …"

Voor de hand liggende blunders als deze zijn niet de enige tekenen dat onderzoekers zich bij het schrijven van hun onderzoek steeds vaker tot generatieve AI-tools wenden. Een recente studie onderzocht de frequentie van bepaalde woorden in academisch schrijven (zoals ‘lovenswaardig’, ‘nauwgezet’ en ‘ingewikkeld’) en ontdekte dat ze na de lancering van ChatGPT veel gebruikelijker werden – zozeer zelfs dat 1% van alle tijdschriften artikelen die in 2023 zijn gepubliceerd, bevatten mogelijk door AI gegenereerde tekst.

(Waarom gebruiken AI-modellen deze woorden te veel? Er wordt gespeculeerd dat dit komt omdat ze vaker voorkomen in het Engels dan in Nigeria, waar belangrijke elementen van modeltraining vaak voorkomen.)

In het bovengenoemde onderzoek wordt ook gekeken naar voorlopige gegevens uit 2024, waaruit blijkt dat AI-schrijfhulp alleen maar gebruikelijker wordt. Is dit een crisis voor de moderne wetenschap, of een zegen voor de academische productiviteit?

Wie moet de eer opeisen voor AI-schrijven?

Veel mensen maken zich zorgen over het gebruik van AI in academische papers. Deze praktijk wordt zelfs beschreven als ‘vervuilend’ in de wetenschappelijke literatuur.

Sommigen beweren dat het gebruik van AI-output neerkomt op plagiaat. Als uw ideeën vanuit ChatGPT worden gekopieerd, is het de vraag of u er echt eer voor verdient.

Maar er zijn belangrijke verschillen tussen ‘plagiaat’-tekst die door mensen is geschreven en tekst die door AI is geschreven. Degenen die het werk van mensen plagiaat krijgen erkenning voor ideeën die naar de oorspronkelijke auteur hadden moeten gaan.

Daarentegen is het de vraag of AI-systemen zoals ChatGPT dit kunnen hebben ideeën, laat staan ​​dat ze er de eer voor verdienen. Een AI-tool lijkt meer op de autocomplete-functie van je telefoon dan op een menselijke onderzoeker.

De kwestie van vooringenomenheid

Een andere zorg is dat AI-outputs vertekend kunnen zijn op manieren die in de wetenschappelijke gegevens kunnen doorsijpelen. Het is berucht dat oudere taalmodellen de neiging hadden om mensen die vrouwelijk, zwart en/of homoseksueel zijn, op een duidelijk niet-vleiende manier af te beelden, vergeleken met mensen die mannelijk, blank en/of heteroseksueel zijn.

Dit soort vooringenomenheid is minder uitgesproken in de huidige versie van ChatGPT.

Andere onderzoeken hebben echter een ander soort vooroordeel gevonden in ChatGPT en andere grote taalmodellen:een neiging om een ​​links-liberale politieke ideologie te weerspiegelen.

Een dergelijke vooringenomenheid zou op subtiele wijze de wetenschappelijke teksten kunnen vertekenen die met behulp van deze hulpmiddelen zijn geproduceerd.

Het hallucinatieprobleem

De grootste zorg houdt verband met een bekende beperking van generatieve AI-systemen:dat ze vaak ernstige fouten maken.

Toen ik ChatGPT-4 bijvoorbeeld vroeg om een ​​ASCII-afbeelding van een paddenstoel te genereren, kreeg ik de volgende uitvoer.

Vervolgens vertelde het me vol vertrouwen dat ik dit beeld van een "paddenstoel" voor mijn eigen doeleinden kon gebruiken.

Dit soort overmoedige fouten worden ook wel ‘AI-hallucinaties’ en ‘AI-bullshit’ genoemd. Hoewel het gemakkelijk is om te zien dat de bovenstaande ASCII-afbeelding helemaal niet op een paddenstoel lijkt (en nogal op een slak), kan het veel moeilijker zijn om fouten te identificeren die ChatGPT maakt bij het onderzoeken van wetenschappelijke literatuur of het beschrijven van de stand van zaken in een filosofisch debat.

In tegenstelling tot (de meeste) mensen houden AI-systemen zich fundamenteel niet bezig met de waarheid van wat ze zeggen. Als ze onzorgvuldig worden gebruikt, kunnen hun hallucinaties de wetenschappelijke gegevens bederven.

Moet door AI geproduceerde tekst worden verboden?

Eén reactie op de opkomst van tekstgeneratoren is het volledig verbieden ervan. Science, een van de meest invloedrijke wetenschappelijke tijdschriften ter wereld, staat bijvoorbeeld elk gebruik van door AI gegenereerde tekst toe.

Ik zie twee problemen met deze aanpak.

Het eerste probleem is van praktische aard:de huidige instrumenten voor het detecteren van door AI gegenereerde tekst zijn zeer onbetrouwbaar. Dit omvat de detector gemaakt door de eigen ontwikkelaars van ChatGPT, die offline werd gehaald nadat bleek dat deze slechts een nauwkeurigheidspercentage van 26% had (en een fout-positief percentage van 9%). Mensen maken ook fouten bij het beoordelen of iets door AI is geschreven.

Het is ook mogelijk om AI-tekstdetectoren te omzeilen. Online communities onderzoeken actief hoe ze ChatGPT kunnen aanzetten op een manier die de gebruiker in staat stelt detectie te omzeilen. Menselijke gebruikers kunnen AI-uitvoer ook oppervlakkig herschrijven, waardoor de sporen van AI effectief worden weggeveegd (zoals het overmatig gebruik van de woorden 'lovenswaardig', 'nauwgezet' en 'ingewikkeld').

Het tweede probleem is dat het volledig verbieden van generatieve AI ons ervan weerhoudt de voordelen van deze technologieën te realiseren. Wanneer het goed wordt gebruikt, kan generatieve AI de academische productiviteit verhogen door het schrijfproces te stroomlijnen. Op deze manier zou het de menselijke kennis kunnen vergroten. Idealiter zouden we moeten proberen deze voordelen te benutten en tegelijkertijd de problemen te vermijden.

Het probleem is slechte kwaliteitscontrole, niet AI

Het ernstigste probleem met AI is het risico van het introduceren van onopgemerkte fouten, wat leidt tot slordige wetenschap. In plaats van AI te verbieden, moeten we proberen ervoor te zorgen dat foutieve, ongeloofwaardige of bevooroordeelde beweringen niet in de academische wereld terecht kunnen komen.

Mensen kunnen immers ook schrijven met ernstige fouten produceren, en mechanismen zoals peer review slagen er vaak niet in om de publicatie ervan te voorkomen.

We moeten er beter in worden om ervoor te zorgen dat academische artikelen geen ernstige fouten bevatten, ongeacht of deze fouten worden veroorzaakt door onzorgvuldig gebruik van AI of door slordige menselijke wetenschap. Dit is niet alleen beter haalbaar dan toezicht houden op het gebruik van AI, het zal ook de normen van het academisch onderzoek als geheel verbeteren.

Dit zou (zoals ChatGPT zou kunnen zeggen) een lovenswaardige en uiterst ingewikkelde oplossing zijn.

Aangeboden door The Conversation

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.