Wetenschap
Moeten chatbots zich bezighouden met klimaatverandering? Onderzoek naar het potentieel van AI-platforms voor klimaatgeletterdheid
Kunnen chatbots nauwkeurige informatie verschaffen over de gevaren van klimaatverandering? Dat hangt af van verschillende factoren, waaronder het specifieke onderwerp, de locatie die wordt overwogen en hoeveel de chatbot wordt betaald, aldus een groep onderzoekers van Virginia Tech.
"Ik denk dat wat we hebben ontdekt is dat het prima is om kunstmatige intelligentie te gebruiken, je moet alleen voorzichtig zijn en het niet woord voor woord opvatten", zegt Gina Girgente, die afgelopen voorjaar afstudeerde met een bachelordiploma in aardrijkskunde. "Het is absoluut geen waterdichte methode."
Girgente maakte deel uit van een interdisciplinair onderzoeksteam dat vragen stelde over drie aan klimaatverandering gerelateerde gevaren – tropische stormen, overstromingen en droogtes – in 191 landen aan zowel de gratis als de betaalde versies van ChatGPT. ChatGPT is ontwikkeld door OpenAI Inc. en is een groottaalmodel dat is ontworpen om vragen te begrijpen en tekstreacties te genereren op basis van verzoeken van gebruikers.
De groep vergeleek vervolgens de antwoorden van de chatbots met de gevaarrisico-indices die ze hadden gegenereerd met behulp van gegevens van het Intergouvernementeel Panel voor Klimaatverandering, een orgaan van de Verenigde Naties dat belast is met het beoordelen van de wetenschap met betrekking tot klimaatverandering.
"Over het algemeen vonden we meer overeenstemming dan niet", zegt Carmen Atkins, hoofdauteur en tweedejaars Ph.D. student aan de afdeling Geowetenschappen. "De door AI gegenereerde resultaten waren meer dan de helft van de tijd nauwkeurig, maar er was meer nauwkeurigheid bij tropische stormen en minder bij droogtes."
In een artikel gepubliceerd in Communicatie Aarde &Milieu , rapporteerde de groep de reacties van ChatGPT4 afgestemd op de indices met de volgende mate van nauwkeurigheid:
- Tropische stormen:80,6%
- Overstromingen:76,4%
- Droogten:69,1%
Ze ontdekten ook dat de nauwkeurigheid van de chatbot toenam wanneer gevraagd werd naar meer ontwikkelde landen en dat de betaalde versie van het platform, momenteel ChatGPT-4, nauwkeuriger was dan de gratis versie, die destijds ChatGPT-3.5 was.
Ze vonden minder consistentie in de antwoorden over hetzelfde onderwerp toen hen werd gevraagd naar bepaalde regio's, vooral veel landen in Afrika en het Midden-Oosten, die worden beschouwd als landen met een laag inkomen of als ontwikkelingslanden. En ze ontdekten dat de betaalde versie van het platform, momenteel ChatGPT-4, nauwkeuriger was dan de gratis versie, die destijds ChatGPT-3.5 was.
"Wij zijn de eersten die hier op een systematische manier naar kijken, voor zover wij weten, en daarnaast is het echt een oproep tot actie voor meer mensen om deze kwestie te onderzoeken," zei Atkins.
Volgens de publicatie hebben de onderzoekers de ChatGPT-service gekozen vanwege de populariteit ervan, vooral onder gebruikers van 18 tot 34 jaar, en het gebruik ervan in ontwikkelingslanden.
Atkins en Girgente, die in de herfst afstuderen aan de Universiteit van Denver, zeiden dat het idee voor het project voortkwam uit hun tijd in de klas van Junghwan Kim, een assistent-professor bij de afdeling Geografie. Daar deelde Kim een deel van zijn eigen onderzoek naar de geografische vooroordelen in ChatGPT toen hem werd gevraagd naar onderwerpen op het gebied van milieurechtvaardigheid.
"Het opende het hele idee van de verschillende dingen waar we naar konden kijken met ChatGPT", zei Atkins. "En voor mij persoonlijk zorgde de klimaatverandering en in het bijzonder de kennis over klimaatverandering, die van cruciaal belang is voor het bestrijden van desinformatie, ervoor dat ik wilde zien of ChatGPT nuttig of schadelijk zou kunnen zijn met dat probleem."
Kim is ook co-auteur van deze nieuwe studie, net als Manoochehr Shirzaei, universitair hoofddocent geofysica en teledetectie.
Kim zei dat hij vond dat de resultaten vooral belangrijk zouden zijn om te delen met studenten die misschien te veel vertrouwen in de chatbots stelden en dat ze ook zijn eigen gebruik van de software hadden beïnvloed.
Hoewel de groep gelooft dat hun bevindingen de duidelijke noodzaak aantonen van een voorzichtige benadering van het gebruik van generatieve kunstmatige intelligentie, geloven ze ook dat dit onderzoek slechts het begin is van het benodigde onderzoek, dat herhaald zal moeten worden naarmate de verschillende software zich blijft ontwikkelen. P>
"Dit is slechts het topje van de ijsberg, en bovenal willen we alleen maar de aandacht vestigen op deze problemen", aldus Atkins. "Generatieve AI maakt nu deel uit van onze wereld, maar we moeten het op een zo goed opgeleide manier gebruiken als we kunnen."