Article with Vincent Ginis in De Morgen, by Jorn Lelong.
Studenten schorsen of een boekendeal afblazen omdat een AI-detector aangeeft dat een chatbot de pen vasthield? Dat gebeurt steeds vaker. Nochtans is de software verre van onfeilbaar.
Toen de Britse hoogleraar Sam Illingworth onlangs de eerste bladzijden van Moby Dick door de AI-detectietool Research haalde, kreeg hij een opmerkelijk resultaat. Volgens de naar eigen zeggen "erg nauwkeurige" detector was 44 procent van de roman met hulp van artificiële intelligentie geschreven. Lastig, want de kans dat Herman Melville zijn klassieker in de 19de eeuw met behulp van een chatbot schreef, lijkt ons nogal klein.
Nu volgens sommige studies de helft van alle blogs en artikels op het internet door AI geschreven is, groeit de vraag naar betrouwbare hulpmiddelen om menselijke inhoud van AI te onderscheiden. Universiteitsprofessoren halen thesissen en andere eindwerken door AI-detectietools, Substack bouwde detectietool Pangram onlangs in zijn populaire blogsite in, en ook LinkedIn geeft gebruikers nu een knop om AI-slop te melden.
Die detectietools kunnen een handig hulpmiddel zijn, maar op korte tijd kregen ze de macht om reputaties en carrières te breken. Zo werd de Amerikaanse student Orion Newby van Adelphi University in New York van fraude beschuldigd nadat detectietool Turnitin aangaf dat zijn tekst voor 100 procent door AI gegenereerd was.
Newby haalde zijn tekst vervolgens door andere AI-detectoren en kreeg een score van 0 procent. Uiteindelijk stelde de rechtbank Newby in het gelijk: de universiteit had haar eigen tuchtprocedure niet gevolgd en hem geen eerlijke kans op beroep gegund.
Zinsconstructies
Detectietools als GPTZero, Grammarly of Pangram berekenen hoe waarschijnlijk een tekst door AI gegenereerd is door te kijken naar de woordkeuze, zinsbouw en voorspelbaarheid van de teksten. Maar feilloos zijn ze niet.
Een veel geciteerde studie van Stanford-onderzoekers uit 2023 toonde bijvoorbeeld dat AI-detectietools meer dan de helft van essays die door niet-moedertaalsprekers geschreven werden als AI-gegenereerd bestempelden.
"Als test heb ik een stuk van mijn eigen doctoraat in zo'n detectietool opgeladen", zegt Jozefien Vanherpe, professor intellectueel eigendomsrecht (KU Leuven). "Hoewel ik dat vóór ChatGPT geschreven heb, bestempelde die tool dat ook als deels AI-gegenereerd."
Intussen is detectiesoftware een bloeiende sector geworden. Het Amerikaanse Pangram haalde vorige maand nog 9 miljoen dollar op. Zijn nieuwe model zou naar eigen zeggen in 9.999 van de 10.000 gevallen AI-tekst van menselijke tekst kunnen onderscheiden.
Onafhankelijke onderzoeken tonen inderdaad aan dat Pangram van alle detectietools het minst vaak de mist in gaat. Toch blijft het gevaarlijk om er blind op te vertrouwen. Zo bestaat de trainingsset met menselijke voorbeelden alleen uit teksten die vóór de lancering van ChatGPT in 2022 werden geschreven.
"Maar we mogen niet vergeten dat ook onze taal intussen veranderd is", zegt Thomas Winters, gastprofessor AI aan KU Leuven. "Zinsconstructies als 'niet X, maar Y' of het Engelse woord 'delving' komen nu ook meer voor in onze taal. Daarnaast zijn er tal van toepassingen die typische AI-elementen uit teksten verwijderen. Zo wordt het voor die tools veel moeilijker om betrouwbare uitspraken te doen."
Verschillende internationale universiteiten, zoals Yale, Johns Hopkins of de Universiteit van Kaapstad, hebben het gebruik van detectiesoftware intussen teruggeschroefd of verboden. In eigen land gebruikt KU Leuven wel plagiaatsoftware Turnitin, maar niet de ingebouwde AI-detectie. "Uit onze analyse bleek dat die software te onbetrouwbaar was, bijvoorbeeld bij niet-moedertaalsprekers, om van toegevoegde waarde te zijn", zegt woordvoerder Bregt Van Hoeyveld.
Onze universiteiten krijgen binnenkort wel een nieuwe tool. AI-bedrijf Anthropic voegt sinds kort een watermerk toe aan teksten die zijn AI-chatbot Claude genereert. Dat watermerk is niet zichtbaar met het blote oog, maar zit in de woordkeuze zelf.
"Met een wiskundige sleutel wordt een patroon ingebakken dat voor een machine leesbaar wordt", legt Winters uit. "Daardoor is de kans op valse positieven veel kleiner."
Dat watermerk komt er door de nieuwe transparantieregels in de Europese AI-wetgeving: de AI Act verplicht AI-bedrijven om AI-inhoud duidelijk te labelen. Bepaalt dat straks mee of studenten die (delen van) hun thesis door AI lieten schrijven, door de mand vallen? "Het kan een factor zijn", zegt Vanherpe. "Maar er is nog weinig duidelijk over hoe dit concreet toegepast zal worden. Het lijkt mij niet de bedoeling dat studenten gestraft worden puur omdat ze Claude gebruiken."
Het watermerk zou alleen aangeven dat Claude 'betrokken was', niet of de chatbot de hele tekst schreef dan wel alleen stukken vertaalde. Bovendien worden nu al toepassingen verspreid om het watermerk te verwijderen.
"We moeten vermijden dat we studenten trainen om hun teksten te herformuleren zodat ze zo'n watermerk omzeilen", zegt AI-professor Vincent Ginis (VUB). Hij wijst erop dat alleen kijken naar het eindproduct niet volstaat om de leerprestaties van de student te evalueren.
"Minstens zo belangrijk zijn inzicht in het proces via logboeken en transcripten, en testen of de student de leerstof echt beheerst. In die zin is dat zelfs een verbetering tegenover vroeger."