Opinion piece with Marijke Van Vlasselaer and Filip Van Droogenbroeck in DeMorgen.
In verschillende opleidingen ligt de bachelor- en masterproef opnieuw op tafel. Schaffen we ze af? Vervangen we ze door een examen? Het argument is steeds hetzelfde: studenten gebruiken toch AI en wij kunnen dat niet betrouwbaar detecteren. Het debat over AI-detectietools wordt echter verkeerd gevoerd, en wel om twee redenen.
Ten eerste wordt een stroman opgevoerd. Wij kennen niemand (geen enkele universiteit, geen enkele docent) die beweert dat AI-detectietools hét of het enige antwoord zijn op AI-misbruik.
Vergelijk het met verkeersboetes. Niemand denkt dat je met boetes alleen het verkeer veilig maakt. Om dat te doen zou je de pakkans oneindig moeten opdrijven, en dat is simpelweg niet haalbaar, laat staan kostenefficiënt.
Toch erkennen de meeste mensen het nut van boetes. Dat nut zit vooral in het gedragseffect. De meeste mensen rijden nu eenmaal voorzichtiger omdat er een reële kans bestaat dat ze gepakt worden. Degenen die echt onvoorzichtig zijn, worden inderdaad betrapt.
Een detectietool werkt op precies dezelfde manier. Het is geen sluitend bewijsmiddel, maar het fungeert wel als drempel die het overwegen waard maakt om het niet te doen, en kan dienen als signaalfunctie.
Ten tweede, en dat is het punt waar het echt om draait: als detectietools al een plaats verdienen, dan zijn valspositieve uitkomsten extreem problematisch. Iemand ten onrechte beschuldigen van AI-fraude is ernstig. Terug naar de analogie: dat is precies waarom bij snelheidsmetingen altijd een correctiemarge wordt toegepast, zelfs wanneer die in de meeste gevallen niet nodig blijkt.
Het is nu net in deze context dat tegenstanders steevast met dezelfde ludieke voorbeelden komen aanzetten: de eerste bladzijden van Moby Dick of iemands eigen doctoraat van vóór ChatGPT. Wij zeggen het u luid en duidelijk: die voorbeelden zijn onzin.
Gebruik een tool die van bij het ontwerp gebouwd is voor AI-detectie (en dus geen omgebouwde plagiaatscanner) en die teksten worden niet gemarkeerd als AI-geschreven. En al zeker niet tot op een niveau dat je erop zou handelen.
Dat bleek alleszins uit onze recente studie. In onze test met 160 academische teksten, waarbij we precies wisten hoeveel AI aanwezig was, kwamen valse positieven niet voor bij de betere detectietools. Geen van de 40 teksten die volledig door mensen waren geschreven, werd door Pangram, Copyleaks of Turnitin als AI gemarkeerd.
Deze teksten werden door anderstalige studenten in het Engels geschreven, jaren voordat ChatGPT bestond. Het is een groep die vaak wordt aangehaald als kwetsbaar voor valse positieven.
De vraag is voor ons intussen omgekeerd: waar zijn de menselijke teksten die door de betere detectoren overtuigend als AI worden bestempeld? We hebben ze niet gevonden. Wel varieerden de tools sterk in de precisie van het gedetecteerde percentage AI, met Pangram als de duidelijk beste detector, terwijl de andere detectoren ronduit slecht waren in het detecteren van AI.
Vanaf het moment dat een detectietool een bijzonder kleine kans heeft op valse positieven, kun je er beleid mee voeren. Uiteraard altijd met een human-in-the-loop die deze teksten dan kritisch bekijkt en in gesprek gaat.
De echte discussie gaat dus niet over ‘detectietools ja of nee’, maar over welke tool je gebruikt. Het is belangrijk dat scherp te houden om het debat over AI in het hoger onderwijs zuiver te houden.
Vandaag worden het massale gebruik van AI en het vermeende falen van AI-detectietools vaak aangegrepen om het hele idee van een bachelor- of masterproef als orgelpunt van een academische opleiding buiten te gooien. Nu kan men zeker discussiëren over de vraag of een bachelor- of masterproef voor iedere studierichting nuttig is, maar dat heeft niets met AI te maken.
AI versterkt vooral bestaande problemen. Het AI-gebruik van studenten richt vandaag de schijnwerpers op een punt dat iedereen in het hoger onderwijs erkent: door aanhoudende besparingen kunnen studenten in grote richtingen eigenlijk niet meer de (proces)begeleiding krijgen waar ze recht op hebben. Het probleem is niet dat studenten AI gebruiken. Het is dat niemand nog tijd heeft om het te zien. Dat laatste los je niet op door de bachelor- of masterproef af te schaffen.