Interview with Vincent Ginis in Bruzz.
Studenten maken regelmatig gebruik van ChatGPT op examens en voor thesissen. Dat bleek de voorbije weken in de nasleep van de grootschalige examenfraude met de Open AI-tool tijdens de toelatingsproef geneeskunde, tandheelkunde of diergeneeskunde. Hoe gaat de VUB hiermee om? En hoe toetsen universiteiten de parate kennis van studenten nog écht tegenwoordig? “De mondelinge overhoring is aan een renaissance bezig.”
Sinds het onderzoek naar gebruik van ChatGPT op het toelatingsexamens arts, tandarts en diergeneeskunde, is de discussie over gebruik van artificiële intelligentie aan de universiteiten niet stilgevallen.
Heel wat universiteiten hebben de voorbije jaren een protocol uitgewerkt met richtlijnen voor het gebruik van AI-tools. Ook aan de VUB is dat het geval. Voor studenten en onderzoekers gelden er aan de VUB aparte reglementen, die op advies van Vincent Ginis, opdrachthouder Artificiële Intelligentie, tot stand zijn gekomen.
“Het opvallendste in de discussie over de fraude bij het ingangsexamen is dat niemand nog in twijfel trekt dat ChatGPT het kán,” zegt Ginis, enigszins bewonderend. “En dat terwijl het ingangsexamen geneeskunde een van de moeilijkste examens is binnen die leeftijdscategorie.”
De voorbije jaren heeft ChatGPT enorme vooruitgang geboekt, blikt Ginis terug. “Het is nu de derde verjaardag van de tool van OpenAI. Ik herinner me de eerste en tweede verjaardag nog goed, toen er nog veel twijfel was over zijn capaciteiten. Vandaag is die initiële scepsis volledig verdwenen.”
De vraag is natuurlijk: mogen studenten er gebruik van maken voor examens en thesissen?
Vincent Ginis: Allereerst: er is niet zoiets als één manier om taalmodellen – large language models zoals ChatGPT – te gebruiken. Er is een veelheid van manieren waarop je ze kunt inzetten. We zien vaak dat studenten de tool gebruiken als socratische partner, dus om leerstof te herhalen als een soort study buddy. Daar hebben we geen problemen mee. Maar dan nog is het opletten. Want sommige antwoorden van ChatGPT slaan nergens op. Dat wordt ‘hallucineren’ genoemd. De makers van Open AI werken eraan, ze weten nu hoe ze dat kunnen vermijden, maar tot die tijd moet de gebruiker de onzin zelf weten te filteren.
Jullie hebben ook een charter over artificiële intelligentie voor studenten. Wat staat daarin?
Ginis: Naar studenten toe hebben we een aantal regels, waarvan de eerste de belangrijkste is. Die luidt: je bent zelf volledig verantwoordelijk voor de taak en voor de manier waarop je GenAI-tools gebruikt. Elke bron waarnaar je verwijst moet je zelf hebben gelezen, beoordeeld en verwerkt.
Ik verwijs in deze context graag naar de analoge situatie van vroeger. In zekere zin is de essentie van fraude of oneigenlijk gemaakte opdrachten niet veranderd. Tien jaar geleden was het ook niet toegestaan om aan je nonkel te vragen je inleiding te schrijven. Nu is er een tool die exact dat doet, en zou dat nu wél mogen?
Tegelijkertijd zien we dat de toegang tot ‘de slimme oom’ nu gedemocratiseerd is. Iedereen heeft nu een slimme oom, tante of buurman tot zijn beschikking.
In sommige gevallen verschillen de regels en wordt bijvoorbeeld samenwerken aangemoedigd. In dat geval heeft ChatGPT soms wel een plaats. Maar de basis blijft hetzelfde: in gevallen waarbij je geen hulp mag vragen aan andere mensen, mag je ook geen hulp vragen aan ChatGPT.
In veel gevallen komt het erop neer dat je ChatGPT wel mag gebruiken om te brainstormen, maar geen teksten mag copy-pasten. Je ziet dat het een schemerzone is op dit moment, er wordt veel misbruik van gemaakt. We zien dit niet per se als onethisch gebruik, maar wel als onlogisch: we vragen uiteindelijk naar de kennis van de student, niet naar die van ChatGPT.
Behalve over verantwoording afleggen, gaat het charter ook over transparantie.
Ginis: Inderdaad, wanneer er twijfels ontstaan, dan vragen we de student te laten zien hoe met ChatGPT is gewerkt. OpenAI laat bijvoorbeeld toe om een hele chatgeschiedenis te exporteren. In ideale omstandigheden kun je dus ook een chat-extract toevoegen. Dan zie je in één oogopslag welke ideeën van de student waren, hoe hij of zij daarmee aan de slag is gegaan en wat het resultaat was.
We kijken ook naar de kritische vaardigheden die een student aan de dag heeft gelegd. Zijn ze in staat met de tool te werken? Slagen ze erin de ‘hallucinaties’ te doorprikken? Kritisch te zijn over hoe ChatGPT de vraagsteller soms naar de mond spreekt?
Hoe kan de VUB detecteren of een student AI heeft gebruikt? Gebruiken jullie bepaalde software of is het vooral een inhoudelijke beoordeling?
Ginis: Het is vaak een combinatie van kleine signalen die we zelf herkennen. Enerzijds zien we het aan teksten die té goed zijn. Bijvoorbeeld door een perfecte afwisseling van lange en korte zinnen. Maar we zien het ook aan een bepaalde woordkeuze in Engelse teksten die non-native speakers niet zouden gebruiken. Of een referentie naar een boek of artikel dat niet blijkt te bestaan.
Hoe verloopt de procedure als iemand verdacht wordt van AI-gebruik?
Ginis: Eerst wordt de toets of de thesis gevlagd, dan wordt er met een vergrootglas gekeken en volgt de vraag aan de student om een mondelinge toelichting te geven. Als een student tijdens de mondelinge toelichting onvoldoende kennis toont, dan is hij of zij op heterdaad betrapt. De decaan beslist over de straf. Sancties variëren: van nul krijgen voor een opdracht tot schorsing van de opleiding, al gebeurt dat laatste niet vaak.
Welke alternatieven voor evaluatie heeft de universiteit?
Ginis: We zien in elk geval een opvallende tendens: er zijn steeds meer mondelinge verdedigingen. Exacte cijfers heb ik niet, maar ik denk dat het aantal mondelinge verhoren makkelijk is verdubbeld. Ik zou zelfs willen zeggen dat er sprake is van een totale renaissance van de mondelinge overhoring op de campus.
"Nog nooit hebben we nog nooit zoveel aandacht besteed aan sensibilisering rond fraude"
In hoeveel gevallen is onjuist AI-gebruik bewezen aan de VUB?
Ginis: Elk jaar zien we wel studenten iets indienen dat duidelijk niet door henzelf gemaakt is. Dat was vroeger – voor de komst van ChatGPT - ook al zo. Maar fraude zit wel in de lift.
Hoe gaat de universiteit hiermee om?
Ginis: We zien twee gelijktijdige bewegingen: enerzijds zien we het grotere gemak waarmee studenten een taak uitbesteden aan ChatGPT. Anderzijds zien we vanuit de universiteit heel veel aandacht voor fraude. Want dat bestond vijf of tien jaar ook, maar nu is het echt een talking point. Nog nooit hebben we zoveel aandacht besteed aan sensibilisering.
De VUB maakt een onderscheid tussen gebruik door onderzoekers en door studenten. Waaruit bestaat dat onderscheid en waarom verschillen de regels?
Ginis: Het verschil zit in het feit dat het eindproduct voor onderzoekers iets heel anders is: een nieuw vaccin tegen kanker of een oplossing van een wiskundig probleem. Onderzoekers willen nieuwe technologie sneller en efficiënter inzetten. ChatGPT kan daarbij helpen. Kijk bijvoorbeeld naar de bekende wiskundige Terence Tao, die het volop promoot. Hij kan nu problemen oplossen die hij eerder niet kon oplossen. Dat betekent een verbetering voor de maatschappij.
Toch mogen studenten het niet op dezelfde manier gebruiken.
Ginis: In het onderwijs gaat het niet om een opdracht zo efficiënt mogelijk af te werken. Het eindproduct is niet een paper of thesis, maar de student zelf. Als je fitter wil worden, gebruik je ook geen scooter op de loopband in de sportschool. Dat schiet zijn doel voorbij. Wat wij willen zien, is hoe de student een vraagstuk zelf oplost.
Voor junior- en seniorstudenten leggen we andere accenten. Maar ook bij een masterthesis moet de student het zelf kunnen. Bij een doctoraat moedigen we wél aan om bepaalde AI-tools te gebruiken, maar het moet nog altijd passen binnen het leertraject. Je moet ook daar zelf leren hoe je teksten structureert en met bronnen omgaat.
Werken universiteiten in België of Europa eigenlijk samen rond dit onderwerp?
Ginis: Iedereen worstelt inderdaad met dezelfde problemen. Er zijn twee overlegorganen binnen de Vlaamse Interuniversitaire Raad (VLIR), met overlegmomenten waar kennis wordt gedeeld. Ook binnen de Vlaamse Hogescholenraad (VLHORA) gebeurt dat, maar minder frequent.
Plant de VUB nieuwe richtlijnen of aanpassingen naar aanleiding van de fraudezaak tijdens het toelatingsexamen?
Ginis: Niet direct. Het reglement voor studenten ligt min of meer vast, het reglement voor onderzoekers verandert constant, maar dat houdt geen verband met de fraudezaak.
Na die zaak klonk ook de oproep om terug te grijpen naar pen en papier, maar ik weet niet of dat de oplossing is. Studenten zijn inventief. Er bestaan heel kleine oortjes die kunnen helpen de antwoorden in te fluisteren.
De echte vraag is, denk ik, hoe evaluaties in de toekomst überhaupt zullen plaatsvinden. En dan heb ik het niet alleen over universiteiten, maar over alle mogelijke plekken waar mensen geëvalueerd kunnen worden.
Op lange termijn ben ik ervan overtuigd dat het onderwijs hier net beter van zal worden. Want we keren terug naar de essentie: het mondeling overhoren van parate kennis, in combinatie met meer toegang tot individuele feedback. De renaissance is ingezet.