Studie: ChatGPT udjævner forskelle mellem studerende

Hvis man lader studerende bruge ChatGPT, hvad sker der så med deres eksamensresultater? Det spørgsmål belyser et nyt amerikansk studie, som har undersøgt jurastuderende.

Mens bundniveauet blev hævet voldsomt, når de studerende kunne anvende chatbotten, var der samtidig længere mellem topkaraktererne. De svageste studerende klarede sig med andre ord bedre end vanligt, mens der var færre, der afleverede virkelig gode eksamensopgaver.

Hvorfor de stærkeste studerende ligefrem klarede sig værre end normalt, viser studiet fra University of Minnesota ikke noget om. Men forskerne foreslår, at det kan skyldes, at adgangen til ChatGPT får nogle studerende til at vælge lette løsninger frem for at gøre sig umage.

Lektor Hin-Yan Liu underviser i faget Artificial Intelligence and Legal Disruption på Det Juridiske Fakultet på Københavns Universitet (KU). Han er skeptisk over for de amerikanske resultater, men ifølge ham peger undersøgelsen ikke desto mindre på, at der kan være en komplet revolution undervejs af både jurauddannelsen og -branchen. Det vender vi tilbage til.

Chatbot udjævner forskelle

Det amerikanske studie er foretaget ved, at forskere har sammenlignet 96 studerendes eksamensresultater i to forskellige fag. De 48 af dem tog eksamen uden at bruge kunstig intelligens, mens de andre havde adgang til ChatGPT.

Ved en multiple-choice test opnåede de studerende, der kunne bruge chatbotten, eksamensresultater, der i gennemsnit var 29 procentpoint højere end de andre studerendes. Men det tal dækker over en betydelig spredning: Den dårligste del af de studerende, der havde adgang til ChatGPT, hentede resultater, der var 45 procentpoint højere end den dårligste del af dem, der ikke kunne bruge chatbotten. Ser man til gengæld på de studerende, der klarede sig bedst ved hver af eksamenerne, var resultaterne i snit 20 procentpoint dårligere hos dem, der anvendte ChatGPT.

Det amerikanske studie tyder desuden på, at chatbotten ikke gjorde nogen forskel for de studerende, når det gjaldt den del af eksamen, hvor de skulle skrive et essay.

Hver anden bruger kunstig intelligens

ChatGPT har også fundet vej til universiteterne i Danmark, hvor der har været uenighed om, hvordan de studerende må bruge chatbotten.

En Djøf-undersøgelse fra 2023 viser, at 54% af de studerende har anvendt tjenester som ChatGPT i forbindelse med studiet. Men ifølge nogle studerende er chatbotten endnu ikke den store hjælp på jurastudierne i Danmark.

En studerende forklarer fx i Djøf-undersøgelsen, at chatbotten ikke fungerer så godt, når det gælder danske love:

”Jeg læser jura, som er et felt, hvor næsten alt pensum kun findes i skrevne bøger, og der kommer jo løbende ny lovgivning mm. ChatGPT er, for så vidt jeg ved, kun blevet fodret med data frem til 2020 (ifølge firmaet bag ChatGPT er det 2021, red.), så ofte anvender den forkerte love til besvarelse. Desuden er der inden for mange felter tale om subjektiv lovanvendelse (skøn), som den ikke er særligt god til.”

Chatbotten er muligvis ikke så brugbar i dansk jura i øjeblikket, men ikke desto mindre mener Hin-Yan Liu fra KU, at teknologien kan få stor betydning for jurastudierne og den juridiske branche.

Måske er teknologi ikke forklaringen

Hin-Yan Liu ser kritisk på studiets resultater og sætter bl.a. spørgsmålstegn ved studiets få deltagere og den manglende mulighed for at efterprøve resultaterne.

I stedet retter han blikket mod eksamenssituationerne, som er helt centrale i studiet. Han mener nemlig, at der kan være andre forklaringer på, hvorfor de studerende klarer sig forskelligt – som ikke alene skyldes kunstig intelligens.

”For nervøse studerende, der klarer sig dårligt ved traditionelle eksamener, kan det faktum, at der er hjælp til rådighed, mindske usikkerheden og dermed forbedre præstationen,” forklarer han og fortsætter:

”Men for dem, der har lært at spille eksamensspillet godt, kan introduktionen af en ny faktor være en distraktion fra deres nøje udarbejdede strategier, der tidligere har vist sig at være nyttige.”

Ifølge Hin-Yan Liu siger studiets resultater altså ikke nødvendigvis noget om kunstig intelligens, men måske snarere om effekten af i det hele taget at lempe reglerne for eksamen.

Han pointerer, at man fx kunne efterprøve studiets resultater ved at give de studerende adgang til hjælpemidler såsom noter, internettet, lærebøger eller mulighed for undervejs at rådføre sig med andre.

”Sidstnævnte ville især være en god kontrol, da du ikke nødvendigvis skal tænke på kunstig intelligens som et værktøj, men som en samarbejdspartner.”

En komplet revolution

Men hvad betyder studiet så i en dansk kontekst? Ifølge Hin-Yan Liu kan studiet være en indikation på, at eksamener betyder mindre – langt mindre, understreger han – end vi måske har troet.

”Jurastudiet handler ofte om at studere regler frem for at studere loven. De to forveksles så meget, at det faktisk er skræmmende. Mit indtryk er, at mange juridiske eksamener blot handler om viden og kendskab til regler, og hvordan man anvender dem,” forklarer han og fortsætter:

”Hvis du accepterer det, kan det være, at de ’højt præsterende’ studerende er gode til at huske og gengive regelbøger, men det er et skrøbeligt færdighedssæt med begrænset anvendelighed i den virkelige verden. Traditionelle juridiske eksaminer favoriserer dem, der husker – måske til skade for dem, der tænker.”

Selv om Hin-Yan Liu er kritisk over for den amerikanske undersøgelse, mener han ikke desto mindre, at den antyder, at vi kan stå på kanten af en ”komplet revolution”. For hvis teknologien kan udjævne en stor del af forskellene mellem jurastuderende, kan det ryste uddannelserne og den juridiske branche.

”Det plejede at være den højest scorende studerende, der blev ansat hos de bedste advokatfirmaer – baseret på evnen til at klare sig godt til eksamener. Men bedst i henhold til hvad? Hvis mere eller mindre alle – med hjælp – kan præstere på samme niveau, hvad legitimerer så hele det her system?”