AI kan gøre stærke studerende svagere

Forestil dig en tom tavle. Hvis den skal udfyldes, er det bedre at få tre rigtige og to forkerte ting på tavlen end nul ting overhovedet.

Men hvad, hvis tavlen allerede er fyldt og så får tilføjet flere ting – hvor nogle er rigtige og nogle forkerte? Er det så stadig en fordel?

Billedet stammer fra Carsten Bergenholtz. Sammen med kolleger fra Aarhus Universitet (AU) står han bag et nyt studie, der peger på, at brug af ChatGPT kan have flere negative effekter på, hvordan højtpræsterende studerende klarer sig til eksamenen – og faktisk også på deres kognitive proces.

Studiet er foretaget af fire forskere fra Institut for Virksomhedsledelse og Department of Management på Aarhus Universitet. De udførte forsøget med 141 business-studerende i slutningen af 2023, et år efter lanceringen af ChatGPT. I den periode talte forskerne om, at AI ville have en demokratiserende effekt på vores præstationer: At alle ville blive stærkere. Imidlertid havde de svært ved at genkende den teori fra deres eget undervisningslokale.

“Vi studsede især over, at de eksamensopgaver, de studerende skulle løse i andre AI-studier, var så velstrukturerede. Det elsker en sprogmodel, men det er sjældent den slags opgaver, vores studerende skal løse – og det er sjældent den slags opgaver, man skal løse inden for vidensarbejde generelt,” fortæller Carsten Bergenholtz.

Forskellig belastning

Derfor opstillede forskerne en ny eksamenssituation. De business-studerende, der deltog i forsøget, skulle løse to tidspressede og dårligt strukturerede opgaver: først én, hvor de ikke måtte bruge AI; derefter én, hvor de skulle bruge ChatGPT. Begge opgaver fik de 22 minutter til.

Resultaterne viste to meget forskellige mønstre.

Hvor de lavt præsterende studerende klarede sig væsentligt bedre i testen med ChatGPT, blev de bedst præsterende studerende udfordret af ChatGPT-assistenten.

For de lavt præsterende studerende hjalp ChatGPT med struktur, eksempler, sprog og en grundlæggende sammenhæng at arbejde ud fra. For de højt præsterende studerende var effekten modsat: De oplevede en øget arbejdsbyrde ved at skulle sammenligne, filtrere og integrere store mængder AI-genereret tekst med deres egen viden. Det betød, at de ofte endte med bare at kopiere svarene ind og således præstere dårligere end i første test.

Imidlertid var det ikke kun de studerendes performance, der påvirkedes forskelligt. Det gjorde også deres cognitive load, altså den mentale belastning, det kræver at bearbejde information.

”De lavt præsterende studerende oplevede stor belastning i den første test, men mindre i den anden. Modsat oplevede de højt præsterende studerende højere load i den anden test, fordi deres domæneviden og sammenligningsgrundlag var større. Det forstyrrede deres proces og kognitive bearbejdning,” fortæller Franziska Günzel-Jensen, medforfatter til studiet.

Ifølge Franziska Günzel-Jensen hænger den effekt sammen med sprogmodellens struktur:

“Måske kender du følelsen af at blive træt, når du arbejder sammen med en chatbot. Det kræver virkelig meget arbejde at vurdere, om det, den producerer, faktisk passer, fordi den er så velformuleret.”

Økse eller kædesav

Ifølge Mark Friis Hau, der er adjunkt på Institut for Kommunikation og Humanistisk Videnskab på Roskilde Universitet (RUC), har forsøget mange interessante perspektiver.

Samtidig peger han på, at der er flere forhold, der spiller ind, når man skal undersøge værdien af at bruge en chatbot:

”Hvis jeg er vant til at bruge en økse til at kløve brænde og så lige pludselig får en kædesav, så er jeg måske ikke hurtigere, fordi jeg ikke kender værktøjet. Der ville det være ærgerligt, hvis vi sagde, at det eneste, der så fungerer, er at bruge en økse.”

Og skal man blive i analogien, kan det være svært at vide, om man reelt skal bruge en økse eller en kædesav, hvis brændet skal kløves og ikke skæres over, fortsætter han: ”Så det handler om, at vi skal bruge det rette værktøj til den rette opgave og det er svært at vide.”

Til spørgsmålet om, hvad forsøgspersonernes forhåndskendskab til ChatGPT var, og hvordan forskerne har justeret for det, svarer Carsten Bergenholtz, at de på forhånd testede, hvor meget de studerende havde brugt chatbots før. Dengang var der ikke den store forskel i kendskabet, fortæller han og fremhæver, at det netop er et forhold, der kan have ændret sig de seneste to år.

Samtidig påpeger han, at god brug af teknologien ikke kun handler om, hvor meget man bruger den:

“Man kan godt bruge ChatGPT uhensigtsmæssigt, selv om man bruger den meget.”

Derfor bør kandidatuddannelserne ifølge forskeren have et specifikt fag, der netop underviser i, hvordan vi kan bruge de forskellige generative AI-modeller mest hensigtsmæssigt:

“Når vi taler om AI, taler vi ofte om teknologiforståelse. Men vi skal, især på universitetet, have langt mere fokus på en metaforståelse af: Hvad er den her teknologi, og hvad gør den ved min læringsproces?”

Kompetencekonsekvenser?

Ifølge Mark Friis Hau er forsøget fra AU især interessant, fordi det peger på noget nyt i forståelsen af generativ kunstig intelligens. Mens flere studier peger på AI’s demokratiserende effekt, har færre foreslået det, som forsøget påpeger: Nemlig at generativ kunstig intelligens ikke nødvendigvis gør os alle sammen dygtigere, men måske snarere har den forfladigende effekt, at de svageste bliver stærkere, og de stærkeste svagere.

Og viser generativ AI sig netop at have en forfladigende effekt i andre situationer end det i forsøget, kan det potentielt have konsekvenser for hele vores arbejdsmarked, påpeger han.

”Så kan det blive svært at have kompetencebaserede lønforhandlinger eller at forstå, hvorfor man skal fastholde medarbejdere, hvis én fra gaden kan være lige så god som én med 10 års erfaring.”

I hans øjne kan man sådan set godt overføre dele af forsøgets resultater og kontekst til djøf-arbejdsmarkedet:

”Mange opgaver i et almindeligt arbejdsliv er jo nok også tidspressede og lidt dårligt strukturerede. Skal du skrive et cirkulære, et ministersvar eller en rapport, er det sjældent, du har masser af tid og skal trække på al den viden, du har. Der skal det bare gøres godt nok.”

Ifølge forskeren er der dog netop forskel på opgaver, der skal gøres godt nok, og opgaver, der skal gøres decideret godt:

”Forsøget understøtter jo netop, at hvis vi er gode til vores arbejde, kan vi blive dårligere af at outsource det til ChatGPT,” siger han og tilføjer:

”Og så er det en vigtig pointe, at hvis du er god til at bruge generativ AI, vil du også vide, hvornår det kan trække dig ned.”