Juraforskning

AI dømmer lige så meget i øst og vest som mennesker

18.11.2026

af

Foto af Niels Christian Ellegaard, der holder et oplæg om kunstig intelligens og jura

Foto: Plesner

Efter 30 år i advokatbranchen er Niels Christian Ellegaard trådt ind i forskningens verden. Ved hjælp af nye AI-metoder har han bl.a. bygget otte kunstige udgaver af Højesteret for at kunne forudsige en dom.

Da Niels Christian Ellegaard var begyndt på sin ph.d. i jura, faldt han over en historie fra det danske retsvæsen.

To danske byretter havde taget stilling til hver sin nærmest identiske sag – og var kommet frem til to forskellige domme. Sagerne gik videre til landsretten og var nu endt hos Højesteret.

Miseren fik Niels Christian Ellegaard til at lave et eksperiment, hvor AI skulle forudsige dommens udfald. Nu er det endelige resultat landet.

At blive forsker har ikke ligget ligefor for Niels Christian Ellegaard.

For ved siden af ph.d.-studierne ved Københavns Universitet arbejder han stadig som advokat og partner i Plesner, hvor han har været i 30 år, og hvor han især har fokus på legal tech. At han kun har en enkelt arbejdsplads på cv’et, vidner om et job og et fag, han altid har været glad for.

Beslutningen om at opsøge forskningen tog han, da hans hustru gik bort som følge af et kræftforløb i slutningen af 2024. Her gik det op for den dengang 53-årige advokat, hvor pludseligt tiden kunne rinde ud.

Derfor spurgte Niels Christian Ellegaard sig selv: ’Hvad ville jeg fortryde, jeg ikke fik gjort, når jeg bliver 70 år?’

Tilbage til drømmen

Svaret havde egentlig ligget klar bagerst i en mental skuffe et par årtier. For Niels Christian Ellegaard havde altid haft en passion for retsfilosofi, hvilket han også har undervist i tidligere som ekstern lektor.

”Som ung drømte jeg egentlig om både at være både praktiserende advokat og underviser i retsfilosofi, for jeg synes, det er det vigtigste fag i jura. Men da jeg fik muligheden for undervise, måtte jeg erkende, at de fleste studerende ikke var lige så optaget af den hellige ild som jeg selv,” siger han.

Nu, 20 år senere, har AI med sine kapaciteter inden for automatisering rystet juraens faglige fundament, hvilket har fået advokater og jurister til at gentænke fagets betydning.

Disse omstændigheder kalder derfor på faglig refleksion, mener Niels Christian Ellegaard, der har set sit snit til at genopsøge drømmen om retsfilosofi, hvilket også udmøntede sig i en bogudgivelse i 2019.

Senere indgik han en aftale med Plesner om, at 60% af hans arbejdstid skulle lægges på universitetet de næste fem år, hvor han skulle arbejde på en ph.d.

Og her opstod idéen: For sideløbende med at Niels Christian Ellegaard arbejdede på sin ph.d., opdagede han historien om, at to byretter har dømt forskelligt i nærmest den samme sag.

Syntetisk Højesteret

Kort fortalt omhandler sagerne om, at nogle forbrugere ønskede erstatning for tandlægeregninger hos en kreditgiver. Derfor rejste de sager hos flere byretter.

Det interessante er, at sagens faktum og materiale var afklaret og tilgængeligt.

”Det er ikke ligesom de fleste retssager, der handler om ’skete det, skete det ikke?’, og om man har fakta nok til at bevise det ene eller det andet. Her er det et spørgsmål om, hvordan man fortolker lovene,” siger Niels Christian Ellegaard.

Han satte otte AI-modeller til at agere højesteretsdommere og forsøge at forudsige udfaldet af den endelige dom.

Blandt dem var både store generelle sprogmodeller som fx ChatGPT og Claude samt juridisk specialiserede modeller såsom Karnovs KAILA og Pandektes.

Han gav efterfølgende modellerne en identisk prompt og tre identiske filer, hvoraf hver fil indeholdt forskellige lag af kontekst om sagen.

Modellerne blev bedt om at teste hver kontekst seks gange og kom efterfølgende med et output svarende til en dom på baggrund af kontekst fra den enkelte fil. Når de havde gjort det, fik de en fil mere og kom med seks nye domme på baggrund af deres nye viden. Dertil havde de også fået besked på at bruge relevant viden fra internettet.

Modellernes arbejde resulterede i 146 outputs sammenlagt.

”Det særlige her var, at vi jo ikke kunne vide, hvad Højesteret kom frem til. Derfor kunne modellerne heller ikke smuglæse online,” siger Niels Christian Ellegaard.

Resultater på overfladen

Niels Christian Ellegaard var både positivt overrasket og chokeret, da modellerne blev færdige med at simulere deres bud på Højesterets dom.

”Det mest opsigtsvækkende var, hvor gode de var til at skrive de her domme på overfladen,” siger han.

Men samtidig med overraskelsen ramte modellerne ”også lige ind i kernen” på det, han gerne ville undersøge.

”Bag ved alt det her – uanset hvor kapable de var – skal der træffes nogle valg, og de kan ikke overlades til maskinerne,” siger han.

De to juraspecialister, KAILA og Pandektes, var lodret uenige om dommen efter første runde. Andre modeller holdt standhaftigt fast på deres allerførste dom, på trods af at en ny kontekstfil ellers gav god anledning til, at de kunne ændre deres syn på sagen.

Derudover var alle modellerne også meget ’kontekst-sensitive’, siger Niels Christian Ellegaard.

”Eksempelvis var ChatGPT først på sagsøgtes side, men så fik den et uddrag af tidligere domme fra sagen, og så vendte den rundt igen og var udelukkende på sagsøgerens side. Tre gange skiftede den mening på baggrund af kontekst,” siger han.

Niels Christian Ellegaard var samtidig forundret over, at modellerne ikke hentede flere relevante informationer på internettet, som de kunne basere deres svar på.

”De fandt selv noget på internettet, men det var, som om der var en vægtskål, hvor konteksten fra mig vejede tungere end alt andet.”

Højesterets dom

Hvor tæt på virkelighedens menneskedommere kom modellerne så?

Højesterets afgørelse endte med, at kreditgiveren vandt sagen.

Ser man på AI-modellerne, havde de tilsammen afgivet 146 outputs eller resultater. De 77 outputs var i kreditgiverens favør, mens 69 punkter bakkede modparten op.

Facit var dermed, at AI og Højesteret var enige om vinderen.

Ser man, hvordan de otte modeller individuelt vurderede sagen, endte resultatet med 5-3 mellem modellerne til fordel for den part, der vandt i Højesteret. Men mange af modellerne var ustabile, og derfor landede outputs tæt ved at være ligeligt fordelt.

Det resultat flugter godt med virkeligheden, pointerer Niels Christian Ellegaard.

”Jeg synes, det er retvisende at sige, at modellernes samlede vurderinger var lige så godt spredt, som domstolenes var. To ægte domstole dømte også den ene vej, og to andre dømte den anden vej. Udslagsgivende er bare, at Højesteret har sidste ord,” forklarer han.

Derfor kan man heller ikke konkludere, at nogle modeller har været dårlige til opgaven, mener advokatforskeren. De har bare dømt ligesom menneskene: i øst og vest.

Ser man på selve det juridiske håndværk og evnen til at foregive at være Højesteret, var langt størstedelen af modellerne ikke gode. Kun 10% af modellerne formåede i højere grad at efterligne Højesterets måde at arbejde på.

”Højesteret skriver fx ikke langt. Det gjorde modellerne, da de ikke er lavet til at lege Højesteret. Det skyldes nok, at de nærmere er lavet til at rådgive jurister som mig.”

Én model udmærkede sig dog, når det gjaldt at ”lege Højesteret”, som Niels Christian Ellegaard kalder det.

”Den bedste var jura-modellen Pandektes. Det virker, som om den på en eller anden måde havde luret, at Højesteret skriver, som var det en boullionterning, uden det bliver langt,” siger han.

Hvorfor er der egentlig et problem med at lade AI-modeller dømme, hvis deres afgørelser alligevel flugter med menneskernes domme?

”Problemet er, at når vi bruger AI, tenderer vi til at rammes af automatiseringsbias. Vi ender med at tage det første resultat foran os. Derfor bliver det pludseligt vilkårligt, om du vælger det ene eller det andet system. Fx dømte KAILA og Pandektes kraftigt hver sin vej.”

ANNONCE

Ny metode

AI-forsøget har været inspirerende, men også hårdt arbejde, siger Niels Christian Ellegaard.

”Der er gået mange søndage med det, hvor jeg har siddet nede i kaninhullet og designet forsøgsprotokol, domsanalyse og så videre. Det har taget mig en krig, måske otte timer pr. dag.”

Niels Christian Ellegaard erkender, at metoden indeholder flere usikkerheder, da den stadig er præmatur. Men alligevel er der erfaringer, han vil tage med sig videre til nye projekter.

”Jeg kunne jo ikke sidde og gennemgå alle outputs fra modellerne selv. Så jeg fik utrolig god hjælp af AI, primært ChatGPT, til at analysere resultaterne fra modellerne, hvilket overraskede mig.”

Hvordan sikrer man sig, at man faktisk undersøger AI’s juridiske kompetencer – og ikke bare sin egen evne til at prompte?

”Det handler om at omgå guardrails. Det er vigtigt at sige til den: ’Du er med i et eksperiment, og du skal agere som Højesteret. Du må heller ikke undgå at svare, fordi du er en AI,’” siger Niels Christian Ellegaard.

Undervejs kom forskerkolleger forbi kontoret, fordi de var nysgerrige på AI-forsøget.

”Mange sagde, det var spændende, men også usikkert, da det trods alt kun var et forsøg på én enkelt sag. Det er jeg også enig i.”

Derfor kunne Niels Christian Ellegaard også tænke sig at arbejde videre med metoden på et senere tidspunkt.

”Jeg vil gerne senere måle, om modellerne er blevet bedre og mere stabile. Det kræver så, jeg kan finde en tilsvarende sag. Men nu har jeg trods alt en metode til at måle det,” siger han.

Kommentarer