En verden designet til mænd

Der stod det. Sort på hvidt. Kvinder diagnosticeres i gennemsnit fire år senere end mænd, hvis vi ser på tværs af alle sygdomme.

Informationen var ny for Frederikke Millschou Nielsen, Malou Ravn og Sara Al-Dafaee, der netop havde kastet sig over deres speciale, hvor de ville undersøge kunstig intelligens i sundhedssektoren. Og den var med til at rette deres fokus mod et område – diagnosticering af kvinder – hvor brugen af AI risikerer at skabe problemer.

Vi bevæger os med hastige skridt mod en tid, hvor kunstig intelligens vil spille en større rolle i alle dele af samfundet. Mulighederne er nærmest uendelige, og forventningerne er tårnhøje.

Men der er skår i AI-glæden. De tre kvinders speciale løfter sløret for en fremtid, hvor kunstig intelligens potentielt bidrager til, at kvinder bliver værre stillet.

For verden er groft sagt ”designet til mænd, for mænd, af mænd,” som de tre kvinder siger, og det afspejler sig i datagrundlaget for den teknologi, der bliver brugt i det danske og internationale sundhedsvæsen. Det gør, at der kan opstå nogle teknologiske bias, som kan resultere i forkert eller ingen behandling.

Præcis hvordan fortæller de i deres speciale, som bærer titlen ’Enhancing Healthcare Inclusivity Through Innovation: How Artificial Intelligence Can Restructure Vital Interaction Processes’, og som de har vundet Djøfs specialepris 2023 for. De skrev specialet sammen på tværs af to forskellige uddannelser på Copenhagen Business School, cand.merc.(kom) og cand.soc. i Organizational Innovation and Entrepreneurship.

Du er ikke alene

De tre kvinder ville undersøge betydningen af kunstig intelligens i sundhedsvæsenet i Danmark. For at få indsigt i danskernes oplevelser med sundhedsvæsenet og få en forståelse af interaktionsprocesserne mellem patient, sundhedspersonale og kunstig intelligens sendte de et spørgeskema ud.

Med 566 besvarelser fra både mænd, kvinder, unge og ældre tog specialet en drejning, de ikke havde planlagt. Der tegnede sig nemlig et billede af især unge kvinder, som kæmpede for, at deres reelle fysiske symptomer blev taget alvorligt i mødet med lægen.

”Før konsultationer havde de på forhånd fundet deres symptomer, og hvad de kunne fejle. Nogle overdrev deres symptomer, og andre havde en ledsager med bare for at blive taget seriøst,” siger Frederikke Millschou Nielsen.

Når I interviewer nogen, og de vurderer, at de er blevet uretfærdigt behandlet på baggrund af deres køn – hvordan har I kunnet bekræfte, at det har været reelt og ikke bare en følelse?

Frustration og magtesløshed. Det var den dominerende følelse blandt interviewpersonerne, men også noget, de tre kvinder selv genkendte. Malou Ravn husker en episode hos en mandlig hudlæge, der spurgte, om hun ikke bare kunne dække det med noget makeup.

”For det første er det ikke en løsning, og for det andet havde han nok ikke sagt det til en mand,” konstaterer Malou Ravn.

Frederikke Millschou Nielsen havde en følelse af at blive opfattet som hysterisk eller hypokonder af læger – og den følelse var hun langtfra ene om, fandt hun ud af.

”Lige pludselig var der mange ting, der gav mening for os, for vores eget liv, men også vores mødres, søstres, veninders og bekendtes,” fortæller hun.

På den måde kom specialet til at have fokus på, hvad implementeringen af AI i sundhedsvæsenet kan komme til at betyde for kvinder i fremtiden.

Det, vi ikke ser

Idéen til at kigge på AI inden for sundhedssektoren kom, da Malou Ravn og Sara Al-Dafaee rejste rundt i Asien i slutningen af 2022. De fik en fornemmelse af, at man var langt fremme med brugen af kunstig intelligens sammenholdt med Danmark. En forskel, de undrede sig over.

”Vi fandt ud af, at vi i Danmark har høje standarder for, at alt skal være etisk og juridisk korrekt, og derfor går udviklingen langsommere, end vi ser andre steder,” fortæller Sara Al-Dafaee.

Dermed ikke sagt, at vi er fuldkommen hægtet af. I 2020 blev der bl.a. afsat penge til projekter, som kan bidrage til at udbrede brugen af kunstig intelligens i sundhedsvæsenet, som kan forbedre mulighederne for forebyggelse, diagnostik og behandling af borgere og patienter.

”I Region Hovedstaden er AI ved at blive noget, som supporterer sundhedspersonalet. Det er noget, man stadig tester,” forklarer Sara Al-Dafaee.

Derudover er de tre kvinder bekendt med, at kunstig intelligens bliver brugt til billeddiagnostik. Det kan fx være at screene modermærker.

”Når du ringer 1-1-2, lytter AI-modellerne også med,” fortæller Malou Ravn. En AI-model i Region Hovedstadens akutberedskab er blevet trænet gennem flere tusinde opkald. Det gør, at den kan genkende mønstre og beskrivelser i samtalen og giver alarm, hvis den skønner, at der er tale om hjertestop.

”Så kunstig intelligens er på vej frem i sundhedssektoren, men politikerne prøver at neddæmpe det lidt, fordi vi ikke rigtig kender konsekvenserne endnu. Derfor tror jeg, at man er lidt tilbageholdende,” siger Malou Ravn.

Ond cirkel

AI er hverken klogere eller bedre, end vi mennesker gør det til. Bogstavelig talt.

”Vi kalder det kunstig intelligens, men intelligensdelen kan diskuteres. Kunstige intelligens-modeller er bygget af mennesker, som har bias. Dataene er indsamlet af mennesker med bias, og dataene stammer fra mennesker med bias. Man må derfor ikke se på AI som en endegyldig sandhed,” siger Frederikke Millschou Nielsen.

AI bruger et feedback-loop, hvilket er en proces, hvor modellen indsamler data, bruger dem til at forbedre sin præstation og træning og derefter gentager processen for at opnå bedre resultater.

På den måde er det altså feedback og data fra tidligere interaktioner, som anvendes til at optimere AI-systemets handlinger og beslutninger. Feedback-loopet er derfor afgørende for at træne AI-modeller og forbedre deres nøjagtighed og effektivitet over tid.

Ifølge de tre kvinder bygger datagrundlaget for den teknologi, der anvendes i det danske såvel som internationale sundhedsvæsen, på forskning i mænd.

”Mange, inklusiv os selv, troede fejlagtigt, at man bare kunne rense dataene for fejl og bias ved at trykke på nogle forskellige knapper, men sådan fungerer det ikke,” forklarer Malou Ravn og fortsætter:

”Det er ikke modellen, man skal fikse, men de data, den bliver fodret med. For hvis ikke dataene er repræsentative, bliver det en ond cirkel, hvor den bygger videre og forstærker sig selv.”

De kommer altså frem til, at udfordringen ikke ligger i implementeringen af AI i sundhedsvæsenet, men i AI-modellerne selv.

Black box og mistillid

Der er tid at spare og liv at redde ved at bruge AI-modellerne, men omvendt er der også noget at miste: Den menneskelige kontakt og tillid, som kan være af stor betydning for patienterne.

Sara Al-Dafaee kalder det black box-udfordringen: Vi har svært ved at forstå, hvordan intelligenssystemer træffer beslutninger. Vi kan ikke spørge AI-modeller, hvorfor de vælger, som de gør. Det betyder også, at vi ikke kan få en forklaring eller stille modellen til ansvar, hvis den skulle tage fejl og stille den forkerte diagnose.

”Vi må bare antage, at den ikke har nok data, og derfor er det vigtigt, at der er supervision fra et menneske,” siger hun og uddyber:

”Den bygger på sandsynligheder. Hvis en AI-model alene skal diagnosticere dig, vil den diagnosticere dig med det, som der er størst sandsynlighed for, at du fejler. Men hvis du er en odd medical case, ser den det måske ikke. Dér har en menneskelig læge nogle mere komplekse tilgange til at diagnosticere.”

Der er unægtelig brug for mere data. Det er en stor opgave at lægge over på et sundhedsvæsen, der i forvejen løber mere end stærkt. De tre kvinder foreslår derfor, at man skaber en såkaldt digital health tracker, der kan indsamle og overvåge data om en persons sundhed. Men det er ikke blot lægernes journaler, informationerne skal komme fra.

De foreslår, at patienterne selv skal plotte informationer ind om fx deres symptomer og bivirkninger på én samlet digital platform. Det vil bidrage til AI-modellernes feedback-loop, da dine personlige informationer vil nuancere deres viden.

På den måde har både den offentlige og private sektor adgang til dine sundhedsdata, som de kan lære af og bruge til at diagnosticere. Derudover vil løsningen bidrage til, at færre informationer om patienterne vil gå tabt.

Baseret på det omfattende datagrundlag er målet at give sundhedsprofessionelle mulighed for at sammenligne patienters symptomer, diagnoser, behandlingsplaner og behandlingsresultater med andre, der deler lignende symptomer.

”Vi kommer med en løsning, hvor vi udnytter kunstig intelligens’ evne til at analysere data meget hurtigere end et menneske. Det kan hjælpe lægen i sit arbejde og på sigt betyde, at patienterne vil få en bedre behandling,” forklarer Sara Al-Dafaee.

Ligestilling er utopi

De tre kvinder skrev bachelor sammen om det femte af FN’s 17 verdensmål: Ligestilling mellem kønnene. Dengang var det med fokus på Japan og Chile. Det var interessant for dem at se, hvordan ligestilling kan betyde noget forskelligt afhængigt af, hvor i verden man er.

”Med danske øjne kan man stå og have ondt af dem og synes, at det er synd for dem. Omvendt er der nogle, der gerne vil have det sådan og føler, at det er lige,” siger Malou Ravn.

Selv om lighed har en fast definition, kan det være svært at afgøre, hvornår noget helt præcist er lige. For som en læge, de tre kvinder har interviewet, sagde: Man behandler patienter bedst ved at behandle dem forskelligt.

Er det ikke en utopisk tanke, at vi alle kan blive behandlet lige?

”Man skal have patienten og dennes behov for øje. Det gælder bl.a. socioøkonomisk status, køn og etnicitet. Vores samfund er komplekst, så det er en utopi at skabe et datagrundlag, der afspejler alle. Den løsning, vi har foreslået, gør det mere tilgængeligt,” konstaterer Frederikke Millschou Nielsen og tilføjer:

”I sidste ende afhænger patienternes liv af den behandling, de modtager.”