Evaluering bruges forkert

Professor i statsvidenskab ved Uppsala Universitet Evert Vedung har i et langt arbejdsliv beskæftiget sig med evaluering. Han mener, at fænomenet med evalueringer er en megatrend, som siden 1960’erne er rullet ind over den vestlige verden i fire kraftfulde bølger.

”En overdreven tro på evaluering får nogle til at mene, at der kun er én rigtig form for anvendelse, nemlig instrumentel anvendelse. Det er, når beslutningstagere tager evaluators opdagelser og konklusioner til sig og alene på dét grundlag træffer en beslutning. Fx når en kommunalbestyrelse beslutter en ny politik for behandling af alkoholikere i kommunen, alene på grundlag af en konkret evaluering,” forklarer Evert Vedung.

Den instrumentelle anvendelse

Instrumentel anvendelse har sine rødder tilbage i den første evalueringsbølge, der ramte flere lande i den vestlige verden tilbage i 1960’erne. Pionererne bag denne bølge mente, at evaluering skulle gøre politik og forvaltning mere rationel og videnskabelig. Evaluering skulle kort og godt vise sandheden, som politikere og bureaukrater så bare skulle bøje sig for uden videre offentlig debat eller forhandling.

”Men forestillingen om instrumentel anvendelse er efter min opfattelse grundlæggende forkert, fordi den ikke tager højde for, at evaluering skal gøre nytte i et demokratisk system,” siger Evert Vedung og fortsætter:

”Evaluering er kun en lille del af virkeligheden. Den bygger oven på andre aspekter som fx politiske ideologier. Nok har evaluering en vis betydning, men den må ind i en politisk sammenhæng, hvor der er mange grupper med forskellige interesser, der skal blive enige.”

Den svenske evalueringsekspert mener selv, at brugen af evalueringer skal være forenelig med det demokratiske system.

”En evaluering kan ikke ændre verden, men noget fra den ene eller anden evaluering kan være med til at styrke argumenter og bringe nye argumenter til torvs. På den måde mener jeg, at evaluering nytter og bidrager til at kvalificere den demokratiske dialog,” siger Evert Vedung.

Demokrati og dialog

Med sin fortolkning af evalueringer lægger Evert Vedung sig tæt op ad den anden store evalueringsbølge. Den var, ifølge ham, et opgør mod videnskabeliggørelsen af den politiske sfære og betød, at deltager- og dialogorienteret evaluering vandt frem. Brugere, borgere og andre interessenter skulle høres.

”Den anden evalueringsbølge byggede på en helt anden videnskabsteori, hvor demokrati og dialog er vigtigt. Og for mig er demokrati og dialog altså vigtigere end videnskab. Derfor mener jeg også, at man hovedsageligt skal stræbe efter konceptuel anvendelse af evaluering i politik og forvaltning snarere end instrumentel,” konkluderer Evert Vedung.

Han retter blikket mod evalueringerne i sig selv som en af de væsentligste barrierer for anvendelse:   

”Evalueringer er ikke så gode, at de i sig selv kan lede til gode beslutninger eller sikre belæg i argumentationsprocesser, og det er, fordi de kun sjældent giver tydelige svar og anbefalinger. Og det gør de blandt andet ikke, fordi det er vanskeligt at dokumentere, at det lige netop er én given indsats, som giver den ønskede effekt og ikke alt muligt andet i konteksten.”

Den nyliberale evalueringsbølge

Når spørgsmålet om anvendelse bliver rejst i forhold til den nyliberale og tredje evalueringsbølge – hvor evaluering mest handler om kontrol og indgår som en permanent del af idealet for mål- og resultatstyring – er det, ifølge Evert Vedung, et helt andet grundlæggende problem, der åbenbarer sig:

”Selvom mål- og resultatstyring er blevet lanceret, som om det handler om at fokusere på resultater af offentlig virksomhed, er det ikke det, der sker. Det eneste, der bliver rapporteret på, er processer, så mål- og resultatstyring er aldrig blevet til mere end processtyring. Tag nu fx mål- og resultatstyring på universiteter. Her burde man rapportere på, hvordan forskningsresultater anvendes i samfundet eller af andre forskere, men man rapporterer om, hvor meget forskerne har skrevet,” forklarer Evert Vedung.

Han mener, at man burde reducere rapportering om slutpræstationer og processer dramatisk og i stedet fokusere på det egentlige formål med mål- og resultatstyring, nemlig at rapportere på effekter af indsatser.

Evidensbølgens ensidighed

Evert Vedung trækker evidensbølgen frem som den fjerde og seneste evalueringsbølge. Han ser den som en reaktion på mål- og resultatstyringen, hvor der efter evidensfortalernes opfattelse er alt for megen løs snak og ingen fokus på effekter. I evidensbølgen er der fokus på at finde det, der virker.

”I evidensbølgen forestiller man sig at lave systematiske reviews. Og så langt er ideen efter min mening god. Men herefter tænker man sig, at kundskaberne skal implementeres af professionelle, og det er her, forenklingen kommer. Man glemmer igen, præcis som i den første evalueringsbølge, at der må lægges noget til sandheden. Argumenter, dialog og demokrati. Noget om de professionelles erfaringer og information fra brugere,” siger Evert Vedung.

Han mener, at man med evidensbølgen faktisk er tilbage ved hovedtrækkene i den videnskabsdrevne evalueringsbølge med dens stærke tro på instrumentel anvendelse af evalueringer. Og at politik og dialog – igen – ikke er prioriteret særligt højt. 

I evidensbølgen er der også fortsat det problem, at mange af de problemfelter, der evalueres, er wicked problems. Det vil sige problemer, som er meget kontekstafhængige:

”Det kan fx godt være, at man i systematiske reviews kan uddrage viden af forskning om, hvilke metoder der virker i alkoholbehandling. Men der er sikkert meget stor forskel på, hvad der virker for en alkoholiker i Uppsala, og hvad der virker for en i Gilleleje. Konteksten er helt afgørende,” slutter Evert Vedung.