Jan Speed

Å flytte evalueringsfunksjonen til Norad og styrkje både funksjon og uavhengighet viste seg å vere ein stor fordel, skriv Asbjørn Eidhammer. Her presenterar Per-Øyvind Bastøe en rapport. Foto: Jan Speed

Evaluering og læring for å auke kunnskapen

MENINGER: På ny er det blitt debatt om evalueringas stilling innanfor utviklingsforvaltninga. Det er ikkje så rart. Det følgjer av dei to hovudføremåla for evaluering, kontroll og læring, som lett står i motsetning til kvarandre. Kontroll føreset uavhengighet og avstand, medan læring blir best når dei ansvarlege for det som blir evaluert sjølve er med, noko som krev nærleik og samarbeid.

At kontroll automatisk fører til læring stemmer ikkje. Riksrevisjonen har kontroll som hovudmål, men ut frå mi erfaring med ganske mange forvaltningsrevisjonar på utviklingssektoren er læringsverdien liten. Det skuldast i stor grad at RR ikkje har nok kompetanse på områda som revisjonane dekker, og prosessane får lett eit preg av ritual med kritikk og formell sjølvkritikk.

Men før eg går vidare med det resonnementet vil eg gjerne ta eit raskt tilbakeblikk. Før den omfattande omorganiseringa av forvaltninga av utviklingsmidlane under Hilde Frafjord Johnsen i 2004 låg evalueringsoppdraget i Utanriksdepartementet, i ein seksjon i ei avdeling. Mitt inntrykk var at fagleg gode evalueringar lett blei borte i det store systemet, og at rapportane vakte lita merksemd ut over dei som var interesserte i temaet for den aktuelle rapporten.

I reforma vart evalueringa overført til Norad, som nå i hovudsak skulle drive med fagleg rådgiving og kontroll. Det vart oppretta ei eiga avdeling med 10 stillingar, ei kraftig styrking. I ein ny instruks vart evalueringa sin uavhengighet understreka ved at Evalueringsavdelinga si oppsummering og tilrådingar frå evalueringane skulle sendast til Utanriksråden. Norads direktør førte på eventuelle merknader, men kunne ikkje krevje endringar i notatet til Utanriksråden. All evaluering skulle gjerast av utanforståande uavhengige konsulentar etter anbod. Evalueringsavdelinga valde sjølv kva som skulle evaluerast, ofte etter innspel frå forvaltninga eller andre.

 

Viktig å synleggjere resultat

Tre sider ved evalueringsarbeidet vart særleg viktige etter at evalueringa var overført til Norad. Det første var å få fram at evalueringane vart gjorde uavhengig av forvaltninga. På denne tida var det ei utbreidd oppfatning blant ein del kritikarar at UD/Norad evaluerte seg sjølve, og at kritikken av bistanden ikkje vart teken på alvor. Det var difor viktig å synleggjere evalueringsresultata overfor forskings- og bistandsmiljøet, og å framheve kritiske evalueringsresultat i media samtidig med gode resultat.

Les også:

Det andre var å gjere evalueringsresultata meir synlege og interessante for dei som vedtok og utførte politikken, først og fremst i UD, Klima og miljødepartementet og Norad. Då var det viktig å gjere rapportane, og særleg presentasjonen av rapportane, meir leselege og poengterte. Det tredje var å sikre jamn og høg kvalitet på evalueringane. Med ein styrka stab kunne ein utvide talet på evalueringar sterkt, og ha gode folk til å kvalitetssikre.

 

Formelt oppfølgingssystem

Vi som arbeidde med evaluering i denne perioden opplevde at den eksterne kritikken stilna noko etter kvart som ein kunne følgje vårt arbeid i praksis. På UDs initiativ vart det etablert eit formelt oppfølgingssystem for evaluering, med blant anna obligatorisk tilbakemelding om kva som vart gjort for å følgje opp tilrådingane. Talet på evalueringar auka sterkt, naturleg nok, med auka kapasitet. Men kvalitet er vanskeleg, den vart ganske varierande. Ei årsak til det var anbodsprosessane. Vi kunne ikkje ta direkte kontakt med dei beste fagmiljøa for å sikre gode folk, vi var avhengige av gode anbod. Det fekk vi ofte, men ikkje alltid. Og etter kvart som krava til anbodsdokument auka, var det ofte færre som ville leggje ned det relativt omfattande arbeidet som skulle til for å utarbeide gode bod.

Å flytte evalueringsfunksjonen til Norad og styrkje både funksjon og uavhengighet viste seg å vere ein stor fordel. Det var nok lettare å sitje i Norad og presentere dels kritiske, nokon gonger svært kritiske, rapportar for UD, som på den tida forvalta størstedelen av bistandsmidlane. Det var også svært viktig at uavhengigheten hadde sterk støtte på politisk nivå og høgste embetsnivå i UD og Norad.

Revisjonen av Evalueringsinstruksen i 2015 styrkte denne uavhengigheten ved at avdelinga nå skal rapportere direkte til Utanriksråden. I tillegg – og det er viktig – opna han for at Evalueringsavdelinga i visse tilfelle kan utføre eller styre evalueringar direkte sjølv.

 

Balansegang

Det tosidige føremålet om kontroll og resultatvurdering på den eine sida og læring for å auke kunnskapen på den andre krev balansegang. Det er fleire måtar læringa kan styrkast på, men alle krev tid og innsats. Ei form for evaluering som vil kunne styrke reell tileigning av kunnskap er deltakande evaluering. Det betyr at ansvarlege for program eller innsatsområde som blir evaluerte deltar i evalueringane og i å utarbeide rapportane. Då vil læring også skje som ein del av sjølve prosessen, ikkje berre gjennom presentasjonen av rapporten på eit eller to seminar. For slike evalueringar blir læring, ikkje kontroll, det viktigaste. Eg kunne tenkje meg at slike evalueringar kan utgjere ein god del av den samla porteføljen.

Framleis må dei fleste evalueringane gjerast av uavhengige, eksterne forskarar og konsulentar, forvalta av ei evalueringsavdeling som har ei uavhengig stilling. For uansett korleis bistandsevaluering blir organisert, må ho – for å vere truverdig – ikkje berre vere uavhengig, men også oppfattast slik.

Mening

Publisert: 12.04.2021 07.39.40 Sist oppdatert: 12.04.2021 07.39.40