Klinisk blikk på bistand

Sammenhengen mellom pasientens tilstand, behandling og helbredelse har i liten grad blitt utforsket innenfor bistand og utvikling. Det er mulig å observere at matproduksjonen øker i noen distrikter i Malawi. Men skyldes det egentlig bistand? Eller avhenger det av andre faktorer? Det kan handle om generell økonomisk utvikling, endringer i markedspriser eller andre utviklingsprogrammer.

Slike spørsmål er det Norads nye evalueringssjef ønsker klare svar på. Gaarder har selv doktorgrad i sosialøkonomi og bakgrunn som nestleder for organisasjonen International Initiative for Impact Evaluation (3ie). Denne institusjonen ble etablert i 2008 på bakgrunn av konklusjonene til en arbeidsgruppe opprettet av den kjente tankesmia Center for Global Development i Washington. Arbeidsgruppa hadde konkludert med at altfor lite var kjent om hva som faktisk virker av de tiltak utviklingsbransjen iverksetter.

 Omlegging

Konklusjonene er høyst relevante også for norskfinansiert bistand, mener Gaarder, som i disse dager legger fram planen for Norads evalueringer i tre-årsperioden 2012-14. I denne planen framkommer også ideer som innevarsler en gradvis omlegging av norsk evalueringsarbeid med bistand.

- Vi ønsker å legge mer vekt på virkningsevaluering, både for å se på ønskede og ikke-ønskede virkninger, sier hun.

I det framtidige arbeidet forventes det at evaluererne blant annet tar i bruk eksperimentelle og kvasi-eksperimentelle metoder, der virkninger på enkelte bistandspåvirkede grupper sjekkes opp mot en tilsvarende gruppe som ikke har blitt utsatt for tiltaket.

 Legevitenskap

Disse metodene har sin historiske opprinnelse i legevitenskapens kliniske forsøk. Nå kan ”pasienten” i stedet bli prosjekter for vannforsyning og avløpsrensing i Vietnam eller mødre- og barnehelseprogrammet i India som Norge støtter.

Evalueringsdirektøren har som ambisjon å basere seg på internasjonal ”best practice”, og viser til at det finnes over 800 pågående ”impact evaluations” i Asia, Afrika og Latin-Amerika. (”Impact” kan oversettes med ”samfunnsmessig virkning”. Red.anm.)

- Mange av disse er blitt etterspurt av landene selv, og organisasjoner som Verdensbanken, Den interamerikanske utviklingsbanken og britisk og fransk bistand krever stadig oftere at denne typen evalueringer bygges inn i programmene fra begynnelsen av, sier hun.

Prosess-orientert

Målinger av effekt vil med dette bli et viktig supplement til de prosessorienterte evalueringene som har vært vanlige de siste årene.

- Prosess-orienterte evalueringer kan si noe om hvorvidt en strategi ble utført som planlagt, om aktørene var relativt flinke til å koordinere sine aktiviteter, eller om midlene ble brukt på de intenderte aktivitetene -- og ikke ble borte i byråkrati, svinn eller korrupsjon. Men så lenge vi ikke vet hva som kom ut av det på bakken, i form av målsatte virkninger, kan vi si lite om strategien var god. Det blir også vanskelig å si noe om koordinering var viktig for å oppnå best mulige resultater, eller om de planlagte aktivitetene og den implisitte endringsteorien som lå til grunn for valget av tiltakene var riktig, sier Gaarder.

Læring

Hun mener at den viktigste funksjonen som evaluering har er å bidra til læring.

- For å være mer konkret, så skal evaluering kunne hjelpe oss å si noe om det vi bruker bistandsmidlene på virker, hva slags uforutsette virkninger de måtte ha, og hvordan de kan brukes mer effektivt. Å iverksette bistandsprosjekter uten å evaluere virkningen av dem, er som å gi u-testede medisiner til folk, og det er et stort ansvar, sier Gaarder.

Fra start til mål

Følgeevalueringer vil bli et annet viktig stikkord for Norads evalueringsprogram for 2012-2014, særlig knyttet til store satsingsområder som klima, skog og fornybar energi. Disse evalueringene vil følge programmer og prosjekter fra starten og kan dermed bidra til både gode grunnlagsdata og nyttige funn og anbefalinger underveis, mener evalueringsdirektøren.

Det nye evalueringsprogrammet vil også legge vekt på å ”følge pengene”. Aktørene Gaarder vil se nærmere på de neste tre årene er både multilaterale institusjoner, frivillige organisasjoner og de som steller med stat-til-stat-samarbeid.