Copyright © fotograf  SWEP II, Stregthening Women Entrepreneurs Project II, gender, økonomi, Uganda, Afrika

Stramme vurderingssystem fører til ei form for profesjonalisering som ikkje er positiv, ei profesjonalisering i å formulere søknader. Særleg vil det gå utover partnarar i svake samarbeidsland, skriv Asbjørn Eidhammer. Bildet er fra eit prosjekt for å fremje kvinnelege entreprenørar i Nord-Uganda. Akoko Christine starta ein grisefarm. Foto: Ken Opprann

Fem forslag til å tenkje annleis

MEININGAR: Evna til å analysere og forstå er viktigare enn evna til å telje og samanfatte konkrete bistandsresultat, som uansett er svært usikre. Den gode forvaltaren av bistanden er den som kjenner situasjonen der aktivitetane blir utøvde, som har god kunnskap om dei generelle og meir spesifikke faglege og politiske problemstillingane på området.

Av Asbjørn Eidhammer Sist oppdatert: 07.08.2018

Marianne Skaiaa i Norad seier i sitt konstruktive svarinnlegg 13. juli at min kritikk mot dei omfattande resultatrammeverka i bistanden blir for lettvint. Ho kan ha rett i det. Argumentasjonen i mitt innlegg 9. juli var ikkje grundig nok, i og med at eg hengde synspunkta mine på det som elles var ein bokomtale. Og så spissformulerte eg for å få merksemd i sommarvarmen.

Nei, det er ikkje resultatrammeverka som har skulda for at det er vanskeleg å få til kapasitetsbygging i land med svak stat. Detaljerte og omfattande resultatrammeverk er berre eit konkret utslag av ei tenking og tilnærming som har gått for langt.

Skal ein skulde på nokon, vil eg som William Easterly gjorde i The White Man’s Burden i 2006, rette skytset mot planleggjarane. Tanken om at ein i kaotiske og kompliserte situasjonar kan detaljplanleggje – ut frå våre eigne erfaringar – blir feil. Det har gått utruleg mykje ressursar med til denne forma for planlegging, og oppfølging og rapportering er tilsvarande krevjande. Samtidig er resultata når det gjeld kapasitetsbygging generelt svake, som dei tre tidlegare medarbeidarane i Verdsbanken så klart viser i boka Building State Capability, som eg omtala i det førre innlegget mitt.

 

Kravet om å måle

Krav om måling og teljing er sjølvsagt ikkje nye. Som på mange andre område var amerikanarane tidleg ute med New Public Management på bistandsområdet. Men i 2010 kom Andrew Natsios, som var sjef for USAID under den første presidentperioden til George W Bush, med den til då saftigaste kritikken av den aukande målinga og teljinga i amerikansk bistand. I The Clash of the Counter-bureaucracy and Development viser han korleis behovet for eksakte resultat kan ha store konsekvensar for politikken som blir ført. Han seier at dei utviklingsprogramma som enklast og mest presist lar seg måle, er dei som forandrar minst, medan dei programma som kan endre mest, er dei som er vanskelegast å måle effekten av.

Tellebyråkratiet var blitt så sterkt at det hadde endra og forvridd USAIDs utviklingspraksis, og truga prinsippa for god bistand. Beslutningstakarar fokuserer på det som kan målast. Det betyr for eksempel at område som helse og utdanning får meir ressursar, medan politisk dialog og program for demokrati og godt styresett får mindre, seier han. Vaksinering av barn er lett å telje, demokrati og godt styresett er vanskeleg å måle.   

Norge har liggje etter i denne utviklinga, heldigvis. Men ser ein etter, var tendensen til å prioritere område som lett kan målast over tiltak som er vanskelegare å vurdere særleg klar under den førre utanriksministeren. Det er inga tvil om at krava til måling av resultat er blitt mykje strengare, at spelerommet for aktørane er blitt mindre.

Sjølv ser eg denne endringa når eg samanliknar ambassadens bilaterale program i dei to periodane eg var i Malawi, 1999-2004 og 2011-2014. Medan den politiske dialogen i den første perioden til tider var svært aktiv, var fråveret av ein slik frå Oslo påtakeleg i den andre. I den andre perioden tok krav til dokumentasjon og rapportering så mykje av tida på ambassaden at det var heller sjeldan medarbeidarane hadde tid til sjølve å reise rundt og skape seg inntrykk og kunnskap om korleis tiltaka i praksis fungerte. Noko av det beste vi fekk utretta i Botswana på 1980-talet og i Malawi tidleg på 2000-talet er det lite truleg vi kunne gjere i dag.

Eg er ikkje usamd i at det er viktig å få fram resultat, og var sjølv del i det arbeidet Norad intensiverte for 12-13 år sidan for betre å få fram verknadene av bistand. Men fakta om låginntektsland vil alltid vere usikre, noko ikkje minst den norske økonomen Morten Jerven har påvist. Det gjeld også resultat av bistand. Eg vil ikkje gå så langt som Jerven, som seier at det einaste vi veit om afrikansk økonomi er at vi ikkje veit. Men prøver vi å telje alt, vil vi  svært ofte komme opp med tal som viser seg ikkje å stemme, eller vi vil berre framheve delar av verknadene av innsatsen. Og det kan så føre til at vi legg mest vekt på det vi trur vi kan telje.

 

Feil form for profesjonalisering

Eg er skeptisk til vurderingssystem som RAM, som Norad har innført for å vurdere søknader frå frivillige organisasjonar. Det er ein automatikk over systemet som står i fare for å ta bort den sunne vurderinga og tanken om at ting kan gjerast annleis.

Eg har sjølv sett utfordringane med eit slikt system. I Evalueringsavdelinga i Norad la vi alle evalueringar ut på åpen konkurranse, og vi utarbeidde eit detaljert vurderingssystem av tilbuda vi fekk. Men etter nokre år vart eg betenkt. Visse norske firma vart svært profesjonelle i å utarbeide tilbud som var skreddarsydde for oss. Dei kjende våre kriterier så godt at dei visste akkurat kva dei skulle leggje vekt på og inkludere, og akkurat korleis dei skulle formulere seg for å få topp skåre. Andre, ofte internasjonale tenketankar eller forskingsmiljø, hadde svært små sjansar til å nå opp, sjølv om dei truleg kunne lage mykje meir interessante evalueringar. Men vi var bundne av vårt eige svært så transparante vurderingssystem, og kunne ikkje gjere unntak. Sidan trur eg Evalueringsavdelinga har innført meir fleksible utlysingar.

Stramme vurderingssystem fører til ei form for profesjonalisering som ikkje er positiv, ei profesjonalisering i å formulere søknader. Særleg vil det gå utover partnarar i svake samarbeidsland. Dei vil ikkje kunne skrive søknader eller prosjektdokument som tilfredsstiller krava, men må hyre inn dyre konsulentar for å gjere det for dei. Ofte taper dei for internasjonale organisasjonar. Dermed bidrar systemet til å undergrave lokal kompetanse heller enn å utvikle henne. Eg vil leggje til at vi her taler om krav og kriterier som ofte går langt utover det ein krev i anna norsk forvalting, for eksempel i kommuneadministrasjonen.

Eit stort problem med detaljplanlegging og omfattande resultatrammeverk er den tida som går med for alle aktørane, og kva dette kostar. For den enkelte legg systema beslag på arbeidstid som kunne vore brukt på å skaffe seg betre innsyn og kunnskap, og dermed få til betre resultat. For programma betyr det at ein altfor stor del av budsjetta i realiteten går med til administrasjon på ulike nivå. Det blir mindre att for dei fattige, for å uttrykke det enkelt. Det er bra at Norad nå har forenkla vurderingssystemet, men innvendingane mine er står seg framleis.

 

Å forstå er viktigare enn å telje

Det finst andre måtar å planleggje på, og andre tilnærmingar til å evaluere resultat. I evalueringsdebatten er kva og korleis vi kan måle eit sentralt tema. Den amerikanske guruen innan evaluering Michael Quinn Patten, som særleg har engasjert seg i evaluering av det komplekse, seier at tolkinga av data er viktigare enn kor nøyaktige data er. Det er grenser for kva ein planleggje for når ein har med det uventa og uføreseielege å gjere, seier han. Eit føredrag han heldt her i Oslo for nokre år sidan kalla han då også for Getting to Maybe.

Det betyr at evna til å analysere og forstå er viktigare enn evna til å telje og samanfatte konkrete resultat, som uansett er svært usikre. Den gode forvaltaren er den som kjenner situasjonen der aktivitetane blir utøvde, som har god kunnskap om dei generelle og meir spesifikke faglege og politiske problemstillingane på området. Difor er det også så viktig at dei som vurderer, kontrollerer og evaluerer har kunnskap om heile forvaltingskjeden, frå policy og fagpolitikk til iverksetjing og kontroll. Å splitte opp denne kunnskapen, og prøve å reindyrke kontrollfunksjonen, vil kraftig svekkje evna til å evaluere og kontrollere.

 

Fem forslag

Det er flott at Marianne Skaiaa signaliserer nytenking og pragmatisme på Norads vegner. Her er nokre idear om korleis ting kan gjerast annleis for at aktivitetane kan bli meir realistiske og betre tilpassa den verkelege situasjonen og dei reelle problema:

  • Avgrens målsettinga for program og prosjekt til overordna mål og resultat som skal oppnåast i løpet av ein femårsperiode eller på lengre sikt. Desse måla kan gjerne vere konkrete, om ein byggjer inn pragmatisme. I låginntektsland, der både politikk og økonomi ofte er uoversiktlege og kaotiske, er det meiningslaust å krevje detaljerte resultatrammeverk fem år framover i tid.   
  • Ikkje forvent at problema er avklarte og gjennomdrøfta i programforslaga. Be i staden aktørane gjere greie for korleis dei kontinuerleg vil diskutere problemstillingane som vil oppstå og prøve og feile ut frå den konkrete situasjonen dei møter. Her er tilnærminga til Andrews, Woolcock og Prittchett i Building State Capability eit framifrå eksempel på ein metode som kan brukast. 
  • Innfør pragmatisme i årlege budsjett. Det skal ikkje vere nødvendig å inngå tilleggsavtalar for å gjere vesentlege endringar i budsjetta, så lenge ein i ettertid kan kontrollere at pengebruken har vore i samsvar med hovudmåla. Då oppnår ein den nødvendige fleksibiliteten til å tilpasse aktivitetane til dei reelle problema og ein unngår mykje ekstra byråkrati når ein skal bruke nye metodar for problemløysing. 
  • Ikkje følg etter andre givarorganisasjonar med å leggje program og tiltak ut på anbud. Anbud fører til ei profesjonalisering som ikkje er reell, og går på kostnad av lokal styring og kapasitetsbygging. Lokale organisasjonar, om dei er knytte til staten eller er i det sivile samfunnet, har mindre sjansar til å nå opp i anbudskonkurransar. 
  • Ikkje prøv å få oversikt over det totale resultatet av alle program og tiltak. Det er likevel fåfengt. Gjennomfør stikkprøver med evalueringsdjupdykk i utvalde program. Be dei som evaluerer om å kartleggje verknadene av programma utan å avgrense seg til måla for aktivitetane. Slik kan ein skape unik kunnskap om kva som fungerer samtidig som ein får eit realistisk inntrykk av verknader og resultat.

Ei slik tilnærming vil vere nytenkjande, pragmatisk og risikovillig. Og ho vil vere i samsvar med overordna prinsipp uttrykt i norske policydokument for utvikling.

Mening

Meld deg på Bistandsaktuelts nyhetsbrev. Hold deg orientert om det som skjer innen bistand og utviklingspolitikk.
Publisert: 07.08.2018 07.29.18 Sist oppdatert: 07.08.2018 07.48.15