Fakta om en kompleks verden

Norads slagord om at fakta skal ha makta har virkelig satt kunnskap på dagsorden internt i Norad og ekstern i bistandsmiljøet. For oss evalueringsnerder er det gøy å se at kunnskap og metode engasjerer og skaper debatt. Dette er veldig bra! Nå jobbes det med å fylle det fengende slagordet med innhold, og vi ønsker å bidra med noen refleksjoner om hvilke fakta som bør ha makta - og like viktig: hvordan og hvor finner vi fakta?

Men først: hva er fakta?

Anita Haslie

Seniorrådgiver, Avdeling for evaluering i Norad

Fakta blir ofte omtalt som en sannhet med grunnlag i virkeligheten Men hva er sannhet? Innenfor filosofien er det vanlig å skille mellom empirisk sannhet og logisk sannhet. Den empiriske sannheten må være i samsvar med virkeligheten (‘Norad har kontorer i Bygdøy Allé 2’), mens den logiske sannheten bygger på regler eller utsagn som antas å være sant (‘I Norad har fakta makta’).

Er dette forvirrende? Ja. Dette er bare starten. For hva er virkelighet? Hvem bestemmer hvordan virkeligheten beskrives, defineres og måles? For noe postmodernistisk tullball vil noen kanskje si.

Tove Heggli Sagmo

Seniorrådgiver, Avdeling for evaluering i Norad

Andre vil si at utdanning, kjønn, grad av funksjonsnedsettelse, oppvekst, alder, venner, interesser, inntekt, bosted osv. påvirker hvordan man forstår, utfolder seg i -, og forholder seg til virkeligheten. Men hvorfor er dette filosofiske bakteppet relevant i en diskusjon om kunnskapsgrunnlaget for bistandsforvaltningen?

Kunnskap om kompleks virkelighet

I Norad, som ellers i forvaltningen vil man aldri få den totale oversikten over virkeligheten. Bistanden har som formål å bidra til bærekraftig endringer i en kompleks og uforutsigbar virkelighet.

Kunnskapsbasert forvaltning dreier seg i stor grad om å prøve å legge de ulike brikkene i kunnskapspuslespillet på best mulig måte. Disse brikkene kommer fra evaluering og forskning, men også fra ansatte og partnerne våre i Nord og Sør som bærer på verdifull innsikt og kompetanse.

For at bistanden skal gjennomføres på best mulig måte, er det viktig at vi produserer, analyserer og bruker mangfoldet av kunnskapen vi trenger for å ta gode beslutninger. At det nå er mer fokus på dette i Norad, er derfor veldig verdifullt.

Ulik fakta til ulike formål

For å ta så gode beslutninger som mulig om hvor man skal prioritere bistandsmidlene, er det mange spørsmål man helst skulle ha svar på. Har innsatsen virket- er et åpenbart spørsmål, men det er mange flere spørsmål som også er viktige: Hvorfor virker innsatsen? Virker den kun i denne spesifikke konteksten? Vil virkningen vare over tid? For hvem virker innsatsen? For hvem virker ikke denne innsatsen? Hvordan virker innsatsen? Hvem tar de avgjørende beslutningene og hvorfor? Hvordan har innsatsen påvirket maktforhold? Hvilke uintenderte konsekvenser (positive og negative) ser vi av innsatsen?

I tillegg er det mange viktige spørsmål som går utover det enkelte prosjekt- hvordan passer prosjektet inn i det større sammenhengen av ulike tiltak? Er det noen målkonflikter- og hvordan skal man eventuelt forholde seg til de?

De internasjonale evalueringskriteriene har definert seks hovedspørsmål som kan være viktig å få svar på i evalueringer. Spørsmålene skal bidra til ansvarliggjøring og læring. Disse omhandler relevans, formålseffekt, kostnadseffektivitet, samstemthet, virkning, og bærekraft.

Hvilke kriterier man legger vekt på, altså hvilke spørsmål ,man søker svar på, avhenger av hva man ønsker å få kunnskap om. Ingen av disse spørsmålene blir derfor rangert. Utfordringen er at man trenger å legge kunnskapspuslespillet på nytt for å nærme seg et svar på hvert av disse spørsmålene.

Åpenhet om hva man ikke vet

Når man skal ta beslutninger, vil det alltid være brikker som mangler i kunnskapspuslespillet, og det er brikker som ikke helt passer inn. Åpenhet om hva vi ikke vet og forstår er en verdi som har blitt ekstra tydelig under pandemihåndteringen i Norge.

Kommunikasjon av usikkerhet internt og eksternt må verdsettes ellers kan man få et falsk trygghet av at man alltid vet hva resultatet blir på forhånd. En erkjennelse av det man ikke vet, det man ikke forstår og det man ikke kan forutse er et viktig utgangspunkt når vi prøver å bevege det komplekse samfunnet vi lever i en mer bærekraftig retning.

Hvordan bruker man kunnskap?

Det er ikke bare å finne og produsere kunnskap, eller fakta, for at de skal utgjøre kunnskapsgrunnlag for bistanden må man også bruke den og lære av den. Hvilken kunnskap som faktisk veier når beslutninger tas, henger sammen med hvordan organisasjonen ledes og styres. Dersom man for eksempel bare bruker den fakta som legitimerer beslutninger man allerede har tatt (på annet grunnlag), kan det henge sammen med en svak læringskultur i organisasjonen. Å bygge en god læringskultur, med rom for åpenhet, refleksjoner, og å lære av hverandre, er også sentralt for at beslutninger i praksis skal være kunnskapsbaserte.

Debatt om metoder

I en kronikk i Bistandsaktuelt tidligere i vår sier Håvard M Nygård og Per Fredrik Pharo at de ønsker et bedre kunnskapsgrunnlag for gjennomføringen av norsk bistand. Vi er helt enig i at bedre kunnskapsgrunnlag vil kunne gi bedre bistand. Nygård og Pharo skisserer en løsning for å oppnå bedre kunnskapsgrunnlag i kronikken, og løsningen er et metodeløft for å få frem troverdige fakta. Et metodeløft er både riktig og viktig, men kronikken kan leses som at de mener at dette metodeløftet innebærer å ta i bruk kun en form for metode, og at dette skal være kontrollerte eksperimenter.

Tor A. Benjaminsen, professor ved NMBU, var en av de som reagerte på dette , og framhevet flere svakheter ved en slik metode. I sitt tilsvar avkreftet Nygård at Norad nå legger opp til at kunnskapgrunnlaget for bistand kun skal hvile på bruken av en metode. Dette var en viktig presisering fra Norads ledelse.

Randomiserte effektstudier er en viktig metode, som kan gi oss noen svar når det gjelder visse typer effekter. Men kunnskapsgrunnlaget vi trenger for å ta gode beslutninger om bruken av bistand bør være bredere.

Et godt kunnskapsgrunnlag for bistanden krever kunnskap som svarer på en rekke ulike spørsmål. Og ulike spørsmål krever bruk av ulike metoder for å gi troverdige svar. Troverdigheten til fakta vurderes på ulike måter, blant annet ved hvorvidt man har brukt den mest passende metoden til å finne svar på det aktuelle spørsmålet. Ikke der vi på forhånd har bestemt hva slags metode som er best. Et kunnskapsløft i bistanden fordrer at valg av metode først og fremst bestemmes av hva slags kunnskap vi trenger.

Den store verktøykassa

Det er åpenbart at kontrollerte eksperimenter er en god metode for visse formål. Like åpenbart er det at det ikke finnes en metode som er den hellige gral som kan gi alle svar vi trenger. Selv om dette skulle være ønskelig, så må vi erkjenne at alle metoder har sine styrker og svakheter, og at i de aller fleste ‘jakt på fakta’ så må vi ta i bruk flere metoder.

Kunnskap om, kompetanse på og respekt for hele verktøykassa er en viktig forutsetning for at puslespillet vårt gir et bilde av virkeligheten som mange kan kjenne seg igjen i, og som er til nytte for beslutningstagerne.