Kapittel 9
9. Gjennomføre og evaluere underveis (fase 3)
Fase 3 handler om å gjøre planen til en realitet og styre for en vellykket gjennomføring av tiltaket. Løpende målinger og evalueringer underveis gir innsikt i hvordan dere ligger an til å nå målet og realisere nyttevirkningene.
9.1 Roller og oppgavefordeling i fase 3
I fase 3 må dere være trygge på at roller er tydelig definert, og at ansvar og myndighet er avklart. Dette er spesielt viktig når flere virksomheter, eventuelt fra ulike forvaltningsnivåer, er involvert i nyttestyringen, og når flere deler ansvaret for at nytten realiseres. Utydelig ansvars- og rollefordeling kan føre til forsinkelser og manglende måloppnåelse.
((Tiltakseieren+Den som skal sikre helheten og har det overordnede ansvaret for at tiltaket lykkes, innenfor gitte rammer.))(prosjekteieren) skal i fase 3 avklare hvem som skal ha ansvar for løpende målinger og underveisevalueringer. Videre bør tiltakseieren vurdere hvem som er aktuelle som ansvarlig for etterevalueringen i neste fase.
Det kan være uheldig at de samme personene står for både utredningen og evalueringene. De som har gjennomført tiltaket, bør i alle fall ikke være de som evaluerer det. Bruk eksterne til å gjennomføre evalueringene hvis det må til for å sikre tilstrekkelig objektivitet og uavhengighet.
Vi minner om at aktørene i gjennomføringsfasen kan være andre enn de som skal følge opp tiltaket etter implementering. Dette gjelder typisk når det er en midlertidig prosjektorganisasjon som står for gjennomføringen. For å sikre god nyttestyring i slike tilfeller er det avgjørende at prosjektrelevant informasjon blir overlevert fra prosjektorganisasjon til linjeorganisasjon på en god måte. For eksempel ved å sette av nok tid og ressurser til å overlevere informasjon i et avsluttende prosjektmøte.
Oppdater nytterealiseringsplanen dersom roller og ansvar endres.
9.2 Fallgruver i fase 3
Fokus på leveranser framfor samfunnsøkonomisk lønnsomhet
Én fallgruve er å fokusere på de tekniske aspektene ved selve tiltaket istedenfor den samfunnsøkonomiske lønnsomheten. Den som har hovedansvaret for å gjennomføre tiltaket, altså tiltakets leder (prosjektlederen), blir typisk ikke målt på nytten direkte, men på resultatmålene for tid, kostnad og kvalitet. Derfor må den nytteansvarlige være tett på og etterspørre måling og oppfølging av tiltakets samfunnsøkonomiske lønnsomhet, også i denne fasen.
Tiltak som ikke gir ønsket effekt, blir ikke justert eller avsluttet
En annen fallgruve er at man ikke vurderer å justere eller avslutte tiltaket dersom underveisevalueringen viser at det ikke virker etter hensikten, forventet nytte uteblir og kostnadene øker vesentlig.
Det at man lar være å skrinlegge et samfunnsøkonomisk ulønnsomt tiltak, kan skyldes at det har gått prestisje i saken.((3^ Se Concept-rapport nr. 68 «Stanse svake prosjektforslag oftere og tidligere?» (2022).))
Når nye tiltak vurderes, vil mange også argumentere for å ta hensyn til påløpte, irreversible kostnader. At det er påløpt betydelige (irreversible) kostnader som følge av tiltaket, er imidlertid ikke relevant når nye tiltak vurderes i en ny utredning. Denne fallgruven kan også gjøre seg gjeldende når tiltaket skal etterevalueres (i fase 4).
Nytterealiseringsplanen brukes ikke som støtte i prosessen
En tredje fallgruve er at nytterealiseringsplanen ikke følges opp aktivt, eller «puttes i en skuff». Det kan skyldes at den ikke er godt nok forankret. Når planen ikke brukes som støtte, oppstår uklarhet om mål og ansvar, og man får et dårlig utgangspunkt for å samarbeide og følge opp tiltaket. Da må den nytteansvarlige bruke tid på å skaffe til veie et bedre grunnlag og sørge for tilstrekkelig forankring.
9.3 Evaluer underveis
Innsikt fra løpende målinger og underveisevalueringer skal gi dere grunnlag for å vurdere om tiltaket bør videreføres, justeres eller avsluttes. Ny kunnskap og endrede omgivelser kan påvirke tidligere vurderinger av tiltakets samfunnsøkonomiske lønnsomhet.
Jo større og mer usikre virkningene av tiltaket er, desto hyppigere og grundigere bør tiltaket evalueres (se kap. 2 Hvilke krav må dere ivareta ved nyttestyring?).
Underveisevalueringen(e) bør som regel gjøres relativt tidlig etter at tiltaket er iverksatt, men hva som er riktig tidspunkt, kommer an på det konkrete tiltaket og når dere forventer at virkningene oppstår.
Dersom virkningene av tiltaket er irreversible og svært usikre, har dere kanskje besluttet i en tidligere fase å innføre det trinnvis for å redusere risiko. Hvis underveisevalueringen da viser at tiltaket gir ønsket effekt og er samfunnsøkonomisk lønnsomt, har dere et godt grunnlag for å vurdere om tiltaket bør innføres i full skala.
Hvis underveisevalueringen derimot viser at det iverksatte tiltaket er samfunnsøkonomisk ulønnsomt, skal dere som hovedregel anbefale å justere eller avslutte tiltaket (i tråd med prinsipp 1 i kap. 4).
For et irreversibelt investeringstiltak som ikke har en alternativ anvendelse, kan det være mest effektivt for samfunnet å videreføre tiltaket selv om underveisevalueringen viser at det ikke er samfunnsøkonomisk lønnsomt. En bro som først er bygd, kan for eksempel ikke brukes til andre formål. Samtidig kan arealet broen opptar, få en alternativ anvendelse hvis broen fjernes. I slike tilfeller kan det derfor være relevant å gjøre en ny utredning for å vurdere hva som samlet sett er mest lønnsomt for samfunnet.
I underveisevalueringen bør dere finne årsakene til eventuelle avvik mellom forventede og realiserte virkninger. De er viktige å kjenne til når dere skal vurdere videre veivalg for det iverksatte tiltaket.
Hvis tiltaket har gått fra å være samfunnsøkonomisk lønnsomt til å bli ulønnsomt, kan det skyldes at utrednings- og planleggingsfasen har trukket ut i tid, slik at tiltaket har blitt teknisk utdatert og ikke lenger dekker behovene.
Manglende effekt kan også skyldes at nødvendige aktiviteter for å realisere nytten ikke er gjennomført, eller at de bør endres. I slike tilfeller kan bedre oppfølging av nytterealiseringsplanen være det som skal til for at nytten faktisk realiseres og tiltaket igjen vurderes som samfunnsøkonomisk lønnsomt.
Noen ganger kan det likevel være vanskelig å innfri forutsetningene for å lykkes. Da bør dere vurdere å utsette tiltaket eller se på alternative løsninger – for eksempel dersom
- det er behov for ansatte med spesialkompetanse som er vanskelig å skaffe
- teknologi som tiltaket er avhengig av, ikke er moden nok
Påløpte, irreversible kostnader skal ikke tas med i en ny utredning
Når dere har kommet så langt som til gjennomføringsfasen, kan det være vanskelig og kostbart å justere eller avslutte tiltaket – særlig dersom tiltaket innebærer en offentlig anskaffelse der det er inngått bindende avtaler. Å avvikle slike avtaler kan dessuten være juridisk vanskelig.
En annen årsak til at det kan være vanskelig å gjøre endringer når tiltaket er i gjennomføringsfasen (ev. i planleggingsfasen), kan være at det har gått prestisje i saken, enten på politisk nivå eller hos embetsverket.((4^ Se Concept-rapport nr. 68 «Stanse svake prosjektforslag oftere og tidligere?» (2022).))
Hvis dere ser at det iverksatte tiltaket ikke gir de ønskede effektene og er lite egnet til å løse problemet, bør dere lage en ny utredning i samsvar med utredningsinstruksen. I den nye utredningen skal dere ikke ta med påløpte kostnader som det ikke er mulig å få tilbake.((5^Se veiledning om sunk cost i DFØs veileder i samfunnsøkonomiske analyser (kapittel 3.3.1 «Hva er en samfunnsøkonomisk virkning?»).)) Dette er irreversible kostnader som virksomheten har pådratt seg, og som verken kan tilbakebetales eller reverseres. Slike kostnader – såkalte sunk cost – er derfor ikke relevante når dere vurderer om tiltaket bør videreføres eller avsluttes. Framtidige kostnader, for eksempel som følge av at virksomheten må komme seg ut av bindende avtaler, skal derimot inngå i utredningen.
9.4 Følg opp nytterealiseringsplanen og juster ved behov
Nyttestyringen i fase 3 skal være i samsvar med nytterealiseringsplanen dere vedtok i forrige fase. Men husk at planen skal være dynamisk. Oppdater den hvis dere får ny kunnskap om tiltaket, hvis omgivelsene endrer seg, eller hvis dere gjør endringer i tiltaket.
Gjør løpende målinger og underveisevalueringer
Å måle og evaluere underveis er viktig for å skaffe til veie tilstrekkelig ((styringsinformasjon.+Data, analyser og vurderinger som brukes til å følge med og ta beslutninger.))Formålet er å følge med på om tiltakets nytte blir realisert innenfor den vedtatte ressurs- og kostnadsrammen, og om tiltaket er samfunnsøkonomisk lønnsomt.
((Løpende målinger+Regelmessig innsamling av data som gir styringsinformasjon etter at tiltaket er iverksatt.))og ((underveisevalueringer+Regelmessig innsamling av data som gir styringsinformasjon etter at tiltaket er iverksatt.))må tilpasses etter hvor store virkninger tiltaket har, og etter usikkerheten og kompleksiteten i tiltaket (se også 1.4 Hvor mye tid og ressurser krever nyttestyring?). Hvis det dreier seg om et større tiltak med stor grad av usikkerhet og kompleksitet, bør dere bruke tid på å utarbeide hyppige og grundige målinger og underveisevalueringer.
For å få et helhetlig bilde av tiltakets virkninger og måloppnåelse bør dere kombinere de løpende målingene med evalueringer underveis og i etterkant. Mens løpende målinger kan gi indikasjoner på om det er avvik mellom forventede og faktiske virkninger underveis, trenger dere evalueringer for å analysere eventuelle avvik og årsaker mer i dybden.
Vurder forbedringer underveis
Hvis dere oppdager muligheter for å forbedre tiltaket etter at det er iverksatt, bør dere vurdere om tiltaket skal justeres. Kontinuerlige forbedringer som bygger på læring underveis, kan fremme innovasjon og ((effektiv ressursbruk+Effektiv ressursbruk innebærer både å gjøre tingene riktig og å gjøre de riktige tingene. I tillegg handler det om å prioritere mellom ulike mål og områder.)) og er i tråd med både smidig metodikk og prinsippet om mål- og resultatstyring.
Vurder usikkerhet – er det behov for nye risikoreduserende aktiviteter?
I fase 3 skal dere gjennomføre risikoreduserende aktiviteter i tråd med nytterealiseringsplanen. Innsikt fra løpende målinger og underveisevalueringer gir i tillegg et godt grunnlag for å oppdatere usikkerhetsanalysen og vurdere om det er behov for å endre planen.
Hvor ofte det er relevant å oppdatere usikkerhetsanalysen, avhenger av når det kommer ny kunnskap, og hvor raskt omgivelsene endrer seg. En oppdatert usikkerhetsanalyse og status for pågående risikoreduserende aktiviteter gir grunnlag for å vurdere nye aktiviteter og eventuelt justere eller avvikle dem som er i gang.
Følg opp nødvendige aktiviteter – er det behov for endringer?
I fase 3 skal dere også gjennomføre aktiviteter som er identifisert som nødvendige for å realisere nytten av tiltaket. Det kan blant annet være aktiviteter knyttet til styring, endringsledelse, organisering og ansvarsfordeling, informasjonsflyt, regelverksendringer og tekniske løsninger (se 8.6 Lag en nytterealiseringsplan).
Resultatmålinger, underveisevalueringer og ((risikovurderinger+Analyse av hvordan kritiske usikkerhetsfaktorer kan påvirke tiltakets samfunnsøkonomiske lønnsomhet.)) dere gjøre i fase 3, kan avdekke om dere bør avslutte eller endre noen av aktivitetene. For eksempel kan innsikt fra underveisevalueringer vise at en aktivitet bør skaleres opp eller ned, eller avdekke et behov for å sette i gang nye aktiviteter. Også en oppdatert usikkerhetsanalyse kan avdekke behov for nye eller justerte aktiviteter.
Oppdater alltid nytterealiseringsplanen når dere endrer nødvendige aktiviteter.
Håndter interessentene – er det behov for endringer?
En sentral forutsetning for å lykkes med tiltaket er å involvere målgruppen og andre interessenter og ha god dialog med dem. Interessentanalysen er et nyttig verktøy å bygge videre på. Det kan oppstå behov for å oppdatere analysen underveis, for eksempel hvis tiltaket får utilsiktede virkninger som påvirker nye interessentgrupper eller endrer hvordan målgruppen blir berørt.
Hvis målgruppen er brukere av en offentlig tjeneste, kan arbeidsmetodikken være avgjørende for hvor hyppig brukere involveres, og på hvilken måte. Flere virksomheter bruker smidig utviklingsmetodikk i gjennomføringsfasen og justerer tiltaket hyppig basert på kontinuerlig innhentet brukerinnsikt. Jo raskere behov og teknologi endrer seg, desto større er behovet for en smidig tilnærming.
Ved større tiltak som berører mange virksomheter og eventuelt flere forvaltningsnivåer, krever det tid og ressurser å involvere interessenter på en god måte.
9.5 Sjekkliste for fase 3: Gjennomføre og evaluere underveis
Disse oppgavene må dere fullføre i fase 3:
- avklare roller, ansvar og myndighet: ansvarlig for løpende målinger og underveisevalueringer
- vurdere behov for å endre roller og ansvar
- håndtere eventuelt etterslep fra tidligere faser
- følge opp nytterealiseringsplanen, inkludert nødvendige aktiviteter og underveisevalueringer
- oppdatere styringsdokumentene (beslutningsgrunnlaget og nytterealiseringsplanen) med ny kunnskap og informasjon om endrede omgivelser, og vurdere om de bør justeres
Når alle oppgavene i fase 3 er utført og styringsdokumentene, i tillegg til eventuelle endringer i tiltaket, er forankret og godkjent, er dere klare til å gå over til neste fase – etterevalueringen. Når det er riktig å etterevaluere, varierer imidlertid fra tiltak til tak og må vurderes i hvert tilfelle.
Hvis dere har besluttet å avslutte tiltaket, kan det være aktuelt å starte på nytt med nyttestyring i fase 1.
Fotnoter
3., 4. Se Concept-rapport nr. 68 «Stanse svake prosjektforslag oftere og tidligere?» (2022).
5. Se veiledning om sunk cost i DFØs veileder i samfunnsøkonomiske analyser (kapittel 3.3.1 «Hva er en samfunnsøkonomisk virkning?»).