Evaluering Lringseksempel 1 Kjp av saks og arkivsystem

Evaluering Læringseksempel 1: Kjøp av saks- og arkivsystem, . poengsetting av pris, relativ til laveste pris

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Bakgrunn: Offentlig virksomhet skulle kjøpe nytt saks- og arkivsystem og ny NOARK 5 -kjerne til eksisterende saksbehandlingssystem. • Ca 100 fysiske lokasjoner i hele landet • Ca 2000 brukere • 4 -200 brukere per lokasjon Systemtekniske krav: • Tilpasset ny tjenesteorientert arkitektur • Systemet må kunne brukes til både saks- og fagarkivering • NOARK 5 Anskaffelsen: • LOA og FOA del I og III (over terskelverdi) • Konkurranse med forhandling i 2 trinn Begrunnelse forhandlet prosedyre: Komplekst system, stor anskaffelse og mange integrasjoner mot andre eksisterende systemer (ref. FOA 14 -3 b) • Tildeling basert på økonomisk mest fordelaktig • Bruk av SSA-K og SSA-V (evt. SSA- T om mange tilpasninger) • Avtaleperiode maks 8 år (4 + 2). Merk: Vanligvis krever leverandøren at man har vedlikeholdsavtale så lenge man benytter systemet) Oppdatert 21. 3. 2014 Direktoratet forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Tildelingskriterier Vekting 1) Teknisk og funksjonell løsning 40 -50% 2) Gjennomføringsplan 30 -40% 3) Totale kostnader 20 -30% Tildelingskriteriene og underkriterier ble ytterligere beskrevet i konkurransegrunnlaget, og alle deler var gjenstand forhandlinger. 20 -30% Pris 30 -40% Gjennom-føringsplan Alle krav ble vurdert i egen matrise. 1) Teknisk og funksjonell løsning (endelig vekt: 50 %) evaluert ut fra: • • Egnethet av løsningen sett opp mot noe detaljerte tekniske og funksjonelle krav i kravspesifikasjonen (bilag 1, jf. SSA-K) Merverdi ved overoppfyllelse av enkelte krav som ble spesifisert i konkurransegrunnlaget Dato Direktoratet forvaltning og IKT 40 -50% Teknisk og funksjonell løsning

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris 2) Gjennomføringsplan (endelig vekt: 30 %) evaluert ut fra: • • Dato Detaljert fremdriftsplan – herunder realistisk fremdriftsplan, samt sikkerhet på at leveransen ble levert på tid ut fra reelle frister og milepæler Metodikk for gjennomføring av vedlikehold av løsningen med tanke på at oppdragsgiver hadde implementert ITIL-rammeverket og det var viktig at leverandøren hadde en metodikk som var kompatibel med ITIL Kompetanseoverføring og inkludering av kunden – oppdragsgiver skulle etter hvert implementere løsningen i stor grad på egenhånd, så de var viktig med kompetanseoverføring fra utrulling til første lokasjon. Samme tilbudt personell for både implementering og vedlikehold – oppdragsgiver mente det var viktig å ha samme personell i driftsfasen som ved implementeringsprosjektet Godt kvalifisert personell (basert på CV, erfaring fra prosjektledelse og tilsvarende prosjekter siden leverandøren skulle være prosjektleder) Gode vilkår på vedlikehold og support Tilbyders forslag til SLA – rutiner, responstid, rapportering. Direktoratet forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris 3) Totale kostnader (endelig vekt: 20 %) ble lagt inn i en matrise der: • Leveranse- og implementeringskostnader ble vektet 60% • Anskaffelseskostnad (40%) • Implementeringskostnad (10%) • Timepriser for personell (15%) • Opplæring (10%) • Estimerte kostnader for ressursbehov fra kunden (10%) • Evt. kostnader for dokumentasjon, reise, annet (15%) • Vedlikeholdsutgifter regnet over hele avtaleperioden ble vektet 40% • Vedlikehold og support basert på SLA (40%) • Estimert ressursbehov fra kunden (10%) • Evt. opplæringskostnader, reisekostnader, andre kostnader (15%) • Opsjoner (30%) • Prisreguleringsmekanismer (3%) • LCC-elementer som kunden ikke har oversikt over men som tilbyder kan se for seg, for eks byttekostnader (2%) Kostnadselementene skulle fylles ut i tabeller i bilag 7 i kontraktene (SSA-K og SSA-V). Direktoratet forvaltning og IKT

Aggregeringsmatrise: Samler opp poengene per tildelingskriterium Evalueringsmatrise: Evaluerer sum av score per tildelingskriterium Vinner av konkurransen Tildelingskriterium 3: Totale kostnader Evalueringsmatrise tildelingskriterier Tildelingskriterium 1: Teknisk og funksjonell løsning Tildelingskriterium 2: Gjennomføringsplan Aggregeringsmatrise SSA-V Aggregeringsmatrise SSA-K Tekniske og funksjonelle krav: Evaluering og scoregivning i aggregeringsmatrise Dato Beregninger av kostnader iht. underkriterier Gjennomføringsplan: Evaluering og scoregivning av i aggregeringsmatrise Vedlikehold/support: Evaluering og scoregivning i aggregeringsmatrise Direktoratet forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Evaluering – gjennomføring I • • • Poengskala fra 1 til 6 (1=lavest, 6=høyest) Kravspesifikasjon på 100 krav (både for kjøp (SSA-K) og vedlikehold (SSA-V) Vekting basert på kravtype (ikke opplyst) Kravtyper: 28 A 1 -krav 48 A 2 -krav 33 B-krav 5 C-krav A 1 -krav: Absolutte krav som MÅ oppfylles, hvis ikke oppfylt avvises tilbudet. Kravet vurderes som oppfylt/ikke oppfylt og poengsettes ikke. A 2 -krav: Absolutte krav som MÅ oppfylles, hvis ikke oppfylt avvises tilbudet. Kravet poengsettes: • Oppfylt, men ikke gir noen merverdi = 3 poeng • Oppfylt og gir merverdi kan gis score 3 t. o. m 6 B-krav: Viktige krav som BØR oppfylles. Svar vil ha stor betydning for evaluering av tilbudet. Tillegges høyere vekt enn C-kravene. Poengsettes: • Besvart og poengsettes fra 1 t. o. m 6. Toppscore er å anse som beste tilbudte løsning for det enkelte krav • Ikke besvart = 0 poeng Ønskede krav: Kravet BØR kunne imøtekommes. Svar vil ha betydning for evaluering av tilbudet. • Besvart og poengsettes fra 1 t. o. m 6. Toppscore er å anse som beste tilbudte løsning for det enkelte krav • Ikke besvart = 0 poeng Dato Direktoratet forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Evaluering – gjennomføring II • Hver enkel deltager i evalueringsteamet evaluerte individuelt, for så å gjennomgå evalueringen i fellesskap. De kravene det var uenighet om ble diskutert, slik at man endte opp med én score alle var enige om. Hvordan score ble gitt: • Blank/mangelfull/umulig å evaluere = 0 (kommentere og til å sjekke ved forhandling) Delvis oppfylt = 1 -2 Oppfylt og «tilfredsstillende» = 3 Bedre enn minimum = 4 -6 • Dato Det var viktig å kun evaluere på de kriterier som var oppgitt, og ikke la seg påvirke av egenskaper som lå utenfor tildelingskriteriene, selv om disse kunne være svært positive Direktoratet forvaltning og IKT

Evaluering – gjennomføring III • Evalueringsmodellen som ble brukt var Poengsetting av pris (totalkost) > Forholdsmessig modell: Poengscore = 6 x Tallet 6 representerer høyeste score (poengskala fra 1 til 6) • Modellen har en enkel formel, og skiller bra mellom tilbudene desto nærmere de ligger laveste pris. Ingen tilbud vil få 0 poeng eller minuspoeng. • Ulempen med formelen er at den skiller dårligere mellom tilbudene som ligger langt over billigste pris. Hvilket tilbud som får høyest score kan også påvirkes av et irrelevant tilbud med lavest pris men dårlig kvalitet. KOFA har flere ganger behandlet hvorvidt dette avviket er så stort at poengscoren ikke kan sies å reflektere de relevante forskjellene i tilbudet (krav om proporsjonalitet mellom de målbare forskjellene i tilbudet, og forskjellene i de tildelte poeng). • Dette er trolig en av de mest brukte modellene for evaluering av tilbud i Norge, og vil i de fleste tilfeller fungere bra. Men det er viktig å ikke låse seg til modellen før innkomne Dato tilbud har blitt vurdert ift pris og. Direktoratet kvalitet. forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Interaksjon med kvalifiserte og ikke-avviste leverandører: • • • Avklaringsmøte med samtlige tilbydere der tilbyder fikk anledning til å vise demo av løsningen, og oppdragsgiver fikk rydde opp i evt. uklarheter Alle ikke-avviste tilbydere ble invitert til første forhandlingsmøte og fikk anledning til revidert tilbud Evaluering av revidert tilbud ble gjort på samme måte som første evaluering og evt. ny score ble notert hvor tilbudet var endret/forbedret De to beste tilbyderne ble invitert til forhandlingsrunde nr. 2, og fikk anledning til å inngi revidert tilbud Revidert tilbud fra de to beste tilbyderne ble evaluert på samme måte som forrige runde Innkomne tilbud: • Oppdragsgiver fikk inn totalt fire tilbud • Tilbudene varierte mye både på pris og kvalitet, blant annet var tilbudet med den beste tekniske løsningen hele fire ganger dyrere enn det rimeligste tilbudet ved første tilbud. Dato Direktoratet forvaltning og IKT

Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Læring • • • Dato Tydelig bruk av SSA-kontraktene var positivt. Man «jobbet i kontrakt» gjennom hele prosessen Fordel med forhandlinger, der tilbyderne fikk anledning til å revidere sine tilbud, basert på tilbakemeldinger og diskusjoner med oppdragsgiver Etter hvert som tilbudene fra tilbyderne ble revidert og ble mer og mer «like» , var det til slutt pris som ble avgjørende for at vinneren ble tildelt kontrakt. I tillegg er det ikke så mange tilbydere for sak-arkivløsninger i Norge, så ofte blir pris en sentral faktor. Direktoratet forvaltning og IKT