HVORDAN ANALYSERE OG PRESENTERE DATA 18 05 2021

HVORDAN ANALYSERE OG PRESENTERE DATA? 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 2

Hvorfor inngår målinger i kampanjen? Hvorfor har vi behov for å anvende statistikk? Hva er begrunnelsen for kampanjens valg av metoden statistisk prosesskontroll? 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 3

Hvorfor måle?

Forbedringsmodellen § Pasientsikkerhetskampanjen baserer sitt arbeid på Forbedringsmodellen ( «Model for Improvement» ) § Forbedringsmodellen forutsetter at man starter arbeidet med forbedring med å besvare tre grunnleggende spørsmål. 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 5

Hva ønsker vi å oppnå? Hvordan vet vi at en endring er en forbedring? Hvilke endringer. TILTAK kan iverksettes for å skape forbedring? (ENDRINGER) Act Plan Study Do

Hva ønsker vi å oppnå? Hvordan vet vi at en endring er en forbedring? Hvilke endringer. TILTAK kan iverksettes for å skape forbedring? (ENDRINGER) Act Plan Study Do

MÅL MÅLINGER TILTAK (ENDRINGER) Act Plan Study Do

Hvorfor behov for statistikk?

Statistikk gir grunnlag for objektivitet § Enkelte målinger kan rett og slett være vanskelig å tolke uten hjelp av statistikkverktøy, og statistikk kan hjelpe oss til å forstå prosessens variasjon. § Ved hjelp av statistikkverktøy kan man presentere måledata og resultater på en oversiktlig måte. § Ved å benytte statistikk kan vi trekke statistisk sikre konklusjoner basert på våre måledata. 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 12

Statistisk sikker konklusjon § Ved å benytte statistikk kan vi trekke statistisk sikre konklusjoner basert på våre måledata. § At en endring er signifikant betyr at vi med stor sikkerhet kan si at det skyldes en reell forskjell og ikke statistiske tilfeldigheter. 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 13

Hvorfor benytte metoden «statistisk prosesskontroll» ?

18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 15

The Three Faces of Performance Measurement: Improvement, Accountability, and Research Solberg et al. , Joint Commission Journal on Quality Improvement. Mar 1997; 23(3): 135 -147. Forskning Forbedring Kontroll Formål Skape ny viten Implementere eksisterende viten Dokumentere, bedømme og sammenlikne Hypotese Statisk Dynamisk Ingen hypotese Variasjon Kontrollér Studér Justér Stikkprøve ”Stor” ”Liten” Ingen stikkprøve Målehyppighet En eller få målinger Dager, uker, måneder Kvartaler, år Statistiske metoder Komparative metoder (t-test, chi 2, regresjon, …) Prosessanalyse (statistisk prosesskontroll) Deskriptive metoder (gjennomsnitt, spredning, …) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 16

Statistisk prosesskontroll vs. klassisk statistikk § I forskning benyttes vanligvis avansert statistikk. ü krever høy statistikkompetanse ü krever store datamengder § I forbedringsarbeid kan man nøye seg med en enklere form for statistikk. § Statistisk prosesskontroll (SPC) benyttes for å analysere kampanjens målinger. Dette kalles tidsserieanalyse. ü lav brukerterskel ü målingene presenteres visuelt ü man kan trekke statistisk sikre konklusjoner selv ved små datamengder 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 17

KOMPLISERT! 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 18

OUS Klinikk psykisk helse Forebygging av selvmord: grafen viser etterlevelse av tiltakspakken per pasient (max poengsum=100): Etterlevelse av tiltakspakken: Baseline-måling: 60 % Første og andre måling: 70 % Tredje måling: 85 % 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 19

Mer om statistisk prosesskontroll (SPC) og tidsserieanalyse

SPC benytter i hovedsak to typer diagram § Run-diagram (benyttes i Extranet) ü kun én type, mindre følsomt enn kontrolldiagram ü median benyttes som midtlinje ü benytter ikke kontrollgrenser (kan ikke si noe sikkert om stabilitet) ü tidsserien må være på min. 15 pkt (ekskl. pkt på median) § Kontrolldiagram ü en rekke ulike typer for ulike case, mer følsom diagramtype ü aritmetisk gjennomsnitt benyttes som midtlinje ü benytter øvre og nedre kontrollgrense (+/- 3 standardavvik) ü tidsserien må være på mellom 20 og 30 pkt 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 21

Analyse av måledata registrert i Extranet ( bruk av sjekklista for trygg kirurgi ved SSHF Arendal ) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 22

Analyse av måledata vha run-diagram (i Extranet) ( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal ) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 23

Analyse av måledata vha run-diagram (i Extranet) ( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal ) | 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 24

Analyse av måledata vha kontrolldiagram (i Epi. Data) ( bruk av sjekklista ved SSHF Arendal ) 4 målinger utenfor kontrollgrensene Spesiell variasjon, dvs ustabil prosess 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 25

Hva kan statistisk prosesskontroll (SPC) bidra med i forbedringsarbeid? § Måledata plottet i en tidsserie gir mulighet for ü variasjonskontroll stabile (forutsigbare) tjenester? ü nivåkontroll i overensstemmelse med god praksis/god kvalitet? ü «forbedringskontroll» sikre at forbedringer dokumenteres! 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 26

Tre aktuelle anvendelser av tidsserieanalyse § Gi oversikt over en prosess sin tilstand i forkant av planlegging av forbedringsstrategi § Dokumentasjon av om innførte tiltak førte til forbedring § Overvåkning og kontroll av prosesser som fungerer tilfredsstillende 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 27

SPC kan hjelpe oss å skille mellom naturlig og spesiell variasjon § SPC hjelper oss å fastslå hvilke observasjoner som er normale og hvilke som ikke er normal for vår prosess (statistiske tilfeldigheter versus reelle forskjeller) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 28

Variasjon og stabilitet

Variasjon er et sentral begrep innen statistikk § Alt kan sees på som prosesser § Prosesser kan tale til oss gjennom målinger, ofte kalt «prosessens stemme» § Prosesser varierer ü Naturlig variasjon (common causes) er innebygget i enhver prosess – opptrer tilfeldig ü Spesiell variasjon (special causes) skyldes påvirkning av prosessen utenfra 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 30

Naturlig variasjon vs. spesiell variasjon Målingen under viser et ustabilt hjerte Målingen over viser et hjerte som arbeider normalt (stabilt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 31

Vi ønsker oss statistisk stabile prosesser! § Dersom vi kun observerer naturlig variasjon er prosessen statistisk stabil (forutsigbar) § Dersom vi observerer spesiell variasjon regnes prosessen som ustabil (uforutsigbar) ü ønsket –> i første fase av et forbedringsarbeid ü uønsket 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 32

Forbedringsstrategien avhenger av variasjonstypen § Ved spesiell variasjon: Finn årsaken! ü uønsket variasjon: eliminer årsaken ü ønsket variasjon: implementer årsaken (tiltakspakken) § Ved naturlig variasjon: Er dere tilfreds med prosessen? ü ikke tilfreds: etabler ny prosess (dagens prosess må justeres) ü tilfreds: overvåk prosessen videre 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 33

Hvordan vet vi at en endring er en forbedring? Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen. 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 34

Gjennomsnittlig liggetid for tre utvalgte sykehus (merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 35

Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 36

Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 37

Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 38

Myntkast er et eksempel på tilfeldig variasjon 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 39

Myntkast benyttet som forklaringsmodell for SPC 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 40

For kampanjemålingene gjelder følgende: kun naturlig variasjon = statistisk stabil prosess § Dersom en prosessen kun inneholder naturlig variasjon, vil datapunktene være fordelt tilfeldig rundt medianen (man observerer ingen mønstre i dataene). § Med tilfeldig menes at man aldri kan vite på forhånd på hvilken side av medianen neste punkt vil falle og at sannsynligheten for begge utfall er lik, dvs. 50 % (samt at datapunktene er uavhengige, det vil si at posisjonen til ett datapunkt ikke påvirker plasseringen av den neste). 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 41

Eksempel på en måling fra trygg kirurgi (bruk av sjekkliste) Kun naturlig variasjon = statistisk stabil prosess 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 42

Hvordan vet vi at en endring representere en forbedring? Praktisk fremgangsmåte

Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring? § Plott dine måledata i et linjediagram (tidsserie) i Extranet ü vær nøye med at målepunktene registreres i riktig rekkefølge, dvs nøyaktig i den rekkefølgen pasientene ble skrevet ut. § Benytt «run-diagram» -modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt § Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram. ü vis én eller flere tester slår til: statistisk signifikant endring! ü hvis ingen tester slår til: ingen signifikant endring har funnet sted 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 44

Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring? § Plott dine måledata i et linjediagram (tidsserie) i Extranet ü vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. § Benytt «run-diagram» -modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt § Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram. ü vis én eller flere tester slår til: statistisk signifikant endring! ü hvis ingen tester slår til: ingen signifikant endring har funnet sted 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 45

Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring? § Plott dine måledata i et linjediagram (tidsserie) i Extranet ü vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. § Benytt «run-diagram» -modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt § Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram. ü vis én eller flere tester slår til: statistisk signifikant endring! ü hvis ingen tester slår til: ingen signifikant endring har funnet sted 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 46

Hva menes med en median i et run-diagram? § Medianen er en horisontal linje som deler tallmaterialet i to like store deler der tallene er ordnet etter størrelse ü Dersom tallmaterialet er oddetall utgjør den midterste verdien medianen. ü Dersom tallmaterialet er partall finner man medianen ved å legge sammen de to midterste verdiene og dele på to. ü Må ha minst 12 datapunkter før median kan plottes (15 pkt første gang, eksklusive punkter på medianen) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 47

Måledata plottet i en tidsserie i Extranet 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 48

Måledata plottet i en tidsserie i Extranet tidsserie med 21 punkter 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 49

Samme tidsserie medianen plottet inn 10 punkter over medianen 10 punkter under medianen 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 50

Når kan det være grunnlag for å opprette en ny median? § I en tidsserie bør det opprettes en ny median ü på tidspunkt der det skjer grunnleggende endringer i prosessen (eksempelvis når et nytt nivå nås, jamfør forrige slide) ü der det eventuelt er opphold i målingene 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 51

Samme tidsserie på et senere tidspunkt 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 52

Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring? § Plott dine måledata i et linjediagram (tidsserie) i Extranet ü vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. § Benytt «run-diagram» -modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt § Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPCtestene slår til for ditt run-diagram. ü vis én eller flere tester slår til: statistisk signifikant endring! ü hvis ingen tester slår til: ingen signifikant endring har funnet sted 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 53

Se etter målepunkter i ditt run-diagram som kan tyde på spesiell variasjon § Vi benytter 3 enkle SPC-tester for å sjekke om spesiell variasjon er tilstede i prosessen vår ü antall ganger grafen krysser medianen (+1) ü nivåskifte i prosessen ü trend i tillegg må vi være obs på eventuelle åpenbart avvikende punkt eller ev. sykliske mønstre (typisk sesong- eller døgnvariasjon) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 54

SPC-test 1 üantall ganger grafen krysser medianen - tell opp «antall ganger grafen krysser medianen» + 1 (men ikke ta med ev. punkter som ligger på medianen) - øvre og nedre grenseverdi kan man finne i en standardtabell, og de varierer med ant pkt i tidsserien 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 55

Antall krysninger + 1 = 5 +1 = 6 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 56

Tabell som angir det forventede ”antall krysninger + 1” av medianen i et run-diagram i forhold til antall punkter i tidsserien (kilde: F. Sweed and C. Eisenhart) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 57

Test 2 ünivåskifte i prosessen uvanlig mange pkt på samme side av medianen (8++), eksklusive eventuelle punkter på medianen vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 58

Antall pkt på samme side av medianen = 8 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 59

18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 60

Test 3 ütrend uvanlig lang serie av etterfølgende punkter (7++) med økende eller synkende verdier (punkter med samme verdi som det foregående skal ikke telles med) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 61

Har du full oversikt over dette linjediagrammet? FORBEDRING? Ja, men her har vi behov for å analysere måledataene 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 62

Benytt run-diagram modulen i Extranet til å analysere tidsserien 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 63

Tidsserien fra forrige slide analysert vha Extranets «run -diagram» modul 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 64

18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 65

Side 66

Hvorfor er medianen lagt inn akkurat her? Side 67

Her finner vi 8 punkter på rad på samme side av medianen (indikerer en statistisk signifikant endring i vårt run-diagram) Side 68

Et eksempler hentet fra innsatsområdet forebygging av selvmord 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 69

Baseline-måling 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 70

Første måling 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 71

Andre måling 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 72

Tredje måling 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 73

18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 74

kontrolldiagram 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 75

Obs, noen ganger taler et linjediagram for seg selv FORBEDRING? Ja, det er åpenbart at dette teamet har nådd sitt mål 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 76

3 oppgaver for å teste din SPC-kunnskap

Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A (tidsserie med 30 pkt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 78

Sykehus A: Spesiell variasjon tilstede – her har man en ustabil prosess! § I dette eksemplet slår alle tre tester inn: ü for få krysninger av medianen: kun 3 krysninger til tross for at tidsserien inneholder 30 pkt. (sjekkverdien blir 3+1=4: ø. g. for 30 pkt er 21 og n. g. er 11) ü nivåskifte i prosessen: for mange pkt på samme side av (grensen overskrides ved 8++) ü trend: uvanlig lang serie av etterfølgende stigende/synkende punkter (overskrides ved 7++) § Liggetiden øker så denne spesielle variasjonen er uønsket, prosessen går i negativ retning. (Hadde dette vært en del av et vellykket forbedringsarbeid ville grafen pekt nedover. ) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 79

Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 80

Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 81

Sykehus B: Spesiell variasjon tilstede – her har man en ustabil prosess! § I dette eksemplet slår én av tre tester inn ü Nivåskifte i prosessen: 9 pkt på samme side av medianen er for mange (grensen overskrides ved 8) § Den spesielle variasjonen er muligens ønsket, da det her har skjedd noe som har fått liggetiden ned som jo er det ønskede mål. Men i etterkant av dette ser vi av grafen at datapunktene igjen ligger på oversiden av medianen, så her har man ikke i mål med forbedringsprosessen. Kan forbedringsteamet ha mistet fokus? 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 82

Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 83

Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C (tidsserie med 30 pkt) 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 84

Sykehus C: Ingen tegn til spesiell variasjon – her har man en stabil prosess! § Tidsserien inneholder mange krysninger av medianen. En opptelling gir sjekkverdien 20 (19 krysninger + 1) som er innenfor grenseverdiene angitt i standardtabell for en tidsserie bestående av 30 pkt (øvre grenseverdi for en tidsserie på 30 pkt er 21 og nedre grenseverdi er 11). § I dette eksemplet slår ingen av våre tester inn, så statistisk sett er prosessen stabil. Men selv om vi har en stabil prosess er det ikke dermed sagt at man er fornøyd med nivået (ca 3 liggedager) og kanskje er variasjonen også større enn ønsket. 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 85

Statistisk prosesskontroll oppsummert § SPC er et statistisk verktøy som på objektivt vis kan hjelpe oss til å ü forstå fortiden ü forutsi fremtiden ü handle i nåtid 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 86

TAKK FOR DIN INNSATS SÅ LANGT I KAMPANJEN! LYKKE TIL VIDERE 18. 05. 2021 - www. pasientsikkerhetskampanjen. no Side 87

post@pasientsikkerhetskampanjen. no www. pasientsikkerhetskampanjen. no