Welkom Projectleiders en onderzoekers bij de diagnose bijeenkomst

Welkom! Projectleiders en onderzoekers bij de diagnose bijeenkomst van de pilot Protocol Afstuderen Domstad Utrecht, 21 april 2015

Programma 10. 00 10. 15 Terugblik uitvoering huiswerkopdrachten Onderzoeksmodel: Teamportret, STAP, Contextbeschrijving & Diagnose 11: 00 11. 15 12. 45 13. 30 14. 15 15. 00 Van diagnose naar praktijkvraag Pilotteams formuleren praktijkvraag: opsplitsen in twee groepen Lunch Presentatie ‘principes van ontwerpen’ Pilotteams maken concept interventie op flap Werken met redeneerketens 15. 20 15. 30 Huiswerk voor 23 juni en mededelingen Evaluatie bijeenkomst

Hoe verliep het uitvoeren van de huiswerkopdrachten?

Onderzoeksopzet: doelstellingen Doelstelling 1. Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord. 2. Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt. Bronnen Praktijkbeschrijvingen. Deze vormen straks een database van practices die andere opleidingen kunnen inspireren Zelfevaluaties STAP Teamportretten Interviews Observaties

Onderzoeksopzet: hoofdvraag Welke ontwerprichtlijnen helpen de pilotteams om hun afstudeerprogramma in samenwerking met het opleidingsteam te (her)ontwerpen?

Onderzoeksontwerp Aanreiken methodieken en handvaten voor teamleren en ontwerpen tijdens elke fase van het project. Aanreiken onderzoeksinstrumenten. • 3. IMPLEMENTATIE 2. ONTWERP 1. DIAGNOSE 4. EVALUATIE • Ontwikkeling van het teamleren Ontwikkeling van de ontwerpdeskundigheid • Teamportret S • Electronische. Z 0 elfevaluatie • Observaties 1 • Interviews (bedrijfsbezoek) • Praktijk beschrijvingen T S S 0 1 2 2 3 T 1 S 3 T 2 (her)ontworpen afstudeer programma Verhoogde ontwerpdes kundigheid en vermogen als team te ontwerpen S 4 4 5 1 2 • • • T 3 Rapportage opdrachtgever Collectie good practices Publicaties

Praktijkbeschrijving

Teamportret Hypothese: Door het project verbetert de samenwerking en de teameffectiviteit van het opleidingsteam dat betrokken is bij het afstudeerprogramma.

Teamportret 4 opleidingen hebben een teamportret gemaakt: Matrix ‘samenwerking’ Matrix ‘Taakafhankelijkheid’ Matrix ‘Samenwerkingsgedrag Perceptie op teamprestatie’

Teamportret Algemene opmerkingen: Gebruik bij alle matrixen een 1 4 schaal (1 = nooit / 4 = veel) Alle cellen graag vullen Zorg ervoor dat je door de tijd heen steeds dezelfde mensen bevraagt (T 0 T 1 T 2 T 3)

Zelfevaluatie STAP Hypothese: door het project worden de opvattingen van de betrokkenen over het afstudeerprogramma positiever en meer gelijkluidend. Het kan echter gebeuren dat door een toename van het inzicht bij betrokkenen de opvattingen eerst negatiever en later positiever worden.

Zelfevaluatie instrument STand van zaken Afstudeer. Programma hbo HR Social Work SPH Hv. A Social Work SPH Hogeschool Leiden Social Work SPH Haagse Hogeschool Social Work MDW Inholland Social Work SPH Hanze Werktuigbouw Inholland Facility Management Hv. A Social Work MDW Zuyd Hoger Juridisch Onderwijs Hogeschool Leiden Social Work MDW HR Willem de Kooning Autonome Beeldende Kunst Inholland Social Work MDW Saxion Bedrijfseconomie Hanze Logopedie 180 respondenten van 14 opleidingen (Minerva en HKU ontbreken) Probeer minimaal 15 respondenten te hebben per meting 0 5 10 15 20 25 30 35 40 45

Zelfevaluatie instrument STand van zaken Afstudeer. Programma hbo Alle schalen zijn van goede kwaliteit (Conbach alpha > 0, 8, N=180) behalve: 3. Eindkwalificaties in het afstudeerprogramma [zijn alle drie verschillend] Alle eindkwalificaties worden beoordeeld in het afstudeerprogramma. Het is duidelijk waar in het afstudeerprogramma welke eindkwalificaties worden beoordeeld. Het afstudeerprogramma levert voldoende rijkheid aan informatie op om een betrouwbaar en valide oordeel te kunnen vellen over beroepsbekwaamheid. 11. Vreemde ogen De kwaliteit van het afstudeerprogramma wordt regelmatig getoetst bij collega opleidingen en/of het werkveld. [wijkt positief af] Collega opleidingen reviewen regelmatig de afstudeerprestaties van studenten. De opleiding wisselt regelmatig examinatoren uit met collega opleidingen.

Gemiddelde scores 11 c. Opleidingen wisselen examinatoren uit. 11 b. Collega-opleidingen reviewen afstudeerprestaties 10. Randwoordaarden op orde 8. Beoordelingsmodellen gemeenschappelijke geinterpreteeerd 11 a. Afstudeerprogramma getoetst door collega-opleidingen 2. Onderzoekend vermogen helder 7. Beoordelingsmodellen valide betrouwbaar en transparant 5. Beroepsopdrachten complex en zelfstandig 3 c. Voldoende rijkheid aan informatie 4. Beroepsopdrachten geschikt 6. Examinatoren bekwaam 12. Bewijzen bij visitatie 3 a. Alle eindkwalificaties beoordeeld 9. Beoordelingsprocedure transparant en betrouwbaar 13. Rolvastheid 1. Eindkwalificaties weerspiegelen eisen 3 b. Duidelijk is waar wat wordt beoordeeld 1, 00 2, 00 3, 00 4, 00 5, 00 6, 00 7, 00 8, 00 9, 00 10, 00

Spreiding van opvatting 11. Vreemde ogen 8. Beoordelingsmodellen gemeenschappelijke geinterpreteeerd 12. Bewijzen bij visitatie 10. Randwoordaarden op orde 4. Beroepsopdrachten geschikt 3. Afstudeerprogramma volledig 2. Onderzoekend vermogen helder 7. Beoordelingsmodellen valide betrouwbaar en transparant 5. Beroepsopdrachten complex en zelfstandig 9. Beoordelingsprocedure transparant en betrouwbaar 13. Rolvastheid 6. Examinatoren bekwaam 1. Eindkwalificaties weerspiegelen eisen 0, 00 0, 20 0, 40 0, 60 0, 80 1, 00 1, 20 1, 40 1, 60 1, 80 2, 00

Praktijkbeschrijving

Praktijkbeschrijving: contextbeschrijving Nog niet alle contextbeschrijvingen waren aanwezig (4) Nog niet alle contextbeschrijvingen waren compleet Wij zullen hier in een later stadium nog een keer naar kijken

Praktijkbeschrijving: Diagnose Opstap naar een definitieve keuze van de praktijkvraag die in de pilot wordt aangepakt. Gevarieerde aanpak gehanteerd: Gebruik bestaand materiaal (kritische reflecties, evaluaties, quick scan) Protocol voorleggen aan teamleden (maar niet iedereen heeft overal verstand van) Vragen voorleggen aan specifieke betrokkenen (mgt. , examencie. , kwaliteitszorgmedewerker)

Praktijkbeschrijving: Diagnose Betekenis 12 vragen is niet altijd duidelijk: B. v. 4. Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties? Belangrijke onderzoeksvraag: helpen de 12 vragen bij het maken van een goede diagnose? Werkt de aanpak Probleem > Oorzaak (12 vragen) > Prioritering? Dragen de 12 vragen bij aan vinden van oorzaken en prioriteiten? Hoe zijn de 12 vragen het beste toe te passen? Wie kan wat beantwoorden? Hoe moeilijk zijn de 12 vragen? Beschrijf dus je ervaringen én vul de tabel correct in.

Begin with the end in mind Overzicht onderdelen praktijkbeschrijving. Na 12 mei beschikbaar

Voorlopige praktijkvragen Pilot: 2. Verbeteren opdrachten (4) en beoordelingsmodel (7) 3. Onderzoekend vermogen (2) en borging interpretatie (8) 5. Alle eindkwalificaties (3), geschikte beroepsopdrachten (4) en beoordelingsmodellen 6. Vertaling beroepsbekwaamheid naar eindkwalificaties en beoordelings dimensies (1 tm 5)

Van diagnose naar doelstelling

Hoe komen tot een goede doelstelling? Wees je bewust van de condities waarbinnen je doelstelling gerealiseerd dient te gaan worden: Teamportret Contextbeschrijving Prioriteer: op welk vraagstuk ga je je definitief richten Ga de doelstelling SMARTI formuleren

SMARTI Specifiek: is de doelstelling duidelijk, eenduidig en concreet? Meetbaar: is het mogelijk het antwoord op de de doelstelling evalueren? adequaat te Acceptabel: is er voldoende draagvlak voor de doelstelling? Realistisch: is de doelstelling haalbaar gezien de context waarin de deze moet worden gerealiseerd? Tijdgebonden: is er een duidelijk tijdspad waarbinnen de doelstelling dient te worden beantwoord? Inspirerend: motiveert en inpireert de doelstelling alle betrokkenen?

Geformuleerde doelstellingen

Werken met redeneerketens als onderzoeks instrument

Redeneerketens Maatregel Effect

Black box: “onze examinatoren zijn te streng” Trainen examinatoren Meer afgestu deerden

Een complex aan factoren bepaalt effect Maatregel Effect Andere factoren

Een complex aan factoren bepaalt effect Trainen examinatoren • • Meer afgestu deerden Begeleiding Kwaliteit / studeerbaarheid van de studie Kwaliteit beoordelingsmodel Gezamenlijke interpretatie beoordelingsmodel

Causale keten is lang Maatregel Effect Andere factoren

Oplossingsrichting: de redeneerketen (CIMO) Interventie Mechanismen Context Denyer, D. , Tranfield, D. , & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393 413 Outcome

Interventie: Training examina toren Beter inzicht in beoordelen Beter begrip beoordelings model Grotere bekwaamheid in beoordelen Gemeen schappelijke interpretatie Meer valide beoordeling Context Minder valse negatieven Outcome: Meer afgestu deerden

Doelen van redeneerketens Expliciteren van interventie(s)(arrangement) en zorgen dat het volledig is. Overdraagbaar maken van interventie(s). Identificeren van mechanismen die kunnen worden gemeten om de effecten van de interventies vast te stellen. Evalueren van het gekozen arrangement. Bij elk onderdeel van de redeneerketen kunt u zich aan het einde van het project afvragen of de veronderstelde mechanismen en effecten daadwerkelijk zijn opgetreden.

Opstellen redeneerketens Maak een visueel schema van de interventies, mechanismen en outcomes Beschrijf de interventies, mechanismen en outcomes in tabellen (een tabel per interventie)

Visueel schema

Tabel voor redeneerketen Interventie: Korte beschrijving van de interventie Wat gaan we doen? Mechanisme 1: Vooronderstelling over het proces dat ervoor zorgt dat de interventie leidt tot de outcome. Antwoord op de vraag waarom werkt de interventie? Outcome 1: Beschrijving van de te verwachten outcomes (effecten) van de interventie: wat zijn de beoogde resultaten? Evt. mechanisme 2 Evt. outcome 2 Evt. mechanisme 3 etc. Evt. outcome 3 etc.

Redeneerketen en effectmeting: een meetmodel Interventie Mechanisme Outcome Interventie indicatoren Mechanisme indicatoren Outcome indicatoren

Redeneerketen en effectmeting Interventie Mechanisme Outcome • • • Gepercipieerde verbetering in inzicht in beoordelen • Gepercipieerde verbetering in inzicht in beoordelingsmodel • Verandering in interbeoordelaars betrouwbaarheid • Verandering in percentage valse negatieven Verandering % afgestudeerden Kosten ontwikkelen training Kosten uitvoeren training Duur van de training Aantal deelnemers training Maak onderscheid naar fase: wanneer kan je wat meten? • Vooraf (nulmeting) • Halverwege • Aan het einde • Een jaar later (retentiemeting)

Huiswerk

Huiswerkopdrachten Implementatieproces Onderzoeksproces Verder uitwerken diagnose Bepalen doelstelling en in de dropbox plaatsen vóór 12 mei Proberen nulmeting Zelfevaluatie STAP uit te breiden tot 15 respondenten / 75% respons Idem teamportret (Vervolgopdracht volgt dan na 12 mei) Praktijkbeschrijving aanvullen en in de dropbox vóór 16 juni: Aanvullen Deel 1 contextbeschrijving Aanvullen Deel 2 diagnose

Mededelingen

Mededelingen Pilotteams plannen werkbezoek op locatie: 16 feb 1 maart 15 maart 29 maart 12 april 2016 Werkbezoek staat in het teken van voortgangsbespreking 24 november 2015 uitwisselbijeenkomst ‘implementatie’ 20 september 2016 uitwisselbijeenkomst ‘evaluatie’. . november 2016 ‘slotmanifestatie’

Vooruitblik Volgende bijeenkomst is 23 juni van 10. 00 17. 00 in Domstad Utrecht Plaats de uitwerking van de opdrachten uiterlijk 16 juni in Dropbox in de daarvoor bestemde mappen Overmorgen, 23 april, jaarcongres Zwolle

Evaluatie dag 2

Evaluatievragen • Waren de onderdelen vandaag begrijpelijk en werkbaar? • Wordt de verwachting van het project waargemaakt? • Wat heb je nog nodig om de volgende stap in het project te zetten?

Dank en tot ziens op 23 juni!