Trefniadau asesu gwerhuso ac atebolrwydd cadarn I ategu
Trefniadau asesu, gwerhuso ac atebolrwydd cadarn I ategu system hunanwella Robust assessment, evaluation and accountability arrangements supporting a self improving system Steve Davies Huw Owen Cyfarwyddwr y Gyfarwyddiaeth Addysg, Llywodraeth Cymru Dirprwy Gyfarwyddwr, Adran Effeithoilrwydd Ysgolion, Llywodraeth Cymru Director of Education Directorate, Welsh Government Deputy Director, Schools Effectiveness Division, Welsh Government
Amcan galluogi 4 – trefniadau Asesu, Gwerthuso ac Atebolrwydd cadarn sy'n cefnogi system hunan-wella Enabling Objective 4 – Robust Assessment, Evaluation and Accountability Arrangements supporting a Self-Improving System • Pam y newid? • Why the shift in practice? • Sut ydym ni'n cyflawni ein hatebolrwydd a'n cyfrifoldebau yn Llywodraeth Cymru, Awdurdodau Lleol (ALl) a rhanbartau • How do we deliver our Accountabilities and responsibilities at WG, LA and region level • How do we want schools to respond to our Evaluation Improvement and Accountability systems/framework. • How do we embed a culture and practice throughout our education systems that build capacity at all levels. • Sut yr ydym am i ysgolion ymateb i'n systemau/fframwaith Gwella a Gwerthurso ac Atebolrwydd. • Sut rydym yn gwreiddio diwylliant ac arfer yn ein systemau addysg sy'n meithrin gallu ar bob lefel.
Cyd-destun Hanesyddol Historical Context • Bandio • Banding • Categoreiddio mewn dau gam • Categorisation in 2 steps • Categoreiddio mewn un cam • Categorisation in 1 step • Data a thystiolaeth – HIGH STAKES cul • Cyfnod o hunan-werthuso, blaenoriaethu, cynllunio gwella a gosod targedau Awst – Hydref • Craffu yn ôl Awdurdod Lleol/Rhanbarth – diwedd y broses • Data and Evidence – Narrow high stakes • Window of Self Evaluation, Prioritisation, Improvement Planning and Target Setting August – October • Scrutiny by Local Authority/Region – ends process
Cynnydd wrth Gryfhau'r System 2014 Cynradd 2018 Cynradd Progress in Strengthening System
Cynnydd wrth Gryfhau'r System 2014 Uwchradd 2018 Uwchradd Progress in Strengthening System
Y Newid Atebolrwydd • Mae canlyniadau PISA OECD yn awgrymu, pan gaiff ymreolaeth ac atebolrwydd proffesiynol eu cyfuno'n ddeallus, eu bod yn gysylltiedig â pherfformiad gwell a mwy cynaliadwy (OECD, 2016) The Accountability Shift • OECD PISA results suggest that when professional autonomy and accountability are intelligently combined, they are associated with better and more sustainable performance (OECD, 2016)
Gwerthuso, Gwella ac Atebolrwydd – ALl, Rhanbarthau Atebolrwydd V Cyfrifoldebau: i bwy ydych chi'n gyfrifol? • I'r cyhoedd • I ysgolion unigol – penaethiaid, staff • Cymunedau • Pob plentyn ym mhob ysgol a lleoliad Evaluation, Improvement and Accountability – LA, Regions Accountability V Responsibilities: to whom are you responsible? o To public; o To individual schools – heads, staff o Communities o Every child in every school and setting
Gwerthuso, sicrhau bod gwelliant yn atebol • Atebolrwydd v Cyfrifoldebau • I bwy yr ydym yn gyfrifol: o Ein hunain o Pob plentyn yn ein hysgol o Yr oedolion sy'n eu gwasanaethu o I‘n gilydd o Aelodau'r gymuned o Y Cymdeithas bresennol a dyfodol Evaluation, Improvement & Accountability • Accountability v Responsibilities • To whom are we responsible : o Ourselves o Every child in our school o The adults who serve them o To each other o Community members o Present and future Society
Costau V manteision Costs V Benefits • Os yw'r costau'n fwy na'r manteision o feddwl yn feirniadol o'n gwaith ac yn ymwneud yn llawn â'r berthynas atebolrwydd, efallai y byddwn. . . • Teimlo rheidrwydd i hepgor gwybodaeth pan yn roi cyfrif • Canolbwyntio ein hymdrechion ar gyfiawnhad amddiffynnol yn hytrach na hunan-fyfyrio • Pwyllo yn ormodol oherwydd risg • Yn eu tro, gall y rhai sy'n goruchwylio ein gwaith. . . • Teimlo rheidrwydd i fod yn fwy craff neu i reoli’n llym i sicrhau cydymffurfiaeth. • If the costs outweigh the benefits of thinking critically of our work and fully engaging in the accountability relationship, we may…. . • Feel compelled to omit information when giving account • Focus our efforts on defensive justification rather than self-reflection • Become overly risk adverse • In turn, those that oversee our work may…. • Feel compelled to engage in greater scrutiny or tighten regulation to ensure compliance. Mae atebolrwydd yn troi'n air budr. Accountability becomes a dirty word.
Symud tuag at Atebolrwydd Deallus • Mae atebolrwydd deallus yn ein helpu i fyfyrio am ein penderfyniadau dyddiol ac i ail-edrych ar y broses o wneud penderfyniadau gyda'r nôd o feithrin dysgu a gwella, ac ar yr un pryd yn rhoi sicrwydd i'r cyhoedd drwy wiriadau a gwrthbwysau a hyrwyddo hyder yn y system ehangach. • Er mwyn hyrwyddo dysgu a gwella mae angen i bob partner ddeall y ddeinameg sy'n sail i berthnasoedd atebolrwydd yn y system. • Mae'r trefniadau Gwella a Gwerthuso yn cyfleu'r cydberthnasau hyn ac yn sefydlu rolau a chyfrifoldebau clir yn y system. Fel hyn y daw cyfnewid atebolrwydd yn ystyrlon Moving Towards Intelligent Accountability • Intelligent Accountability focuses us to reflect on our daily decision making and to revisit decision making process with the goal of fostering learning and improvement, while at the same time providing public assurance through checks and balances and promoting confidence in the broader system. • To promote learning and improvement all partners need to understand the dynamics underpinning accountability relationships in the system. • The Evaluation and Improvement Arrangements articulate these relationships and establish clear roles and responsibilities in the system. It is in this way that accountability exchanges become meaningful.
Egwyddorion cyfnewid ystyrlon 1. Mae gwerthuso lefel unigol a sefydliadol yn seiliedig ar feddwl beirniadol yn agored 2. Cyfnewidir cyfrifon manwl a chywir rhwng partneriaid yn y system 4. Mae partneriaid yn darparu persbectif gwerthfawr ar gynnwys gwerthuso 5. Cyflawnir cyfeiriad cyffredin rhwng partneriaid: cyfeiriad wedi'i seilio ar broses glir, cyd-ymddiriedaeth a pharch 3. Asesir cyfrifon gwerthuso yn gywir, yn deg ac yn ofalus gan yr holl bartneriaid 6. Mae cyfeiriad cyffredin yn arwain at atebolrwydd ar y cyd; wedi'u mynegi'n fwyaf pwerus trwy ymdeimlad unigolyn o'u cyfrifoldeb proffesiynol Principles of Meaningful Exchange
Gwerthuso, Trefniadau Gwella ar gyfer Cymru • Tystiolaeth, data a deallusrwydd ehangach • Hunan-werthuso cyson – sy'n llywio blaenoriaethau gwella clir y cytunwyd arnynt – Cynllunio trefniadau deallus ar gyfer cymorth mewn ysgolion a chydweithredu er mwyn gwella. • Atebolrwydd drwy atebolrwydd, arolygiadau ac archwiliadau democrataidd • Eglurder ar rolau a chyfrifoldebau Evaluation, Improvement Arrangements for Wales • Evidence, data and wider intelligence • Consistent Self Evaluation – Informing clear agreed improvement priorities – Plan intelligent arrangements for school support and collaboration for improvement. • Accountability through democratic accountability, inspection and audits • Clarity on roles and responsibilities
Gweithredu'r trefniadau newydd 2022 Implementation of new arrangements 2022 • Cyfnod peilot - 2019 -2020 • Piloting phase - 2019 -2020 • Cyfnod meithrin gallu – 20202021 • Cyfnod cadarnhau-2021 -2022 • Capacity building phase – 2020 -2021 • Confirming phase - 2021 -2022
Trefniadau asesu, gwerhuso ac atebolrwydd cadarn I ategu system hunanwella Robust assessment, evaluation and accountability arrangements supporting a self improving system Steve Davies Huw Owen Cyfarwyddwr y Gyfarwyddiaeth Addysg, Llywodraeth Cymru Dirprwy Gyfarwyddwr, Adran Effeithoilrwydd Ysgolion, Llywodraeth Cymru Director of Education Directorate, Welsh Government Deputy Director, Schools Effectiveness Division, Welsh Government
Gwybodaeth i gefnogi’r trefniadau gwerthuso a gwella • Building upon input received during last few years • Themes including: comparative and contextual data, timeliness, unintended consequences, Themâu gan gynnwys: data cymharol a chyd-destunol, capacity etc. prydlondeb, canlyniadau anfwriadol, gallu ac ati. • Seen changes already as a result, including to: Gwelwyd newidiadau eisoes o ganlyniad, gan gynnwys i - Interim KS 4 indicators - Ddangosyddion CA 4 dros dro - Target setting requirements - Gofynion gosod targedau - Holl setiau data craidd Cymru - All Wales core data sets - Data asesu athrawon (cyhoeddi) - Teacher assessment data (publication) Camau ‘galluogi’ cychwynnol yw’r rhain - nid oes un • These are initial ‘enabling’ steps – no panacea ateb i bob problem exists • The challenges relate to the availability of Mae'r heriau'n berthnasol ag argaeledd data priodol yn appropriate data as well as its use (and systems) ogystal â'i ddefnydd (a'i systemau) • We know what we have but not where we’re going Rydyn ni'n gwybod beth sydd gennym, ond ddim yn to end up – so, taking an evidence-based gwybod lle fyddwn yn dod i ddiwedd - felly, gan approach. • Adeiladu ar adborth a dderbyniwyd yn ystod y blynyddoedd diwethaf • • • Information to support evaluation and improvement arrangements ddefnyddio dull sy'n seiliedig ar dystiolaeth
Beth mae da yn edrych fel? What does good like? Egwyddorion Principles • Mae dadleuon perswadiol yn tueddu i fod â sawl math o dystiolaeth - fel rheol mae yna ehangder a dyfnder • Persuasive arguments tend to have several kinds of evidence – there’s usually breadth and depth • Evidence is not just about data: • Nid yw tystiolaeth yn ymwneud â data yn unig: - Hanesol, tystebol, ystadegol, analogol… • Pan ddefnyddir data, nid oes angen cael data ‘safon aur’ • Ond yn amlwg, mae data da yn ddefnyddiol, ac mae ganddo rôl bwysig i'w chwarae fel rhan o'r daith ddiwygio: - Clir - tryloyw, esbonio cafeatau ac ati - Gwiriadwy - gan eraill (gan gynnwys dadansoddiad ohono) - Adolygwyd gan gymheiriaid - cadarn, sicr o ansawdd - Cyd-destunol ac yn addas at bwrpas • Pwysig cael hyn yn iawn - cyson a chryf - Anecdotal, testimonial, statistical, analogical… • When data is used, it’s also not necessary to have ‘gold standard’ data • Clearly though, good data is helpful, and it has an important role to play as part of the reform journey: - Clear - transparent, caveats explained etc - Verifiable - by others (inc analysis of it) - Peer reviewed – robust, quality-assured - Contextualised & fit-for-purpose • Important to get this right – consistency & durability.
Cyd-ddylunio a Chydberchenogi y ffordd ymlaen Co-designing and Co-owning the way forward Dull Ystyriol A considered approach • Cychwyn prosiect sylweddol i ystyried anghenion gwybodaeth yn y dyfodol – nid camp fach • Initiating a significant project to consider future information needs – no small task • Those needs are set within the wider context of the curriculum reforms – need to get this right • Committed to extensive engagement across the system… expect multiple opportunities to input • Whilst the project is underway, changes to the current approach will be by exception i. e. stability • Currently developing the specification: • Mae'r anghenion hynny wedi'u gosod yng nghyd-destun ehangach y diwygiadau i'r cwricwlwm - mae angen cael hyn yn iawn • Wedi ymrwymo i ymgysylltiad helaeth ar draws y system. . . disgwyliwch sawl cyfle i fewnbynnu • Tra bo'r prosiect ar y gweill, bydd newidiadau i'r dull presennol yn eithriad h. y sefydlogrwydd • Ar hyn o bryd yn datblygu'r fanyleb: – Yr amcanion penodol (egwyddorion cyffredinol, sy'n gysylltiedig â chanlyniadau penodol neu gymysgedd o'r ddau) – Y dull, gan gynnwys disgwyliadau ar natur ymgysylltu – Mae cwmpas y wybodaeth / materion a ystyrir yn ogystal â'r wybodaeth yn defnyddio… - The specific objectives (general principles, linked to specific outcomes or a mix of both) - The approach, including expectations on the nature of engagement - The scope of the information / matters considered as well as the information uses…
Cwmpas yr Ymchwil? The research scope? Cwmpas? Breadth of scope? • Pob cyfnod addysg statudol (gan gynnwys EOTAS), Dangosyddion a argymhellir • All statutory schooling phases (inc. EOTAS), Recommended indicators • System sylfaenol o gysylltu gwerthoedd â deilliannau • Underlying system of attaching values to outcomes • Cyrhaeddiad dysgwyr a deilliannau eraill • Grwpiau o ddysgwyr (e. e. NEET, dysgwyr sy’n gymwys am brydau ysgol am ddim, rhyw) • Learner attainment or other outcomes • Groups of learners (e. g. NEET, e. FSM, gender) • Bodlonrwydd dysgwyr, Cynhwysiant a chydraddoldeb • Learner satisfaction, Inclusion and equality • Darpariaeth o ran y cwricwlwm, Modelau gwerth ychwanegol/cynnydd • Curriculum provision, Progress/value added models • Ffactorau cyd-destunol, Mathau o ddadansoddiadau • Contextual factors, Types of analyses • Ysgolion/Awdurdodau Lleol/rhanbarthau fel sefydliadau sy’n dysgu • Schools/LAs/regions as learning organisations • Bodlonrwydd staff, Llesiant, Arweinyddiaeth • Staff satisfaction, Well-being, Leadership • Amseru ac argaeledd drwy gydol addysg (yn hytrach na diwedd cyfnodau) • Timing and availability throughout schooling (vs. end of phase) • Darparu, cyhoeddi a defnyddio gwybodaeth • Provision, publication and use
Nodi gwybodaeth briodol ar gyfer gwahanol anghenion Dibenion gwybodaeth Identifying appropriate information for differing needs Information purposes a. hunanwerthuso ysgolion a chynllunio gwelliannau a. self-evaluation of schools and improvement planning b. hunanwerthuso awdurdodau lleol a chonsortia rhanbarthol a chynllunio gwelliannau b. self-evaluation of local authorities and regional consortia and improvement planning c. hunanwerthuso Llywodraeth Cymru a chynllunio gwelliannau c. self-evaluation of the Welsh Government and improvement planning d. gofynion cyhoeddi/adrodd ar gyfer gwybodaeth am ysgolion ynghylch deilliannau ac effeithiolrwydd mewn ysgolion d. publication/reporting requirements relating to information on schools concerning outcomes and effectiveness in schools e. gofynion cyhoeddi ar gyfer gwybodaeth am awdurdodau lleol a chonsortia rhanbarthol ynghylch deilliannau ac effeithiolrwydd mewn ysgolion e. publication requirements relating to information on local authorities and regional consortia concerning outcomes and effectiveness in schools f. gofynion cyhoeddi ar gyfer gwybodaeth ar lefel Cymru gyfan ynghylch deilliannau ac effeithiolrwydd mewn ysgolion f. publication requirements relating to information at a Wales level concerning outcomes and effectiveness in schools
Llywodraeth Cymru Welsh Government Gorff-Medi 2020 Jul-Sep Ion-Maw 2021 Jan-Mar Ymchwilwyr Researchers Ebr-Meh 2021 Apr-Jun Gorff-Medi 2021 Jul-Sep Finalise plans Ion-Maw 2022 Jan-Mar Cwblhau’r cynlluniau Hyd-Rhag 2021 Oct-Dec Stakeholder consultation Draft report Adroddiad draft Analysis Dadansoddi Fieldwork with stakeholders Hyd-Rhag 2020 Oct-Dec Ymgynghori â rhanddeiliaid Ion-Maw 2020 Apr-Jun Gwaith maes gyda rhanddeiliaid Initiation phase Cyfnod gweithredu Procurement Ion-Maw 2019 Jan-Mar Ystyried argymhellion Consider recommendations Hyd-Rhag 2019 Oct-Dec Caffael Research planning Cynllunio ymchwil Amserlen ddrafft/ Draft timeline Ebr-Meh 2022 Apr-Jun Llywodraeth Cymru Welsh Government
Croesewir adborth Feedback welcome IMS@gov. wales IMS@llyw. cymru
- Slides: 22