SREDNJOBOSANSKI KANTON SM Zijah Dizdarevi Fojnica Problematika vrednovanja
SREDNJOBOSANSKI KANTON SMŠ "Zijah Dizdarević" Fojnica Problematika vrednovanja izlaznih rezultata u učenju učenika Fojnica, 08. 01. 2016. godine dr. sci. Hariz Agić Savjetnik za obrazovanje u PZTK
Sadržaj • • Ishodi učenja učenika. Kako dostići dobre rezultate? Ocjenjivanje učenika. Zadaci. 2
Ishodi učenja: • Znanja, • Vještine i sposobnosti, • Stavovi i ponašanja. 3
Dobro obrazovana mlada osoba je (EU): • • • • Nezavisan učenik i donositelj odluka, Ima dobre odnose sa vršnjacima i odraslim, Pismen i uspješan u komunikaciji, Prilagodljiv, Avanturista i voljan isprobavati nove stvari, Kooperira kao dio tima, Ima osjećaj za odgovornost i disciplinu, Moralno i duhovno osviješten, U mogućnosti je da funkcioniše kao dio tima, Pripremljen na izazove koje mu društvo nudi, Tolerantan je i prevazilazi stereotipe, Može voditi siguran i ispunjujući život, Preduzimljiv (poduzetan) učenik. 4
Prema preporuci ključnih kompetencija za cjeloživotno učenje, Obrazovne institucije trebaju poboljšati sposobnost učenika da: 1. 2. 3. 4. 5. 6. 7. 8. Budu svjesni svoje etičke pozicije i uloge u društvu, Identifikuju dobre prilike za aktivnosti i dobro znanje o potrebama i ciljevima rada, Planiraju, organiziraju, upravljaju, vode ljude, analiziraju, komuniciraju, vode brifinge, evaluiraju i bilježe, Zastupaju i pregovaraju, Rade kao pojedinci i u timovima, Prosuđuju i identifikuju prednosti i slabosti te da procjenjuju i poduzimaju rizike, Preuzmu inicijativu, budu proaktivni, neovisani i inovativni u osobnom, društvenom životu i na poslu, Motiviraju i budu motivirani i odlučni u odnosu na postizanje ciljeva (osobnih ili zajedno sa drugima - uključujući i na poslu)
Poželjene sposobnosti učenika za 21. stoljeće/vijek: • • Samopouzdanje i. Ii vjera u vlastite sposobnosti. Otvorenost u pristupu. Sposobnost da bude inovativan i kreativan. Da zna aktivno slušati druge i odgovarati na njihova pitanja Sposobnost preuzimanja razumnog rizika. Spremnost na preuzimanje inicijative. Spremnost za preuzimanje odgovornosti. Sposobnost razmatranja različitih mogućnosti u rješavanju određene situacije.
Postoji niz sposobnosti, koje se primjenjuju kroz cijeli život: • • kritičko razmišljanje, kreativnost, inicijativa, spremnost za timski rad rješavanje problema, spremnost na rizik, donošenje odluka itd.
Znanje i razumijevanje • Razmišljaju o naučenom stvarajući odgovarajuće veze sa stvarnim životom. • Demonstriraju svijest o vlastitoj ulozi u porodici i društvu. • Isprobavaju praktično osnovne poduzetničke aktivnosti. • Prepoznaju smisao i važnost dugoročne održivosti svakog posla kojim se bave. • Prepoznaju različite uloge kada se radi u timovima. • Prepoznaju prilike za aktivnosti koje bi vodile ka novim rješenjima. • Opisuju elementarne I osnovne uslove za privređivanje. • Prepoznaju smisao i važnost dugoročne održivosti svakog posla kojim se bave. • Umiju prepoznati različite uloge kada se radi u timovima. • Znaju iskazati potrebe za vlastitim razvojem, interesovanjima i izborom karijere.
Vještine • • • • Prepoznaju i preuzimaju odgovornost za vlastite postupke. Uspješno komuniciraju. Razumiju i dalje razvijaju vlastite ideje. Pokazuju dobre prezentacione vještine. Pokazuju i preuzimaju inicijativu kada se za to ukaže prilika. Kreativno koriste raspoložive resurse. Radi kao pojedinac i u timovima, kao učinkovit član tima. Prosuđuje i prepoznaje nečije vrline i slabosti, procijenjuje i preuzima rizike Znaju napraviti odgovarajući akcioni plan za neku aktivnost. Sposobni su da odbrane svoju ideju pred drugima. Sposobni su da aktivno sudjeluju u procesu donošenja odluka kroz razmjenu ideja, pregovaranje i efikasan timskim rad. Sposobni da argumentovano pristupe u rješavanju problema. Sposobni da uspješno sudjelovanja u poduzetničkim aktivnostima.
Stavovi • Samopouzdanje i vjera u vlastite sposobnosti. • Inovativan, kreativan i otvoren u pristupu. • Pozitivno prihvatanje promjena i različitih mišljenja i pistupa (konkurencije). • Prepoznavanja vlastitih snaga i slabosti. • Da zna aktivno slušati druge i odgovarati na njihova pitanja. • Sposobnost preuzimanja razumnog rizika. • Spremnost za preuzimanje odgovornosti. • Razvija sposobnost donošenja vlastitih odluka i odabira • Preuzima inicijative, bude pro-aktivan neovisan I inovativan u ličnom, društvenom životu I na radnom mjestu. • Zna biti motiviran i odlučan u stizanju do cilja (lično ili zajedno s drugima na poslu u van njega). • Sposobnost razmatranja različitih mogućnosti u rješavanju određene situacije.
Kako dostići dobre rezultate? • Nastavne metode i oblici rada • Kakav treba biti nastavnik? 11
Kako to dostići? • Ravnomjernom upotrebom raznih metoda rada, koji podržavaju određeni set osobina kod učenika. • Usmjerenje na učenika, a ne na NPP. • Motivacija pokreće sve. • Participacija u nastavi.
Grupni rad Konzumiranje grupnog rada može kod učenika proizvesti: • • Osjećaj za vlastiti doprinos u grupi, Interes i takmičarski duh, Sposobnost da identificira svoje dobre i slabe strane, Osjećaj samozadovoljstva i gradnje vlastitog identiteta, Prihvatljiv način ponašanja i prihvatanje od grupe, Sposobnost uspješnog komuniciranja sa kolegama, Kritičnost i samokritičnost (kroz individualan doprinos u radu grupe), • Sposobnost argumentovanog iznošenja stavova itd.
Individualan rad Upotrebom individualnog rada kod učenika se mogu jačati: • • • Samostalnost, Odgovornost, Kreativnost, snalažljivost, sposobnost prezentiranja Uvjeravanja drugih u svoje stavove i td. Poštivanje različitosti i td.
Projektna nastava Ovom vrstom nastave se razvija: • • Povjerenje, Osjećaj za planiranje i organizaciju, Analitičnost i razlaganje problema na potprobleme, Saznanje da su teorija i praksa jako povezani, te da se teorija primjenjuje u praktičnom životu, • Komunikacija i interdisciplinarnost u radu, • Potrebu i osjećaj za motiviranost i td.
Problemska nastava Na ovaj način se kod učenika može razviti: • Osjećaj za motiviranost, • Osjećaj i potreba za saradnju, • Istraživački pristup, • Razvoj kritičkog mišljenja, • Bolje shvatanje suštine zakonitosti, • Trajnost i primjenjivost stečenih znanja i vještina. • Osjećaj za razliku «bitno-nebitno» , «cjelina - detalj» , • Sposobnost mogućeg popćavanja problema, • Osjećaj za planiranje i rješavanje zadataka, • Iznošenje zaključaka na bazi rješenja problema i povezivanje sa novim znanjima i td.
• Programirana nastava, kojom se predviđeno gradivo dijeli i manje dijelove (kvante), potrebne pri izučavanju određenih pojmova i tvrdnji, • Heuristička metoda, koja kombinira predavanje s samostalnim radom. Učenici se navode na razumijevanje. Oni sami otkrivaju činjenice. Ova metoda razvija kod učenika osjećaj za avanturizam i rizike. Nastavnik vješto postavlja pitanja i navodi učenike na otkrića. • Demonstracija i eksperimentalna nastava, • Rad u paru, • Mentorski rad i td
Nastavnik • Svaki nastavnik mora barem jednako poznavati ono što predaje i onoga koga poučava. • Sviđa se učenicima. Oni mu vjeruju i ne boje ga se. • Treba znati različitim metodama zainteresirati učenike tako da usvoje sve predviđeno gradivo 18
Uspjeh u poslu temelji se na: • Profesionalnim znanjima i tehničkim vještinama 12, 5% Interpersonalnim i komunikacijskim vještinama 87, 5%
Nastavnik treba biti takav. . . vda ga se učenici ne boje. vda učenici uoče njegovo zalaganje za njihovo dobro, vda zna uvjeriti učenike u poštene namjere prema njima da im ne prijeti negativnim ocjenama, v da pismeni ispiti ne budu jedino mjerilo za ocjenjivanje njihovih znanja, vještina i stavova. 20
Motivacija • Motivacija je sve ono što potiče na aktivnost, što tu aktivnost usmjerava i određuje joj intenzitet i trajanje. To je "volja za nešto". • Motivacija je uticaj koji izaziva, usmjerava i održava željeno ponašanje ljudi i bitna je kako za učenje tako i za bilo koji drugi rad. Ona sadržava i pozitivan stav prema radu i želju za novim saznanjima, postignućima, uspjesima. 21
• Treba osluškivati potrebe djece i njihova interesovanja. • Nerealno je očekivati da će svi učenici imati podjednake motive za učenje i rad. • Neko će učiti zbog znanja, a neko zbog ocjene i nagrade koju su mu roditelji obećali. 22
MOTIVACIJA Nastavnici često započinju sat ponavljanjem obrađenog gradiva. Može li to biti motivirajuće za učenike? To ustvari prije može izazvati dosadu. 23
Bolje je: • • • otvoriti problemsku situaciju u kojoj će se nenametljivo ponoviti potrebno gradivo pokazati zgodnu ilustraciju, zadati motivacijski zadatak, problem prikazati očigledno, dati neki zanimljivi podatak iz povijesti, . . . Na primjer, možemo zainteresirati učenike . . 24
Sa ovom simetrijom. . . 25
Ili ovom. . . 1 x 8 + 1 = 9 12 x 8 + 2 = 98 123 x 8 + 3 = 987 1234 x 8 + 4 = 9876 12345 x 8 + 5 = 987 65 123456 x 8 + 6 = 987654 1234567 x 8 + 7 = 9876543 12345678 x 8 + 8 = 98765432 123456789 x 8 + 9 = 987654321 26
Zar ovo nije dovoljno da se učenici zainteresiraju ? 37 x 3 = 111 37 x 6 = 222 37 x 9 = 333 37 x 12 = 444 37 x 15 = 555 37 x 18 = 666 37 x 21 = 777 37 x 24 = 888 37 x 27 = 999 142 857 x 1 = 142 857 x 2 = 285 714 142 857 x 3 = 428 571 142 857 x 4 = 571 428 142 857 x 5 = 714 285 142 857 x 6 = 857 142 27
Nastavnik, razmišljajući o svom radu, stječe i formira sliku o sebi. Međutim, nastavnik nije samo onakav kako vidi sam sebe već i onakav kako ga vide drugi, njegovi učenici 28
Šta nastavnici smatraju važnim kod nastavnika? (Istraživanje Ðordevića i Hajgeta) - da poznaje predmet koji predaje, - da je sposoban da povezuje nastavu sa drugim predmetima, - da voli djecu, - da poznaje razvojne probleme djece, - da zna više od prosječnih ljudi, da je svestran i dovitljiv, - da ima smisla za humor, - da ima jaku volju, - da razvija pozitivne međuljudske odnose, da je suptilan i ljubazan, - da vjeruje svojim učenicima, - da cijeni neobične ideje, - da dozvoljava i potiče samoinicijativu. 29
(. . . , a "šta učenici kod nastavnika posebno cijene? ") - duhovitost, odmjerenost i staloženost, - ozbiljnost, prijatnosti i ljubaznost, - kulturno ponašanje, otvorenost i snalažljivost, - pažljivost, saosjećajnost i spremnost za praštanje, - pristupačnost, skromnost i da se lako ne naljuti, - upornost, radinost i iskrenost, - zanimljivost i duhovitost u izlaganju, - ne prekida učenike kada odgovaraju, ne čita iz knjiga prilikom predavanja, - pravilno ocjenjuje, često ispituje učenike, - blago ocjenjuje, javno daje ocjenu te dozvoljava 30 učenicima da se koncentriraju.
Kada je u pitanju odnos prema ljudima (a vrijedi i za učenike) u organizaciji, u kojoj se dešavaju promjene, Bitel (1997) savjetuje: „Da bi posao bio obavljen, morate sa ljudima postupati i motivisati ih, uzimajući ih onakvim kakvi oni jesu, a ne kakvima vi mislite da bi trebali da budu“. (Bitel, 1997) 31
Ocjenjivanje učenika • Definicije • Vrste ocjenjivanja • Zaključivanje ocjena
Praćenje učenika. . . je sistemsko evidentiranje, tj. bilježenje zapažanja: • o razvoju učenikovih interesa, • motivacije i sposobnosti, • njegovih postignuća u usvajanju sadržaja nastavnog predmeta ili odgojno– obrazovnog područja, • njegov odnos prema radu i postavljenim zadacima, te odgojnim vrijednostima.
• "Pod provjeravanjem znanja razumijeva se sistemsko praćenje, ispitivanje i vrednovanje učenikovih postignuća i uspjeha u ostvarivanju zadaća nastavnog predmeta ili odgojno–obrazovnog područja tokom školske godine" (Kadum, 2004, 56). • Provjeravanje znanja je, dakle, postupak kojim nastavnik tokom nastavnog rada, u svrhu kontrole kvaliteta i količine nivoa provjerava do koje su mjere učenici usvojili određena obrazovna dobra, tj. znanja, sposobnosti i vještine.
Ocjenjivanje. . . je postupak vrednovanja svih relevantnih činjenica o učenikovim postignućima tokom praćenja, provjeravanja i ispitivanja, a izražava se ocjenom. Procjenjivanje … sistemski proces u kojem nastavnik prikuplja podatke, analizira ih i tumači kako bi odredio u kojoj su mjeri učenici savladali obrazovne ciljeve – širok pojam koji uključuje i mjerenje znanja i nekvantitativne tehnike procjene (npr. opažanje); pri procjenjivanju znanja uključeno je i vrednovanje.
Mjerenje …. . proces određivanja brojčane mjere nečijeg postignuća ili osobine; ograničeno na kvantifikaciju (npr. Selma je tačno riješila 5 od 10 zadataka) i ne uključuje kvalitativni opis znanja niti prosudbe nečijeg uspjeha – ukoliko se ovom izmjerenom postignuću pridruži neka ocjena onda govorimo o vrednovanju izmjerenog znanja.
„ Učitelj ne uči samo onda kada poučava time kako poučava, nego isto tako i time kako ispituje i kako ocjenjuje“ J. MARINKOVIĆ “Najveća nepravda na ovome svijetu je kada nejednake posmatramo jednako. ” S. Hall
Svrha ocjenjivanja Osiguranje povratnih informacija o napredovanju učenika (novo planiranje). Osiguranje povratnih informacija učenicima. Motivacija učenika Osiguravanje evidencije napretka učenika. Izraz trenutnih postignuća. Procjena učeničke spremnosti za buduće učenje. Dokaz o djelotvornosti nastavnika i škole.
PRAĆENJE RADA I OCJENJIVANJE UČENIKA Često se može čuti: "Samo da nema tog ocjenjivanja sve bi bilo lako, jer učenici skoro ništa ne uče. " "Ne možemo reći da učenik ne uči, jer UČENIK, po svojoj DEFINICIJI, UČI. " (Smolec)
PROVJERAVANJE RADA I ZNANJA UČENIKA ne služi samo za donošenje ocjene Ocjena pokazatelj je učinkovitosti nastave, umijeća komunikacijskog procesa između učenika i nastavnika može motivirati učenika može biti i razlogom da učenik zamrzi predmet Nastavni je proces, zapravo, zajednički rad učenika i nastavnika, pa je i najbolje ako je i ocjena rezultat zajedničkog dogovora učenika i nastavnika.
Vježba: Diskusija o postavljenim pitanjima
Je li način praćenja rada učenika jednoznačan, a samim tim i ocjenjivanje objektivno? Umjesto ovog važnog pitanja možemo postaviti mnoga koja će nas navesti na podrobnije razmišljanje o problemu: Jesmo li sigurni da naše ocjenjivanje nije subjektivno? Koje ocjene bi naši učenici imali kod drugog nastavnika? Dajem li, kao nastavnik, previše, a tražim premalo? Možda obrnuto? Ili optimalno? Vodim li na pravi način ostale bilješke u praćenju rada učenika?
S kim bih se mogao/la o svemu tome posavjetovati? Možda je to problem koji moram sam/a riješiti? Radim li uopće kako treba taj dio svog posla? Ukoliko svaki nastavnik na svoj način prati i ocjenjuje učenika, ima svoje kriterije ocjenjivanja, način bilježenja, uvjete i termine ispravljanja, pisanja pismenih ispita i usmene provjere, mogu li se ocjene učenika upoređivati?
Vrste ocjenjivanja
Pismeno provjeravanje Ovaj oblik je vremenski ekonomičan i do neke mjere objektivniji (što svi učenici dobiju da riješe pod istim uvjetima pitanja) i ukoliko su pitanja dobro sastavljena, tada je valjano. Faze pri pismenom provjeravanju priprema – opredjeljenje namjeni, osobine i ciljevi; sastavljanje pitanja u zadacima; određivanje kriterijuma za ocjenjivanje; prijedlog zadataka za rješavanje; ispravljanje, bodovanje, analiza rezultata po učeniku i zadacima; pretvaranje bodova u ocjenu; objava rezultata, planiranje poboljšanja (samog ispitivanja znanja; daljnjeg učenja i podučavanja).
PISMENI OBLIK ISPITIVANJA sastavljanje pismenih ispita - važno umijeće iz područja ocjenjivanja Kvalitetno sastavljen ispit je dobar instrument za mjerenje znanja učenika, a rezultati dobar pokazatelj uspješnosti nastave. Loše sastavljen ispit nije dobar instrument i može biti izvor konflikata između učenika i nastavnika, pa čak i roditelja.
Pismene provjere - dileme: Može li nastavnik povećati broj pismenih provjera u dogovoru s učenicima da bi učenici pisanjem manjih dijelova gradiva postigli bolje rezultate? Ima li u pisanju pismenih provjera prednost predmet koji ima obavezne pismene ispite? Koji je optimalni broj zadataka u pismenoj provjeri? Koliko je optimalno trajanje pismenog ispita? Koji je i kako se utvrđuje postotak riješenosti potreban za određenu ocjenu? Kad učenici koji nisu bili prisutni na redovnom ispitu pišu naknadni ispit? Ukoliko je to na redovnom satu, što za to vrijeme rade ostali učenici? Kako bodovati pogrešno prepisan, a tačno riješen zadatak? Treba li pri ocjenjivanju koristiti metodu „slijedi grešku“ pri kojoj je, primjerice, nakon greške u računanju dalje rješavanje zadatka tačno? Smije li se u rubriku imenika upisati ocjena dobivena kao prosječna ocjena kratkih provjera znanja u dogovoru s učenicima?
Pismeno ispitivanje + Prednosti • • • Svim učenicima su postavljeni isti zadaci pa je njihovo znanje međusobno usporedivo Prilikom ispitivanja isti je režim rada i vrijeme odgovaranja Objektivnije ocjenjivanje (ukoliko su kriteriji jasno određeni) Može se obuhvatiti više gradiva Vremenski ekonomično - Nedostaci • • Neaktivnost i učenika i nastavnika Nema kontakta niti komunikacije Dobar za procjene samo nekih vještina Ne mogu se mjeriti stavovi i ponašanje i td.
Usmeno ispitivanja? Razna su razmišljanja, često oprečna! Bez obzira na poteškoće, usmeno ispitivanje potiče učenike na kontinuirani rad. Provedena su neka ispitivanja o tome koje predmete učenici najviše uče: Najviše uče one predmete za koje su sigurni da će biti usmeno pitani.
Usmeno provjeravanje i ocjenjivanje Kod nas je raširen oblik na svim stupnjevima školovanja, uključujući visokoškolski stupanj (usmeno ispitivanje kod nas je proporcionalno više nego vani, gdje preovladava pismeno provjeravanje). Usmeno provjeravanje je nužno kod nekih predmeta, koji među važnim ciljevima traže spretnost usmenog izražavanja (maternji, strani jezik). Prednosti: s brižno postavljenim pitanjima i potpitanjima • provjeravamo tako više ciljeve (upotreba znanja, analiza, vrednovanje), • uspoređujemo način razmišljanja, usmjeravamo ga i dajemo individualizirane povratne informacije. Većina učenika daje prednost pismenom provjeravanju u odnosu na ispitivanja pred tablom.
Usmeno ispitivanje + Prednosti Nastavnik reagira na odgovore učenika i primjerenija ispituje stvarno znanje Vodi se računa o kvalitativnim razlikama u učeničkom znanju Mogu se uočiti odgovori koji su približno točni ili oni koji su potpuno apsurdni (usmjeravanje učenika) Bolje se provjerava razumijevanje i upotreba znanja Učenici češće uče s razumijevanjem ako znaju da ih očekuje usmeno ispitivanje - Nedostaci Vremenski neekonomično U jednom satu nastavnik provjeri znanje malog broja učenika Nužno subjektivno Obično obuhvaćeno manje gradiva nego u pismenom nastavnik je mjerni instrument.
Usmene provjere - dileme: • Na koji način provoditi usmeno provjeravanje? Je li usmeno provjeravanje rješavanje zadataka pred tablom? Koliko traje usmeno provjeravanje? • Može li ocjena iz kratke pismene provjere znanja zamijeniti ocjenu iz usmenog ispitivanja? • Kako ocijeniti usmeno ispitivanje? Koja su znanja potrebna za određenu ocjenu iz klasičnog usmenog ispitivanja? • Kako u rubrici Praćenje učenika zabilježiti usmeno ispitivanje? Je li dovoljno napisati datum i ocjenu ili je potrebno navesti cjelinu, odnosno pitanja i ocjenu za svako pojedino pitanje? • Može li nastavnik usmeno provjeravanje ocijeniti s više ocjena, ili usmeno ispitivanje u više navrata ocijeniti jednom ocjenom?
Usmeno ispitivanje - preporuke U pogledu vremenske neekonomičnosti škola je upotrebljavala usmeno provjeravanje za iste ciljeve (poznavanje osnovnih djelatnosti, podataka), koje lako i jednakovrijedno provjeravamo i na pismeni način. Bolje je, da usmeno ispitivanje ostavimo za više, zahtjevnije i specifične ciljeve. Glavna pitanja treba unaprijed brižno pripremiti, pa tako i kriterije za ocjenjivanje kvaliteta odgovora. Ispitivač treba posvetiti pažnju uspostavljanju dobrih, jednostavnih međusobnih odnosa, da ispitivani zaista da «sve od sebe» , te da uvažava primjerene prednosti ovog oblika.
Alternativni način provjeravanja i ocjenjivanja Samoocjenjivanje prema dogovorenim i obrazloženim kriterijumima; Kolegijalno ili uzajamno ocjenjivanje Grupno ocjenjivanje Rješavanje praktičnih problema, kada učenici rješavaju određene probleme i lako upotrebljavaju literaturu koju poznaju o zanimanju); Ocjenjivanje izvođenja (igranje instrumentima, govorni ili plesni nastup pred publikom te tako način njegovog savladavanja) te šoferski ispit ili nastup budućeg učitelja spada u tu kategoriju; Ocjenjivanje dnevnika i pribilješki ; npr. projektni izvještaj, izvještaj iz prakse; Ocjenjivanje izvođenja ; kao što su seminarski, diplomski zadaci, referati, likovni ili tehnički proizvodi – ovakvo ocjenjivanje je uveliko u tehničkim školama; Ocjenjivanje na osnovu portfolija, koji predstavlja zbirku izabranih radova i drugih dokumenata, npr. slika, spiskovi, plan, izvještaj…, koji nastaju u daljim časovima i iz kojih je moguće razabrati napredak i dostignuće stupnja u znanju i osposobljenosti učenika.
Vježba: Diskusija na pitanja koja slijede.
Domaće zadaće - pitanja ? ? • Na koji način ocijeniti domaću zadaću? • Kako evidentirati da učenik nema zadaću? • Kako riješiti „problem“ kada učenik ne piše zadaću? • Na koji način provjeriti originalnost zadaće, ili utvrditi da je prepisana? • Koji je optimalan broj zadataka za domaću zadaću?
Zaključivanje ocjena - dileme: • Trebaju li ocjene iz svih nastavnih cjelina biti pozitivne da bi zaključna ocjena bila pozitivna? • Može li nastavnik zaključiti negativnu ocjenu ukoliko učenik uz većinu negativnih ocjena iz pismenih i usmenih provjera ima nekoliko „boljih“ ocjena iz timskih radova ili projekata?
Popravni ispiti - dileme: Odgovara li učenik na popravnom ispitu gradivo cijele godine? Može li učenik na popravnom ispitu odgovarati gradivo samo prvog polugodišta? Učenik je upućen na popravni ispit najčešće zbog toga što nije uspio tokom nastavne godine ispraviti negativne ocjene iz pismenih ispita. Ukoliko na redovnom satu ocjenu iz pismenog ispita ne može ispraviti usmenim provjeravanjem, kako to da je može ispraviti na popravnom ispitu? Ako negativnu ocjenu iz pismenog ispita može ispraviti usmenim provjeravanjem, kako to da ide na popravni ispit? Mora li na popravnom ispitu član komisije biti nastavnik iz predmeta?
Neke najuobičajenije subjektivne greške pri ocjenjivanju: Halo učinak- izraz je proistekao iz engleskog halo, kao značaj obasjanosti okoline mjesecom ili svjetlosnog sjaja. Na ocjenu pored znanja neopravdano utiče opće mnenje o učeniku, njegova prijašnja ocjena iz drugih predmeta ili da li nam je simpatičan ili ne. Logična greška je u tome, da slično ocjenjujemo stvari, za koje mislimo da su po logici srodne; ako vidimo, da ima učenika koji su slabo ocjenjeni u BHS jeziku, niže ih ocjenjujemo nego što zaslužuju i za strani jezik. Sličnost tako utiče između matematike i fizike, . historije i geografije Učinak prvog utiska uzrokuje, da učenika poslije ocjenjujemo kao i prvi put. Učinak suprotnosti je do neke mjere suprotan halo učinku; ako znanje učenika ne dostiže očekivanja učitelja, razlika se pretjerano opaža; ukoliko odlikaš, jedanput slabije odgovara, daje mu previše slabu ocjenu. Tako da u nizu jako dobrih radova ako slijedi jedan malo slabiji-ili kod dobrih učenika (studenata na ispitu) od nekoliko jedan je slabiji, slabije ga ocijenimo nego kao inače.
Neke najuobičajenije subjektivne greške pri ocjenjivanju: Učinak stereotipija i predrasuda pokazuje se, , ako na ocjenjivanje pretjerano utiču djelovanja, kao što su pol učenika, ( «djevojčice ne znaju matematiku» ), socijalni izvori, vanjština (na primjer način oblačenja), nacionalna pripadnost ocjenjivanoga. Ti utjecaji nisu zaista pod našom svjesnom kontrolom. Osobna jednačina ocjenjivačeve značajnosti, da imaju jedni ocjenjivači vidno strožije kriterije ne gledajući na to, koga ili šta ocjenjuju, drugi su razmjerno blagi (suprotno strogim odnosno popustljivi). U školskom folkloru vlada izreka koja je poznata učiteljima, npr. : « Za odličan zna Bog, za vrlo dobro ja, dok učenik u najboljem primjeru zna za dobar» . Greške sredine i krajnje vrijednosti značajnosti, da jedni ocjenjivači naginju ka krajnostima, da previše daju krajnje ocjene, drugi pak sasvim srednje: «Kod ocjene 3 najmanje ću pogriješiti» . Prilagođavanje uzorku (razredu, grupi) Nastavnik se prilagođava razredu, grupi, uzrastu. U razredu, u kojem preovladavaju dobri učenici, zaoštrava kriterij, i obratno. S motivacijskog gledišta tako je prijatnije, s vidika objektivnosti to nije.
Bloomova taksonomija
Postupci Primjena znanja Opis skale ocjena od 1 do 5 Brojčane ocjene Brzo, samostalno, tačno i uspješno 5 Umjereno brzo, tačno i uspješno bez pomoći nastavnika 4 U poznatim situacijama ili uz neizravnu pomoć učitelja tačno rješava 3 Sporo, pravi greške, ali uz izravnu pomoć nastavnika ipak uspijeva 2 Ni uz pomoć nastavnika ne uspijeva riješiti problem 1 Samostalno, tačno, logično, osnovano, argumentirano i opširno 5 Tačno, logično, osnovano i s razumijevanjem 4 Obrazloženje Djelimično, logično, uvjerljivo postupka 3 Nepotpuno, površno, s pogreškama 2 Nesuvislo, nelogično, bez razumijevanja 1
Zadaci • Vrste zadataka • pretvaranje bodova u ocjenu 64
Vrste zadataka • • Alternativni izbor Zadaci višestrukog izbora Zadaci tipa pridavanja Zadaci tipa - prosto prisecanje i dopunjavanje (ili zadaci kratkog odgovora • Zadaci tipa sredivanje • Kombinovani zadaci • Esejski tip zadataka
Alternativni izbor Uputstvo: Medu tvrdnjama koje su dole date utvrdite koje su tačne, a koje netač ne. Ispred tačnih ćete zaokružiti slovo "T", a ispred netačnih slovo "N". T-N 1. Površina mora na Zemlji veća je od površine kopna. T-N 2. Gibraltarski moreuz spaja Sredozemno sa Crnim morem. T-N 3. Plima i osjeka nastaju usled obrtanja Zemlje oko svoje ose. T-P 4. Košava je vjetar koji duva sa Karpata na Panonsku niziju. Uputstvo: Ispred svake navedene države zaokružićete slovo koje odgovara. Slovo “D" oznacava da je država članica Nato alijanse, a slovo "N" da nije članica Nato-aje bila. D - N Francuska D - N Švicarska D - N Njemačka D - N Engleska D - N Bugarska D - N Grčka D - N Rusija D - N Turska D – N Hrvatska
PRIMJER
Prednosti i nedostaci zadataka alternativnog izbora Prednosti • • • lakoća sastavljanja i uputstava za njihovo rješavanje; primjenjljivost na različitim sadržajima i mogućnost obuhvata širokog i raznovrsnog sadržaja; lako i objektivno ocenjivanje odgovora; pogodni za usmeno testiranje, brzo proveravanje poznavanja činjenica, utvrđivanje znanja itd. pogodan posebno za sadržaje kod kojih postoje samo dvije alternacije. Nedostaci • • • niska relijabilnost; velika mogućnost nagađanja tačnih odgovora (teoretska mogucnost je 50%); dosta je teško formulisati potpuno tačne, odnosno potpuno pogrešne tvrdnje, a da se već u njihovoj formulaciji ne otkriju tačni odgovori.
Zadaci višestrukog izbora • Za zadatke višestrukog izbora smatra se da su visoko relijabilni i dosta objektivni. Ovo su razlozi njihove najčešce primjene. • Ovi se zadaci formulišu u obliku pitanja na koja se daje više odgovora od kojih je obično samo jedan tačan. Ispitanik ima zadatak da pronađe tačan ili, pak, najtacniji odgovor, odnosno onaj koji najbolje odgovara. • Ovom tipu pripadaju i zadaci koji su formulisani u vidu nepotpune tvrdnje koju treba dopuniti ponudenim riječima, dijelovima rečenice nekim podatkom i sl.
PRIMJER
Zadatak u obliku pitanja: Koji je najviši planinski vrh na Zemlji? 1. Mon Blan 2. Gaurinsankar 3. Kilimandžaro 4. Mont Everest 5. Akonkagva
Prednosti i nedostaci zadataka višestrukog izbora Prednosti zadaci ovoga tipa pogodni su za ispitivanje kompleksnih ishoda i pokrivenost NPP, nastave i učenja, skorovanje je lako, jednostavno i dosta objektivno, a i učenici, takođe, dosta lako shvataju uputstva. Nedostaci: Ovim zadacima se najčešce traži samo poznavanje činjenica, Samo sastavljanje traži dosta vremena i teško ih je zadati traže i dosta prostora, nisu pogodni za usmena ispitivanja i sl. Niska validnost za neke vještine. Preporuka: • • ispravni odgovori ne bi trebalo da budu uvijek na istom mjestu; netačne odgovore treba tako birati da budu "tijesni", slični onima koji čine tačan odgovor, kako bi na tačne odgovore reagovali samo ispitanici koji su sasvim sigurni u ono što znaju; netačne odgovore formulisati tako da budu privlačni za one koji odgovaraju otprilike, tj. nisu sigurni; razumljivija su pitanja postavljena u direktnom obliku, nego u nepotpunom indirektnom iskazu.
Smjernice za pitanja višestrukog izbora • • • Treba zadati jasan/nedvosmislen zadatak, Ispitni zadatak ne treba testirati trivijalno znanje, Opcije trebaju biti vjerovatne/moguće i paralelne, Ključ/rješenje mora biti neosporno tačno, „Ometači/uljezi moraju biti neosporno pogrešni“, Opcije moraju bizti međusobno isključive, Nikada nemojte upotrebljavati „Sve gore navedeno“: pokušajte izbjegavati „Ništa od gore navedenog“, Pokušajte izbjeći upotrebu negacija u zadatku , Izbjegavajte upotrebu jakih „naznaka rješenja“ u postavci zadatka, Interpukcija mora biti tačna, Test bi trebao imati otprilike isti broj ponuđenih odgovora pod A, B, C i td
Zadaci tipa pridavanja • Suština im je u pridavanju veza određenim pojmovima, koji su po nekom kriterijumu vezani. Najčešće se zadatak daje u formi dve ili više kolona u kojima su ispisane riječi koje označavaju pojmove, pojave, procese. . . • Zadatak je učenika da otkriju kriterijum po kome se date riječi mogu spojiti i da ih na određeni način spoji.
PRIMJER
Imenuj sljedeće spojeve: 1) H 2 O A) metan 2) CH 4 B) natrijum oksid 3) Na 2 O C) kuhinjska so 4) Na. Cl D) voda a) ADBC b) CABD c) BCDA d) DABC
Povežite hormone sa organima koji ih izlučuju : • A) hormon rasta • B) adrenalin • C) tiroksin žlijezda • D) insulin ___ gušterača ___ hipofiza ___ nadbubrežna ___ štitna žlijezda • a) DBCA b) DBAC c) DCAB d) DABC
Nivo 3 – nivo primjene/ operativnog znanja Kombinovani zadatak Dunav je sa 2850 km druga rijeka po dužini u Evropi. Izvire ispod planine Švarcvald a uliva se u Crno more. Napiši na prazne crte četri države kroz koje protiče Rijeka Dunav i zaokruži kombinaciju koja je tačna. A. B. C. D. ____________________ a) Belgija, Švicarska, Austrija, Rumunija b) Austrija, Slovenija, Hrvatska, Rumunija c) Njemačka, Austrija, Mađarska, Srbija d) Slovenija, Hrvatska, Bosna i Hercegovina, Srbija
Zadaci višestrukog izbora - s negativnim odgovorom, s više tačnih odgovora i zadaci s različitim nivoom tačnosti odgovora 4. Pažljivo pročitaj svaku tvrdnju. Ako je smatraš tačnom zaokruži slovo T (tačno), a ako smatraš netačnom zaokruži slovo N (netačno). Zaokruži kombinaciju koja je tačna. a) Vasko de Gama je oplovio oko Australije. T N b) Osmanlije su poražene u bitci kod Beča 1683. T N c) Pronalazak parne mašine predstavlja početak manufakturne proizvodnje. T N d) Deklaracija o slobodama i pravima građana donešena je za vrijeme Francuske grđanske revolucije. T N a)TNTN b)TTNT c)TNTT d)NTNT
Nivo 3 – nivo primjene /operativnog znanja Kombinovani zadatak 5. Ako se formula iz ćelije C 3 kopira u ćeliju C 6, koji rezultat će se pojaviti u toj ćeliji? A. 14, 04 B. 190 C. 21, 06 D. 325 A. B. C. D.
Kombinovani zadatak 5. Dva brata dijele sobu. Svaki ima sto za svoje lične stvari. Braća su se dogovorila da neće otvarati ladice jedan drugom bez dozvole. Pitanje: Šta oni međusobno poštuju i uvažavaju? A. B. C. D. Zaštita lične imovine Privatnost Lične interese Solidarnost
Primjer: S LIJEVE STRANE NALAZE SE IMENA KNJIŽEVNIKA, A SA DESNE NASLOVI KNJIŽEVNIH DELA. NA CRTICU ISPRED KNJIŽEVNOG DELA UPIŠI BROJ KOJI JE DAT ISPRED IMENA KNJIŽEVNIKA ZA KOGA SMATRAŠ DA JE NAPISAO TO DELO. 1. V. Nazor 2. I. Andrić 3. B. Ćopic 4. M. Crnjanski 5. M. Krleža 6. M. Lalić 7. D. Ćosić - - - - Prolom Gospoda Glembajevi Daleko je sunce Na Drini ćuprija Orlovi rano lete Prva brazda Prvi put s ocem na jutrenje
Primjer UOČAVANJE VELIČINA: NA LINIJU DESNO, PORED RAZLOMKA STAVITE BROJ ONE VRIJEDNOSTI KOJA JE JEDNAKA SA VRIJEDNOŠĆU RAZLOMKA: 1. 0, 02 2. 0, 75 3. 0, 50 4. 0, 25 5. 1, 50 1/2. . . ____ 6/4. . . ____ 1/50. . . ____ 1/4. . . ____ 3/4. . . ____
Zadaci tipa - prosto prisjećanje i dopunjavanje (ili zadaci kratkog odgovora) Od formulacije zadataka, uglavnom, zavisi da li ce zadatak biti u obliku prisjećanja ili dopunjavanja. Kod prostog prisjećanja zadatak je formulisan u oblik u pitanja, a zadataka dopunjavanja dat je u obliku nepotpunog iskaza. Primjer: a) prosto prisjecanje: Koliko Bi. H ima stanovnika? _______ b) dopunjavanje: Bi. H ima _______stanovnika. b) Na crticu pored svakog pridjeva upišite njegov prvi stupanj poređenja (komparativ): mio____________ plitak___________ zao ___________ visok ___________ dubok __________
Primjer
Zadaci tipa sređivanje Zadaci ovoga tipa pogodni su za ispitivanje ne samo znanja nego i sposobnosti logičkog mišljenja i sređivanja činjenica po nekom kriterijumu, dakle, sposobnosti klasifikovanja. Smatra se da su slični sa zadacima pridavanja. Kako je u suštini ovih zadataka zahtev za klasifikacijom određenih podataka, tj. njihovim sređivanjem po određenim kriterijumima, značajno je da se u pregledanoj literaturi nailazi, uglavnom, na vremenski redosled, kao kriterijum sređivanja, zatim na kauzalnu povezanost, redosled nekih postupaka ili neki drugi značajan princip u određenoj naučnoj oblasti. Primjer; a) Označi brojevima od 1 do 5 redosled po kome se javljaju društvena uredenja: feudalizam robovlasništvo kapitalizam rodovsko društvo (vremenski redosled) socijalizam
Označite brojevima od 1 do 5 red velicina kontinenata od najvećeg do najmanjeg: • Evropa, • Azija, • Afrika, • Južna i severna Amerika, (kriterij - velicina) • Australija. Označi brojevima od 1 do 5 redosled razvijenosti mozga kod navedenih životinja: • golub, • gušter, (kriteriji-razvijenost) • pas, • šaran, • žaba. Kod ovih zadataka značajna je napomena o njihovom ocjenjivanju. Većina autora smatra da nema dovoljno argumenata da se učeniku priznaju dijelovi urađenog zadatka, jer je način utvrđivanja bodova prema broju napravljenih grešaka dosta složen, a efekti nisu ravni naporu. Ovo je posebno prihvatljivo ako je manji broj podataka koje treba srediti i ako ovi podaci predstavljaju sadržinu i logičku cjelinu.
Kombinovani zadaci Uputstvo: Navedene su tri grupe poznatih ličnosti u određenim oblastima. U svakoj grupi po jedna ličnost ne pripada toj koloni (grupi), pronadite je i pored njenog imena na liniju upišite oznaku "O". Na linije iznad svake kolone napišite naziv grupe, koji je odreden aktivnošću kojom su se navedeni u toj grupi bavili, u kojoj su poznati. Na kraju, brojevima označite hronologiju pojave ličnosti u svakoj grupi. Zakonodavci. 4 Solomon - Aleksandar Makedonski - Sokrat 1 Hamurabi - Homer - Aristotel 3 Likurg - Kserks - Leonida 0 Krez - Pompej - Seneka 2 Mojsije - Pir - Marko Aurelije
Primjer
Esejski tip zadataka Suštinska odrednica zadataka esej tipa odnosi se na činjenicu da učenik u ovim zadacima slobodno sam sastavlja, organizuje, slobodno iznosi svoje misli, piše šire odgovore na postavljena pitanja. Zadaci esejskog tipa podrazumevaju dublje poniranje u širu oblast, viši nivo interpretacije, dakle, ne samo poznavanje činjenica i njihovo klasifikovanje, nego i analizu, interpretaciju koja znači mogućnosti da se pokažu nivoi primjene, analize, sinteze, pa i vrednovanja znanja, a iznad svega toga i prostor za kreativne pristupe iznošenju materije. U nastavi ima dosta sadržaja, kao zadataka koje je teško ispitivati drugim tipovima zadataka, te su zadaci esej tipa dobro došli. Smatra se da je ozbiljan nedostatak činjenica što se ovakvim pitanjima ne može zahvatiti više sadržaja, dakle, zamjera se esej testu na nedovoljnoj zastupljenosti i reprezentativnosti gradiva koje je predviđeno nastavnim programom. Činjenica je da se u ovom testu najčešce predvida 5 do 10 pitanja, koliko je moguće da učenik detaljnije samostalno, slobodno osmisli
Eseji Omogućavaju testiranje produktivnih vještina, ocjenjivanje vještina višeg reda. Od učenika se traži da napiše odgovor u formi rečenice. Radovi se ne mogu smnatrati tačnim ili netačnim, nego obi vbariraju u kvaliteti – koju stručnjaci onda bmogu evaluirati. Eseji su adekvatni za pokazivanje: Vladanja jezikom, Moći analize, Razlikovanja u izboru odgovora, Vještine argumentacije. Iako je kod bodovanja eseja manja objektivnost nego kod bodovanja objektivnih pitanja, takvi gubici mogu biti nadoknađeni (uravnoteženi) većom validnošću.
Prednosti • Lako se pripremaju • Daju učenicima neograničenu slobodu pri određivanju oblika i obima svojih odgovora • Su korisni za mjerenje ishoda učenja kada se vrši sinteza i evaluacija nivoa učenja, • mjere one ishode koiji se ne mogu mjeriti drugim vrstama zadataka Nedostaci Ne pružaju mnogo mogućnosti učenicima da pokažu vještine višeg reda Koriste se samo za mjerenje ishoda učenja kod razumijevanja, primjene i analize Teško ih je pouzdano bodovati/odrediti ocjene, Ispravljanje/određivanje rezultata oduzima mnogo vremena i subjektivno je.
„Dobar“ ispitni zadatak. . . • Zahtijeva više od memorisanja neke činjenice ili ponavljanja neke vještine, • Obrazuje –učenici uče iz pokušaja – nastavnik uči nešto o učeniku, • Je „otvoren“: dakle, može biti više prihvatljivih odgovora, • „dobar“ ispitni zadatak i testira i podučava
Pretvaranje bodova u ocjenu
Normalna raspodjela ocjena
• Paradoks suvremene pedagoške prakse (do 50% procijenjenog znanja ocjenjuje se ocjenom (nedovoljan 1) • 0 - 50 nedovoljan (1) • 51 - 60 dovoljan (2) • 61 - 80 dobar (3) • 81 - 90 vrlodobar (4) • 91 - 100 odličan (5)
• Brojčano se ocjenjuju tranzitivna i finalna stanja stečenih znanja učenika na bazi procjene profesora. • Tranzitivna (usmena i pismena provjera) – testovi kao alati s definiranim mjernim karakteristikama. • Na kraju polugodišta, ocjene se zbiraju i izvodi se zaključna ocjena. • Ocjene kao rezultat brze provjere znanja ulaze u zaključnu ocjenu. • Svi zdravi učenici dobit će zaključnu ocjenu. Da li ona odgovara kontinuitetu njihovog uvježbavanja i rada?
• Ako su bili bolesni, “možda” malo sporiji u učenju, imali su grip, nije uh bilo 2 ili 3 sedmice u školi, možda se nisu snašli, boli ih glava. U tom stanju “možda” dobit će nekakvu ocjenu. • Pitanje: ”Koliko je učenik pokazao znanja u trenutku procjenjivanja u stanju “možda”. • Da li je njegova dvojka korektna u odnosu na dvojku drugog učenika?
Moguća rješenja 1. Pratiti učenika sa svrhom pokazatelja puta prema cilju, 2. Promjena stanja (tranzitivnog) treba doprinijeti visini zaključne ocjene u pozitivnom smjeru, 3. Vrednovati putem: usmene i pismene provjere znanja, sposobnošću rješavanja problema, snalaženje u prostoru i vremenu (inteligencija), druge mjerne karakteristike. 4. Vrednovati u svrhu podizanja motivacije,
5. Učenik može, danas, pokazati neuspjeh, za nekoliko dana u istoj oblasti može biti uspješan. (pedagoški pristup ocjenjivanju), 6. Pisani testovi, zbog vjerodostojnosti, moraju biti znanstveno utemeljeni. Preporuka: ovi standardi ne govore što učenici stvarno znaju, već 0%-20% = nedovoljan samo koliko znaju u odnosu na druge učenike – tako npr. 21%-40% = dovoljan najbolji učenik, iako zna više 41%-60% = dobar od svojih vršnjaka, može imati 61%-80% = vrlodobar značajne rupe u znanju pojedinih dijelova poučavanog 81%-100% = odličan sadržaja. (Željko Burcar)
ILI 1. Usmeni odgovor – 25% zaključne ocjene, 2. Pismeni odgovor – 20% 3. Rješavanje problema – 35% 4. Snalaženje u prostoru i vremenu – 5% 5. Aktivnost – 15 Ukupno = 100% (Željko Burcar) Sve je to po sebi jasno, ali KAKO? ? ?
Pitanja vezana za ocjejivanje-vježba • Smijemo li ocjenjivati ako ne definiramo svrhu ocjenjivanja? • Smijemo li ocjenjivati ako nismo objasnili kriterije za ocjenjivanje? • Smijemo li ocjenjivati ako nismo objasnili ciljeve koje želimo postići i sadržaj koji ćemo ocjenjivati? • Da li su ikada nastavnička vijeća razmatrala ove tačke dnevnog reda u ovom duhu 102
VALINOVA SKALA !
VALINOVA SKALA
RAZNI NAČINI PROVJERE ZNANJA KORISTITI RAZNE NAČINE PROVJERE ZNANJA PRATITI NAPREDAK UČENIKA BILJEŽITI OPAŽANJA ŠTO ČEŠĆE ISPITIVATI I OCJENJIVATI UČENIKE (korisnije su i poticajnije česte i kratke provjere znanja nego duge i rijetke)
DIFERENCIRANO OCJENJIVANJA Podjela učenika u kategorije: a) Učenici sa slabim znanjem b) Učenici srednjeg nivoa znanja c) Učenici sa višim nivoom znanja Za svaku kategoriju odabrati takve zadatke-pitanja tako da svaki učenik može uraditi barem nekoliko. U okviru svake grupe definisati max. ocjenu. Omogućiti napredovanje u višu kategoriju.
ZAKLJUČNA OCJENA Elementi ocjenjivanja Usmeni odg. 20% Ocj: 4 i 5 Prosjek: 4, 5 Pismene provjere Blic. kon 5% 3 Kon. rad 15% 4 Pis. zadaće 25% 3 Grupni rad Domaća zadaća Aktivnost Test 5% 5% 5% 20% 3 4 5 4
ZAKLJUČNA OCJENA Po modularnom programu Elementi ocjenjivanja Usmeni odg. 25% Ocj: 4 i 5 Prosjek: 4, 5 Pismene provjere Blic. kon 5% 3 Kon. rad 10% 4 Domaća zadaća Aktivnost Test 5% 5% 50% 3 5 4
„Radite djeci ono što bi voljeli da drugi rade vašoj djeci“. Da li bih želio/la da moj sin/kćerka dobije ovakav ispitni zadatak? (N. Litoiu, NAES, 2005)
Hvala na pažnji, poštovane kolegice i kolege 110
Literatura: Agic, H. and Resic, S. 2011. Differentiated teaching mathematics and entrepreneurial competencies of students. Journal vol 34 Number 11 ISSN 1512 -6021: 161 -182 Tuzla, Faculty of Tuzla Agic, H. and fringes, S. 2011. "Mathematics in the role of building a well-educated person" Thrid International Scientific Colloquium MATHEMATICS AND CHILDREN (The matematics and Teacher), Osijek 18 -19. 03. 2011. year. Agic, H. and Jahic, E. 2009. "The knowledge and skills of students at Matura in general secondary schools in Tuzla Canton. " XII International Conference "Educational research and classroom practice, " theme: The quality and efficiency of teaching in the learning society. Belgrade, October 2009 th Bitel, L. R. , 1997. Liderstvo. Stilovi i tehnike upravljanja. Clio: Biblioteka Marketing Kadum Bošnjak, S. – Kadum, V. (2006), “Nastava razlicitih razina zahtjevanosti”. “Metodicki obzori”, casopis za odgojno–obrazovnu teoriju Kurnik, Z. 2008. Znanstvenost u nastavi matematike. PMF Sveučilišta u Zagrebu. Metodika: Vol. 9, br. 17 (2/2008), str. 318 -327 Fullan, M. 2001. Leading in a culture of change, San Francisko: Jossey-Bass Stoll, L. , Fink, D. 2000. Mijenjajmo naše škole. Zagreb: Educa 111
- Slides: 111