Wiedenmayer Dafni Universitt Athen Die Bewertung der produktiven

Wiedenmayer, Dafni Universität Athen Die Bewertung der produktiven Sprachaktivitäten AILA World Congress 2008, Essen, 28. 8. 2008

bei den geschlossenen als auch bei den halboffenen Aufgaben ist der Ablauf der Testbewertung schnell, einfach und objektiv Bei den offenen Aufgaben erschwert sich dieser Prozess Die Bewertung eines Sprachtests kann sehr unterschiedlich ausfallen, und dies hängt von verschiedenen Faktoren ab

Solche Faktoren sind: Ødie Rückwirkung des Tests Ødas Profil der Bewerter Ødas Bewertungssystem (bzw. Skalen, Raster und Kriterien)

Washback Effekt Die Rückwirkung von Tests auf die Mikro- und die Makroebene ist von großer Bedeutung, denn nur wenn ein Test eine positive Rückwirkung hat, kann er auch nützlich sein. Die sprachliche Norm, die Forscher in ihrem Kopf haben, und im Rahmen derer die Tests stattfinden, beeinflusst die Ergebnisse (Fragoudaki 1985, Wiedenmayer 2006)

Die Ergebnisse des Tests beeinflussen im Voraus die Performanz der Kandidaten, d. h. auch die Augenscheinvalidität des Tests. 1. Frage Bestimmung der sprachlichen Norm

Das Profil der Bewerter Die Bewerter haben die schwere Aufgabe, die Entscheidung über die Qualität des Geschriebenen, bzw. des Gesprochenen zu treffen Bei geschlossenen Aufgaben, wie z. B. bei einer Multiple - Choice Aufgabe, ist es besonders leicht zu bewerten, oft auch ohne menschliche Einmischung. Problematisch erweist sich trotzdem die Bewertung der Produktion mündlichen und schriftlichen Ausdrucks. Altmeyer und Domisch (1998: 6) Macaire (1998: 10)

Wenn verschiedene Bewerter unterschiedliche Noten für die gleiche Arbeit geben, geht es um fehlende interpersonale Konstanz. Falls die Bewertungen eines Bewerters, die zu verschiedenen Zeitpunkten durchgeführt werden, nicht übereinstimmen, handelt es sich um mangelnde intrapersonale Konstanz (Glaboniatb, 1998)

Tschirner (2001) erwähnt einige Gründe zur Erklärung dieser mangelnden Inter- und Intrakonsistenz: v. Die Bewerter sind von ihren eigenen kulturellen Erfahrungen, von ihrem Fachgebiet, sowie von ihren früheren Erfahrungen in Bewertungen von Texten beeinflusst worden v. Auch eine Ablehnung oder Zustimmung mit dem Inhalt des Textes kann durch einen emotionalen und auch unbewussten Einfluss des Bewerters das Ergebnis ändern v Die Konzentration besonders unerfahrener Bewerter auf Grammatik, Rechtschreibung und Interpunktion ändert das Ergebnis

Diese Defizite können durch eine gute Schulung der Bewerter beseitigt werden. Neben der Schulung ist auch die mehrfache Bewertung einzusetzen, damit die Subjektivität begrenzt und die Zuverlässigkeit des Tests erhöht wird. 2. Frage gute Schulung mehrfache Bewertung

Vorschläge zu 1. und 2. • Bestimmung der sprachlichen Norm (Testentwickler) • Mehrfache Bewertung (Testentwickler) • Gute Schulung der Bewerter (Testdurchführung - Adressatengruppe)

Die empirische Forschung Es werden, anhand einer empirischen Forschung, Unterschiede zwischen 36 Bewertern bei der Bewertung eines Aufsatzes gezeigt.

Das Thema der Prüfung Sie leben mit einer oder mehreren Personen in einer Wohnung. Plötzlich merken Sie, dass Sie etwas brauchen und gehen dies kaufen. Hinterlassen Sie Ihrem Partner/ Ihrer Partnerin bzw. Ihren Mitbewohnern eine kurze Notiz von höchstens 50 Wörtern. Diese Notiz sollte Informationen zu folgenden Punkten beinhalten: • Was wollen Sie kaufen? • Warum brauchen Sie dies unbedingt? • Wann kommen Sie zurück? • Bitten Sie Ihre Mitbewohner, etwas für Sie zu erledigen, da Sie keine Zeit mehr dazu hatten! Unterschreiben Sie als Alexis oder Alexia! Planen Sie für diese Aufgabe ungefähr 15 Minuten ein!

Die sprachliche Norm • • • Kommunikationssituation Alltägliche Kommunikationssprache Textsorte und -länge Punkte als Plan Bekannte Aufgabenstellung (griechisches Staatszertifikat KPg)

Die Kandidaten SA Prüfung im Rahmen der Staatszertifikat-Prüfung (KPg) im November 2004 6 Probanden auf dem B 2 Niveau 3 Schüler (S) an privaten Sprachinstitute 3 Germanistikstudenten (St) der Universität Athen

Das Profil der Bewerter 36 (35+1) Ø Germanistikstudium (Diplom) Ø Master (Richtung: Leistungsmessung- Leistungsbeurteilung) Ø Schulung (für diese Prüfung)

Das Bewertungssystem Gemischtes (holistisch – analytisch) Bewertungssystem Das Bewertungssystem, anhand dessen, das Raster und die Bewertungskriterien (gilt auch für das griechische Staatszertifikat KPg www. ypepth. gr) entwickelt wurden, könnte „gemischtes Bewertungssystem“ genannt werden, da es Elemente sowohl vom holistischen als auch vom analytischen System beinhaltet (s. auch Τsopanoglou 2000). Genauso funktioniert auch das Bewertungsverfahren bei Test. Da. F (www. testdaf. de).

Τσοπάνογλου (2000: 116), übersetzt von Giakumelu (2005): Wichtigeres und allgemeines Kriterium: z. B. Kommunikative Fähigkeit Erstes Nebenkriterium: Zweites Nebenkriterium: z. B. Morphosyntaktische Korrektheit z. B. Textsortenangemessenheit I Besonders befriedigend II IV Befriedigend V VI VII Ungenügend VIII IX X 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1

Anhand dieser Skala werden drei Kriterien vorbestimmt, aber die Punkte für jedes einzelne Kriterium werden nicht addiert. Zunächst geht es um eine erste, globale Bewertung auf Grund eines vorbestimmten Hauptkriteriums, dann kommt eine zweite auf Grund des zweiten Kriteriums und danach eine dritte anhand des dritten Kriteriums. Die erste Bewertung bestimmt den Rahmen, in dem die zwei weiteren Kriterien bewertet werden können.

Wenn z. B. ein Text auf Grund des ersten Kriteriums als „Besonders Befriedigend“ bewertet wird, kann dieser Text mit einer Punktzahl nur zwischen 15 und 20 bewertet werden. Auch wenn die zwei anderen Kriterien als „ungenügend“ betrachtet werden, können den Endpunkt nicht unter 15 gestalten. Im Gegensatz dazu kann ein Text, der bezüglich des zweiten und des dritten Kriteriums als „befriedigend“ betrachtet, der aber im Hinblick auf das erste Kriterium als „ungenügend“ bewertet wurde, nicht mehr als 8 Punkte (maximale Punktzahl: 20) erreichen. Daraus lässt sich schlussfolgern, dass das erste Kriterium die oberen und die unteren Grenzen bestimmt, innerhalb deren sich die zwei anderen Kriterien bewegen können. Auch das zweite Kriterium bestimmt erneut die Grenzen, innerhalb deren sich das dritte Kriterium bewegen kann.

1. Stadium: Holistische Bewertung zur Messung des ersten Hauptkriteriums 2. Stadium: Analytische Bewertung wegen der Berücksichtigung der zwei weiteren Kriterien 3. Stadium: Holistische Bewertung jedes einzelnen Kriteriums anhand eines positiven oder negativen Eindrucks. Dieses alternative System gilt als ein „gemischtes“ Bewertungssystem, das sich darum bemüht, die positiven Eigenschaften beider Systeme zu kombinieren (www. testdaf. de, www. ypepth. gr, Tsopanoglou 2000, Giakumelu 2005, Wiedenmayer 2006)

ΚPg – Phase II – B 2 ITEM 1 ITEM 2 ITEM 3 Befriedigend Nicht befriedigend Befriedigend 6 5, 5 5 15 14 13 9 8 7, 5 Nicht befriedigend Befriedigend 4, 5 4 3, 5 3 12 10 9 8 7 6 5 4, 5 Nicht befriedigend Befriedigend 2, 5 2 1, 5 1 7 5 4 3 2 1, 5 Nicht befriedigend Entspricht nicht der Aufgabenstellung, keine Antwort 0, 5 2 1 BEWÄLTIGUNG DER TEXTAUFBAU KOMMUNIKATIVEN LEXIKALISCHE AUFGABE KOMPETENZ UND GRAMMATISCHE/ ORTHOGRAPHISCHE KORREKTHEIT Befriedigend Umfassend bewältigt Nicht befriedigend Befriedigend Mit Mängeln, aber befriedigend bewältigt Nicht befriedigend Befriedigend Nicht befriedigend bewältigt Nicht befriedigend

Bewertungskriterien - B 2 Niveau Α. Bewältigung der Aufgabe Ausführliche, zusammenhängende und differenzierte Beschreibung oder Bericht und dabei auch Verbindung aller Themenpunkte miteinander; Ausführen einzelner Aspekte und geeignete Schlussfolgerung. Ausführliche Darstellung der Standpunkte und Stutz von geeigneten Beispielen oder Begründungen durch Unterpunkte. Sprachliche Mängel beeinträchtigen das Textverständnis nicht. B. Textaufbau und lexikalische Kompetenz Gut strukturierter Text und angemessene Verwendung von verschiedenen Mitteln zur Textverknüpfung. Auswahl von umfangreichen Formulierungen ohne Einschränkungen. Beherrschung eines großen Wortschatzes und problemloses Gebrauchen von Umschreibungen. Offensichtliches Suchen nach Worten oder Rückgriff auf Vermeidungsstrategien sind selten. Gelegentliche kleinere Schnitzer, aber keine größeren Fehler im Wortgebrauch. C. Grammatische und orthographische Korrektheit Beständiges Beibehalten eines hohen Maßes an grammatischer Korrektheit; Fehler sind selten und fallen kaum auf. Die Gestaltung, die Gliederung in Absätze und die Zeichensetzung sind konsistent und hilfreich. Die Rechtschreibung ist, abgesehen von gelegentlichem Verschreiben, richtig. Nach: Gemeinsamer Europäischer Referenzrahmen für Sprachen (2001)

Die Ergebnisse der empirischen Forschung Texte – Gruppe A – (S) Lieber Andreas! Ich möchte Heute Abend einen Besuch machen. Da die Strümpfe schmutzig sind muss ich ein paar Neue kaufen. Ich bin jetzt in einem Geschäft das in der Stadtmitte liegt. Ich werde um 9 Uhr nach Hause zurück gehen. Ich Bitte dich die Heizung offnen. Ghüss bis bald, Alexis Mein Satz! Ich möchte Schokoladenkuchen backen und ich gehe Zucker kaufen! Schokoladenkuchen ohne Zucker gibt es nicht! Ich komme um 2 zurück! Spüll bitte die Tella! Alexia Liebe Maria, ich gehe Milch, Zucker, Essig, Mehl und eine Hose kaufen. Meine alte Hose ist kaputt und ich brauche eine neue! Kannst du bitte die Katze fressen? Ich komme am Nachmittag zurück! Alexis

Die Ergebnisse der empirischen Forschung Texte – Gruppe B – (St) Schatz, bin kurz bis zum Supermarkt gefahren, da im Kühlschrank keine süße Sahne mehr gab und ich heute Lust auf Carbonara habe. Falls du noch was willst, ruf mich auf den Handy an. Bin höchstens in 20 min. zurück. Wärst du so lieb schon mal die Nudeln zu kochen, bis ich wieder da bin. Danke, Alexia Hallo Eleni! Wie geht΄s? Mir nicht so gut. Mein Kopf tut weh und ich brauche unbedingt Medikament. Ich gehe zur Apotheke. Ich komme in circa 30 Minuten zurück. Könntest du bitte Maria meine Bücher geben? Sie wird vorbeikommen und sie braucht sie für eine Hausarbeit. Meine Bücher sind im Buchregal. Bis bald also, Alexia Fahre kurz in die Stadt, zum Supermarkt. Ich muss dringend Bier u. tiefgefrorene Pizza kaufen. Am Abend kommen die Jungs vorbei u. den Film angucken. Komme in einer Stunde zurück. Würdest du inzwischen die Waschmaschine anstellen, da ich keine Zeit habe? Das wäre super von dir

Die Benotung der sechs Texte von 11 Bewertern 6 ΚPg Raster (Staatszertifikat ) Max. Punktzahl BEWERTER 1 2 3 4 5 6 7 8 9 10 11 1 S 1, 5 5, 5 4, 5 5, 5 4, 5 3, 5 2 S 3, 5 5, 5 6 5, 5 4, 5 3, 5 4, 5 5, 5 3, 5 3 S 3, 5 5, 5 6 5, 5 4, 5 2 4 St 4 6 5, 5 6 6 6 5 St 4 5, 5 5 6 6 6 5, 5 5 NOT 6 St IZ 6 5, 5 6 6

Nur im 6. Text (perfekten Text) einig! Bei den anderen die Beschreibung der Kriterien anders verstanden! • Die Beschreibung erneut formulieren • Gemeinsamer Europäischer Referenzrahmen für Sprachen Kannbeschreibung soll jedesmal nach dem Prüfungsziel geeignet beschrieben werden • Normsprache für die innere Kommunikation (Testentwickler – Bewerter)

Die Benotung der sechs Texte von 11 Bewertern BEWÄLTIG UNG DER KOMMUNIK ATIVEN AUFGABE Punk 6 Max. tzahl ΚPg Raster (Staatszertifikat ) BEWERT ER TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ 2 1 S 1, 5 Befriedigend 4 5, 5 5 6 4, 5 5, 5 7 4, 5 8 5, 5 9 5, 5 10 5, 5 11 4, 5 Nicht befriedigend 3, 5 Befriedigend 2 S 3, 5 3 S 3, 5 4 St NO 5 TIZ St 5, 5 6 6 5, 5 4, 5 5, 5 3, 5 4, 5 5, 5 4, 5 3, 5 Mit Mängeln, aber befriedigen d bewältigt Nicht befriedigend 2 Befriedigend 4 6 5, 5 6 6 6 Nicht befriedigen d bewältigt Nicht befriedigend 4 5, 5 ORTHOGRAP KORREKTHEI 3 5, 5 CHE/ HISCHE Umfassend bewältigt 1 ITEM 1 GRAMMATIS 5, 5 5 6 6 6 5, 5 5 T Befriedigend 6 Nicht befriedigend 5, 5 Befriedigend 5 Nicht befriedigend 4, 5 Befriedigend 4 Nicht befriedigend 3, 5 Befriedigend 3 Nicht befriedigend 2, 5 Befriedigend 2 Nicht befriedigend 1, 5 Befriedigend 1 Nicht befriedigend 0, 5 Entspricht nicht der Aufgabenstellung, keine Antwort

• Der Test hat Augenscheinvalidität • Der Test ist valid • Der Test ist nützlich Positive Rückwirkung

Das Profil der Bewerter 36 (35+1) Ø Germanistikstudium (Diplom) Ø Master (Richtung: Leistungsmessung- Leistungsbeurteilung) Ø Schulung (für diese Prüfung)

Die Normsprache und das Bewertungssystem • Die Normsprache als innere Kommunikationssprache zwischen Testentwickler und Bewerter soll bestimmt werden Kode finden

Die Normsprache und das Bewertungssystem Diese „innere kodierte Kommunikationssprache“ soll auch für die Beschreibung der Bewertungskriterien gelten

so… Danke Dafni Wiedenmayer, Essen AILA 2008