Strategien beim Lösen von rezeptiven Sprachtestaufgaben
SPR
- Barras, Malgorzata
- Studer, Thomas (Degree supervisor)
- Freiburg, Schweiz : [Verlag nicht ermittelbar], 2021
1 ressource en ligne (388 pages) ; 1 fichier pdf
Dissertation: Universität Freiburg (Schweiz), 2021
German
Um die Validität der Nutzung von (Sprach-)Tests sicherzustellen ist es heutzutage wichtig, neben der quantitativen Evidenz zum psychometrischen Funktionieren eines Tests auch die Antwortprozesse (response processes) der Testteilnehmenden, über deren Kompetenz man mithilfe der Testergebnisse Aussagen machen will, zu untersuchen (Ercikan & Pellegrino, 2017a). In der Testforschung wird dafür im Rahmen der Erprobung von neu erstellten Testinstrumenten oft auf introspektive Datenerhebungsverfahren wie Lautes Denken oder Stimulated Recall zurückgegriffen (vgl. z.B. Arras, 2013; Lazaraton & Taylor, 2007). Diese ermöglichen wertvolle Einblicke in die kognitiven Prozesse und Strategien, die beim Aufgabenlösen eingesetzt werden und die bei der statistischen Auswertung von Testergebnissen normalerweise unsichtbar sind (Lumley & Brown, 2005). Im vorliegenden Dissertationsprojekt wurden die introspektiven Verfahren angewandt, um zu beleuchten, 1) welche Strategien deutschsprachige Französischlernende auf der Sekundarstufe I anwenden, wenn sie computerbasierte Testaufgaben zum Lese- und Hörverstehen lösen, 2) ob sich Zusammenhänge zwischen den konstruktirrelevanten test-wiseness-Strategien (vgl. A. D. Cohen, 2014) und dem erfolgreichen bzw. nicht erfolgreichen Lösen der Testaufgaben erkennen lassen, sowie 3) ob die Einbettung der Testaufgaben in ein Szenario einen Einfluss auf den Einsatz von Strategien beim Lösen der Testaufgaben hatte. Die in der Studie eingesetzten Testaufgaben wurden im Rahmen des Schweizer Forschungsprojekts „Innovative Formen der Beurteilung“ (vgl. Karges, Lenz et al., 2021; KFM, 2020a) erstellt und in ein Szenario eingebettet, dies u.a. um die Lernenden stärker zu motivieren und einen authentischeren Lösungsprozess anzustossen (vgl. Sabatini et al., 2014b). Die Einblicke in die Gedanken und Lösungswege der Schüler/innen wurden in zweistündigen individuellen Sitzungen mit 30 Schüler/innen mittels 1) Lautem Denken und 2) Stimulated-Recall-Interviews (inkl. mündlicher Zusammenfassungen der rezipierten Texte) gewonnen. Um ausserdem zu untersuchen, ob und welchen Effekt die Szenarioeinbettung der Testaufgaben auf die Lösungsprozesse der Schüler/innen hatte, wurde ca. die Hälfte der Lernenden mit szenariobasierten Aufgaben zu einem übergreifenden Thema konfrontiert, während die restlichen Lernenden ähnliche Aufgaben zu verschiedenen Szenarien ohne thematischen Zusammenhang lösten. Durch die Verwendung von Lautem Denken und Stimulated-Recall-Interviews sollten im Sinne der Methodentriangulation die Schwächen der einen Methode möglichst durch Stärken der anderen Methode kompensiert und gleichzeitig auch die gewonnenen Erkenntnisse vertieft und erweitert werden (vgl. Knorr & Schramm, 2016). Alle Sitzungen wurden mithilfe der Software OBS (OBS Studio, 2017) und der VI Bildschirmkamera aufgenommen, transkribiert (GAT 2-Basistranskript) und nach den Prinzipien der inhaltlich strukturierenden und evaluativen qualitativen Inhaltsanalyse ausgewertet (Kuckartz, 2018). Bei der vertiefenden Analyse der Strategien wurden die Verbalprotokolle von 20 Testteilnehmenden zu ausgewählten Testitems berücksichtigt.
Die Resultate zeigen, dass die Schüler/innen beim Lösen der Testaufgaben auf viele verschiedene Strategien zurückgriffen. Obwohl die meisten beobachteten Strategien konstruktrelevant sind, führten sie nicht immer zu erfolgreichen Aufgabenlösungen – vor allem dann nicht, wenn die Sprachkompetenzen der Lernenden nicht ausreichten, um die Inputtexte richtig verstehen und interpretieren zu können. Die konstruktirrelevanten test-wiseness-Strategien konnten 1) vor allem bei den schwächsten Französischlernenden beobachtet werden, die von diesen Strategien Gebrauch machten, wenn sie die Aufgaben aufgrund ihrer lückenhaften Französischkompetenzen nicht lösen konnten, aber auch 2) bei den stärkeren Schüler/innen, die die Testaufgaben schnell lösen wollten und den Textinhalt nur oberflächlich zur Kenntnis nahmen. Der Einsatz von test-wiseness-Strategien führte bei der Wahl der Antwortoptionen meistens zu einem Misserfolg, was aus Sicht der Testentwickler/innen als positiv zu interpretieren ist. Schliesslich zeigte sich auch, dass die Einbettung der Aufgaben in ein übergreifendes Szenario von den Schüler/innen der Szenario-Gruppe kaum bewusst wahrgenommen wurde und sich folglich wahrscheinlich kaum auf ihre Vorgehensweise beim Lösen der Testaufgaben auswirkte. Zudem hielten die Schüler/innen der Off-Szenario-Gruppe eine entsprechende Einbettung nicht für nötig. Der Vergleich der Strategien, die von Szenario- und Off-Szenario-Schüler/innen eingesetzt wurden, zeigte, dass es zwischen den beiden Schüler/innen-Gruppen zwar Unterschiede im Strategieneinsatz gab, aber offen bleibt, welche Ursachen dies konkret hatte. Da in der vorliegenden Studie nur einige wenige Szenario- und Off-Szenario-Aufgaben genauer untersucht werden konnten, müsste das Potenzial von szenariobasierten Testaufgaben in weiteren Studien vertieft untersucht werden. Die Erkenntnisse aus der vorliegenden Studie zeigen ausserdem, dass mithilfe von introspektiven Verfahren spannende Einblicke in die Denkprozesse der Sprachlernenden gewonnen werden können, die nicht nur für Testvalidierungszwecke, sondern auch allgemein für die Optimierung des Fremdsprachenunterrichts genutzt werden können. So zeigte sich u.a., dass einige Schüler/innen bisher kaum Erfahrung mit standardisierten Sprachtestformaten hatten; dass die Testaufgaben bei den Schüler/innen u.a. deswegen sehr gut ankamen, weil sie in ihren Augen gut erklärt, alltagsnah und in Bezug auf die gewählten Textsorten sowie Inhalte der Inputexte attraktiv waren; oder dass der motivierende Effekt der Testaufgaben durch die Testsituation eingeschränkt war.
Die Resultate zeigen, dass die Schüler/innen beim Lösen der Testaufgaben auf viele verschiedene Strategien zurückgriffen. Obwohl die meisten beobachteten Strategien konstruktrelevant sind, führten sie nicht immer zu erfolgreichen Aufgabenlösungen – vor allem dann nicht, wenn die Sprachkompetenzen der Lernenden nicht ausreichten, um die Inputtexte richtig verstehen und interpretieren zu können. Die konstruktirrelevanten test-wiseness-Strategien konnten 1) vor allem bei den schwächsten Französischlernenden beobachtet werden, die von diesen Strategien Gebrauch machten, wenn sie die Aufgaben aufgrund ihrer lückenhaften Französischkompetenzen nicht lösen konnten, aber auch 2) bei den stärkeren Schüler/innen, die die Testaufgaben schnell lösen wollten und den Textinhalt nur oberflächlich zur Kenntnis nahmen. Der Einsatz von test-wiseness-Strategien führte bei der Wahl der Antwortoptionen meistens zu einem Misserfolg, was aus Sicht der Testentwickler/innen als positiv zu interpretieren ist. Schliesslich zeigte sich auch, dass die Einbettung der Aufgaben in ein übergreifendes Szenario von den Schüler/innen der Szenario-Gruppe kaum bewusst wahrgenommen wurde und sich folglich wahrscheinlich kaum auf ihre Vorgehensweise beim Lösen der Testaufgaben auswirkte. Zudem hielten die Schüler/innen der Off-Szenario-Gruppe eine entsprechende Einbettung nicht für nötig. Der Vergleich der Strategien, die von Szenario- und Off-Szenario-Schüler/innen eingesetzt wurden, zeigte, dass es zwischen den beiden Schüler/innen-Gruppen zwar Unterschiede im Strategieneinsatz gab, aber offen bleibt, welche Ursachen dies konkret hatte. Da in der vorliegenden Studie nur einige wenige Szenario- und Off-Szenario-Aufgaben genauer untersucht werden konnten, müsste das Potenzial von szenariobasierten Testaufgaben in weiteren Studien vertieft untersucht werden. Die Erkenntnisse aus der vorliegenden Studie zeigen ausserdem, dass mithilfe von introspektiven Verfahren spannende Einblicke in die Denkprozesse der Sprachlernenden gewonnen werden können, die nicht nur für Testvalidierungszwecke, sondern auch allgemein für die Optimierung des Fremdsprachenunterrichts genutzt werden können. So zeigte sich u.a., dass einige Schüler/innen bisher kaum Erfahrung mit standardisierten Sprachtestformaten hatten; dass die Testaufgaben bei den Schüler/innen u.a. deswegen sehr gut ankamen, weil sie in ihren Augen gut erklärt, alltagsnah und in Bezug auf die gewählten Textsorten sowie Inhalte der Inputexte attraktiv waren; oder dass der motivierende Effekt der Testaufgaben durch die Testsituation eingeschränkt war.
- Faculty
- Faculté des lettres et des sciences humaines
- Language
-
- German
- Classification
- Education, teaching
- Notes
-
- Ressource en ligne consultée le 25.01.2022
- License
- License undefined
- Open access status
- gold
- Identifiers
-
- SWISSCOVERY 991170844606405501
- URN urn:nbn:ch:rero-002-120837
- Persistent URL
- https://folia.unifr.ch/unifr/documents/312929
Statistics
Document views: 296
File downloads:
- BarrasM.pdf: 255