Zusammenfassung
Die Entwicklung experimenteller Kompetenz, das heißt der Fähigkeiten und Fertigkeiten, die zur Planung, Durchführung und Auswertung von Experimenten benötigt werden, ist ein zentrales Ziel des Physikunterrichts. Der vorliegende Beitrag präsentiert die Ergebnisse eines Standardsettings, in dem vier Stufen experimenteller Kompetenz erarbeitet wurden. Die Grundlage dafür bildeten Daten von N = 1194 Schülerinnen und Schülern, die einen vollständig am Computer zu bearbeitenden Experimentiertest durchgeführt haben. Im Unterschied zu üblichen Testverfahren erfasst dieser Test gleichermaßen Fähigkeiten in den Bereichen Planung, Durchführung und Auswertung. Insbesondere werden die Fähigkeiten erfasst, funktionsfähige Experimente aufbauen und Messungen durchführen zu können. Die Kompetenzstufen wurden von einem Expertenpanel nach der Bookmark-Methode durch Festlegung von Schwellenitems innerhalb der nach Schwierigkeit geordneten Abfolge der Testaufgaben ermittelt. Damit werden gleichzeitig Kennwerte für die erforderlichen Schülerfähigkeiten an den Stufenübergängen gewonnen. Ausgehend von den vom Institut für Qualitätsentwicklung im Bildungswesen (IQB) erarbeiteten Kompetenzstufen für den Kompetenzbereich Erkenntnisgewinnung wurden die identifizierten Kompetenzstufen inhaltlich beschrieben. Dabei wurden die vorhandenen Deskriptoren insbesondere um die Beschreibung von Fähigkeiten zum Aufbau funktionsfähiger Versuchsanordnungen und zur Durchführung von Messungen ergänzt.
Abstract
A main objective of physics education is to help students develop the skills needed to successfully prepare, perform and evaluate experiments. This paper presents the results of a standard-setting procedure, which led to the description of four levels of experimental competence. The data used for the standard setting came from an on-screen test with simulated experiments administered to N = 1194 students in middle school. In contrast to other tests this instrument also assesses skills beyond the planning and evaluation of experiments. The test, in particular, requires students to set-up a functional experimental arrangement and to make measurements. The standard setting was performed by three experts utilizing the bookmark-method. They worked on a booklet with test items ordered by their difficulties. The bookmark-method requires the experts to identify those items that mark transitions to new levels of competence. This way, cut scores are obtained for the transition points between two levels of competence. Based on the items that fell into a particular level of competence (i. e. between two transition points) the hierarchy of levels of scientific inquiry described by the Institut für Qualitätsentwicklung im Bildungswesen (IQB) was refined to include descriptors more specific to setting up experiments and doing measurements.
This is a preview of subscription content, log in via an institution to check access.
Notes
Ein Auszug aus dem OIB ist als Zusatzmaterial zur vorliegenden Veröffentlichung verfügbar.
Alle Schwellenwerte sind auf zwei bedeutsame Ziffern gerundet.
Literatur
Baumert, J., Klieme, E., Lehrke, M., & Savelsbergh, E. R. (2000). Konzeption und Aussagekraft der TIMSS-Leistungstests: Zur Diskussion um TIMSS-Aufgaben aus der Mittelstufenphysik. Die Deutsche Schule, 92(2), Teil 1: 102-115; Teil 2: 196–217.
Bazinger, C., Freunberger, R., & Itzlinger-Bruneforth, U. (2013). Standard-Setting Mathematik. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens.
Blömeke, S., Lehmann, R., Seeber, S., Schwarz, B., Kaiser, G., Felbrich, A., & Müller, C. (2008). Niveau- und institutionenbezogene Modellierungen des fachbezogenen Wissens. In S. Blömeke, G. Kaiser & R. Lehmann (Hrsg.), Professionelle Kompetenz angehender Lehrerinnen und Lehrer (S. 105–134). Münster: Waxmann.
Dickmann, M. (2016). Messung von Experimentierfähigkeiten – Validierungsstudien zur Qualität eines computerbasierten Testverfahrens. Berlin: Logos.
Emden, M. (2011). Prozessorientierte Leistungsmessung des naturwissenschaftlich-experimentellen Arbeitens. Eine vergleichende Studie zu Diagnoseinstrumenten zu Beginn der Sekundarstufe I. Berlin: Logos.
Gut-Glanzmann, C. (2012). Modellierung und Messung experimenteller Kompetenz. Analyse eines large-scale Experimentiertests. Basel: Philosophisch-Naturwissenschaftlichen Fakultät der Universität Basel.
Hambleton, R. K., & Pitoniak, M. J. (2016). Setting performance standards. In C. S. Wells & M. Faulkner-Bond (Hrsg.), Educational measurement. From foundations to future (S. 38–61). New York: Guilford Press.
Harsch, C., Pant, H. A., & Köller, O. (Hrsg.). (2010). Calibrating standards-based assessment tasks for English as a first foreign language. Standard-setting procedures in Germany. Bd. 2. Berlin, Münster, New York: Waxmann.
Hartig, J. (2007). Skalierung und Definition von Kompetenzniveaus. In E. Klieme & B. Beck (Hrsg.), Sprachliche Kompetenzen. Konzepte und Messung. DESI-Studie (Deutsch Englisch Schülerleistungen International) (S. 83–99). Weinheim: Beltz.
IQB (2013). Kompetenzstufenmodelle zu den Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. Kompetenzbereiche „Fachwissen“ und „Erkenntnisgewinnung“ – Entwurf. Berlin: Institut zur Qualitätsentwicklung im Bildungswesen.
Kane, M. T. (1992). An argument-based approach to validation. Psychological Bulletin, 112(3), 527–535.
Karantonis, A., & Sireci, S. G. (2006). The bookmark standard-setting method: a literature review. Educational Measurement: Issues and Practice, 25(1), 4–12.
Kauertz, A. (2008). Schwierigkeitserzeugende Merkmale physikalischer Leistungstestaufgaben. Berlin: Logos.
Klahr, D., & Dunbar, K. (1988). Dual space search during scientific reasoning. Cognitive Science, 12, 1–48.
Klieme, E. (2000). Fachleistungen im voruniversitären Mathematik- und Physikunterricht: Theoretische Grundlagen, Kompetenzstufen und Unterrichtsschwerpunkte. In J. Baumer, W. Bos & R. Lehmann (Hrsg.), TIMSS/III. Dritte Internationale Mathematik- und Naturwissenschaftsstudie: Mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn (S. 57–128). Opladen: Leske + Budrich.
Messick, S. (1995). Validity of psychological assessment. Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.
Mullis, I. V. S., Martin, M. O., Beaton, A. E., Gonzalez, E. J., Kelly, D. L., & Smith, T. A. (1998). Mathematics and sience achievement in the final year of secondary school. IEA’s third international mathematics and science study (TIMSS). Boston: Boston College: Center for the Study of Testing, Evaluation, and Educational Policy.
National Research Council. Committee on a Conceptual Framework for New K‑12 Science Education Standards (2012). A framework for K‑12 science education: practices, crosscutting concepts, and core ideas. Washingtion: The National Academies Press.
Nawrath, D., Maiseyenka, V., & Schecker, H. (2011). Experimentelle Kompetenz – Ein Modell für die Unterrichtspraxis. Praxis der Naturwissenschaften – Physik in der Schule, 60(6), 42–48.
Neumann, K. (2014). Rasch-Analyse naturwissenschaftsbezogener Leistungstests. In D. Krüger, I. Parchmann & H. Schecker (Hrsg.), Methoden in der naturwissenschaftsdidaktischen Forschung (S. 355–370). Berlin: Springer.
Pant, H. A., Rupp, A. A., Tiffin-Richards, S. P., & Köller, O. (2009). Validity issues in standard-setting studies. Studies in Educational Evaluation, 35(2–3), 95–101.
Pant, H. A., Tiffin-Richards, S. P., & Köller, O. (2010). Standard-Setting für Kompetenztests im Large-Scale-Assessment. Zeitschrift für Pädagogik, Beiheft 56, 175–188.
Pant, H. A., Böhmer, K., & Köller, O. (2013a). Das Kompetenzkonzept der Bildungsstandards und die Entwicklung von Kompetenzstufenmodellen. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012: Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 49–55). Münster: Waxmann.
Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T., & Pöhlmann, C. (Hrsg.). (2013b). IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I. Münster: Waxmann.
Schecker, H., & Wiesner, H. (2013). Die Bildungsstandards Physik. Eine Zwischenbilanz nach neun Jahren. Praxis der Naturwissenschaften – Physik in der Schule 62(5), 11–17.
Schreiber, N. (2012). Diagnostik experimenteller Kompetenz – Validierung technologiegestützter Testverfahren im Rahmen eines Kompetenzstrukturmodells. Berlin: Logos.
Schreiber, N., Theyßen, H., & Schecker, H. (2012). Experimental competencies in science: A comparison of assessment tools. In C. Bruguière, A. Tiberghien & P. Clément (Hrsg.), Ebook Proceedings of the ESERA 2011 Conference – Science learning and Citizenship (Part 10, S. 66–72).
Schreiber, N., Theyßen, H., & Schecker, H. (2014). Diagnostik experimenteller Kompetenz: Kann man Realexperimente durch Simulationen ersetzen? Zeitschrift für Didaktik der Naturwissenschaften, 20(1), 161–173.
Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (1999). Note on sources of sampling variability in science performance assessments. Journal of Educational Measurement, 36(1), 61–71.
Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) (Hrsg.). (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. München: Luchterhand.
Theyßen, H., Schecker, H., Neumann, K., Eickhorst, B., & Dickmann, M. (2016). Messung experimenteller Kompetenz – ein computergestützter Experimentiertest. Physik und Didaktik in Schule und Hochschule, 15(1), 12–34.
Tiffin-Richards, S. P., & Pant, H. A. (2013). Setting standards for English foreign language assessment: methodology, validation, and a degree of arbitrariness. Educational Measurement: Issues and Practice, 32(2), 15–25.
Wellnitz, N., Fischer, H. E., Kauertz, A., Mayer, J., Neumann, I., Pant, H. A., & Walpuski, M. (2012). Evaluation der Bildungsstandards in den Naturwissenschaften. Zeitschrift für Didaktik der Naturwissenschaften, 18, 261–291.
Woitkowski, D. (2015). Fachliches Wissen Physik in der Hochschulausbildung. Konzeptualisierung, Messung, Niveaubildung. Berlin: Logos.
Author information
Authors and Affiliations
Corresponding author
Caption Electronic Supplementary Material
Rights and permissions
About this article
Cite this article
Schecker, H., Neumann, K., Theyßen, H. et al. Stufen experimenteller Kompetenz. ZfDN 22, 197–213 (2016). https://doi.org/10.1007/s40573-016-0050-3
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s40573-016-0050-3