Evaluation of an OSCE Assessment Tool for Abdominal Ultrasound Courses

 

 Buy Article Permissions and Reprints

Zusammenfassung

Ziel: Die Zielsetzung dieser Studie lag in der Konzeption und Evaluation eines standardisierten Prüfungsinstruments zur Beurteilung praktischer, sonografischer Untersuchungskompetenzen des Abdomens im OSCE-Format. Material und Methoden: Vorgestellt werden der inhaltliche Aufbau, die Logistik und der zeitliche Ablauf der OSCE-Rotationsprüfung sowie mögliche Ansätze zur Qualitätssicherung durch den Einsatz detaillierter Checklisten und einer systematischen Prüferschulung. Der Parcours wurde mit über 5000 Studierenden und 2000 Ärzten im Laufe von 15 Jahren stufenweise bis zur aktuellen Version entwickelt. Als Qualitätsparameter wurden von 626 Prüfungen die Itemschwierigkeiten und Trennschärfen der Praxisstationen und die Reliabilität der Gesamtprüfung ermittelt. Ergebnisse: Die Trennschärfen der insgesamt 14 Praxis- und 13 Zeichenstationen erreichen Werte von 0,31 – 0,65 (Praxis: 0,30 – 0,59 und Zeichnungen 0,35 – 0,65, im Mittel 0,48 bzw. 0,50) und weisen mittlere homogene Itemschwierigkeiten von 0,78 (SD 0,02; Praxis) und 0,62 (SD 0,04; Zeichnen) auf. Cronbach’s alpha betrug bei 5 Prüfungsstationen 0,69 und überschreitet ab einer Stationszahl von 9 die Grenze von 0,8. Schlussfolgerung: Die homogene Verteilung der Itemschwierigkeiten ermöglicht einen flexiblen Austausch der OSCE-Stationen zu Parcoursversionen unterschiedlicher Länge und Reliabilitätswerte. Mögliche Adjustierungen der Bestehensgrenze sowie Einflussfaktoren auf die Akzeptanz eines solchen Prüfungsinstruments werden diskutiert. Weltweit erstmalig steht ein standardisierter OSCE-Prüfungsparcours für die Abdomensonografie zur Verfügung, der auch für summative (karrierewirksame) Prüfungen rechtssicher eingesetzt werden kann.

Abstract

Purpose: The purpose of this study was the conception and evaluation of a standardized and reliable assessment tool in the OSCE format to measure the performance and practical skills of abdominal ultrasound users in PGME. Materials and Methods: The design, logistics, pacing and the choice of tested competencies of a rotating OSCE parcours, as well as the options for quality control using detailed checklists versus global rating scales and different approaches to the training of the involved raters are described. Over the last 15 years the parcours has undergone incremental improvement and has been used in final examinations of abdominal ultrasound courses with approximately 5000 medical students and 2000 residents and fellows. For evaluation, all item difficulties and discrimination coefficients of the individual stations and the reliability (Cronbach’s alpha) were calculated for the last 626 assessments. Results: All 14 hands-on stations showed discrimination coefficients from 0.31 to 0.65 (mean 0.48; SD 0.09). The 13 diagram stations showed mean values of 0.50 (SD 0.16). Data analysis revealed mean homogeneous item difficulties of 0.78 (SD 0.02) and 0.62 (SD 0.04), respectively. Cronbach’s alpha was 0.69 with five stations and reached values above 0.8 when more than 8 stations are combined in one parcours. Conclusion: The homogeneous distribution of item difficulties provides an opportunity for designing different OSCE versions with different levels of reliability. Several options to adjust the cut-off values, the choice of the examined contents and factors that influence the examinees’ acceptance of this assessment tool for PGME or CME ultrasound courses are discussed. Overall, the values of reliability and accuracy of this assessment tool are high enough to be used also for high-stakes examinations in the field of abdominal ultrasound.

References

• 1 Hofer M, Jansen M, Soboll S. Potential improvements in medical education as retrospectively evaluated by candidates for specialist examinations.  Dtsch med Wschr. 2006;  131 373-378
  Google Scholar
• 2 Nickenig N. Kosten B-Bild sonographischer Verfahren in 1998. Köln: Statistik der KBV (Kassenärztliche Bundesvereinigung); 2001
  Google Scholar
• 3 Harden R M, Stevenson M, Downie W W et al. Assessment of clinical competence using objective structured clinical examination (OSCE).  Br Med J. 1975;  1 447-451
  Google Scholar
• 4 Petrusa E R, Blackwell T A, Rogers M S et al. An objective measure of clinical performance.  Am J Med. 1987;  83 34-42
  Google Scholar
• 5 Carpenter J L. Cost analysis of objective structured clinical examinations.  Acad Med. 1995;  70 828-833
  Google Scholar
• 6 Townsend A H, Mcllvenny S, Miller C J et al. The use of OSCE for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance.  Med Educ. 2001;  35 841-846
  Google Scholar
• 7 Reznick R, Smee S, Rothmann A et al. An objective structured clinical examination for the licentiate. Report of the pilot project of the Medical Council of Canada.  Acad Med. 1992;  67 487-494
  Google Scholar
• 8 Hofer M, Mey N, Metten J et al. Quality control of sonography courses in advanced training of physicians: analysis of present status and potential for improvement.  Ultraschall in Med. 2002;  23 189-197
  Google Scholar
• 9 Hofer M. Sono-Grundkurs. Stuttgart, New York: Thieme; 2009 6th ed: 114-115
  Google Scholar
• 10 Sachs L. Angewandte Statistik. Berlin, Heidelberg, New York: Springer; 2002: 598
  Google Scholar
• 11 Lin L IK. A concordance correlation coefficient to evaluate reproducibility.  Biometrics. 1989;  45 255-268
  Google Scholar
• 12 Sisley C, Johnson S B, Erickson W et al. Use of an objective structured clinical examination for the assessment of physician performance in the ultrasound evaluation of trauma.  J Trauma. 1999;  47 627-631
  Google Scholar
• 13 Briggs S R, Cheek J M. The role of factor analysis in the development and evaluation of personality scales.  J of Personality. 1986;  54 106-148
  Google Scholar
• 14 DeVellis R F. Factor analysis. In Scale developement: Theory and applications.. Thousand Oaks: Sage; 2003: 102-137
  Google Scholar
• 15 Schultz J H, Nikendei C, Weyrich P et al. Qualitätssicherung von Prüfungen am Beispiel des OSCE-Prüfungsformats: Erfahrungen der Medizinischen Fakultät der Univ. Heidelberg.  Z Evid Fortb Qual Gesundh Wesen (ZEFQ). 2008;  102 668-672
  Google Scholar
• 16 Hodges B, Regehr G, McNaughton N et al. OSCE checklists do not capture increasing Level of expertise.  Acad Med. 1999;  10 1129-1134
  Google Scholar
• 17 Regehr G, MacRae H, Reznick R K et al. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination.  Acad Med. 1998;  73 993–997
  Google Scholar
• 18 Terkamp C, Kirchner G, Wedemeyer J et al. Simulation of abdomen sonography Evaluation of a new ultrasound simulator.  Ultraschall in Med. 2003;  24 231-232
  Google Scholar
• 19 Patricio M, Juliao M, Fareleira F et al. A comprehensive checklist for reporting the use of OSCEs.  Medical Teach. 2009;  31 112-124
  Google Scholar
• 20 http://www.medidak.de/intensiv/sono/?page=osce last visit on Oct. 15th 2010

Dr. Matthias Hofer, MME

AG Medizindidaktik, Univ.-Klinikum

Moorenstr. 5

40225 Düsseldorf

Germany

Phone: ++ 49/2 11/8 11 07 43

Fax: ++ 49/2 11/8 11 07 46

Email: matthias.hofer@uni-duesseldorf.de