Im Blickpunkt
Entwicklung, Bewertung und Synthese von komplexen Interventionen – eine methodische HerausforderungDevelopment, appraisal and synthesis of complex interventions – a methodological challenge

https://doi.org/10.1016/j.zefq.2011.11.001Get rights and content

Zusammenfassung

Hintergrund

Viele medizinische Maßnahmen sind komplexe Interventionen. Sie bestehen aus Einzelkomponenten, die sich wechselseitig bedingen und unterschiedlich mit Implementierungskontexten interagieren, z.B. Stroke Units. Im Vergleich zu Einzelmaßnahmen, wie der Behandlung mit einem Medikament, ist die Beurteilung von Wirksamkeit, Nutzen und Schaden komplexer Interventionen schwerer zu erschließen. Differenzierte methodische Verfahren zur Entwicklung, Bewertung und Synthese komplexer Interventionen werden international diskutiert.

Methoden

Systematische Bestandsaufnahme methodischer Leitfäden zur Entwicklung und Evaluation komplexer Interventionen mittels Recherchen in wissenschaftlichen Literaturdatenbanken und Webressourcen internationaler Institute. Aufbereitung des Diskussionsstandes und der Vorschläge zu Entwicklung, Bewertung und Synthese von komplexen Interventionen.

Ergebnisse

Fünf methodische Leitfäden wurden identifiziert. Eine strukturierte Anleitung zur Entwicklung komplexer Interventionen im Gesundheits- und Medizinbereich bietet vor allem die Leitlinie des UK Medical Research Councils. Die Synthese komplexer Interventionen in systematischen Übersichtsarbeiten und ihren Meta-Analysen gemäß üblicher Methoden liefert unvollständige Informationen. Andere Ansätze der Synthese wie Realist Evaluation oder statistische Verfahren zur Bestimmung der aktiven Komponenten komplexer Interventionen werden diskutiert. Allerdings können diese post hoc-analytischen Verfahren kein adäquater Ersatz für eine sorgfältige prospektive Entwicklung und Exploration der komplexen Intervention und der Interdependenzen mit kontextuellen Faktoren sein.

Schlussfolgerung

Komplexe Interventionen machen eine mehrstufige Entwicklung, Benutzung verschiedener Methoden, Berichterstattung über alle Entwicklungsphasen und neue Formen der Synthese notwendig. Die Darstellung der Gesamtevidenz für einzelne komplexe Interventionen kann relevanter und nachvollziehbarer sein, als die Synthese unterschiedlicher komplexer Interventionen mit den üblicherweise angewendeten (meta-analytischen) Verfahren systematische Übersichtsarbeiten.

Summary

Background

Many medical interventions are of a complex nature. They comprise interdependent components differently interacting within various complex settings, e.g., stroke units. Appraising the efficacy, benefit and harm of complex interventions is far more difficult than appraising single interventions like specific drug treatments. Detailed methodological procedures for the development, appraisal and synthesis of complex interventions are increasingly discussed internationally.

Methods

Systematic inventory of methodological guidance for the development and evaluation of complex interventions through searching scientific literature databases and web resources of international institutes. Review of the current state of discussion and suggestions for the development, appraisal and synthesis of complex interventions.

Results

Five methodological guidance papers have been identified. In particular, the UK Medical Research Council's guidance offers a structured introduction to the development and evaluation of complex interventions in health care and medicine. Synthesis of complex interventions using customary methods of systematic reviews is not satisfying. Other approaches to synthesis like realist evaluation as well as statistical procedures exploring the active components of complex interventions have been discussed. However, post hoc analytical procedures could never adequately replace careful prospective development and exploration of complex interventions and interdependencies with contextual factors.

Conclusion

Complex interventions require multi-stage development, use of different methods, reporting on all developing phases and new approaches for synthesis. Presentation of the complete evidence on a specific complex intervention might be more useful than synthesis of a variety of different complex interventions by customarily applied methods of (meta-analytical) systematic review.

Section snippets

Einleitung

Viele medizinische Maßnahmen sind komplexe Interventionen. Sie bestehen aus mehreren Einzelkomponenten, die sich wechselseitig bedingen und ihrerseits in komplexe Kontexte implementiert werden. Beispiele dafür sind Stroke Units, Disease Management Programme oder Projekte zur Verbesserung der Krankenhaushygiene. Ähnliche komplexe Interventionen gibt es in assoziierten Berufs- und Handlungsfeldern. Zum Beispiel Prävention von Sturz und Dekubitus in der Pflege, Ernährungs- und Sportprogramme in

Methodische Leitfäden zur Entwicklung und Evaluation komplexer Interventionen

Im Juni 2011 wurde systematisch nach Methodenpapieren zur Entwicklung und Evaluation komplexer Interventionen recherchiert. Die Datenbanken PubMed, Embase und PsycINFO wurden unter Verwendung von Suchbegriffen wie „complex intervention*“, „multifaceted intervention*“ in Kombination mit „methods“ durchsucht. Die vollständige Recherchestrategie ist auf Anfrage bei den Autoren erhältlich. Die Internetseiten der Campbell Collaboration, der Cochrane Collaboration, des Instituts für Qualität und

Sind nicht alle Interventionen komplex?

Ein Arzneimittel lässt sich als singuläre Intervention definieren. Mit der Zulassung durch die Arzneimittelbehörde sind die Entwicklungs- und Prüfphasen I bis III abgeschlossen, das Arzneimittel liegt somit in standardisierter Form vor. Die Wirksamkeit wird in RCTs durch verblindeten Vergleich mit einem Placebo-Präparat oder Standardmedikament nachgewiesen.

Es folgen kontrollierte Phase IV Studien zur Implementierung der neuen medizinischen Behandlung einschließlich Dokumentation der Sicherheit

Wann sind komplexe Interventionen komplex?

Komplexe Interventionen bestehen aus mehreren interdependenten Komponenten. Ein Beispiel sind strukturierte Behandlungs- und Schulungsprogramme zur Insulintherapie von Patienten mit Diabetes Typ 1 [45]. Auch hier gibt es Arzneimittel-spezifische Faktoren. So hängt die Blutzuckerwirksamkeit von der Pharmakokinetik des Insulinpräparats ab, ob die Insuline variabel zu mischen sind und wann sie wie oft, mit welchem Spritz-Ess-Abstand, in welcher Dosierung verabreicht werden. Andere Einflussfaktoren

Komplexe Endpunkte

Ergebnisvariablen können eher singuläre, kombinierte oder auch komplexe Endpunkte sein.

Ein Beispiel für einen singulären Endpunkt ist die Gesamtmortalität. Ein häufig benutzter kombinierter Endpunkt ist „nicht-tödlicher Herzinfarkt, Schlaganfall oder Tod durch koronare Herzkrankheit“ [47].

Im Gegensatz zum kombinierten Endpunkt ist ein komplexer Endpunkt direkt von anderen Erfolgsparametern abhängig. Ein Beispiel ist der HbA1c-Wert, wenn er zur Wirksamkeitsbewertung von strukturierten

Entwicklung und Evaluation von komplexen Interventionen

Für die Entwicklung und Evaluation von komplexen Interventionen liegen seit 1999 Vorschläge vom britischen Medical Research Council [32], [52] vor. Analog zur Entwicklung eines Arzneimittels wurden klinische Phasen I bis IV definiert (Abb. 2). Die präklinische oder auch theoretische Phase dient zunächst der Identifizierung der bereits vorliegenden Evidenz, der Entwicklung erster Konzepte und der Bildung von Hypothesen über die intendierte Wirksamkeit der komplexen Intervention. Die Phase I

Limitierungen der üblichen Verfahren der Synthese von Evidenz aus komplexen Interventionen

Mit der Zulassung eines Arzneimittels ist dieses in seiner Zusammensetzung standardisiert und lässt sich als definierte singuläre Intervention in klinischen Studien einsetzen. Die klinischen Studien unterscheiden sich dann im Wesentlichen durch Studien-, Patienten- und Kontextfaktoren. Die Intervention selbst ist jedoch weitgehend identisch. Das ursprüngliche primäre Ziel systematischer Übersichtsarbeiten und deren Meta-Analysen ist es, die Evidenz aus den verfügbaren RCTs zu einer

„Further research is needed“

Häufig lautet die Schlussfolgerung einer systematischen Übersichtsarbeit „further research is needed“. Dieser Appell erscheint unlogisch, wenn mehrere Dutzend Studien bereits vorliegen, die sich durch klinische und statistische Heterogenität auszeichnen. Am Beispiel Sturzprävention sei dies illustriert. Sturzprävention für Senioren besteht oft aus Risikoeinschätzung und Angebot Risiko-adaptierter Interventionen. Die häufig als multifaktorielle Interventionen bezeichneten Maßnahmenpakete können

Sind andere Formen der Evidenz-Synthese besser geeignet für komplexe Interventionen?

Naheliegend ist es, sich anstatt der (ausschließlichen) Meta-Analyse explanatorischen Formen der Synthese zuzuwenden. Ein Modell zur rigorosen und strukturierten narrativen Synthese von Daten aus RCTs für die Fälle systematischer Reviews, in denen eine Meta-Analyse nicht möglich oder empfehlenswert ist, wurde kürzlich vorgelegt [69].

In der Pflegewissenschaft und Public Health erfreut sich die Realist Evaluation bzw. der Realist Review seit einigen Jahren großer Beliebtheit [70], [71], [72].

Schlussfolgerung

Die prospektive Entwicklung und Evaluation komplexer Interventionen gemäß der UKMRC Leitlinie sowie die Bereitstellung aller Ergebnisse aus Pilotphasen und Begleitevaluationen kann nicht durch post hoc Ansätze ersetzt werden. Die Zusammenfassung der Forschung zu einer sorgfältig und langwierig entwickelten und erfolgreich evaluierten komplexen Intervention mit detaillierter Beschreibung der theoretischen Grundlagen und Bedingungskomponenten, der Erfolgs-befördernden und hinderlichen Faktoren

Literaturverzeichnis (75)

  • C. Walshe et al.

    ‘District nurses’ role in palliative care provision: a realist review

    Int J Nurs Stud

    (2010)
  • B. Blackwood

    Methodological issues in evaluating complex healthcare interventions

    J Adv Nurs

    (2006)
  • N.C. Campbell et al.

    Designing and evaluating complex interventions to improve health care

    BMJ

    (2007)
  • M. Egan et al.

    Reviewing evidence on complex social interventions: appraising implementation in systematic reviews of the health effects of organisational-level workplace interventions

    J Epidemiol Community Health

    (2009)
  • P. Glasziou et al.

    Taking healthcare interventions from trial to practice

    BMJ

    (2010)
  • R.D. Herbert et al.

    Analysis of quality of interventions in systematic reviews

    BMJ

    (2005)
  • M. Lenz et al.

    Meta-analysis does not allow appraisal of complex interventions in diabetes and hypertension self-management: a methodological review

    Diabetologia

    (2007)
  • H. Pfaff et al.

    Methoden für die organisationsbezogene Versorgungsforschung

    Gesundheitswesen

    (2009)
  • S. Shepperd et al.

    Can we systematically review studies that evaluate complex interventions?

    PLoS Med

    (2009)
  • H. Walach et al.

    Circular instead of hierarchical: methodological principles for the evaluation of complex interventions

    BMC Med Res Methodol

    (2006)
  • G.A. Lancaster et al.

    Trials in primary care: statistical issues in the design, conduct and evaluation of complex interventions

    Stat Methods Med Res

    (2010)
  • D. Ogilvie et al.

    The harvest plot: a method for synthesising evidence about the differential effects of interventions

    BMC Med Res Methodol

    (2008)
  • S. Andrew et al.

    Mixed methods research is an effective method of enquiry for community health research

    Contemp Nurse

    (2006)
  • L.A. Curry et al.

    Qualitative and mixed methods provide unique contributions to outcomes research

    Circulation

    (2009)
  • S. Lewin et al.

    Use of qualitative methods alongside randomised controlled trials of complex healthcare interventions: methodological study

    BMJ

    (2009)
  • C.L. Miller et al.

    Using qualitative methods to distill the active ingredients of a multifaceted intervention

    Psychiatric Services

    (2003)
  • S.I. Miller et al.

    Mixed-methods and evaluation research: trends and issues

    Qual Health Res

    (2006)
  • B.K. Nastasi et al.

    Challenges of evaluating multilevel interventions

    Am J Community Psychol

    (2009)
  • L.A. Palinkas et al.

    Mixed method designs in implementation research

    Adm Policy Ment Health

    (2011)
  • C. Paterson et al.

    Evaluating complex health interventions: a critical analysis of the ’outcomes’ concept

    BMC Complement Altern Med

    (2009)
  • K.E. Schifferdecker et al.

    Using mixed methods research in medical education: basic guidelines for researchers

    Med Educ

    (2009)
  • R. Whitley

    Mixed-methods studies

    J Ment Health

    (2007)
  • H. Yoshikawa et al.

    Mixing qualitative and quantitative research in developmental science: Uses and Methodological Choices

    Dev Psychol

    (2008)
  • K.S. Hunt et al.

    A realist evaluation approach to unpacking the impacts of the sentencing guidelines

    AJE

    (2010)
  • R. Pawson et al.

    Realist review - a new method of systematic review designed for complex policy interventions

    J Health Serv Res Policy

    (2005)
  • R. Emsley et al.

    Mediation and moderation of treatment effects in randomised controlled trials of complex interventions

    Stat Methods Med Res

    (2010)
  • A. Oakley et al.

    Process evaluation in randomised controlled trials of complex interventions

    BMJ

    (2006)
  • Cited by (26)

    • Deliberations of the expert advisory council on innovation fund applications

      2018, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
    • Reorganising a department of psychiatry according to recovery principles: A pilot study with mixed-method design

      2017, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
    • Problem areas and examples of best practice in intersectoral medication treatment - A literature review

      2014, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
    • Palliative care: An example of Comparative Effectiveness Research?

      2012, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
    • Incentivising personal responsibility: Conceptual clarification and evidence

      2012, Zeitschrift fur Evidenz, Fortbildung und Qualitat im Gesundheitswesen
    View all citing articles on Scopus
    View full text