Sensitivity, Specificity, Receiver-Operating Characteristic (ROC) Curves and Likelihood Ratios for Electronic Foetal Heart Rate Monitoring using New Evaluation Techniques

 

 Buy Article Permissions and Reprints

Abstract

Objective: Hypoxia and acidosis adversely influence many foetal organ functions. We wanted to know how foetal heart rate (FHR) patterns are mirrored by the fetal acid-base status and if they could serve for predicting the actual pH in umbilical artery (UA) blood. For this purpose we condensed the FHR phenomena into one figure which was to be used as a testing variable and to analyse the performance of the new testing procedure.

Methods: The direct FHR signals of 475 foetuses were stored in a computer and analysed offline (MATLAB). All foetuses were delivered by the vaginal route thus without a significant loss of signals. The last 30 min of each recording were used. Acid-base variables and blood gases were determined in cord blood (UA and UV) using RADIOMETER equipments. Three variables of the foetal heart rate (FHR) were computed for each minute: oscillation amplitude [oza (bpm)], microfluctuation [ozm (N/min)] and mean frequency [fhm (bpm)]. These variables were combined to a new index, which we call the WAS index: WAS(t)=fhm(t) × ozf(t)/oza(t)
Using optimisation programmes this index was tailored to actual pH, UA leading to the novel, adapted index: WAS(t)=[fhm(t) × g fhm ] × [ozf(t) × g ozf ] × [oza(t) × goza ]−¹ ,where g fhm, g ozfand g oza denote three mathematical functions comparable to boundaries in discontinuous scoring-procedures, e. g., the APGAR score. The mean of the WAS index for the last 30 min of delivery is called the WAS score and is used as a discriminator in the testing procedure. WAS score and measured pHUA-values were submitted to correlation and linear regression analysis. Sensitivity, specificity, likelihood ratios, and post-test probabilities were computed including their 95% confidence intervals (CI). A ROC analysis was performed by applying different thresholds for pHUA.

Results: pH and WAS score are normally distributed in this sample. The correlation coefficient (r) for pHUA and the WAS score amounts to 0.657, P<<10⁻⁴. Using ROC plots the area under the curve (AUC) is steadily increased with decreasing pHUA reaching 1.0 for pH 7.0 indicating excellent test accuracy. The AUC for pHUA=7.100 is already 0.963±0.066, 95% CI (0.942–0.978), P<0.001. The positive likelihood ratios (+LR) far exceed 10.0 when lowering the threshold for pHUA. Aiming at a sensitivity of 100% the discriminatory power of the test becomes clinically an optimum when using a discriminator of 1.816 and a threshold pH of 7.122: Sensitivity=100%, specificity=89.3%, FNR=0%, FPR(%)=10.7% and AUC=0.958±0.049, 95% CI (0.936–0.974), P<0.001.

Conclusions: Computer-aided evaluation of FHR patterns leads to a novel index (WAS score) which predicts foetal acidaemia with a high level of accuracy. Therefore online WAS scoring is proposed as an ancillary test procedure for future evaluation of FHR patterns. The conventional EFM remains untouched.

Zusammenfassung

Hintergrund: Hypoxie und Azidose können viele Organfunktionen des Feten negativ beeinflussen. Wir haben untersucht, wie Herz-frequenz (FHF)-muster des Feten mit seinem Säure-Basen Status im Nabelarterien(NA)blut zusammenhängen und inwieweit diese Muster den aktuellen pHNA vorhersagen können. Zu diesem Zweck wurden die FHF-Muster in nur einer Zahl, dem WAS-Index zusammengefasst und dann die Vorhersagekraft dieser Maßzahl in Hinblick auf den pHNA analysiert.

Methodik: Das R-Zackensignal des F-EKG von 475 Feten wurde elektronisch gespeichert und offline mit eigenen Programmen (MATLAB) bearbeitet. Alle Kinder kamen vaginal, also ohne nennenswerten Signalverlust zur Welt. Von unterschiedlich langen Aufzeichnungen wurden jeweils nur die letzten 30 min verwendet. Die aktuellen Blutgase und die Parameter des Säure-Basen Haushaltes wurden im NA-Blut mit Geräten der Firma RADIOMETER (Kopenhagen) bestimmt. Pro Minute wurden drei Größen der FHF berechnet: die Oszillationsamplitude [oza, (SpM)], die Oszillationsfrequenz [ozf (N/Min)], hier Mikrofluktuation genannt und die mittlere Frequenz [fhm (SpM)]. Diese drei Größen wurden in einer neuen Maßzahl, dem WAS-Index zusammengeführt und mit einem Optimierungsprogram für die Vorhersage des pHNA adaptiert: WAS(t)=[fhm(t) × gfhm] × [ozf(t) × gozf] × [oza(t) × goza]⁻¹. gfhm usw. kennzeichnet die drei berechneten Gewichtungsfunktionen. Den Mittelwert für die letzten 30 WAS-indices nannten wir WAS-score; er diente als Diskriminator des Testverfahrens. WAS-Score und pHNA-Wert wurden miteinander korreliert (r) und die Testgrößen Sensitivität, Spezifität, Likelihood Quotienten (±LQ) sowie die post-test Wahrscheinlichkeiten jeweils mit ihren 95% Konfidenzintervallen berechnet. Für drei verschiedene Grenz-pHNA-Werte wurden ROC-Analysen durchgeführt.

Ergebnisse: pHNA und WAS-Score waren normal verteilt. Der Korrelationskoeffizient r betrug: 0,657, P<<10⁻⁴. Mit sinkendem pHNA nimmt die Fläche unter der Kurve (AUC) im ROC-plot stetig zu und erreicht bei einem pHNA von 7,0 den Wert 1,0, was auf eine sehr gute Testgenauigkeit hinweist. Für den pHNA=7,10 beträgt die AUC bereits 0,963±0,066, 95% CI (0,942–0,978), P<0,001. Mit sinkendem pHNA übersteigt der +LQ den Wert 10,0 sehr deutlich. Fasst man sinnvollerweise eine Sensitivität von 100% ins Auge so wird bei einem WAS-Score von 1,816 und dem pHNA-Wert 7,122 ein statistisches Optimum erreicht nämlich eine Spezifität von 89,3% und eine FPR von nur noch 10,7%; die AUC beträgt dann 0,958±0,049, 95% CI (0,936–0,974), P<0,001.

Schlussfolgerung: Die computer-gestützte Analyse FHF-Muster mit dem WAS-Score ermöglicht eine erstaunlich genaue Vorhersage des pHNA. Die online Bestimmung des WAS-Score sollte daher zukünftig als Hilfsmethode in Betracht gezogen werden. Das herkömmliche CTG bleibt davon völlig unberührt.

References

• 1 ACOG practice bulletin No 70 Intrapartum fetal heart rate monitoring.  Obstet Gynecol. 2005;  106 1453-1461
  CrossrefPubMedGoogle Scholar
• 2 Altman DG, Bland JM. Diagostic tests: predictive values.  BMJ. 1994;  309 102
  PubMedGoogle Scholar
• 3 American College of Obstetricians and Gynecologists. . Committee Opinion No 258 Fetal pulse oximetry.  Obstet Gynecol. 2001;  98 523-524
  CrossrefPubMedGoogle Scholar
• 4 Amer-Wahlin I, Hellsten C, Noren H. et al . Cardiotocography only versus cardiotocography plus ST segment analysis of fetal electrocardiogram for intrapartum fetal monitoring: A Swedish randomized controlled trial.  Lancet. 2001;  358 534-538
  CrossrefPubMedGoogle Scholar
• 5 Andres RL, Saade G, Gilstrap LC. et al . Association between umbilical blood gas parameters and neonatal morbidity and death with pathologic fetal academia.  Am J Obstet Gynecol. 1999;  181 867-871
  CrossrefPubMedGoogle Scholar
• 6 Boehm FH. Intrapartum fetal heart rate monitoring.  Obstet Gynecol Clin North Amer. 1999;  26 623-639
  PubMedGoogle Scholar
• 7 Chien PFW, Khan KS. Evaluation of clinical test. II: Assesment of validity.  Br J Obstet Gynaecol. 2001;  108 568-572
  CrossrefPubMedGoogle Scholar
• 8 Costa A, Ayres-de-Campos D, Costa F. et al . Prediction of acidemia by computer analysis of fetal heart rate and ST event signals.  Am J Obstet Gynecol. 2009;  201 464e1-466
  PubMedGoogle Scholar
• 9 Dawes GS, Rosevear SK, Pello LC. et al . Computerized analysis of episodic changes in fetal heart rate variation in early labor.  Am J Obstet Gynecol. 1991;  165 618-624
  PubMedGoogle Scholar
• 10 Dawes J, Meir YJ, Mandruzzato GP. Computerized evaluation of fetal heart-rate patterns.  J Perinat Med. 1994;  22 491-499
  CrossrefPubMedGoogle Scholar
• 11 Deeks JJ, Morris JM. Evaluating diagnostic tests.  Bailliere's Clin Obstet Gynecol. 1996;  10 613-630
  PubMedGoogle Scholar
• 12 Dellinger EH, Boehm FH, Crane MM. Electronic fetal heart rate monitoring: Early neonatal outcomes associated with normal rate, fetal stress, and fetal distress.  Am J Obstet Gynecol. 2000;  182 214-220
  CrossrefPubMedGoogle Scholar
• 13 Fagan TJ. Nomogram for Bayes’ theorem (letter).  N Engl J Med. 1975;  293 257
  PubMedGoogle Scholar
• 14 Freeman R. Intrapartum fetal monitoring – a disappointing story, (Letter to the editor).  N Engl J Med. 1990;  322 624-626
  CrossrefPubMedGoogle Scholar
• 15 Gallagher EJ. Clinical utility of likelihood ratios.  Ann Emerg Med March. 1998;  31 391-397
  PubMedGoogle Scholar
• 16 Garite TJ, Dildy GA, McNamara H. et al . A multicenter controlled trial of fetal pulse oximetry in the intrapartum management of nonreassuring fetal heart rate patterns.  Am J Obstet Gynecol. 2000;  183 1049-1058
  CrossrefPubMedGoogle Scholar
• 17 Gilstrap LC, Leveno KJ, Burris J. et al . Diagnosis of birth asphyxia on the basis of fetal pH, APGAR-score and newborn cerebral dysfunction.  Am J Obstet Gynecol. 1989;  161 825-830
  CrossrefPubMedGoogle Scholar
• 18 Goldaber KG, Gilstrap LC, Leveno KJ. et al . Pathologic academia.  Obstet Gynecol. 1991;  78 1103-1106
  PubMedGoogle Scholar
• 19 Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve.  Radiology. 1982;  143 29-36
  CrossrefPubMedGoogle Scholar
• 20 Macones GA, Hankins GDV, Spong CY. et al . The 2008 National Institute of Child Health and Human Development Workshop Report on electronic fetal monitoring.  Obstet Gynecol. 2008;  112 661-666
  CrossrefPubMedGoogle Scholar
• 21 Metz CE. Basic principles of ROC analysis.  Sem Nuc Med. 1978;  8 283-298
  CrossrefPubMedGoogle Scholar
• 22 National Institute of Child Health and Human Development Research Planning Workshop. . Electronic fetal heart rate monitoring: Research guidelines for interpretation.  Am J Obstet Gynecol. 1997;  177 1385-1390
  CrossrefPubMedGoogle Scholar
• 23 Parer JT, King T, Flanders S. et al . Fetal acidemia and electronic fetal heart rate patterns: Is there evidence of an association?.  J Maternal Fetal Neonatal Med. 2006;  19 289-294
  PubMedGoogle Scholar
• 24 Roemer VM. Messgrößen in der Perinatalmedizin – der Basenexcess.  Z Geburtsh Neonatol. 2005;  209 81-89
  Article in Thieme ConnectPubMedGoogle Scholar
• 25 Roemer VM. Outcome measures in perinatal medicine – pO₂ and sO₂ with remarks concerning fetal pulsoxymetry.  Z Geburtsh Neonatol. 2005;  209 173-185
  Article in Thieme ConnectPubMedGoogle Scholar
• 26 Roemer VM. Über Sinn und Unsinn der pH-metrie im Nabelschnurblut.  Frauenarzt, Seminar des Frauenarztes. 1998;  39 775-781
  PubMedGoogle Scholar
• 27 Roemer VM. The influence of maternal respiration and muscular stress on fetal acid-base balance during delivery – an attempt at quantification.  Geburtsh Frauenheilk. 2007;  67 982-992
  Article in Thieme ConnectPubMedGoogle Scholar
• 28 Roemer VM, Beyer B. Outcome measures in perinatal medicine – pH or BE. The thresholds of these parameters in term infants.  Z Geburtsh Neonatol. 2008;  12 136-146
  Article in Thieme ConnectPubMedGoogle Scholar
• 29 Roemer VM. How to determine and use base excess (BE) in perinatal medicine.  Z Geburtsh Neonatol. 2007;  211 1-6
  Article in Thieme ConnectPubMedGoogle Scholar
• 30 Roemer VM, Walden R. CTG-Pathologie: Ist eine kontinuierliche elektronische Diagnostik sub partu möglich?.  Gyn, praktische Gynäkologie. 2010;  15 130-138
  PubMedGoogle Scholar
• 31 Roemer VM, Walden R. A new approach to quantitative electronic foetal heart-rate analysis.  Z Geburtsh Neonatol. 2010;  214 1-10
  Article in Thieme ConnectPubMedGoogle Scholar
• 32 Roemer VM, Walden R. Quantitative Cardiotocography – what does it look like and what can we expect.  Z Geburtsh Neonatol. 2006;  210 77-91
  Article in Thieme ConnectPubMedGoogle Scholar
• 33 Roemer VM, Walden R. Neues Reparaturprogramm für FHF-Kurven.  Frauenarzt. 2007;  48 982-989
  PubMedGoogle Scholar
• 34 Simel DL, Samsa GP, Matchar DB. Likelihood ratios with confidence: sample size estimation for diagnostic test studies.  J Clin Epidemiol. 1991;  44 763-770
  CrossrefPubMedGoogle Scholar
• 35 Thacker SB, Stroup D, Chang M. Continuous electronic heart rate monitoring for fetal assessment during labor (Cochrane Review). In: The Cochrane Library, Issue 2, 2001.. Oxford: Update software;
  Google Scholar
• 36 Wald N, Cuckle H. Reporting the assessment of screening and diagnostic test.  Brit J Obstet Gynaecol. 1989;  96 389-396
  CrossrefPubMedGoogle Scholar
• 37 Walden R, Roemer VM. Methoden der rechnergestützten CTG-Analyse, In: Angewandte mathematische Modellierung und Optimierung (AMMO) an der Fachhochschule Bielefeld. 2009: S25-S26
  PubMed
• 38 Westgate J, Harris M, Curnow JSC. et al . Plymouth randomized trial of cardiotocogram only versus ST waveform plus cardiotocogram for intrapartum monitoring in 2400 cases.  Am J Obstet Gynecol. 1993;  169 1151-1160
  CrossrefPubMedGoogle Scholar
• 39 Westgate JA, Wibbens B, Bennet L. et al . The intrapartum deceleration in center stage: a physiologic approach to the interpretation of fetal heart rate changes in labor.  Am J Obstet Gynecol. 2007;  197 236
  PubMedGoogle Scholar
• 40 Williams KP, Galerneau F. Intrapartum fetal heart rate patterns in the prediction of neonatal academia.  Am J Obstet Gynecol. 2003;  188 820-823
  CrossrefPubMedGoogle Scholar
• 41 http://www. acomed-Statistic.de
• 42 http://www.mathworks.com
• 43 Zweig MH, Cambell G. Receiver-operating characteristic (ROC) plots: A fundamental evaluation tool in clinical medicine.  Clin Chem. 1993;  39 561-577
  PubMedGoogle Scholar

Correspondence

Prof. Dr. med. V. M. Roemer

Institut für feto-maternale

Medizin

Benekestraße 2

32756 Detmold

Germany

Email: vmr.dr@t-online.de