Balancing statistical and clinical significance in evaluating treatment effects / Postgraduate Medical Journal

p Value-ARR or p value-NNT plots

de nulhypothese is dat het ARR voor de nieuwe behandeling kleiner is dan x. p-waarden worden berekend voor een bereik van waarden van x. Deze p-waarden worden uitgezet op de y-as en het ARR op de x-as. Daarom hebben we voor een reeks waarden van ARR de overeenkomstige waarschijnlijkheid dat de klinische proefwaarnemingen bij toeval zouden zijn ontstaan als het werkelijke ARR lager was dan de gegeven waarden. De berekeningsmethode is opgenomen in de bijlage (zie blz. 203).

voorbeeld 1-STUDIES met dezelfde behandelingseffecten maar met verschillende STEEKPROEFGROOTTEN

Ik zal deze grafiek illustreren door de resultaten van drie fictieve studies te vergelijken met hetzelfde verwachte relatieve risico, ARR en NNT. De steekproefgrootte is echter verschillend en de mate van statistische significantie is ook verschillend. In het eerste onderzoek is p>0,05 en niet statistisch significant, terwijl in het tweede en derde onderzoek p<0,05 statistisch significant is.

studie 1

behandelingsgroep: 50 proefpersonen; 49 overleefden, één stierf.

controlegroep: 50 proefpersonen; 45 overleefden, vijf stierven.

ARR = 0,08 (95% BI -0,012 tot 0,172)

NNT = 12,5 (95% BI en )

Studie 2

behandelingsgroep: 250 proefpersonen; 245 overleefden, vijf overleden.

controlegroep: 250 proefpersonen; 225 overleefden, 25 stierven.

ARR = 0,08 (95% BI 0,039 tot 0,121)

NNT = 12,5 (95% BI 8,3 tot 25,7)

studie 3

behandelingsgroep: 1250 proefpersonen; 1225 overleefden, 25 overleden.

controlegroep: 1250 proefpersonen; 1125 overleefden, 125 stierven.

ARR = 0.(95% BI 0,062 tot 0,100)

NNT = 12,5 (95% BI 10,2 tot 16,2)

de berekeningen voor ARR en NNT zijn gedetailleerd in bijlage . Aangezien de verwachte waarde voor ARR 0,08 is, zijn de p-waarden met de nulhypothese dat de reële absolute risicoreductie minder is dan 0,8 0,5 voor elk van de drie studies (zie pijl in de figuur). Dat wil zeggen, de werkelijke ARR waarden zijn zo gelijk waarschijnlijk meer dan 0,08 als onder 0,08. De p-waarden met de nulhypothese dat de behandeling en controles even effectief zijn (dat wil zeggen, ARR = 0) zijn minder dan 0.05 voor studies 2 en 3 (Zie snijpunt van de krommen met de verticale as). Dit is consistent met de 95% BI zonder nul. Figuur 1A laat echter ook zien dat in studie 1 de corresponderende p-waarde groter is dan 0,05 (zie intercept met de verticale as). Dit is consistent met de 95% BI inclusief nul.

iv xmlns: xhtml= “http://www.w3.org/1999/xhtml figuur 1

Plots voor (A) P waarde-ARR en (B) P waarde-NNT.

stel dat een arts de behandeling alleen de moeite waard acht als de ARR groter is dan 0,05. Gebruikmakend van de traditionele 95% BI voor ARR, wordt geconcludeerd dat de 95% BI voor ARR 0,05 bevat voor beide onderzoeken 1 en 2. In Studie 2 varieerde de 95% BI voor ARR van 0,04 tot 0,121. ARR van 0,05 ligt dicht bij de lagere CI, maar het is onduidelijk hoe waarschijnlijk het is dat de werkelijke ARR hoger is dan 0,05. Moet de arts doorgaan met de behandeling met de resultaten van onderzoek 2?

uit figuur 1A kan echter worden afgeleid dat de waarschijnlijkheid dat de onderzoekswaarnemingen bij toeval zouden zijn ontstaan met de nulhypothese dat het reële ARR kleiner is dan 0,05, 0,26, 0,08 en 0 is.000 voor respectievelijk het eerste tot en met het derde onderzoek (zie kruispunten tussen de drie krommen en de verticale stippellijn, respectievelijk aangeduid met A, B en C). Hoewel p = 0,05 het niveau is dat gewoonlijk wordt gebruikt als drempelwaarde in statistische tests die worden gebruikt om te beslissen of een behandeling effectiever is dan placebo, is deze drempel mogelijk niet van toepassing op het testen van de waarschijnlijkheid dat de ARR lager is dan een vooraf bepaalde klinische significantie. In feite zouden de meeste artsen een veel hogere drempel gebruiken—misschien wel 0,2 (een op de vijf kans dat de resultaten bij toeval zijn ontstaan). Bijvoorbeeld, in Studie 2 betekent het niveau p = 0,08 dat de kans dat de waarnemingen bij toeval zijn ontstaan als ARR <0,05 slechts 0,08 is. Vandaar, is het veel waarschijnlijker dan niet dat het vereiste niveau van klinische significantie wordt bereikt. Dit is een goed argument om de behandeling te gebruiken. De p-waarde-Arr-grafiek geeft een p-waarde voor elk klinisch significantieniveau dat geschikt is voor de specifieke clinici.

evenzo kunnen p-waarden met hun 95% BI worden berekend en uitgezet voor verschillende NNT-waarden, met behulp van de relatie NNT = 1/ARR. Dit is te zien in fig. 1B. De equivalentie van ARR <0,05 is NNT >20. Figuur 1B kan worden geïnterpreteerd op een vergelijkbare manier die vergelijkbare conclusies die uit fig 1A.

VOORBEELD 2—STUDIES MET VERSCHILLENDE MATEN VAN de BEHANDELING EFFECT EN SAMPLE GROOTTES

De voordelen van de p-waarde-ARR-of p-waarde-NNT percelen over CI beter kan worden weergegeven met twee studies: één met een lagere statistische maar een hogere klinische betekenis (studie 2), en één met een hogere statistische maar een lagere klinische betekenis (studie 4 hieronder).

Studie 2

behandelingsgroep: 250 patiënten; 245 overleefden, vijf stierven.

controlegroep: 250 patiënten; 225 overleefden, 25 overleden.

ARR = 0,08 (95% BI 0,04 tot 0,121)

NNT = 12,5 (95% BI 8,3 tot 25,7)

studie 4

behandelingsgroep: 2500 patiënten; 2400 overleefden, 100 overleden

controlegroep: 2500 patiënten; 2250 overleefden, 250 overleden.

ARR = 0,06 (95% BI 0,05 tot 0,075)

NNT = 16,7 (95% BI 13,5 tot 21,8)

ten eerste, stel dat de clinicus besluit dat een klinische significantie van ARR >0.056 (dat wil zeggen NNT <18) is vereist en dat verschillende behandelingen worden onderzocht in studies 2 en 4. Voor beide onderzoeken ligt de NNT-waarde van 18 binnen de 95% – BI. Het is niet duidelijk welke van de behandelingen de arts moet gebruiken. Wat als de arts besluit dat het klinische significantieniveau ARR >0,048 is (dat wil zeggen, NNT <21)? Nogmaals, deze NNT-waarde is binnen de CI van beide studies.

figuur 2A toont de p-waarde-ARR-grafiek en 2B toont de p-waarde-NNT-grafiek van studies 2 en 4. Uit zowel fig 2A als 2B blijkt duidelijk dat bij ARR >0,056 (dat wil zeggen NNT <18) de p-waarde van onderzoek 4 veel groter is dan onderzoek 2, terwijl het omgekeerde het geval is op het niveau van ARR >0,048 (dat wil zeggen NNT <21). Op basis van deze grafiek kan de arts de behandeling in studie 4 kiezen als de vereiste klinische significantie NNT <21 is, maar kies de behandeling in Studie 2 als de vereiste klinische significantie NNT <18 is.

Figuur 2

Plots voor a) p-waarde-ARR en B) P-waarde-NNT.

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.