CCT - ADAM

Report
Jak zjeść tę żabę?
czyli jak wybrać optymalną metodę
analizy statystycznej
w zależności od danych, jakie posiadasz?
Mateusz Nikodem, Kamil Siedmiogrodzki
CASPolska, Instytut Arcana, Kraków
VIII Konferencja PTFE, Warszawa 02.12.2010
Plan warsztatów - część I
Jak dobrze wybierać metody statystyczne?
•
•
•
•
Dlaczego to jest ważny i niełatwy problem?
Jaki mamy wachlarz możliwości?
Jak oceniamy wiarygodność i precyzję metod
statystycznych?
Jakie są główne wnioski: wskazówki i przestrogi?
Plan warsztatów - część II
Przykładowe analizy
•
•
•
Porównanie bezpośrednie - rzadkie zdarzenia
Porównanie pośrednie
Porównanie bezpośrednie - włączenie dodatkowych
badań
Plan warsztatów - część III
Podsumowania
•
•
Quiz
Dyskusja
Global e-Learning Tool with Advanced
Computing Software
11.2009-10.2011
Główne cele
Budowa platformy e-learningowej zawierającej:



materiały o przeprowadzaniu meta-analiz badań
bezpośrednich i analizy pośredniej z uwzględnieniem
metod Bayesowskich (również pod kątem
włączania badań innych niż RCT),
praktyczne przykłady,
przyjazne oprogramowanie obliczeniowe.
Opracowanie schematu wyboru optymalnej
metody statystycznej do analizy danych.
Publikacja artykułów z zakresu badań
prowadzonych w projekcie.
Rozpowszechnianie zdobytej wiedzy.
Partnerzy Projektu
CASPolska – Polska (koordynator)
Queen Mary University of London – Wielka Brytania
Academic Medical Center Amsterdam – Holandia
EMMERCE EEIG – Szwecja
Grupy docelowe
Projekt skierowany jest głównie do
Analityków znających podstawy EBM, m.in.:
 Analityków danych medycznych,
 Specjalistów Farmakoekonomii,
 Naukowców / badaczy,
 Lekarzy.
Rezultaty - już uzyskane
strona internetowa www.ebayesmet.org
Rezultaty - już uzyskane
strona internetowa www.ebayesmet.org
Rezultaty - już uzyskane
Strona internetowa www.ebayesmet.org
Przegląd metod statystycznych mogących mieć
zastosowanie w meta-analizach,
Przegląd metod statystycznych stosowanych w
raportach HTA,
Analiza wiarygodności i precyzji zidentyfikowanych
metod statystycznych.
Rezultaty - w trakcie realizacji
Platforma e-learningowa,
Schemat wyboru optymalnej metody
(samouczek),
Proste w obsłudze oprogramowanie
obliczeniowe,
Artykuły naukowe.
/Zakończenie Projektu: 10.2011/
Dlaczego jest ważny problem?
W oparciu o wyniki meta-analiz:
• weryfikowane są hipotezy dot. skuteczności /
bezpieczeństwa,
• obliczane są dalsze parametry kliniczne (jak NNT),
wpływające również na wyniki analizy
ekonomicznej,
• poszerzamy stan naszej wiedzy.
Identyfikacja potrzeb
Potrzeba prowadzenia meta-analiz jest niepodważalna.
• Jest wiele narzędzi statystycznych, dających różne
wyniki dla tych samych danych.
• Najpopularniejsze metody nie zawsze dają
satysfakcjonujące i wiarygodne wyniki.
• Wiedza o niektórych metodach jest niewystarczająca.
• Dużym problemem jest agregacja różnego typu
danych np.:
• łączenie analizy pośredniej i bezpośredniej,
• łączenie wyników badań RCT z CCT.
Cele - czego chcemy nauczyć?
Kroki niezbędne do przeprowadzenia właściwej
analizy (z punktu widzenia obliczeń statystycznych):
• sklasyfikowanie posiadanych danych,
• określenie pełnej palety metod statystycznych
możliwych do użycia dla naszych danych,
• wybór najbardziej właściwej metody ze
względu na wszystkie istotne czynniki,
•
poprawne przeprowadzenie obliczeń i
wyciągnięcie wniosków.
Założenia - na czym się skupiamy
•
•
•
•
•
Badania na dwóch grupach pacjentów
Dane dychotomiczne (0-1)
Parametr: iloraz szans - OR, ryzyko względne - RR
Analiza bezpośrednia
Analiza pośrednia i mieszana
Jakie są dostępne metody statystyczne?
Przeprowadzono przeglądy systematyczne:
•
Systematic review of statistical methods of metaanalysis and indirect comparison potentially available
to use in systematic reviews
•
•
główne wyszukiwania w:
•
MEDLINE
•
MathSciNet
Systematic review of methods for meta-analysis and
indirect comparison used in systematic reviews and
HTA reports
•
wyszukiwanie przez Centre of Reviews and Dissemination
(CRD) - bazy DARE (m.in. przeglądy Cochrane) i HTA - losowa próba przeglądów
Jakie są dostępne metody statystyczne?
Porównania
bezpośrednie
Model
Random effects
Model
Fixed effect
Inverse
Variance
Mantel Haenszel
Peto
Metody
Bayesowskie
DerSimonian
- Laird
Generalised
Linear Mixed
Models
Jakie są dostępne metody statystyczne?
Analiza
pośrednia/mieszana
Metody
analityczne
Podejście
Bayesowskie
Generalised
linear mixed
models
Bűcher
Metoda
Najmniejszych
Kwadratów
Mixed
Treatment
Comparison
Lumley’s
network
analysis
Co jest powszechnie stosowane?
Rodzaj analizy
bezpośrednia
%
97%
pośrednia / mieszana
3%
Typy badań w analizie
tylko RCT
%
87%
RCT / Obserwacyjne
6%
RCT/CCT
5%
Obserwacyjne
3%
Model meta-analizy
random effects
%
27%
fixed effect
21%
oba modele
52%
Co jest powszechnie stosowane?
Bezpośrednie Fixed Effect
Mantel-Haenszel
Peto
Inverse Variance
fixed Bayesian model
nieokreślone / inne
%
49%
11%
3%
2%
35%
Bezpośrednie Random Effect
%
DerSimonian Laird
82%
random Bayesian model
4%
nieokreślone / inne
14%
Analizy pośrednie
%
Mixed Treatment Comparison
53%
indirect_adjusted / Bűcher
13%
inne Baeysowskie
21%
inne
13%
Jak oceniać metody statystyczne?
Idea M. Bradburna, J. Deeksa i współautorów [1]
1. Ustalenie liczby badań i liczności grup pacjentów.
2. Ustalenie wartości prawdopodobieństw wystąpienia
punktów końcowych (a więc i ustalenie wartości OR).
3. Losowe wygenerowanie dużej liczby (np. 1000) wyników
zbiorów badań odpowiadających ustalonym
prawdopodobieństwom.
4. Przeprowadzenie metaanalizy poszczególnymi metodami
dla każdego (z 1000) wyniku zbioru badań.
5. Przyrównanie wyników z prawdziwą wartością OR.
Jak ocenić wiarygodność metody statystycznej?
Jakie zbiory danych braliśmy pod uwagę?
1. Porównania bezpośrednie
Liczba Łączna liczność
Łączna liczność w
badań w grupach
grupach
interwencyjnych kontrolnych
Typ
Badania Badania
badań homoge- heterogeniczne
niczne
18
4019
3706
RCT
+
5
529
520
RCT
+
17
1941
5126
RCT
+
4
149
150
RCT
+
18
47433
100926
CCT
+
+
+
Łącznie 124 kombinacje wartości prawdopodobieństw i zbiorów danych
dla porównań bezpośrednich.
Jak ocenić wiarygodność metody statystycznej?
Jakie zbiory danych braliśmy pod uwagę?
2. Porównania pośrednie:
na każdej bezpośredniej gałęzi po 3 badania, w każdym z
nich od 50 do 150 pacjentów w obu grupach
Łącznie 80 kombinacji wartości prawdopodobieństw dla porównań
pośrednich
Jakie metody statystyczne poddaliśmy analizie?
Metody porównań bezpośrednich
Metody porównań pośrednich
Mantel-Haenszel
Bűcher
Inverse Variance
Mixed Treatment Comparison
DerSimonian-Laird
Generalized Linear Mixed Model
Peto
Bayes I *
Bayes II *
Bayes Random *
Bayes +CCT *
* omówione w dalszej części
Parametry oceny
•
Błąd systematyczny, obciążenie (bias)
Różnica względna między prawdziwą wartością OR, a
średnią z wartości otrzymanych w próbie losowej.
•
Pokrycie przedziałem ufności
Procent symulacji dla których przedział ufności zawiera
prawdziwy OR.
•
Istotność statystyczna
Procent symulacji dla których otrzymujemy wynik istotny
statystycznie we właściwym kierunku.
Główne cele meta-analiz
•
Oszacowanie (możliwie dokładne)
wartości szukanego parametru:
szacowany iloraz szans wynosi 1.67, przy 95% zakresie
niepewności (przedziale ufności) (1.02;2.75)
•
Weryfikacja hipotezy:
hipoteza: lek A jest równie bezpieczny/skuteczny
jak lek B (na ustalonym, zwykle 95%, poziomie
ufności).
Parametry oceny - co jest najważniejsze?
•
•
•
Błąd Systematyczny, oznacza regularną rozbieżność
między estymowanym wynikiem a prawdziwą wartością.
Pokrycie Przedziałem Ufności (PPU), im niższe tym
mniejsza szansa, że 95% przedział ufności faktycznie
zawiera prawdziwą wartość OR. Może być związane z
szerokością przedziału jak i z błędem systematycznym
Moc Statystyczna - im większa, tym większa szansa
uzyskania istotnego wyniku. Wysoka istotność często jest
związana z wąskimi przedziałami ufności, a więc i niskim
PPU
O istotności statystycznej..
grupa z interwencją
grupa kontrolna
Badanie
n
N-n
N
n
N-n
N
I
28
32
60
33
27
60
II
5
15
20
13
7
20
razem
33
47
80
46
34
80
Meta-analiza
Inverse Variance
OR = 0.531 (0.281;1.002)
Mantel-Haenszel
OR = 0.525 (0.281;0,978)
IS !
O istotności statystycznej.. ;)
Badanie
Orły
Reszki
N
Orły
Reszki
N
I
28
32
60
33
27
60
II
5
15
20
13
7
20
razem
33
47
60
46
34
80
Meta-analiza
Inverse Variance
OR = 0.531 (0.281;1.002)
Mantel-Haenszel
OR = 0.525 (0.281;0,978)
IS !
Klasyfikacja danych
Przyjmujemy umowne określenia:
Duży zbiór danych: łącznie powyżej 1000
pacjentów w każdej z grup,
Średni zbiór danych: łącznie powyżej 300
pacjentów w każdej z grup,
Mały zbiór danych: łącznie mniej niż 300 pacjentów
w każdej z grup,
Zbalansowany zbiór danych: łączne liczności
pacjentów w obu grupach są zbliżone do siebie.
Klasyfikacja danych
Zdarzenia rzadkie: zdarzenia występujące u mniej
niż u 5% pacjentów w przynajmniej jednej z
grup.
Uwaga! W związku z symetrią parametru OR tak samo
klasyfikujemy przypadki, gdy zdarzenia występują u 95%
lub więcej pacjentów.
Istotna różnica w częstościach zdarzeń:
(nieformalnie) OR > 2.5 (lub OR < 0.4)
Główne wnioski z naszej analizy
Duży, zbalansowany zbiór danych
Metoda
Uwagi
Bayes II
√
Metoda spełnia najwyższe kryteria
wiarygodności i precyzji mierzone wg
wszystkich parametrów
Inverse Variance
√
DerSimonian - Laird
√
Bayes I
√
Metody spełniają wysokie kryteria
wiarygodności i precyzji mierzone wg
wszystkich parametrów
Duży, zbalansowany zbiór danych
Metoda
Uwagi
Mantel Haenszel
!
Ryzyko nieuzasadnionej istotności statystycznej
jeśli RR≈1. Wysoka moc statystyczna osiągana
jest kosztem niższego PPU.
Bayes Random
!
Wysokie PPU okupione niską mocą statystyczną
Peto
Funkcjonuje prawidłowo tylko przy braku istotnej
!!
różnicy częstości zdarzeń w grupach. W
przeciwnym razie wysoce zniekształca wyniki.
Duży zbiór danych, niezbalansowany
Główne wnioski jak w przypadku zbalansowanym, przy czym:
Metoda
Uwagi
Inverse Variance
!
DerSimonian-Laird
!
Bayes I
!
Bayes Random
!
Peto
Wysoki błąd systematyczny dla bardzo
rzadkich zdarzeń
Bardziej niż w zbiorze zbalansowanym
! zniekształca wyniki w przypadku istotnej
różnicy częstości zdarzeń w grupach.
Średni zbiór danych
Główne wnioski jak w przypadku zbalansowanym, przy czym:
Metoda
Uwagi
Inverse
Variance
√
DerSimonianLaird
√
Bayes I
√
Można zauważyć nieco wyraźniej, że D-L w
stosunku do IV oraz Bayes I daje wyższe PPU,
kosztem mniejszej mocy statystycznej.
Duży zbiór danych - heterogeniczność
Metoda
Uwagi
DerSimonian Laird
Z wyjątkiem bardzo rzadkich zdarzeń metoda
spełnia wysokie kryteria wiarygodności i
precyzji mierzone wg wszystkich parametrów
√
Bayes Random √(!)
Bayes II
Najwyższe spośród wszystkich metod PPU
okupione jednakże niską mocą statystyczną,
wysoki błąd systematyczny dla bardzo
rzadkich zdarzeń.
Dla zdarzeń rzadkich spełnione najwyższe
√(!) kryteria wiarygodności i precyzji mierzone wg
wszystkich parametrów.
Duży zbiór danych - heterogeniczność
Metoda
Uwagi
Inverse
Variance
√(!)
Bayes I
√(!)
MantelHaenszel
Peto
Parametry nieznacznie gorsze niż w metodzie
DerSimonian-Laird
!
Wysokie ryzyko nieuzasadnionej istotności
statystycznej jeśli RR≈1. Nieco wyższa moc
statystyczna osiągana jest kosztem wyraźnie
niższego PPU.
!
Funkcjonuje prawidłowo tylko przy braku
istotnej różnicy częstości zdarzeń w grupach.
W przeciwnym razie wysoce zniekształca
wyniki (bardziej niż w przyp. zbalansowanym).
Mały zbiór danych
Metoda
Uwagi
Inverse Variance
√
DerSimonianLaird
√
Bayes I
√
Mantel-Haenszel
Metody spełniają wysokie kryteria
wiarygodności i precyzji mierzone wg
wszystkich parametrów.
Żadna z metod nie daje jednak
satysfakcjonującej mocy statystycznej.
Wysokie ryzyko nieuzasadnionej
istotności statystycznej jeśli RR≈1. Wyższa
√(!)
od innych moc statystyczna osiągana jest
kosztem niższego PPU.
Mały zbiór danych
Metoda
Uwagi
Bayes II
!
Na tle powyższych metod wypada nieco
słabiej
Bayes Random
!
Wysokie PPU okupione bardzo niską mocą
statystyczną
!
Funkcjonuje prawidłowo tylko przy braku
istotnej różnicy częstości zdarzeń w
grupach. W przeciwnym razie wysoce
zniekształca wyniki (bardziej niż w przyp.
zbalansowanym).
Peto
Mały zbiór danych (!)
Metoda
Uwagi
Bayes +CCT
(Sceptical)
√
Metoda dająca wyższe od poprzednich
modeli PPU i bardziej satysfakcjonującą
moc statystyczną
√
Metoda dająca jeszcze wyższe PPU i
jednocześnie bardzo wysoką moc
statystyczną
!
Najwyższa moc statystyczna może być
okupiona znacznie niższym PPU, ryzyko,
że badania CCT zdominują RCT.
Bayes +CCT
(Equivalent)
Bayes +CCT
(Naive)
Wnioski - porównanie pośrednie
Uwzględnienie zarówno bezpośrednich jak i
pośrednich wyników - poprzez użycie Mixed
Treatment Comparison lub Generalized Linear
Mixed Model znacznie podniesie moc
statystyczną, przy zachowaniu zbliżonych
wartości PPU i błędu systematycznego.
Wnioski - podsumowanie
! Metodę Peto można stosować tylko w szczególnych przypadkach3.
! Należy pamiętać, że metoda Mantela-Haenszla jest mało
konserwatywna.
 Metoda Bayes II jest znakomitym rozwiązaniem dla analizy
rzadkich zdarzeń.
 Metoda Bayes Random daje największą pewność w sensie PPU.
 Metody Bayes I i Inverse Variance są metodami uniwersalnymi
dającymi relatywnie dobre wyniki dla wszystkich zbiorów danych.
 Dla małych zbiorów danych warto rozważyć Bayes +CCT w
wersjach sceptic lub equivalent.
 Dla podniesienia mocy statystycznej warto łączyć porównania
bezpośrednie z pośrednimi (np. z użyciem MTC).
Plan warsztatów - część II
Przykładowe analizy:
•
porównania bezpośrednie – „head to head”
Cel: przedstawienie palety dostępnych metod statystycznych
do meta-analiz oraz rozbieżności wyników uzyskanych za ich
pomocą.
•
porównania pośrednie
Cel: zwrócenie uwagi na metody pozwalające łączyć dowody
różnego rodzaju, bezpośrednie i pośrednie.
•
analizy z uwzględnieniem badań obserwacyjnych
Cel: przedstawienie korzyści wynikających z włączenia do PS
badań o niższym poziomie wiarygodności – co dalej gdy RCT nie
wystarczają do udzielenia odpowiedzi na pytania- przykład ze
zdarzeniami rzadkimi.
Skąd pochodzą przykłady?
•
•
•
Porównania bezpośrednie: Etanercept for the treatment of
rheumatoid arthritis. Blumenauer BBTB, Cranney A, Burls A,
Coyle D, Hochberg MC, Tugwell P, Wells GA.
Porównania pośrednie: Gabapentin Versus Tricyclic
Antidepressants for Diabetic Neuropathy and Post-Herpetic
Neuralgia: Discrepancies Between Direct and Indirect MetaAnalyses of Randomized Controlled Trials. Chou R, Carsan S,
Chan B.
Analizy z uwzględnieniem badań obserwacyjnych:
Bisphosphonates and artial fibrillation: Bayesian metaanalyses of randomized controlled trials and observational
studies. Mak A, Cheung M, Chun-Man Ho R, Check A, Lau C.
Jak obliczono wyniki do przykładów?
•
Porównania bezpośrednie:
„Bayes I” – metoda bayesowska stosowana głównie do modeli
typu fixed. W obliczeniach wykorzystuje policzone uprzednio
wspólczynniki OR bądź RR wraz z przedziałami ufności każdego z
osobna badania włączonego do meta-analizy. Bazuje na założeniu o
normalności zlogarytmowanego OR lub RR odpowiednio.
„Bayes II” – metoda bayesowska stosowana głównie do modeli
typu fixed. W obliczeniach wykorzystuje jałowe dane mówiące o
liczbie zdarzeń w obserwowanej grupie. Opiewa na założeniu, iż
liczba zaobserwowanych zdarzeń jest pewną realizacją procesu
Bernouliego.
Jak obliczono wyniki do przykładów?
•
Porównania bezpośrednie:
„Bayes random” (hierarchical) – metoda bayesowska
dedykowana do modeli typu random effects. W obliczeniach
wykorzystuje policzone uprzednio współczynniki OR bądź RR wraz z
przedziałami ufności każdego z osobna badania włączonego do
meta-analizy. Podobnie do metody DerSimonian-Laird zawiera
dodatkowe źródło losowości ale o innym charakterze.
Jak obliczono wyniki do przykładów?
•
Porównania pośrednie:
Mixed Treatment Comparison (MTC) – jedna z
najbardziej uniwersalnych technik przeprowadzania
meta-analiz pozwalająca przeprowadzać analizy
pośrednie oraz analizy mieszane, czyli łączące
porównania pośrednie i bezpośrednie. Metoda ta
również znakomicie nadaje się do analiz o bardziej
rozbudowanej sieci porównań, tzw. Network
comparison.
Generalized Linear Mixed Model (GLMM, Glimmix)
Jak obliczono wyniki do przykładów?
•
Analizy z uwzględnieniem badań obserwacyjnych:
„Beyes equivalent” – metoda bayesowska pozwalająca
włączać wiedzę a’priori z badań obserwacyjnych do
meta-analiz. Głównym założeniem tej metody jest
przekonanie o równowartości wiedzy pochodzącej z
badań RCT i obserwacyjnych. Wiedza z badań RCT nie
dominuje wiedzy z badań obserwacyjnych i odwrotnie.
„Bayes naive”
„Bayes sceptic”
Przykłady – analiza bezpośrednia
Przykład z przeglądu: Etanercept for the treatment
of rheumatoid arthritis.
P – populację stanowią osoby cierpiące migotanie komór
I – interwencją jest leczenie methotrexane
C – grupę kontrolną stanowią pacjenci przyjmujący placebo
O – 70% poprawa wg skali ACR
S – RCT
Przykłady – analiza bezpośrednia.
Do meta –analizy z przeglądu, włączono 3 badania RCT, miarą
skuteczności był RR.
Przykłady – analiza bezpośrednia.
Wyniki meta-analizy różnymi metodami.
Metoda
OR
Lci
Uci
Peto*
2,3162
1,4855
3,6112
Mantel-Heanszel*
2,3953
1,4886
3,8544
Inverse variance*
2,0463
1,2435
3,3676
DerSimonian-Laird*
4,6290
0,9080
23,5989
Bayes 1
2,042
1,239
3,361
Bayes 2
2,269
1,438
3,654
Bayes rnd
4,22
0,739
35,78
•*Wyniki
obliczone za pomocą programu statystycznego R.
Przykłady – analiza pośrednia
Przykład z przeglądu: Gabapentin Versus Tricyclic Antidepressants for
Diabetic Neuropathy and Post-Herpetic Nauralgia: Discrepancies
Between Direct and Indirect Meta-analyses of Randomized Controlled
Trials.
P – populację stanowią osoby cierpiące na ból neuropatyczny
I – interwencją jest leczenie gabapentyną
C – grupę kontrolną stanowią pacjenci przyjmujący antydepresanty
trójcykliczne
O – zmniejszenie bólu
S – RCT
Przykłady – analiza pośrednia
Badania head-to-head: Gabapentin vs Tricyclic antidepresants
Przykłady – analiza pośrednia
Badania head-to-head: Gabapentin vs placebo
Przykłady – analiza pośrednia
Badania head-to-head: Tricyclic antidepresants vs placebo
Przykłady – analiza pośrednia
Problem: mało badań bezpośrednich (tylko jedno nowe)
Rozwiązanie: wzmocnienie dowodów bezpośrednich analizą pośrednią
technika
metoda
RR
Lci
Uci
head-to-head
DerSimonian-Laird
0,99
0,76
1,29
indirect
Bücher
0,41
0,23
0,74
mixed
MTC
0,8542
0,6708
1,086
Przykłady – analiza z uwzględnieniem badań
obserwacyjnych
Przykład z przeglądu: Bisphosphonates and artial fibrillation: Bayesian
meta-analyses of randomized controlled trials and observational
studies.
P – populację stanowią osoby chore na osteoporozę
I – interwencją jest leczenie bisfofoniamani
C – grupę kontrolna stanowi populacja nie zażywająca bisfosfonoanów
O – obserwowany punkt końcowy to migotanie przedsionków
S – RCT, badania obserwacyjne
Przykłady – analiza z uwzględnieniem badań
obserwacyjnych
Do analizy włączono 3 badania RCT oraz 3 badania obserwacyjne. Dla
każdej grupy badań przeprowadzono meta-analizę z następującymi
wynikami:
•dla
badań RCT:
Przykłady – analiza z uwzględnieniem badań
obserwacyjnych
•dla
badań obserwacyjnych:
Wnioski: 1) brak istotności w przypadku meta-analizy badań RCT
2) brak istotności w przypadku meta-analizy badań
obserwacyjnych
Przykłady – analiza z uwzględnieniem badań
obserwacyjnych
Czy da się połączyć wyniki meta-analizy badań RCT z wynikami metaanalizy badań obserwacyjnych? TAK!
Wiedza
a priori
Wyniki badań
RCT
Metoda
OR
Bayes equivalent 1,21
Lci
Uci
1,046
1,4
WinBugs
Jedyne powszechnie dostępne oprogramowanie
pozwalające na analizę metodą Bayesowską.
Zalety:
•
•
jest,
duża liczba obliczeń w relatywnie krótkim czasie.
Wady:
trudny w obsłudze,
•
trzeba umieć tworzyć algorytmy,
•
skomplikowana składnia,
•
często chimerycznie zapisane algorytmy
Jest nadzieja na uproszczenie procedury od tworzenia algorytmu do
wyniku końcowego 
•
WinBugs
Na czym polega włączanie badań CCT?
RCT
grupa z interwencją
grupa kontrolna
Badanie
n
N-n
N
n
N-n
N
I
…
…
100
…
…
100
II
…
…
50
…
…
50
CCT
grupa z interwencją
grupa kontrolna
Badanie
n
N-n
N
n
N-n
N
I
…
…
250
…
…
250
II
…
…
300
…
…
350
III
…
…
400
…
…
450
Na czym polega włączanie badań CCT ?
CCT
grupa z interwencją
grupa kontrolna
Badanie
n
N-n
N
n
N-n
N
I
…
…
250
…
…
250
II
…
…
300
…
…
350
III
…
…
400
…
…
450
Przeprowadzamy pomocniczą meta-analizę badań CCT.
Wynikiem jest estymacja np. ln(OR) wyrażona rozkładem
normalnym (czyli parametrami μ i σ).
Na czym polega włączanie badań CCT ?
RCT
grupa z interwencją
grupa kontrolna
Badanie
n
N-n
N
n
N-n
N
I
…
…
100
…
…
100
II
…
…
50
…
…
50
Przeprowadzamy pomocniczą meta-analizę badań RCT.
Wynikiem jest estymacja np. ln(OR) wyrażona rozkładem
normalnym (czyli parametrami μ’ i σ’).
Na czym polega włączanie badań CCT ?
Model equivalent.
Jako rozkład a priori przyjmujemy N(μ, σ’)
- tj. μ wzięte z CCT i σ’ z RCT.
Następnie postępujemy wg. modelu Bayes 1, czyli
prowadzimy estymację z uwzględnieniem wyników
poszczególnych badań RCT przedstawionych w formie
ln(ORk).
Na czym polega włączanie badań CCT ?
Model sceptical.
Jako rozkład a priori przyjmujemy N(μ, 4σ’) *
- tj. μ wzięte z CCT i σ’ z RCT.
Następnie postępujemy wg. modelu Bayes 1, czyli
prowadzimy estymację z uwzględnieniem wyników
poszczególnych badań RCT przedstawionych w formie
ln(ORk).
* stała 4 może być wg uznania zastąpiona przez inną.
Quiz
Test wielokrotnego
wyboru, co najmniej
jedna odpowiedź jest
prawdziwa.
8 pytań
QUIZ - zadanie 1
Metody dające relatywnie szeroki przedział ufności
z reguły mają:
 Podwyższony błąd systematyczny
 Obniżoną moc statystyczną
 Wysoką moc statystyczną
 Są typowe dla modelu random effects
QUIZ - zadanie 2
Podejście Bayesowskie:
 Pozwala wykorzystać dodatkowe dane
 Może być realizowane za pomocą różnych modeli
w zależności od posiadanych danych
 Umożliwia agregacje danych z różnych źródeł
 Przy prawidłowym użyciu w wielu przypadkach
może dawać bardziej satysfakcjonujące wyniki
niż metody analityczne
QUIZ - zadanie 3
Problem występowania zer w tabeli danych
możemy rozwiązać następująco:
 Zawsze stosujemy metodę Peto.
 Możemy stosować metodę Peto tylko, gdy nie
ma dużej dysproporcji między odsetkami zdarzeń
w obu grupach, w przeciwnym wypadku
wybieramy inną metodę.
 Zawsze wybieramy metodę Mantela-Haenszla z
korektą zer (lub możliwie bez niej) - zachowując
ostrożność w ocenie istotności statystycznej.
 Zawsze wybieramy metodę Bayes II.
QUIZ - zadanie 4
Modele Bayesowskie stosujemy następująco:
 Dla badań z istotną hetogenicznością - Bayes
Random.
 Dla rzadkich zdarzeń, szczególnie w przypadku
średniej lub dużej liczby pacjentów - Bayes II
 Dla modelu fixed zawsze można stosować Bayes I
 Dla badań łączących CCT i RCT - Bayes +CCT w
wersji sceptical lub equivalent
 Dla analiz łączących porównania pośrednie i
bezpośrednie MTC lub GLMM.
QUIZ - zadanie 5
Metoda Mantela-Haenszla:
 Daje relatywnie duże ryzyko otrzymania
błędnego istotnego statystycznie wyniku
 Ma relatywnie mały błąd systematyczny
 Jest bardzo konserwatywna
 Z wyjątkiem przypadków bardzo rzadkich
zdarzeń nie powinna być stosowana gdy mamy
istotną heterogeniczność.
QUIZ - zadanie 6
Łączenie analizy bezpośredniej i pośredniej:
 Jest zbyteczne, bo nie wnosi nic nowego do
wyniku.
 Jest zbyteczne, gdy uznamy że wynik
bezpośredni wystarczająco dobrze
odzwierciedla rzeczywistość.
 Ma sens, bo uwzględniając więcej danych
otrzymujemy bardziej precyzyjny wynik.
 Ma sens, tylko gdy poszczególne porównania są
obrazowane badaniami o spójnej metodologii
(punkt końcowy, horyzont czasowy, itd.).
QUIZ - zadanie 7
Włączanie badań CCT:
 Pozwala na zwiększenie moc statystyczną
analizy.
 Powoduje zwiększenie błędu systematycznego
 Nie może być zaimplementowane metodami
bayesowskimi.
 Jest zbyteczne, gdy uznamy że badania typu
RCT wystarczająco dobrze odzwierciedlają
rzeczywistość.
QUIZ - zadanie 8
Jeśli stwierdzono heterogeniczność statystyczną
między badaniami, to:
 Poza pewnymi wyjątkami nie wskazane jest
używanie metod skonstruowanych do modelu
fixed effect.
 Spośród metod analitycznych najlepiej wybrać
metodę Peto.
 Nie należy stosować metod bayesowskich.
 Wybór metody Mantela-Haenszla ze względu na
niskie PPU obniży wiarygodność analizy.
Dziękujemy za uwagę,
zapraszamy do dyskusji!
Referencje
1.
2.
3.
M. Bradburn, J. Deeks, J. Berlin,R. Localio „Much ado about
nothing: a comparison of meta-analytical methods with rare
events”, Statistics in medicine 2007;26:53-77.
A.J. Sutton, K.R. Abrams, Bayesian methods in meta-analysis
and evidence synthesis, Statistical Methods in Medical
Research 2001; 10: 277-303.
Higgins JPT, Green S (editors). Cochrane Handbook for
Systematic Reviews of Interventions, Version 5.0.2, Chapters
9.4, 9.5,16.9 The Cochrane Collaboration, (2008) [updated
09.2009].
Referencje
4.
5.
6.
7.
G. Woodworth „Biostatistics, a Bayesian Intruduction”, WILEY,
(2004),
D. J. Spiegelhalter, N. G. Best Bayesian approaches to multiple
sources of evidence and uncertainty in complex cost-efectiveness
modelling, Stat Med. 22(23): 3687-3709, (2003),
D.M. Caldwell, A.E. Ades, J.P.T. Higgins Simultaneous comparison
of multiple treatments: combining direct and indirect evidence,
BMJ 331:897-900, (2005)
M. Bradburn, J. Deeks, J. Berlin,R. Localio „Much ado about
nothing: a comparison of meta-analytical methods with rare
events”, Statistics in medicine 2007;26:53-77.
Referencje
8.
StatsDirect help files,
http://www.statsdirect.com/help/statsdirect.htm
9.
10.
11.
12.
D. Spiegelhalter, A. Thomas, N. Best, D Lunn, WinBUGS
User Manual,
http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/manual14.pdf
Etanercept for the treatment of rheumatoid arthritis.
Blumenauer BBTB, Cranney A, Burls A, Coyle D, Hochberg MC,
Tugwell P, Wells GA.
Gabapentin Versus Tricyclic Antidepressants for Diabetic
Neuropathy and Post-Herpetic Neuralgia: Discrepancies Between
Direct and Indirect Meta-Analyses of Randomized Controlled
Trials. Chou R, Carsan S, Chan B.
Bisphosphonates and artial fibrillation: Bayesian meta-analyses
of randomized controlled trials and observational studies. Mak
A, Cheung M, Chun-Man Ho R, Check A, Lau C.

similar documents