Vous êtes sur la page 1sur 51

Introduccin

Clculo del tamao del efecto


Fuente de datos y Tamaos de efecto.
Medias SE: Hedgesd; ln Response Ratio
Tablas de Contingencia: Odds Ratio; Rate Difference; Relative Rate
Correlacin; Fishers Z-transform
Combinacin de resultados
Tamao del efecto acumulado
Fuentes de Heterogeneidad
Predictores
Efectos Fijos y Efectos Aleatorios
Modelo Lineal General
Evaluacin del sesgo de publicacin
Mtodos grficos
Mtodos estadsticos
Meta-anlisis con Metawin y macros GLM para SPSS

META-ANALISIS
INTRODUCCIN
META-ANLISIS SENSU LATO
Mtodo cuantitativo de sintetizar, resumir o revisar
sistemticamente una serie de resultados de estudios empricos

Los estudios deben:
Ser empricos, no tericos
Producir resultados cuantitativos, en vez de cualitativos
Examinar las mismas cuestiones tericas
Ser suceptibles de ser configurados en formas estadsticas
comparables (e.g., correlaciones, proporciones, tamaos de
efectos, etc.
TIPOS DE REVISIONES BIBLIOGRFICAS CUANTITATIVAS

Conteo de votos (Vote-counting)
1- Se observan los resultados estadsticos de un conjunto de trabajos.
2- Los resultados se asignan a tres categoras: significativos en la direccin esperada,
significativos en la direccin no esperada, y no significativos.
3- Se determina la proporcin de resultados de cada categora.
4- La hiptesis es evaluada en base a esa proporcin.
5-Si slo hay dos categoras se puede emplear una prueba de signos (distribucin
binomial)
INTRODUCCIN
Ventajas
Simplicidad
Inconvenientes
Conservadores
Poca potencia estadstica
No ofrece informacin sobre la magnitud del efecto
INTRODUCCIN
MTODOS DE PROBABILIDAD COMBINADA

1- Estos mtodos combinan resultados estadsticos de un conjunto de estudios basados
en valores exactos de probabilidad.
2- Por este motivo, tienen en cuenta los tamaos de muestra de los diferentes trabajos
3- Hay al menos 18 metodos que usan diferentes distribuciones estadsticas (uniforme,
normal, t de Student, chi cuadrado, logstica).
Mtodo del mnimo valor de p
Hay efecto significativo si al menos un estudio tiene un nivel de significacin
menor que el nivel o crtico
n
1
*) 1 ( 1 o o =
[o*=0.05]

=
n
F
pi
1
2
) log( 2 _
INTRODUCCIN
Test de probabilidad combinada de Fisher (Fisher 1932)
1- Sean n estudios con valores de significacin individuales pi.
2- Se genera un estadstico que se ajusta a una chi cuadrado de 2n grados
de libertad, usando la siguiente frmula:





3- _
2
F
es comprobada frente a dicha distribucin de chi cuadrado para ver si
hay un efecto significativo de los datos
Fisher, R.A. 1932. Statistical methods for research workers, 4th ed. Oliver and Boyd. Londres
Inconveniente
Es muy sensible a valores de p
i
bajos (asimetra)
INTRODUCCIN
Mtodo de transformacin Z (Mtodo de Stouffer) (Stouffer et al. 1949)
1- Sean k estudios, cada uno con un valor Zi de Z-score para los valores
individuales de significacin [Z-score se halla a partir de una distribucin normal x=0, SD=1, y
corresponde a los valores correspondientes a una probabilidad dada].

2- Se genera un estadstico que se ajusta a una normal, usando la siguiente
frmula:
3- La significacin del valor de Z
S
es comprobada frente a una distribucin
normal.
Stouffer, S.A. et. al. 1949. The American soldier: Vol 1. Adjustment during army life. Princeton
University Press, Princeton.
INTRODUCCIN
Mtodo de transformacin Z ponderado (Mosteller y Bush 1954)
1- Es un mtodo que generaliza el anterior para dar diferente peso w
i
a cada
estudio dependiendo de su potencia.
2- Se genera de nuevo un estadstico que se ajusta a una normal, usando la
siguiente frmula:
Mosteller, F. Y R.R. Bush 1954. Selected quantitative techniques. En G. Lindsey (ed). Handbook of
social psychology: Vol 1. Theory and method (pp 289-334). Addison-Wesley, Cambridge
3- w
i
se halla como el recproco del error estndar cuadrtico del tamao del
efecto.
4- As, se tiene en cuenta los grados de libertad especficos de cada estudio.
Usar Zs o Zw es un poco cuestin de gusto, ya que los valores de la p estn ya ponderados por el
tamao muestral. Si la hiptesis nula es globalmente cierta, entonces todos los valores de la p
deberan estar uniformemente distribuidos entre 0 y 1 independientemente del tamao muestral.
INTRODUCCIN
META-ANALISIS MODERNO (Smith and Glass 1977)

1- Combina las medidas de los efectos de estudios individuales dentro de
una estima de efecto general, y usa esta estima para determinar la
significacin
2- Un resultado significativo implica que hay soporte estadstico para la
hiptesis que es testada.
3- Esta determinacin se hace calculando un tamao de efecto general y
determinando si este efecto es mayor que el esperado por azar.
4- La realizacin de un meta-anlisis implica dos fases:
a. Hay que calcular el tamao del efecto y su varianza para cada estudio.
b- Hay que combinar esos efectos en un modelo sinttico estadstico
5- Opcionalmente, podemos comprobar la heterogeneidad entre estudios,
para ver si provienen de ms de una poblacin estadstica.
INTRODUCCIN
Smith, M.L. y G.V. Glass 1977. Meta-analysis of psychotherapy outcome studies. American
Psychologist 32: 752-760.
Claroscuros (Lipsey y Wilson 2000)

Ventajas
1- Impone una disciplina til en el proceso de sintetizar informacin cientfica
2- Representa una forma ms sofisticada de revisar los descubrimientos
cientficos que las metodologas anteriores
3- Es capaz de encontrar relaciones que permanecen oscuras
4- Representa una forma organizada de manipular informacin proveniente
de un gran nmero de estudios independientes

Inconvenientes
1- Su dificultad debido a lo complicado de la base conceptual y la
metodologa estadstica empleada
2- La mezcla de estudios de diferente naturaleza
3- La mezcla de estudios de diferente calidad metodolgica
INTRODUCCIN
Lipsey, M.W. y D. B. Wilson 2000. Practical meta-analysis. Sage, Londres
CLCULO DEL TAMAO DEL EFECTO
DEFINICION

1- Tamao del efecto es un concepto crucial en el meta-anlisis moderno

2- Tamao del efecto se puede definir como cualquier medida estadstica que
evidencia el grado con el que un evento dado esta presente en una muestra
(Cohen 1969). El tipo de medida se llama efecto, y su magnitud es el tamao
del efecto.

3- Diferentes medidas de tamaos de efecto se calculan a partir de diferentes
tipos de datos originales
Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva
York
CLCULO DEL TAMAO DEL EFECTO
FUENTE DE DATOS

1- Diferentes medidas de tamaos de efecto se calculan a partir de
diferentes tipos de datos originales

2- En general, los datos originales caen en una de las tres siguientes
categoras:
- Medias, tamaos de muestras y desviaciones estndares de
los grupos control y experimental.
- Tablas de contigencias 2x2 que representan las 4 posibles
soluciones categoricas experimentales.
- Coeficientes de correlacin.

CLCULO DEL TAMAO DEL EFECTO
TAMAOS DE EFECTO BASADOS MEDIAS Y DESVIACIONES ESTANDARES
Tamao de efecto de Glass (Glass 1976)

1- Sean X
C
y X
E
la media de un efecto de distribucin continua en el grupo
control y el grupo experimental.
2- Sean s
C
y s
E
las desviaciones estndares de cada grupo y N
C
y N
E
los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:
( )
C
C E
s
X X
= A
( ) 1 2
2

A
+
+
=
A
C E C
E C
N N N
N N
V
Glass, G.V 1976. Primary, secondary, and meta-analysis of research. Educational Researcher 5: 3-8
4- Inconveniente: Slo la varianza del grupo control se usa para estandarizar
la diferencia entre medias
CLCULO DEL TAMAO DEL EFECTO
d de Hegde (Hedge 1981)

1- Sean X
C
y X
E
la media de un efecto de distribucin continua en el grupo
control y el grupo experimental.
2- Sean s
C
y s
E
las desviaciones estndares de cada grupo y N
C
y N
E
los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:
Hedge, L.V 1981. Distribution theory for Glasss estimator of effect size and related estimator. J. of
Educational Statistics 6: 107-128.
( )( ) ( )( )
2
1 1
2 2
+
+
=
E C
E E C C
N N
s N s N
S
( ) 2 2
2
+
+
+
=
E C E C
E C
g
N N
g
N N
N N
V
donde
( )
J
S
X X
d
C E

=
( ) 1 2 4
3
1
+
=
E C
N N
J
CLCULO DEL TAMAO DEL EFECTO
d de Cohen (Cohen 1969)

1- Sean X
C
y X
E
la media de un efecto de distribucin continua en el grupo
control y el grupo experimental.
2- Sean s
C
y s
E
las desviaciones estndares de cada grupo y N
C
y N
E
los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:
donde
( )
o
C E
X X
d

=
( )( ) ( )( )
E C
E E C C
N N
s N s N
+
+
=
2 2
1 1
o
( )
|
|
.
|

\
|
+
+
|
|
.
|

\
|
+
+
+
=
2 2 2
2
E C
E C
E C E C
E C
d
N N
N N
N N
d
N N
N N
V
Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva
York
4- Ventajas: No afectado por varianzas muestrales distintas
5- Inconveniente: Sesgado por tamaos muestrales pequeos
CLCULO DEL TAMAO DEL EFECTO
Response Ratio (Hedges et al. 1999)

1- Sean X
C
y X
E
la media de un efecto de distribucin continua en el grupo
control y el grupo experimental.
2- Sean s
C
y s
E
las desviaciones estndares de cada grupo y N
C
y N
E
los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:
Hedges, L.V., J. Gurevitch y P.S. Curtis 1999. The meta-analysis of response ratios in experimental
ecology. Ecology 80:1150-1156
|
|
.
|

\
|
=
C
E
X
X
R ln ln
( )
( )
( )
( )
2
2
2
2
ln
C C
C
E E
E
R
X N
S
X N
S
V + =
CLCULO DEL TAMAO DEL EFECTO
TABLAS DE CONTINGENCIA 2 X 2
1- La variable respuesta es dicotmica y tiene distribucin binomial, por lo que
puede ser representada en la siguiente tabla:
Experimental Control Total
Respuesta A B A+B
No Respuesta C D C+D
Total n
t
=A+C n
c
=B+D N=A+B+C+D
2- Se calcula la tasa de respuesta de ambos grupos, P
e
y P
c
, como A/n
e
y
B/n
c
, respectivamente.
CLCULO DEL TAMAO DEL EFECTO
Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in
medicine 18: 321-359
1- El tamao del efecto y su varianza se calculan como:
Risk difference RD (Normand 1999)
c e
P P RD =
( ) ( )
c
c
e
e e
RD
n
P Pc
n
P P
V

+

=
1 1
2- No diferencia entre grupos genera RD=0

Inconveniente:
El rango de variacin de RD est fuertemente limitado por las magitudes de
P
e
y P
c
. Los valores potenciales de RD aumentan cuando ambas tasas son
cercanas a 0 y 1. Esto genera aparente e irreal heterogeneidad entre
estudios
CLCULO DEL TAMAO DEL EFECTO
Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in
medicine 18: 321-359
1- El tamao del efecto y su varianza se calculan como:
Relative rate RR (Normand 1999)
c
e
P
P
RR =
( ) ( )
c c
c
e e
e
RR
n P
P
n P
P
V

+

=
1 1
ln
2- No diferencia entre grupos genera RR=1, y vara entre 0 e infinito (ln
RR=0)
CLCULO DEL TAMAO DEL EFECTO
1- Odds de un evento es la probabilidad de que ocurra el evento dividido
por la probabilidad de que no ocurra

2- El tamao del efecto y su varianza se calculan como:
Odd Ratio OR (Sokal y Rohlf 1995)
( )
( ) BC
AD
P P
P P
P
P
P
P
OR
e c
c e
c
c
e
e
=

=
|
|
.
|

\
|

|
|
.
|

\
|

=
1
1
1
1
D C B A
V
OR
1 1 1 1
ln
+ + + =
2- No diferencia entre grupos genera OR =1. Como OR es un razn, la
estadstica se ofrece usualmente como ln OR.
Sokal, R. R., and F. J. Rohlf. 1995. Biometry. (3rd edition). Freeman, San Francisco.
CLCULO DEL TAMAO DEL EFECTO
N
Z
r =
( )
N
r
1
2
_
=
gl t
t
r
+
=
2
2
CORRELACIONES
gl F
F
r
+
=
1-A veces los datos originales estn en diferentes fuentes (F, t, _2,....)

2- Es til transformar todo estos estadsticos en correlaciones de Pearson
y calcular el tamao del efecto a partir de ellas.

3- Estas transformaciones se pueden hacer con una Meta-calculadora.
Las transformaciones ms frecuentes son:
Datos en forma
de probabilidades
CLCULO DEL TAMAO DEL EFECTO
|
.
|

\
|

+
=
r
r
z
1
1
ln
2
1
1- Con las correlaciones, podemos calcular el tamao del efecto mediante
la frmula:
Transformacin de z de Fisher (Fisher 1928)
Fisher, R.A. 1928. Statistical methods for research workers (2nd edition) Oliver and Boyd, Londres.
3
1

=
n
v
z
siendo n el tamao muestral
2- z oscila entre infinito y + infinito, con z=0 indicando ausencia de efecto.

Ventajas
Puede incluir estudios tomados de forma diferente, por lo que puede aumentar
la cantidad de estudios meta-analizados.

Inconvenientes
1-Est sesgado ligeramente cuando el tamao muestral es bajo.
2-Hay que tener cuidado con no incluir estudios demasiado heterogneos
CLCULO DEL TAMAO DEL EFECTO
1- Presentar todos los valores de probabilidad exactos
RECOMENDACIONES PARA PRESENTACION DATOS
2- Cuando sea posible, presentar medias, desviaciones estndares y
tamao muestral de cada grupo experimental usado en el diseo y del
grupo control.
3- Ejemplo de requisitos impuestos por la J. Evol. Biol:
Please make sure any in-line statistics conform to the Instructions for authors: "In-line statistical results
should be presented as Test-statistics: degrees of freedom as subscript(s) to test-statistics (e.g. F1,12 = ...
or t8 = ...), followed by P-value., e.g. (F1,12 = 4.9, P < 0.05). Statistical results in tables should be
comprehensive, allowing future meta-analyses. Depending on the details of the analyses, results
reported may include parameter estimates, test-statistics, degrees of freedom, significance levels and
err/residual model information (e.g. error MS's and df's in ANOVA or regression models). Since exact P-
values can be useful for meta-analyses, we recommend that these are quoted even when non-significant,
e.g. t23=0.25, P=0.34, or F2,32=1.12, P=0.55. However, non significant tests (i.e. P > 0.05) should always
be interpreted as such.

" (see Instructions for Authors, JEB inside back cover, or http://www.blackwellpublishing.com/journals/jeb/submiss.htm )
CLCULO DEL TAMAO DEL EFECTO
COMBINACION DE RESULTADOS

=
=
=
n
i
i
n
i
i i
w
E w
E
1
1
donde w
i
es la inversa de la
varianza del estudio i(1/v
i
)
TAMAO DEL EFECTO ACUMULADO

=
=
n
i
i
E
w
s
1
2
1
1- Tamao del efecto acumulado es un estimador que sintetiza el efecto
global de los tratamientos que estamos meta-analizando.
2- Se calcula segn la siguiente frmula:
Ventajas
3- Es una media ponderada. De esta forma, se tiene en cuenta la diferencia
en tamao muestral y potencia de cada estudio individual
COMBINACION DE RESULTADOS
| |
E
n
s t E CI *
1 2 /
=
o
Significacin del efecto acumulado
Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
1- Se pueda calcular el intervalo de confianza del efecto acumulado usando
la frmula:
Donde t es el valor crtico a partir de un
distribucin de la t de Student para el nivel o.
2- Una vez hallado el CI, podemos evaluar estadsticamente el efecto global
de nuestro conjunto de estudios. Suponemos un efecto acumulado
significativo cuando CI no cruza el cero.
COMBINACION DE RESULTADOS
( )

=
=
=
=
=
|
.
|

\
|
=
n
i
i i
n
i
i
n
i
i i
n
i
i i T
E E w
w
E w
E w Q
1
2
1
2
1
1
2
Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
1- La heterogeneidad total Q
T
nos indica si los tamaos de efecto son
homogneos:
2- Para ver si Q
T
es significativa, se contrasta frente a una _
2
con n-1 grados
de libertad. [La hiptesis nula es que todos los tamao de efecto son iguales. Una Q
t
significativa
indica que la varianza entre tamaos de efecto es mayor que la esperada por azar].
3- Q
T
es un suma de cuadrados ponderada, por lo que es comparable a la SS
total de un ANOVA.
Heterogeneidad total (Hedge y Olkin 1985)
COMBINACION DE RESULTADOS
1-Cuando Q
T
es significativo, podemos pensar que es debido a que
existe una estructura subyacente en los datos.

2- La estructura puede aparecer porque existan variables que afecten a
los resultados. Estas variables pueden ser categricas o contnuas.

3- Podemos incorporar estas variables dentro de nuestros modelos
meta-analticos como predictores. Dependiendo de la naturaleza de
estos predictores, tendremos un tipo u otro de modelo meta-analtico
FUENTES DE HETEROGENEIDAD
COMBINACION DE RESULTADOS

=
=
j
j k
i
ij
E
w
s
1
2
1

=
=
=
j
j
k
i
ij
k
i
ij ij
j
w
E w
E
1
1
1-Los predictores son categricos cuando los estudios se pueden
segregar in ms de un grupo.
2- En este caso, se calcula el tamao de efecto acumulado para cada
grupo, E
j
, y su varianza segn la frmula:
PREDICTORES CATEGRICOS
Donde kj es el nmero de
estudios in el grupo j, w
ij
y E
ij

son las ponderaciones y los
tamaos de efecto del estudio i
en el grupo j.
| |
j
j
E k
j s t E CI *
1 2 /
=
o
3- El intervalo de confianza se calcula como:
4- E
j
es significativo cuando el intervalo de confianza no cruza el cero.
COMBINACION DE RESULTADOS
1-Podemos ver si dentro de cada grupo existe heterogenidad significativa
a su vez. La heterogeneidad dentro de grupo Q
Wj
se calcula como:
Heterogeneidad dentro y entre grupo (Hedge y Olkin 1985)
( )
2
1
j
ij
k
i
ij Wj
E E w Q
j
=

=
2- Se comprueba frente a un _
2
con k
j
-1 grados de libertad.
Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
COMBINACION DE RESULTADOS
1- Podemos adems comprobar si la los grupos difieren entre ellos en
tamao de efectos. Para ellos, se descompone la heterogeneidad total Q
T

en heterogeneidad o variacin en tamaos del efecto debida al modelo Q
M

y heterogeneidad debida al error Q
E

Q
T
=Q
M
+Q
E

2- Para datos categricos Q
M
describe la diferencia entre grupos en los
tamaos de efectos acumulados y se calcula como:
Heterogeneidad dentro y entre grupo (2)
( )

= =
=
m
j
j
k
i
ij M
E E w Q
j
1
2
1
m =nmero de grupos,
k
j
= numero de estudios en el grupo j
w
ij
= es el peso del estudio i en el grupo j
E
j
= tamao de efecto acumulado para el grupo j
E= tamao de efecto acumulado global
COMBINACION DE RESULTADOS
3- La heterogeneidad del error residual se calcula como
Heterogeneidad dentro y entre grupo (3)
m =nmero de grupos,
k
j
= numero de estudios en el grupo j
w
ij
= es el peso del estudio i en el grupo j
E
ij
= tamao de efecto del estudio i en el grupo j
E
j
= tamao de efecto del grupo j
( )

= = =
= =
m
j
j ij
k
i
ij
m
j
W E
E E w Q Q
j
j
1
2
1 1
4- Tanto Q
M
como Q
E
pueden ser testadas frente a una _
2
con m-1 grados de
libertad para Q
M
y n-m grados de libertad para Q
E
.
5- Q
M
significativo significa que hay diferencia en el tamao del efecto para
los grupos, mientras que Q
E
significativo implica que an hay heterogeneidad
no explicada por el modelo.
COMBINACION DE RESULTADOS
c + + =
i i
X b b E
1 0
1- A veces el tamao de los efectos de estudios individuales puede
explicarse por una variable independiente. En este caso se utiliza un
modelo meta-analtico contnuo.

2- Se requieren 3 variables de cada estudio: el tamao del efecto E
i
, el
peso w
i
y el valor de la variable independiente X
i
.

3- La relacin entre E
i
y X
i
se determina mediante una regresin
ponderada:
PREDICTORES CONTINUOS (Greenland 1987)
Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30
COMBINACION DE RESULTADOS

=
=
=
=

|
.
|

\
|

=
=
= =
n
i
n
i
i
n
i
i i
i i
n
i
w
E w X w
i i i
w
X w
X w
E X w
b
n
i
i
n
i
n
i
i i i i
1
1
2
1 2
1
1
1
1 1
1- La pendiente b
1
y el intercepto b
0
se hallan como:
Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30

=
=
= =

n
i
i
n
i
n
i
i i i i
w
E w b E w
b
1
1 1
1
0
2- Sin embargo, sus errores estndares no pueden calcularse mediante el
procedimiento de mnimos cuadrados.
COMBINACION DE RESULTADOS

=
=
=

|
.
|

\
|

=
n
i
n
i
i
n
i
i i
i i
b
w
X w
X w
s
1
1
2
1 2
1
1

=
=
=

|
.
|

\
|

=
n
i
n
i
i i
n
i
i i
i
b
X w
X w
w
s
1
1
2
2
1
1
0
3- Los errores estndares de la pendiente b
1
y el intercepto b
0
se hallan
como:
4- Se divide la pendiente y el intercepto por sus errores estndares, y
hallamos el Z-score. Este valor se compara a una distribucin normal para
ver si son significativa [si la variable independiente explica significativamente la variacin en
tamaos de efectos].
2
2
1
1
b
s
b
y Q
E
como Q
T
Q
M
.

5- Hallamos Q
M
como
COMBINACION DE RESULTADOS
6- Q
M
se comprueba con una _
2
de 1 grado de libertad y su nivel de
significacin ser idntico al nivel de significacin de b
1
.

7- Q
M
significativo significa que X
i
explica una porcin significativa de la
variacin en tamaos del efecto.

8- Q
E
se comprueba frente a una _
2
con n-2 grados de libertad, y si sale
significativo implica que hay an heterogeneidad no explicada por el modelo
COMBINACION DE RESULTADOS
EFECTOS FIJOS Y ALEATORIOS (Gurevitch and Hedge 1999)
1- Todos los modelos visto hasta ahora son modelos de efectos fijos, es
decir, modelos que asumen que hay un tamao de efecto real compartido
por todos los estudios o por cada grupo de estudios.

2- Modelos de efectos fijos calcula los estadsticos basados en el
presupuesto de que la nica variacin en tamao del efecto al error del
muestreo

3- Sin embargo, existe un segundo tipo de modelos denominados modelos
de efectos aleatorios que asumen que existe adems un componente de
variacin aletario en los tamao de efectos entre estudios.

4- En los modelos con efecto aletarios, este componente aleatorio de
variacin se calcula y se introduce en los estadsticos
Gurevitch, J. y L.V. Hedges, 1999. Statistical isues in ecological meta-analysis. Ecology 80:1142-1149.
COMBINACION DE RESULTADOS
2
) (
1
pooled i
rand i
v
w
o +
=
Construyendo modelos de efectos aleatorios (1)
1- Un modelo de efectos aletarios se construye en tres fases
1.1 Se realiza un modelo de efectos fijos para determinar el valor de
los estadsticos.
1.2. Se calcula entonces una varianza entre estudios o
pooled
. Este
estadstico se usa para recalcular el peso de cada estudio en modelos
aleatorios w
i(rand)
.
1.3 Finalmente esos nuevos pesos se incluyen en un modelos de
efectos aleatorios en las mismas ecuaciones descritas antes para calcular
los estadsticos meta-analticos.

2- En todos los casos, el peso en un modelo de efectos aleatorios se calcula
como:
COMBINACION DE RESULTADOS

=
=
=


=
n
i
n
i
i
n
i
i
i
T
pooled
w
w
w
n Q
1
1
1
2
2
) 1 (
o
1- La varianza entre estudios se calcula usando la siguiente frmula cuando
no hay estructura
Construyendo modelos de efectos aleatorios (2)
2- El numerador es la varianza no explicadas en tamaos de efecto menos el
nmero de grados de libertad. El denominador es una funcin sumatoria de
los pesos.
COMBINACION DE RESULTADOS

=
=
=
=
(
(
(
(


=
m
j
k
i
ij
k
i
ij n
i
i
E
pooled
j
j
w
w
w
m n Q
1
1
1
2
1
2
) (
o
1- Cuando hay estructura subyacente en los datos, y los predictores son
categricos, la varianza se calcula como:
Construyendo modelos de efectos aleatorios (3)
2- El numerador es de nuevo la varianza no explicadas en tamaos de
efecto menos el nmero de grados de libertad. El denominador es una
funcin sumatoria de los pesos.
3- Este modelo se denomina a veces modelo de efectos mixtos porque
incluye variacin aleatoria entre estudios dentro de un grupo y diferencias fija
entre grupos
COMBINACION DE RESULTADOS

=
= = =
= = =
=
(
(
(
(
(

|
.
|

\
|


=
m
j
n
i
n
i
i i i i
n
i
i
n
i
n
i
n
i
i i i i i i i
i
n
i
i
E
pooled
X w X w w
w X X w X X w
w w
n Q
1
1
2
1
2
1
1 1 1
2 2
2
1
2
2
) 2 (
o
1- Cuando hay estructura subyacente en los datos, y los predictores son
continuos, la varianza se calcula como:
Construyendo modelos de efectos aleatorios (4)
2- El numerador es de nuevo la varianza no explicadas en tamaos de
efecto menos el nmero de grados de libertad. El denominador es una
funcin sumatoria de los pesos.
COMBINACION DE RESULTADOS
MODELO LINEAL GENERAL
1- Los modelos meta-analticos se pueden complejizar introduciendo ms
variables tanto de naturaleza contnua como categrica.
2- Estos modelos pueden ser resueltos mediante modelos lineales
generales ponderados (GLM).
3- GLM usa lgebra matricial para determinar la relacin entre un conjunto
de variables dependientes e independientes.
4- Sea E el vector de dimensin 1 x n de variables dependientes o
tamaos de efecto:
(
(
(

= E
n
E
E

1
COMBINACION DE RESULTADOS
MODELO LINEAL GENERAL (2)
5- Sea X la matriz de dimensin p x n de variables dependientes:
(
(
(

= X
pn n
p
X X
X X

1
1 11
1
1 donde la primera columna es la nica columna incluida
para un meta-anlisis no estructurado, y las dems
columnas son aadidas cuando existe estructura
6- Segn GLM, la relacin entre variables dependientes e independientes
se halla segn la ecuacin:
E=X|+c
donde W es una matriz diagonal con los pesos
de los estudios individuales
7- Para trabajar con meta-anlisis, debemos saber que los tamao de efecto
varan en precisin alrededor del tamao de efecto acumulado verdadero, por
lo que se necesita una estima ponderada de |:
|=(X
t
WX)
-1
X
t
WE
donde | es un vector de coeficientes (0 a p) y c es
el error del modelo
COMBINACION DE RESULTADOS
( )
1
=

WX X
t
|
MODELO LINEAL GENERAL (3)
8- Resolviendo el GLM:
9- La varianza de los coeficientes | se hallan como:
E
i
= |
0
+ |
1
X
1i
+b
2
X
2i
+...+ |
p
X
pi
+c
i
10- Usando GLMs se pueden tambin hallar la heterogeneidad explicada por
el modelo Q
M
, la heterogeneidad residual Q
E
y por ende la heterogeneidad
total Q
T
(frmulas no mostradas):
EVALUACION DEL SESGO DE PUBLICACION
1- Un problema cuando se efectan meta-anlisis es la existencia de sesgo
en las publicaciones: la publicacin selectiva de artculos mostrando cierto
tipo de resultados sobre otros (Begg y Berlin 1988).

2-Esto ocurre por:
a) la tendencia de las revistas de rechazar resultados no
significativos
b) la tendencia de los propios autores de no enviar resultados no
significativo.
Este comportamiento conlleva un dficit de resultados nulos (file-drawer
problem), y una sobreestimacin de resultados significativos (inferencia
anticonservadora).

3- Hay varias formas de evaluar la existencia de sesgo de publicacin
Begg, C.B. y J.A. Berlin 1988. Publication bias: a problem in interpreting medical data. Journal of the Royal Statistical
Society, Seria A 151:419-463
EVALUACION DEL SESGO DE PUBLICACION
1- Un forma simple de evaluacin es mediante histogramas ponderados, en
los cuales la altura de las barras de cada clase se construye mediante los
pesos combinados de los estudios en vez de las frecuencias.
2- Los mtodos meta-analticos asumen normalidad. As, un histograma
ayuda a identificar outliers.
Histogramas ponderados (Greenland 1987)
Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30
3- Histogramas bimodales o
multimodales indican modelos
estructurados segn variables
categricas.
4- Si hay sesgo de publicacin,
con ausencia de estudios con nulo
o poco efecto, el histograma
mostrar huecos.
METODOS GRFICOS
EVALUACION DEL SESGO DE PUBLICACION
1- Otra forma simple de evaluacin es mediante Funnel Plots, un grfico
que enfrenta los tamaos de efectos vs. el tamao muestral.
2- Si no hay sesgo debe cumplirse:
-Estudios con tamao muestral bajo deben tener error de muestreo alto, y por lo tanto la variacin
alrededor del tamao de efecto debe disminuir cuando aumento el tamao muestral
-El tamao de efecto acumulado debe ser independiente del tamao muestral
-Para un tamao muestral dado, los estudios deben estar distribuidos segn una normal de media
el tamao de error acumulado
Grfico de embudo (Funnel Plot)
-4.67
-2.95
-1.23
0.50
2.22
d
2.00 6.50 11.00 15.50 20.00
Nc
T
a
m
a

o

d
e

e
f
e
c
t
o

Tamao muestral
3- Si estas tres prediciones se
cumplen, debemos obtener un grfico
en forma de embudo
EVALUACION DEL SESGO DE PUBLICACION
1- Es un tipo especial del grfico cuantil-cuantil, donde se enfrentan los
cuantiles de nuestra distribucin (el tamao de efecto estandarizado) con
una distribucin normal. Si son iguales, los puntos deben caer en la recta
X=Y.
2- Este mtodo tiene la ventaja de que es ms fcil de interpretar, y adems
comprueba el presupuesto de normalidad bsico a todo estudio meta-
analtico
Grfico de cuantiles normales (Wang y Bushman 1988)
3- La pendiente de la regresin lineal
indica la desviacin estandar de los
datos (debera ser 1) y la interseccin
con el eje y indica la media
4- Sesgos de publicacin provoca
huecos extraos o no linealidad
extrema.
Wang, M.C. y B.J. Bushman 1998. Using the normal quantile plot to explore meta-analytic data sets. Psychological
Methods 3: 46-54
-3.42
-1.18
1.05
3.29
5.53
S
t
a
n
d
a
r
d
i
z
e
d

E
f
f
e
c
t

S
i
z
e
-2.27 -1.13 0.00 1.13 2.27
Normal Quantile
EVALUACION DEL SESGO DE PUBLICACION
( )
*
*
i
i
v
E E
E

=
1- Se correlaciona el tamao de efecto estandarizado, E* , y el tamao
muestral, n. Es un anlogo estadstico del grfico del embudo.
Prueba de correlacin de rangos (Begg 1994)
2- Como pruebas de correlacin se utiliza una correlacin de rango simple,
la tau de Kendall o la rho de Spearman.
3- Correlacin significativa= Sesgos de publicacin.
4- Este mtodo aumenta su potencia para detectar sesgos a medida que
aumenta el nmero de estudios includos en el meta-anlisis.
Begg C.B. 1994. Publication bias. En H. Cooper y L.V. Hedge (eds) The Handbook of research synthesis (pp 399-409).
Russell Sage Fundation, New York
METODOS ESTADISTICOS
(
(

=

j
i i
v
v v
1
*
donde
EVALUACION DEL SESGO DE PUBLICACION
( ) | |
n
Z
p Z
N
n
i
R
=

2
2
1
o
1- Este mtodo calcula el nmero adicional de estudios con tamao de efecto
cero que se tiene que aadir para cambiar los resultafos de significativo a no
significativo.
2- Se puede calcular segn varios mtodos. El clsico es calcular N
R

propuesto por Rosenthal como:
Fail-safe Number (Rosenthal 1979)
Rosenthal. R. 1979. The file drawer problem and tolerance for null results. Psychological Bulletin 86: 638-641
n = nmero de estudios
Z(pi) = los Z-scores de los valores individuales significativos
Z
o
= Z-score de una cola asociado al nivele de significacin deseado
( )
n
E E
E E n
N
n m
m o
O

=
n = nmero de estudios
E
o
= tamao de efecto medio de los estudios originales
E
n
= tamao de efecto medio de los estudios adicionales
E
m
= tamao de efecto mnimo deseado (usualmente 0.2).
3-Orwin propone un mtodo alternativo
EVALUACION DEL SESGO DE PUBLICACION

=
i
w
nW
N
'
( )
( )

=
i
v
i i
w
t
E w
W
2
2
'
o
Weigthed Fail-safe Number (Rosenberg 2005)
Rosenberg, M.S. 2005. The file-drawer problem revisited: a general weighted method for calculating fail-safe numbers
in meta-analysis. Evolution 59: 464-468
n = nmero de estudios
w
i
= 1/v
i
2
1- Los metodos anteriores tiene el problema de que no ponderan por el
tamao muestral de cada estudio particular
2- Rosenberg a propuesto un metodo promediado de calcular el nmero de
estudios con resultado nulo necesarios para reducir el nivel de significacin.
3- El safe number en todo caso debe ser inferior a un valor umbral 2N+10,
siendo N=nmero de estudios.

Vous aimerez peut-être aussi