UNIVERSIDADE DE BRASLIA

REVISO SISTEMTICA E METANLISE

Maria Regina Fernandes de Oliveira
Henry Maia Peixoto
Colaboradores: Marcus Tolentino; Tas Galvo
Outubro de 2015

POR QUE NECESSITAMOS DE

REVISES SISTEMTICAS?

20 milhes de artigos em 20.000

peridicos anualmente !!!

Era da Informao

Amplo acesso s informaes

Acmulo de grande quantidade de informaes
cientficas produzidas e disponveis
Valorizada a idia de que prticas nas reas da
sade devem ser embasadas em evidncias
fidedignas

Dificuldade para identificar evidncias

com boa qualidade

O QUE SO REVISES
SISTEMTICAS?

REVISES SISTEMTICAS

DEFINIO - adaptada de Fletcher, 2006:

So revises rigorosas de questes clnicas
especficas, cuja populao so estudos
cientficos
Os estudos primrios podem ser ensaios clnicos
aleatrios,
estudos
de
acurcia,
estudos
observacionais ou qualquer outro tipo de estudo

REVISES SISTEMTICAS
So sistemticas porque resumem a pesquisa
original, seguindo um plano com embasamento
cientfico que foi decidido a priori e tornado
explcito passo a passo

Revises Sistemticas

Buscam superar vieses em todas as etapas,

seguindo um mtodo rigoroso de busca e seleo
de pesquisas
Avaliao da relevncia e validade das pesquisas
encontradas
Coleta, sntese e interpretao dos dados oriundos
das pesquisas

REVISO SISTEMTICA X REVISO NARRATIVA

X REVISO INTEGRATIVA

Reviso Narrativa

Reviso Sistemtica

Amplas, semelhantes a captulos de

livros

Protocolo de Pesquisa a priori

No h Protocolo de Pesquisa

Sem questo clinica especifica

Referncias a critrio do autor
No necessariamente discute
qualidade das evidncias

Sntese Qualitativa opinio do

autor

Questo Clnica Especfica pergunta

de pesquisa
Estratgia de busca na literatura
Qualidade metodolgica dos artigos
avaliada
Pode incorporar uma metanlise

REVISO INTEGRATIVA

Busca, avalia criticamente e sintetiza o

conhecimento

o mais amplo mtodo de reviso da literatura

Resume as pesquisas anteriores, tirando
concluses gerais a partir de vrios estudos
distintos, que apresentam hipteses idnticas
ou relacionadas

ELEMENTOS DE UMA REVISO

SISTEMTICA
Questo clnica estruturada
Estratgia de busca na literatura
Avaliao da qualidade metodolgica dos estudos
Mtodo validado e reprodutvel para obteno dos
dados

Revises Sistemticas x Metanlises

Revises Sistemticas Qualitativas

Quando os dados dos
estudos so sintetizados,
mas no so
estatisticamente
combinados

Metanlises Quantitativas

uma reviso que usa

mtodos estatsticos
para combinar
e
resumir os resultados
de dois ou mais
estudos
Meta = do grego alm
ou reflexo crtica sobre

Quando as Revises Sistemticas so

Adequadas?

teis para tratar de uma questo focada

Necessrios estudos fortes sobre a questo, pois
os resultados dos diversos estudos no tem tanta
concordncia entre si a ponto de a questo j
estar respondida
Os resultados dos estudos devem discordar entre
si ou, ao menos, deixar a questo em aberto

Etapas das Revises Sistemticas

1. Formular a pergunta
2. Elaborar protocolo da reviso sistemtica
3. Identificar os estudos primrios relevantes
4. Selecionar os estudos
5. Avaliar criticamente os estudos
6. Extrair os dados dos estudos primrios
7. Apresentar os dados

1 Etapa A definio da pergunta

A pergunta define quais sero os estudos includos, quais

sero as estratgias adotadas para identificar os estudos e
quais sero os dados que necessitam ser coletados de cada
estudo identificado
Proporciona a direo para a execuo das outras atividades
relativas ao processo
Comtemplar sempre que pertinente os seguintes aspectos:
problema, interveno, comparador e desfecho.

Ex: Usurios abusivos de bebidas alcolicas apresentam

reduo do consumo quando submetidos psicoterapia de
grupo comparado ao atendimento ambulatorial individual?

2 Etapa A construo do protocolo

Garante que a reviso seja desenvolvida com o
rigor de uma pesquisa
Componentes:

Pergunta da reviso
Objetivos
Justificativa
Critrios de incluso e excluso
Mtodo de seleo dos estudos
Processo de soluo para discordncias entre os revisores na seleo
dos artigos
Mtodos de extrao de dados, avaliao da qualidade metodolgica,
sntese e disseminao dos achados da reviso

2 Etapa A construo do protocolo

Componentes:

Critrios de incluso e excluso

Participantes
Intervenes a serem comparadas
Desfechos
Delineamento dos estudos
Qualidade metodolgica

Exemplo

Critrios de incluso

Populao: geral com suspeita de malria residente

em reas endmicas, ou pacientes provenientes de
viagens a reas endmicas de malria
Delineamento: estudos de validao
Interveno: a microscopia de gota espessa como
padro ouro para validao do teste rpido
Desfechos: sensibilidade e especificidade
Qualidade: alta pelo QUADAS 2 e 3 critrios do Stard

Exemplo

Critrios de excluso:
- Artigos que avaliaram, exclusivamente,
populaes especficas, tais como: grvidas,
crianas, pacientes com imunossupresso,
doentes graves, doadores de sangue e
portadores de co-infeco como critrio
primrio do estudo

3 Etapa Busca/Identificao dos

estudos

Considerar quais so os peridicos listados nas

bases de dados, quais as publicaes so
indexadas, a viabilidade do acesso e a implicao
de custos
Necessidade de buscar estudos em mais de uma
base de dados, e ter habilidade ao procurar em
cada uma delas

Fontes de informao dos estudos

primrios

EMBASE (Excerpta Medica Database)

Registro Cochrane de Ensaios Clnicos
Controlados (CCTR)
SciSearch (Web of Science produzida pelo ISI)
MEDLINE (MEDLARS on-line): mantida pela
Biblioteca Nacional de Medicina dos Estados
Unidos. Acessada pelo PubMed
LILACS (Literatura Latino-Americana e do Caribe
em Cincias da Sade)
EBSCOhost Reseach Databases

3 Etapa Busca/Identificao dos

estudos

Busca manual peridicos no indexados ou

indexados de maneira que a busca no
praticvel

No existe mtodo padro para identificao de

material no publicado
Publicaes regionais no indexadas: anais de congressos,
teses e dissertaes, resultados de conferncias e/ou
reunies cientficas

Fontes de informao dos estudos

primrios

Lista de referncias de estudos selecionados

Revisor checa as referncias bibliogrficas dos
estudos identificados, com o propsito de encontrar
outros que tenham os critrios determinados
anteriormente
Contato com os pesquisadores
Envio de correspondncia (correio postal ou
eletrnico) aos autores dos estudos includos e s
indstrias (quando a interveno envolve
medicamentos ou equipamentos)

Estratgia de busca: descritores e operadores

Organizada de acordo com a pergunta de pesquisa.
Estratgia de busca: baseada em palavras e/ou grupo
de palavras (descritores) relacionadas por operadores.
Descritores:
MEDLINE (Medical Subject Headings - MESH);
LILACS (Descritores em Cincias da Sade - DeCS).
Operadores: AND, OR, AND NOT

Estratgia de busca: descritores e operadores

4 Etapa A seleo dos estudos

Categoria A- sigilo
da alocao relatado
Categoria B- sigilo
da alocao no
descrito
Categoria C- sigilo
da alocao
inadequado
Categoria D- estudo
no aleatrio
In: Castro AA Reviso sistemtica:
identificao e seleo de estudos primrios
disponvel em: http://www.metodologia.org

Castro AA, 2001

Etapas para a realizao da seleo dos estudos

Incluso ou Excluso de Estudos

Algum grau de subjetividade.
Dois observadores independentes ou um
observador e um consultor
Um terceiro observador para resolver
discordncias

5 Etapa A avaliao crtica dos estudos

Fase onde todos os estudos selecionados so
avaliados com rigor metodolgico, com o
propsito de averiguar se os mtodos e
resultados das pesquisas so suficientemente
vlidos para serem considerados
Fase complexa o revisor necessita avaliar o
delineamento de cada pesquisa, sua conduo
e os resultados encontrados

AVALIAO DA QUALIDADE

STARD (Standards for Reporting Studies of Diagnostic Accuracy): estudos de

acurcia diagnstica
QUADAS (Quality Assessment of Diagnostic Accuracy Studies): estudos de
acurcia diagnstica
CONSORT (Consolidated Standards of Reporting Trials): ensaios
aleatorizados controlados
STROBE (Strengthening the Reporting of Observational Studies in
Epidemiology): estudos observacionais em epidemiologia
QUORUM (Quality of Reporting of Meta-Analyses): revises sistemticas e
metanlises
PRISMA (Preferred Reporting Items for Systematic Reviews and MetaAnalyses): revises sistemticas e metanlises
MOOSE (Meta-Analysis of Observational Studies in Epidemiology ):
metanlises de estudos observacionais em epidemiologia
AMSTAR (Assessment of Multiple Systematic Reviews) - revises
sistemticas

AVALIAO DA QUALIDADE

Anlise Crtica dos Estudos

Formulrios desenvolvidos, com perguntas sobre
como cada estudo primrio lidou com os fatores que
influenciam a qualidade metodolgica.
Aplicam os formulrios para cada estudo primrio
includo.
A concordncia entre os revisores avaliada.
Validade Interna - extenso em que o delineamento
e a conduo do estudo preveniram vieses
Validade Externa - extenso em que os resultados
do estudo podem ser generalizados

6 Etapa A extrao dos dados

A extrao de dados feita sobre os estudos

includos

Varia de acordo com cada reviso sistemtica e

est relacionada com a pergunta determinada no
incio do processo

Deve incluir o local onde a pesquisa foi realizada,

a maneira exata como a interveno foi
executada, dados bibliogrficos e resultados
atuais

MTODO PARA OBTENO DOS DADOS

Extrao independente
No mnimo 2 revisores
Ficha de obteno dos dados
Mtodo para resolver discordncias

Extrao de dados

Considera-se dados de uma reviso sistemtica

quaisquer informaes sobre o estudo, incluindo
detalhes de mtodos, participantes, cenrio
clnico, intervenes, desfechos e resultados
Sua extrao sempre guiada por uma
ficha/planilha, elaborada previamente
Assim como na etapa de seleo dos artigos, a
extrao de dados pode ser realizada por dupla
de revisores independentes (Cochrane)
38

Extrao de dados

Havendo discordncias nos dados coletados,

estas podem ser resolvidas ou por consenso
entre a dupla ou por consulta de um terceiro
revisor
Um revisor pode coletar e outro revisar
Para extrao correta e padronizada dos
dados, sugere-se o agendamento de um
treinamento prvio entre todos os revisores
que participaro da coleta
39

Elaborao da ficha/planilha de
extrao

A elaborao de uma ficha/planilha

fundamental para a produo dos resultados
Ela deve permitir coletar dados de todas as
variveis que forem consideradas importantes
para interpretao e aplicabilidade dos resultados
Por isso, deve ficar a cargo de pessoas
familiarizadas com a situao clnica de interesse
e que possam identificar estas variveis
Se necessrio, pode-se consultar um especialista
da rea
40

Dados normalmente coletados

Participantes

Nmero de pacientes randomizados, por brao de

tratamento; nmero de perdas de seguimento por
brao de tratamento; idade; gnero; histrico de
doenas; comorbidades; parmetros clnicos de
interesse para a situao clinica (presso arterial,
dados de exames de base, ndice de massa corporal,
etc.)

Intervenes

Descrio da interveno experimental e em

comparao; vias de administrao (se medicamento);
dose ou esquema teraputico nos braos do estudo
41

Dados normalmente coletados

Desfechos

Definio de cada desfecho investigado com seu

respectivo critrio diagnstico; unidade de medida (se
aplicvel);
Para escalas: limites superior e inferior considerados

Resultados

Para cada desfecho: nmero de eventos sobre o total

de pacientes, em cada brao.
Subgrupo a serem analisados: nmero de eventos
sobre o total de pacientes, em cada brao
42

7 Etapa Apresentao dos resultados

Os artigos includos na reviso sistemtica podem

ser apresentados em um quadro que destaca
caractersticas principais:
Autores
Ano de publicao
Desenho metodolgico
Nmero de sujeitos (N)
Grupos de comparao
Caracterizao do protocolo de interveno
Variveis dependentes
Principais resultados

Principais caractersticas dos artigos publicados sobre validao de testes diagnsticos

para deteco da leishmaniose visceral canina
Ensaio imunoenzimticoc om antgeno bruto (cELISA)

Ref.

Recruitmen Test, parasite form and

Reference

species

Arruda et

1 group:

cELISAc

Parasit.

Arruda et

1 group:

cELISAh

Parasit.

cELISAh

Parasit.

cELISAc

Parasit.

cELISAh

Parasit.

al. 2013
al. 2013

SDGCP

Promastigote L. major

SDGCP

Promastigote L. chagasi

e HD

Promastigote L. chagasi

Rosrio et 2 groups: ID
al. 2005

Alves et

2 groups: ID

Porrozzi

2 groups: ID

al. 2012

et al. 2007

e HD

e HD/OD

Promastigote L. major
Promastigote L. chagasi

standard

With CVL
(clinical

Sens Without CVL Spec

.

(origin)

98

91.8

1327 (DE)

83.7

98

89.8

1327 (DE)

82.7

106

98

25 (HDE)

100

39 (NR)

100

78

68.0

50 (SY/OL)

88

25 (HDNE)

100

50 (ASY)

30

14 (OD)

64

condition)
ASY/SY/OL
ASY/SY/OL
ASY/SY/OL

(HDE+OD)

Apresentao dos dados: Cochrane

albumin review
Study

Year

Patient
population

Intervention

Comparison

Summary
measure
(RR)

Allocation

Lucas et al.

1978

Trauma

Albumin

No albumin

13.9

Inadequate

Jelenko et al.

1979

Burns

Albumin

Ringers
lactate

0.50

Unclear

Rubin et al.

1997

Hypoalbumi
nemia

Albumin

No albumin

1.9

Adequate

Cochrane Injuries Group Albumin Reviewers. Human albumin administration in

critically ill patients: systematic review of randomised controlled trials. BMJ
1998;317:235-40.

Vis de Publicao

a tendncia dos estudos publicados de

serem sistematicamente diferentes do
conjunto de todos os estudos realizados sobre
a questo
Alguns estudos finalizados acabam nunca
sendo publicados, e so sistematicamente
diferentes do resto

Vis de Publicao

Estudos publicados mais propensos a ser

positivos,
devido
a
uma
preferncia
disseminada por resultados positivos
Pesquisadores menos propensos a completar os
estudos que podem acabar sendo negativos e
menos propensos ainda a submet-los aos
peridicos
Editores menos dispostos a ver estudos
negativos como interessantes e public-los
Pesquisadores devem se esforar para encontrar
estudos que no foram publicados

Vis de Publicao

Fatores que introduzem vis na seleo de

artigos:
Pesquisadores tendem a conhecer os artigos
em sua prpria lngua com mais frequncia
Grandes estudos que so mais notados do que
os estudos menores

Avaliao de Vis de Publicao

Tamanho
do Estudo

Tamanho do Efeito

Apresentao dos resultados

Resultados de uma reviso sistemtica

grfico de floresta, mostrando a estimativaponto e o intervalo de confiana para cada um
dos estudos
Grfico de floresta origem incerta; nome do
pesquisador Forest; aparncia, floresta de
linhas
Permite ver a floresta e as rvores / o todo
e as partes

Grfico de floresta: sensibilidade do cELISA

Metanlise

Termo usado pela primeira vez por Glass, em

1976, em artigo sobre a efetividade da
psicoterapia no peridico: Educational research
Meta = do grego alm ou reflexo crtica
sobre

Metanlise anlise e apresentao dos

resultados

Parmetro de Estimativa do Efeito

Odds Ratio
Risco Relativo
Sensibilidade e especificidade teste diagnstico

Peso
Heterogeneidade e Inconsistncia

HETEROGENEIDADE E INCONSISTNCIA

TESTE DE HETEROGENEIDADE

Ho = estudos so homogneos

H1 = estudos so heterogneos
Exemplo: p < 0.05 = sugere heterogeneidade estatistica

INCONSISTENCIA (I )
2

A percentagem (0-100%) da variao entre os

Q(df )
I
Q
2

estudos que devida heterogeneidade quantifica a heterogeneidade

Exemplo: 25% (baixo), 50% (intermedirio), 75% (alto)

Metanlise e heterogeneidade
Homogeneidade (p> 0,05) a diferena entre
os estudos consequente a variao do
tamanho da amostra
Heterogeneidade (p < 0,05) existem
diferenas entre os estudos

Metanlise modelos de anlise

Modelos de efeitos fixos assume que o efeito

estimado em todos os estudos verdadeiro e
que a variao do efeito entre todos os
estudos deve-se ao tamanho da amostra
considera que no h varincia entre
estudos
Modelos de efeitos randmicos (conservador)
Considera a influncia da varincia entre
estudos
Smeeth L, Haines A, Ebrahim S. BMJ., v. 318, 1999.

Grfico da Metanlise
Ponto central
representa o peso estudo
nmero participantes e eventos
Diamante
resultado final
ponto central
tamanho significa IC

Grfico da Metanlise

p <0,05
p >0,05

Favorvel ao tratamento
Grupo A= Experimental

p <0,05
OR = 1

Favorvel controle
Grupo B=Controle

A
B
C

0,6

0,7 0,8 0,9

Favorvel ao tratamento

1,1

1,2 1,3 1,4

Favorvel ao grupo controle

Metanlise apresentao dos resultados

Extrada de Fletcher, 2006

Vantagens e riscos da combinao de

estudos

Vantagens
H uma melhora no poder estatstico
A combinao produz estimativas mais precisas
da magnitude do efeito do que a estimativa
disponvel em cada um dos estudos
Deteco de eventos raros, como eventos
adversos incomuns do tratamento

Vantagens e riscos da combinao de

estudos

Desvantagens
Podem dar uma falsa impresso de que os
resultados esto estabelecidos com grande
grau de preciso quando, na verdade, os
resultados principais dependem de muitos
pressupostos
A combinao tira a ateno das diferenas
entre os resultados dos estudos que podem
fornecer pistas para diferenas clinicamente
importantes entre os efeitos

METANLISE: Limitaes

Vis de publicao: publicao menos frequente de

estudos negativos
Dificuldade na coleta de dados

Heterogeneidade clnica: pacientes, tratamentos,

fatores de confundimento, condies associadas

Heterogeneidade metodolgica: desfechos clnicos,

anlise estatstica

Os Resultados de Metanlises devem sempre

ser considerados para embasar a deciso?
Metanlise como elemento importante na tomada
de deciso
intervalo de confiana estreito
teste de heterogeneidade no-significativo

Metanlise como fonte para novas hipteses

intervalo de confiana amplo
estudos heterogneos

 um erro capital teorizar antes de

ter todas as evidncias. Enviesa o
julgamento
Sherlock Holmes
Um Estudo em Vermelho
(Sir Arthur Conan Doyle )