Avaliao Crtica da Literatura

Prof Dr Edson Lopes Lavado

APRESENTAO
A palavra impressa tem o dom quase mtico da credibilidade instantnea. Quando se trata, ento, do que est escrito nas publicaes que costumamos chamar de revistas cientficas, o que transmitido corre o risco de assumir aura de verdade inconteste. Costumamos acreditar que o "artigo cientfico" advogando (mais comum) ou desaconselhando (muito raro) o uso deste ou daquele procedimento diagnstico ou teraputico basicamente correto. Aceitamos que os editores das revistas nacionais e, muito especialmente, dos peridicos estrangeiros, foram capazes de separar o joio do trigo, s permitindo a divulgao de artigos baseados em slidas evidncias cientficas. Quatro revises realizadas nas ltimas trs dcadas contradizem o exposto acima. Constatou-se em tais estudos que cerca da metade dos artigos publicados em revistas de renome utilizaram mtodos estatsticos inadequados. Se, inadequao dos testes quantitativos, acrescentarmos outras fontes de inconsistncias e imprecises a que esto sujeitos os estudos epidemiolgicos, tais como o seu desenho, definio da amostra, escolha de indicadores e instrumentos, poderemos concluir que todo e qualquer artigo, independente do peridico ou idioma em que esteja publicado, deve ser lido criticamente. Para isso, torna-se necessrio o treinamento de consumidores de informaes de sade em avaliao crtica. Esta capacidade de saber procurar e localizar as evidncias capazes de lastrear decises fundamental para discriminar, dentre a avalanche de informaes, quais as que so baseadas em slidas evidncias cientficas e que devem ser incorporadas prtica clnica.
Carlos Alfredo Marclio de Souza Jos Augusto de A. C. Taddei

Nveis de Evidncia e Graus de Recomendao

Projeto Diretrizes

A metodologia selecionada no presente projeto buscou a padronizao de texto objetivo e afirmativo sobre procedimentos diagnsticos, teraputicos e preventivos, recomendando ou contra-indicando condutas, ou ainda apontando a inexistncia de informaes cientficas que permitam a recomendao ou a contra-indicao.

Graus de Recomendao
A - Estudos experimentais ou observacionais de melhor consistncia. B - Estudos experimentais ou observacionais de menor consistncia. C - Relatos de casos estudos no controlados. D - Opinio desprovida de avaliao crtica, baseada em consensos, estudos fisiolgicos ou modelos animais.

Graus de Recomendao e Nvel de Evidncia

diretrizes.pdf

Centro Cochrane
Prof Dr lvaro Nagib Atallah Centro Cochrane do Brasil
David Sacket Trisha Greenhalgh Ian Chalmer Andrew Oxman

Nveis de Evidncias para Tomada de Decises Clnicas

1 - Reviso Sistemtica 2 - Ensaio Clnico Randomizado (n. grande) 3 - Ensaio Clnico Randomizado (n. pequeno) 4 - Prospectivo Coorte 5 - Casos e Controles 6 - Srie de Casos ou Relato de Casos 7 - Opinio de Especialista
ATALLAH, lvaro Nagib (Org.) . Atualizao Teraputica: manual prtico de diagnstico e tratamento. So Paulo: Artes Mdicas, 2003. v. 21.

S y s t e m a t i c R e v i e w s

Randomized Controlled Trials

Cohort studies

Case control studies Case series Case reports

Animal research In vitro (Test tube) research

Graus de Recomendao
A - Evidncias suficientemente fortes para haver consenso B - Evidncias no definitivas C - Evidncias suficientemente fortes para contra indicar a conduta.

Avaliao Crtica da Literatura

Avaliar a qualidade de uma publicao.

Tipos de Estudos

- Diagnstico -

Estudo de Acurcia

- Tratamento -

Ensaio Clnico Randomizado

- Prognstico -

Estudo Coorte

- Etiologia -

Estudo de Casos e Controles

- Prevalncia -

Estudo Transversal

- Profilaxia -

Ensaio Clnico Randomizado

Avaliao Crtica da Literatura

How to read clinical journals (Canadian Medical Association Journal, 1981) User's guide to the medical literature (JAMA, 1992).

Avaliao Crtica da Literatura

Avaliao da qualidade
a probabilidade de uma pesquisa planejada gerar resultados verdadeiros (Jadad, 1996).

A qualidade um conjunto de itens no planejamento e conduo de uma pesquisa relacionada com o tamanho do efeito encontrado (Verhagen, 1998).
A qualidade um conjunto de itens no planejamento e na conduo de uma pesquisa que reflete a validade da varivel analisada, relacionada com a validade interna, a validade externa e o modelo estatstico utilizado (Verhagen, 1998).

Avaliao Crtica da Literatura

Avaliao da qualidade
Validade interna Validade externa Mtodo estatstico

Avaliao Crtica da Literatura

Validade interna (ou somente validade)

Avaliao Crtica da Literatura

Validade externa (aplicabilidade)
possvel aplicar os resultados em meus pacientes?

Avaliao Crtica da Literatura

Mtodo estatstico (importncia)
Os resultados encontrados so relevantes?

Avaliao Crtica da Literatura

Mtodo estatstico
O erro da prova de equivalncia p < ou > 0,05 Tamanho da amostra A escolha errada do programa estatstico Evidncias oriundas de vrios estudos Equilbrio entre grupo-controle e grupo de estudo

AVALIAO CRTICA TESTE DIAGNSTICO

AVALIAO CRTICA TESTE DIAGNSTICO

Os resultados so vlidos?

Quais so os resultados?
Os resultados iro ajudar no cuidado dos meus doentes?

 diagnostico.pdf

OS RESULTADOS SO VLIDOS?
Foi realizada uma comparao independente e cega do teste diagnstico com o padro-ouro?

OS RESULTADOS SO VLIDOS?
A amostra de doentes utilizada no teste diagnstico inclui o espectro encontrado na prtica clnica?

OS RESULTADOS SO VLIDOS?
Foi realizado uma descrio detalhada do teste diagnstico para permitir sua reproduo?

OS RESULTADOS SO VLIDOS?
O resultado do novo teste influencia a deciso para realizar o padro ouro?

PADRO OURO

+
NOVO TESTE

FP

VP

FN

VN

OS RESULTADOS SO VLIDOS?
O resultado do novo teste influencia a deciso para realizar o padro ouro?

Quais so os resultados?
Os testes diagnsticos so apresentados com sensibilidade e especificidade, valor preditivo positivo, valor preditivo negativo ou os dados esto disponveis para calcul-los?

OS RESULTADOS SO VLIDOS?
O resultado do novo teste influencia a deciso para realizar o padro ouro?

Os resultados iro ajudar no cuidado dos meus pacientes?

Os resultados dos testes so reprodutveis e a interpretao possvel no local onde trabalho? Os resultados so aplicveis aos meus doentes? Os resultados podero mudar minha conduta? Os doentes se beneficiaro com os resultados do teste?

Estudo de caso
Doena, afeco ou condio rara (no h possibilidade de formar grupos) Descrio detalhada do caso Reprodutvel Concluso baseada no caso e no generalizada Recomenda-se abaixo de n=7 no realizar anlise estatstica Com anlise estatstica passa ser srie de casos

Estudo de caso
estudocaso.pdf

Srie de casos
Antes e depois Doena, afeco ou condio de prevalncia baixa (impossibilidade aleatorizao) Homogeneidade inicial Tamanho amostra Avaliao interveno reavaliao Reprodutvel Anlise estatstica Valor de p

Srie de casos
seriecasos.pdf

AVALIAO CRTICA ESTUDOS COORTE

ARTIGO

JAMA, October 27, 2010Vol 304, No. 16

Os resultados so vlidos?
A amostra formada por doentes no mesmo estgio da doena e tambm representativa?

Os resultados so vlidos?
A amostra formada por doentes no mesmo estgio da doena e tambm representativa?

Os resultados so vlidos?
Foi realizado um seguimento suficientemente longo e completo dos doentes?

Os resultados so vlidos?
Foram usados desfechos clnicos bem definidos?

Os resultados so vlidos?
Houve o cuidado de ajustar os grupos de doentes a fatores de risco importantes?

Os resultados so vlidos?
A perda de seguimento foi semelhante nos dois grupos? Foi significativa?

658
5,3%

4689
3,7%

Quais so os resultados?
Foi apresentado o risco relativo no perodo de tempo?

Quais so os resultados?
Qual a preciso do risco relativo?

Quais so os resultados?
Os potenciais fatores de confuso foram identificados e controlados na anlise dos dados?

Os resultados iro ajudar no cuidado dos meus doentes?

Se os resultados forem relevantes e todas as possveis causas de vieses forem descartadas, ento, os dados gerados pela pesquisa devem ser avaliados em relao validade externa, ou seja, a aplicabilidade clnica. A generalizao dos resultados de um estudo coorte depende da semelhana entre caractersticas basais dos pacientes includos no estudo e seus pacientes. Alm disso, os pacientes devem apresentar o fator em estudo definido pelos mesmos parmetros adotados no artigo cientfico. Se seus pacientes preencherem os critrios de incluso e excluso estabelecidos pelo estudo de coorte, no h muita discusso quanto aplicabilidade, ou seja, pacientes expostos queles fatores sero mais suscetveis ao desfecho, necessitando de maiores cuidados.

PADRO OURO

+
NOVO TESTE

2
102
Valor preditivo positivo 98%

100

100
102
Especificidade = 98%

100
Valor preditivo negativo 100%

100
Sensibilidade = 100%

Acurcia = 99%

RISCO
UTI Coorte expostos a SARA Coorte no expostos a SARA bito

BITO

19
47
Risco de A 59,57%

+
SARA

28

P < 0,001

17

44

61
Risco de B 27,86%

Risco relativo = risco de A / Risco de B = 2,14

IC95% 1,34 3,41

AVALIAO CRTICA CASOS E CONTROLES

CASOS E CONTROLES
casocontrole.pdf

CASOS E CONTROLES
Os dados foram coletados de maneira confivel? (questionrio ou lembrana) Se lembrana foi avaliado o vis? Os casos e controles so semelhantes? Tamanho da amostra? OR com IC? Anlise uni e multivariada? Os resultados iro ajudar no cuidado dos meus doentes?

Os dados foram coletados de maneira confivel? (questionrio ou lembrana)

Os casos e controles so semelhantes?

Tamanho da amostra?

OR
Grupo casos com cefalia Grupo controle sem cefalia
Hipertenso

HIPERTENO

+
CASOS

122

47

CONTROLES

35

161

P = 0,023

OR = 1,77 IC95% 1,07 -2,91

OR com IC?

Anlise uni e multivariada?

Anlise uni e multivariada?

Os resultados iro ajudar no cuidado dos meus doentes?

AVALIAO CRTICA ENSAIO CLNICO

ENSAIOS CLNICOS
DOIS OU MAIS GRUPOS ONDE PELO MENOS UM SOFRA INTERVENO CONSORT
tem como objetivo melhorar a transcrio de um ECR para permitir aos leitores uma melhor compreenso da maneira como foi conduzido o estudo e de avaliar a validade dos seus resultados. Lista de controle 23 itens subdivididos 37 guia para escrever o artigo Fluxograma - Descreve o progresso de todos os participantes no ensaio

ARTIGO
rct.pdf

Os resultados so vlidos?
Os pacientes foram randomizados para receber o tratamento e houve sigilo de alocao?

Os resultados so vlidos?
Todos os doentes que entraram no estudo foram considerados nos resultados e concluses?

Os resultados so vlidos?
Tamanho da amostra adequado

Os resultados so vlidos?
Anlise por inteno de tratar

Os resultados so vlidos?
O seguimento foi completo?

Os resultados so vlidos?
Os doentes foram analisados nos grupos em que foram randomizados?

Os resultados so vlidos?
Houve mascaramento no tratamento?

Os resultados so vlidos?
Os grupos foram similares no incio do estudo?

Os resultados so vlidos?
Exceto a interveno, os grupos foram tratados igualmente?

Quais so os resultados?
Qual a magnitude do efeito do tratamento?

Quais so os resultados?
Qual a preciso do efeito do tratamento?

Os resultados iro ajudar no cuidado dos meus doentes?

Os paciente do estudo so semelhantes aos meus pacientes?

Os resultados iro ajudar no cuidado dos meus doentes?

Todos os desfechos clnicos importantes foram avaliados?

Os resultados iro ajudar no cuidado dos meus doentes?

Os resultados iro ajudar no cuidado dos meus doentes?

Os resultados iro ajudar no cuidado dos meus doentes?

Os benefcios do tratamento compensam com os danos e custos?

INSTRUMENTOS PARA AVALIAO

Escala de Jadad
Delphi list

PEDro Consort

ESCALA DE JADAD

LISTA DELPHI
1.a. A alocao dos pacientes foi aleatria?

1.b. Se os indivduos foram alocados aleatoriamente para os grupos de tratamento, foi mantido o sigilo de alocao?
2. Os grupos eram comparveis em relao s caractersticas mais importantes do prognstico? 3. Os critrios de incluso e excluso foram especificados? 4. Foi utilizado um avaliador independente para avaliar os resultados? 5. O responsvel pelo cuidado do paciente foi mascarado? 6. O paciente foi mascarado? 7. 8. As medidas de variabilidade e a estimativa dos pontos foram apresentadas para a varivel primria? O estudo incluiu uma anlise por inteno de tratar (todos os pacientes alocados)?

LISTA PEDRO

AVALIAO CRTICA REVISES SISTEMTICAS

REVISO SISTEMTICA
Combinao de resultados de pesquisas utilizando metodologia adequada evitando o vis de identificao, seleo e coleta de dados. Revises narrativas no so sistemticas.

The Lancet, Vol. 357 - 2, 2001

METANLISE

Combinao estatstica de dois ou mais resultados de estudos separados

ARTIGO
revsist.pdf

The Journal of Spinal Cord Medicine Volume 33 Number 4 2010

Os resultados so vlidos?
A Reviso Sistemtica Delimita uma Questo Clnica Estruturada e Focada?

Os resultados so vlidos?
Os critrios utilizados para a seleo dos artigos foram apropriados?

Os resultados so vlidos?
Foi Realizada uma Estratgia de Busca Abrangente?

Os resultados so vlidos?
Foi Realizada uma Estratgia de Busca Abrangente?

Os resultados so vlidos?
Os Autores Avaliaram a Qualidade Metodolgica dos Estudos Includos na Reviso Sistemtica?

+ = Low risk, - High risk and ? = unclear.

1.

Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. available from www.cochrane-handbook.org.

Os resultados so vlidos?
Os Autores Realizaram um Processo de Extrao de Dados Padronizado e sem Vieses?

measures, key results, and respective methodologic scores.

Os resultados so vlidos?
Os estudos tm resultados semelhantes?

Quais so os resultados?
Os Autores Realizaram Metanlise? Se SIM, qual foi a Estimava de Efeito Conjunto? Os Achados foram Precisos?

Effects of Yoga on Psychological Health, Quality of Life, and Physical Health of Patients with Cancer: AMeta-Analysis

DESFECHO ANSIEDADE
Evidence-Based Complementary and Alternative Medicine 2011, Article ID 659876, 12 pages doi:10.1155/2011/659876

Quais so os resultados?
Os Resultados Foram Consistentes Entre os Diferentes Estudos? Se NO, os Autores Exploraram Potenciais Causas de Heterogeneidade?

Os resultados iro ajudar no cuidado dos meus doentes?

Os resultados podem ser aplicados no meu local de trabalho?

Effects of Yoga on Psychological Health, Quality of Life, and Physical Health of Patients with Cancer: AMeta-Analysis

DESFECHO ANSIEDADE
Evidence-Based Complementary and Alternative Medicine 2011, Article ID 659876, 12 pages doi:10.1155/2011/659876

Os resultados iro ajudar no cuidado dos meus doentes?

Todos os desfechos clnicos importantes foram includos?

Os resultados iro ajudar no cuidado dos meus doentes?

Os resultados iro ajudar no cuidado dos meus doentes?

Os benefcios do tratamento compensam com os danos e custos?

Os resultados iro ajudar no cuidado dos meus doentes?

Os benefcios do tratamento compensam com os danos e custos?

DESFECHO ANSIEDADE

Diretrizes
diretrizes.pdf