Reviso Bibliogrfica

Ricardo de Almeida Falbo

Metodologia de Pesquisa Departamento de Informtica Universidade Federal do Esprito Santo 2010/1

Agenda
Escolha do Tema Reviso Bibliogrfica A Leitura Sistematizando a Reviso Bibliogrfica Revises Sistemticas Estudo Baseado em Reviso Sistemtica
Metodologia de Pesquisa - 2010/1 2

Etapas do Trabalho de Pesquisa

Preparao do Trabalho de Pesquisa Conduo da Pesquisa Anlise e Discusso de Resultados Redao do Trabalho Cientfico Apresentao do Trabalho Cientfico
Metodologia de Pesquisa - 2010/1 3

Pesquisa Bibliogrfica

Preparao do Trabalho de Pesquisa

Escolha (e refinamento) do tema Pesquisa Bibliogrfica Formulao do Problema Definio de Objetivos e Hipteses Justificativa Definio do Mtodo de Pesquisa Identificao de Resultados Esperados e Limitaes
Metodologia de Pesquisa - 2010/1 4

Pesquisa Bibliogrfica

Escolha do Tema
O que tema de pesquisa? uma rea de conhecimento ou um aspecto de uma rea de conhecimento que se deseja investigar e desenvolver. a rea na qual se vai trabalhar (WAZLAWICK, 2009). Tema no objetivo.

Metodologia de Pesquisa - 2010/1

Escolha do Tema
A escolha do tema corresponde definio de uma parcela delimitada de um assunto, estabelecendo limites e restries para o desenvolvimento da pesquisa pretendida (Moresi, 2003). Em um curso de ps-graduao stricto-sensu, a escolha do tema est relacionada linha de pesquisa qual o aluno est vinculado e depende substancialmente do interesse do aluno e do orientador (WAZLAWICK, 2009).

Metodologia de Pesquisa - 2010/1

Escolha do Tema
Aspectos a serem considerados na escolha do tema (Moresi, 2003):
atualidade e relevncia, conhecimento do aluno a respeito, sua preferncia e aptido pessoal para lidar com o tema, tempo e recursos disponveis, seja vivel em termos de levantamento de informaes.
Metodologia de Pesquisa - 2010/1 7

Escolha do Tema
Recomenda-se que o aluno procure manter o mesmo tema ao passar da graduao para o mestrado e do mestrado para o doutorado (WAZLAWICK, 2009). O tema pode surgir, tambm, de situaes pessoais ou profissionais. Pode-se utilizar e ampliar algum trabalho desenvolvido em uma disciplina ao longo do curso (Moresi, 2003) ou algum trabalho desenvolvido previamente por outro aluno (ou pelo prprio aluno em um nvel anterior).
Metodologia de Pesquisa - 2010/1 8

Refinando o Tema
O tema deve ser refinado at um nvel de especificidade que seja adequado para a conduo da pesquisa. Quanto mais amplo o tema, maior a quantidade de livros e artigos a serem lidos (WAZLAWICK, 2009).

Metodologia de Pesquisa - 2010/1

Refinando o Tema
Deve-se evitar escolher temas vagos, que, devido sua extenso e generalidade, no permitem um tratamento srio e com profundidade (Moresi, 2003). Ao definir o tema, procure se referir a poucas coisas, de forma detalhada e consistente, ao invs de tratar de muitas coisas de forma genrica e superficial (Moresi, 2003).

Metodologia de Pesquisa - 2010/1

10

Reviso Bibliogrfica
O que ?
Refere-se fundamentao terica que visa dar sustentao ao desenvolvimento da pesquisa. o processo de levantamento e anlise do que j foi publicado sobre o tema de pesquisa escolhido, permitindo efetuar um mapeamento do que j foi escrito e de quem j escreveu algo sobre o tema da pesquisa (Moresi, 2003). A reviso bibliogrfica no produz conhecimento novo. Ela apenas supre as deficincias de conhecimento do pesquisador no tema de pesquisa (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 11

Reviso Bibliogrfica
um processo iterativo que permite refinar o tema de pesquisa, identificar problemas de pesquisa, definir e refinar objetivos. No se esgota quando os objetivos so estabelecidos, mas sim continua ocorrendo ao longo de todo o trabalho de pesquisa.
Metodologia de Pesquisa - 2010/1 12

Reviso Bibliogrfica
Escolher / Refinar o tema Formular problema de pesquisa

Reviso Bibliogrfica Definir / Refinar objetivos

Conduzir a pesquisa
Metodologia de Pesquisa - 2010/1 13

Reviso Bibliogrfica
Pode ser conduzida com os seguintes objetivos (Luna apud Moresi, 2003):
Determinao do estado da arte: visa identificar o que j se sabe sobre o tema, quais as lacunas existentes e onde se encontram os principais entraves tericos ou metodolgicos; Reviso terica: visa inserir o problema de pesquisa dentro de um quadro de referncia terica para explic-lo.

Metodologia de Pesquisa - 2010/1

14

Reviso Bibliogrfica
Reviso emprica: procura explicar como o problema vem sendo pesquisado procurando responder questes como: quais os procedimentos normalmente empregados no estudo desse problema? Que fatores afetam os resultados? Que propostas tm sido feitas para explic-los ou control-los? Que procedimentos vm sendo empregados para analisar os resultados? Reviso histrica: busca recuperar a evoluo de um conceito, tema, abordagem ou outros aspectos, fazendo a insero dessa evoluo dentro de um quadro terico de referncia.
Metodologia de Pesquisa - 2010/1 15

Reviso Bibliogrfica
Como conduzir a reviso bibliogrfica? recomendvel que se adote uma metodologia de pesquisa bibliogrfica, o que envolve:
Planejamento da reviso, definindo como abordar o tema, as fontes de informao e formas de se chegar s publicaes. Obteno, seleo e leitura. Registro da leitura (ficha de leitura).
Metodologia de Pesquisa - 2010/1 16

Fontes de Informao
Livros Teses e Dissertaes Artigos

Metodologia de Pesquisa - 2010/1

17

Livros
Normalmente, contm informao mais completa, didtica e bem amadurecida (WAZLAWICK, 2009). O objetivo de um livro precisamente apresentar uma determinada rea de conhecimento de forma didtica e bem fundamentada (WAZLAWICK, 2009). A maioria dos livros procura apresentar apenas a informao j consolidada (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 18

Teses e Dissertaes
Alm de apresentarem um trabalho de pesquisa, tm geralmente uma boa fundamentao, base para o trabalho, relacionada pesquisa efetuada. Trazem a viso do autor sobre o tema e o aluno-pesquisador deve evitar ficar limitado a essa viso. So boas fontes de referncias.
Metodologia de Pesquisa - 2010/1 19

Artigos
Na rea de Computao, bons artigos podem ser encontrados tanto em peridicos quanto em eventos cientficos (WAZLAWICK, 2009). Em geral, artigos em eventos tm informaes mais atuais, enquanto artigos de peridicos tendem a apresentar resultados mais consolidados e tero sido mais arduamente revisados e lapidados (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 20

Artigos
Problema: Qual a qualidade efetiva de um trabalho publicado em um artigo? Procurar trabalhos em peridicos e eventos reconhecidos pela comunidade. Procurar trabalhos de autores reconhecidos pela comunidade.

Metodologia de Pesquisa - 2010/1

21

Reviso Bibliogrfica: Por onde comear?

Se o pesquisador for praticamente um iniciante no tema, comear por trabalhos mais abrangentes que deem uma viso geral da rea, tais como artigos na forma de surveys e livros (WAZLAWICK, 2009). Surveys apresentam o estado da arte da rea de pesquisa e sua evoluo histrica, indicando as principais realizaes e diferentes desdobramentos (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 22

Reviso Bibliogrfica: Por onde comear?

Trabalhos clssicos tambm devem ser lidos, sendo eles normalmente destacados nos surveys (WAZLAWICK, 2009). Trabalhos muito citados tm sua importncia aumentada. Trabalhos clssicos so precisamente aqueles que so muito citados.
Metodologia de Pesquisa - 2010/1 23

Reviso Bibliogrfica
medida que o pesquisador ganha familiaridade com o tema, deve buscar fontes mais recentes, chegando ao que tem sido feito correntemente.

Metodologia de Pesquisa - 2010/1

24

Reviso Bibliogrfica
Quando se faz uma pesquisa em que alguma tcnica ou abordagem aplicada a uma rea de conhecimento, necessrio que se faa uma reviso (WAZLAWICK, 2009):
sobre a abordagem em si, sobre a rea de aplicao e principalmente, sobre as aplicaes que j foram tentadas com essa abordagem (ou abordagens semelhantes) na mesma rea ou em reas afins.

Um trabalho que no atende ao ltimo item sofre da sndrome da interseco esquecida (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 25

Reviso Bibliogrfica
Deve-se evitar o fundamento vazio, i.e., dizer que seu trabalho original porque voc no encontrou nada parecido. imprescindvel apresentar algo como referncia. Deve-se mostrar o que os outros fizeram e depois comparar seu trabalho com essas referncias, indicando o que diferente, melhor ou pior (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 26

A Leitura
Deve ser crtica, ou seja, a leitura no pode ser encarada apenas como aprendizado. O pesquisador deve exercer esprito crtico, questionando a validade das informaes registradas nos textos lidos. A aceitao passiva no gera no pesquisador o esprito de busca por novas informaes (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 27

A Leitura
Algumas perguntas podem ajudar o leitor a fazer uma leitura rica e geradora de ideias, bem como a avaliar a qualidade do trabalho sendo lido (WAZLAWICK, 2009):
De onde o autor parece tirar suas ideias? Quais as suas referncias? Quais os resultados obtidos? Como este trabalho se relaciona com outros? Qual seria um prximo passo para dar continuidade a este trabalho? Que ideias de reas prximas poderiam ser aproveitadas neste trabalho?
Metodologia de Pesquisa - 2010/1 28

Registrando a Leitura
Se voc leu um trabalho e no fez nenhum registro (anotao, resumo, ficha de leitura), ento no leu o trabalho... Durante todo processo de leitura fundamental fazer anotaes. Depois de ler algumas dezenas de trabalhos, ser difcil lembrar de onde saram determinadas ideias (WAZLAWICK, 2009).

Metodologia de Pesquisa - 2010/1

29

Ficha de Leitura
Exemplo:
Referncia completa Palavras-chave Resumo Principais ideias Aspectos positivos Aspectos negativos Avaliao da importncia para o trabalho de pesquisa Ideias que surgiram para o trabalho a partir da leitura deste texto
Metodologia de Pesquisa - 2010/1 30

Fichas de Leitura
O conjunto de fichas de leitura no o captulo de reviso da literatura; apenas um registro da leitura, organizado por fonte bibliogrfica (WAZLAWICK, 2009). Contudo, posteriormente pode servir de fonte para a escrita do captulo de reviso.
Metodologia de Pesquisa - 2010/1 31

Fichas de Leitura
Grande parte da reviso bibliogrfica ser realizada antes de se definir o problema a ser tratado e os objetivos do trabalho. Assim, muita leitura feita no ser referenciada no captulo de reviso da literatura. O captulo de reviso da literatura deve ser organizado aps a execuo da pesquisa, de modo a contemplar os principais conceitos e trabalhos correlatos relevantes para a compreenso da mesma (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 32

Organizando o registro da leitura

O uso de uma ferramenta para organizar as referncias muito indicado. Exemplos:
Zotero Mendeley Jabref Reference Manager End Note

Uma comparao entre diversas ferramentas desse tipo pode ser encontrada em:
http://en.wikipedia.org/wiki/Comparison_of_reference_management_software
Metodologia de Pesquisa - 2010/1 33

Exposio Pesquisa
Alm da leitura, o pesquisador, sobretudo na fase de gerao de ideias, deve estar constantemente exposto a um ambiente cientfico (WAZLAWICK, 2009). Neste contexto, fundamental que o aluno se rena pelo menos uma vez por semana com seu orientador para discutir ideias. A presena em laboratrios de pesquisa tambm muito saudvel, bem como a participao como ouvinte em defesas de mestrado e doutorado. O debate com colegas tambm pode ser muito enriquecedor.
Metodologia de Pesquisa - 2010/1 34

Sistematizando a Pesquisa Bibliogrfica

Waslawick (2009) sugere os seguintes passos para proceder pesquisa bibliogrfica de maneira sistemtica:
1. 2.

3. 4.

5.

6. 7.

Listar os peridicos (incluindo os gerais) e eventos relevantes para o tema de pesquisa. Obter uma lista dos artigos publicados nesses veculos nos ltimos cinco (ou mais) anos. Selecionar os artigos que tenham uma relao com o tema de pesquisa. Ler o resumo (abstract) desses artigos e classific-los por sua relevncia (alta, mdia ou baixa). Ler os artigos de alta relevncia e fazer fichas de leitura. Anotar tambm referncias relevantes mencionadas nesses artigos que paream relevantes para o trabalho de pesquisa. Dependendo do caso, ler tambm os artigos de relevncia mdia ou baixa. Decidir se j h material suficiente para a elaborao de uma ideia de pesquisa consistente. Se no houver, expandir a pesquisa examinando artigos mais antigos (expanso do passo 2) ou ampliando o leque de peridicos e eventos considerados (expanso do passo 1).

Metodologia de Pesquisa - 2010/1

35

Sistematizando a Pesquisa Bibliogrfica

A predefinio da lista de peridicos e eventos pode deixar de fora trabalhos importantes e atuais. Assim, pode valer a pena fazer uso de mecanismos de busca mais gerais, tal como Google Scholar (ou mesmo o Google). Neste caso, tem-se que ficar mais atento qualidade dos artigos.
Metodologia de Pesquisa - 2010/1 36

Sistematizando a Pesquisa Bibliogrfica

Uma abordagem mais formal para sistematizar a reviso bibliogrfica so as Revises Sistemticas (Kitchenham, 2004).

Metodologia de Pesquisa - 2010/1

37

Reviso Bibliogrfica
Sempre h conhecimento novo sendo produzido. Assim, o trabalho de reviso bibliogrfica contnuo e inesgotvel. Mas o trabalho de pesquisa deve ter um fim claro (WAZLAWICK, 2009). necessrio, portanto, passar gradualmente da fase de reviso bibliogrfica para a fase de realizao da pesquisa propriamente dita (WAZLAWICK, 2009).
Metodologia de Pesquisa - 2010/1 38

Reviso Sistemtica
um meio de identificar, avaliar e interpretar a pesquisa existente disponvel relevante para uma particular questo de pesquisa, tpico ou fenmeno de interesse (Kitchenham, 2004). uma metodologia de pesquisa desenvolvida para obter e avaliar a evidncia disponvel em um tpico focado de pesquisa (Biolchini et al., 2005).
Metodologia de Pesquisa - 2010/1 39

Reviso Sistemtica
Objetivos de uma reviso sistemtica da literatura (Kitchenham, 2004):
Sumarizar a evidncia existente referente a um tpico especfico. P.ex., evidncia dos benefcios e limitaes de um mtodo gil; Identificar lacunas na pesquisa corrente para sugerir reas para maior investigao. Prover um framework/background para posicionar adequadamente novas atividades de pesquisa.

Metodologia de Pesquisa - 2010/1

40

Reviso Sistemtica x Reviso Informal

Revises informais, conduzidas sem planejamento e critrios de seleo estabelecidos a priori, caracterizam-se por serem (Mafra et al., 2006):
Pouco abrangentes: a escolha das fontes das publicaes a serem analisadas e a busca por publicaes nessas fontes so feitas de forma ad hoc, sem um planejamento prvio.
Fontes importantes podem ser negligenciadas. Como geralmente no h uma utilizao de uma estratgia de busca dentro das fontes selecionadas, importantes publicaes podem no ser capturadas.

No passveis de repetio e por conseguinte pouco confiveis. Dependentes dos pesquisadores que as conduziram, aumentando possivelmente o vis de seus resultados.

Metodologia de Pesquisa - 2010/1

41

Reviso Sistemtica
Uma reviso sistemtica no simplesmente uma reviso da literatura conduzida segundo um planejamento (Mafra et al., 2006). A reviso sistemtica possui objetivos maiores, onde a reviso da literatura atua como um meio pelo qual um determinado propsito atendido (Mafra et al., 2006).
I.e., a reviso da literatura permite a coleta de dados que possam ser analisados posteriormente com o objetivo de se gerar evidncias na rea (que o propsito das revises sistemticas).

A conduo de revises sistemticas ajuda a elucidar novos aspectos na rea de investigao, direcionando os esforos de pesquisa (Biolchini et al., 2005).
Metodologia de Pesquisa - 2010/1 42

O Processo de Reviso Sistemtica

Planejamento da Reviso
Identificao da Necessidade da Reviso Desenvolvimento de um Protocolo de Reviso

Conduo da Reviso
Seleo de Publicaes Avaliao da Qualidade das Publicaes Anlise dos Dados

Publicao dos Resultados

(Kitchenham, 2004)
Metodologia de Pesquisa - 2010/1 43

Planejamento da Reviso
Identificar a Necessidade
A necessidade de uma reviso sistemtica surge da exigncia de se sumarizar todas as informaes existentes sobre algum fenmeno de forma completa e imparcial. Para isso deve-se definir o objetivo da reviso.

Metodologia de Pesquisa - 2010/1

44

Planejamento da Reviso
Desenvolver o Protocolo
O protocolo deve indicar, dentre outros:
o objetivo da reviso; as questes de pesquisa que a reviso se prope a responder; fontes a serem pesquisadas; critrios de seleo de publicaes, incluindo perodo, idioma e expresso de busca; critrios de incluso/excluso; procedimentos de anlise e extrao de dados; procedimento de teste do protocolo de pesquisa.

Metodologia de Pesquisa - 2010/1

45

Modelo do Protocolo de Reviso

Objetivo: Formulao da pergunta:
Interveno: Controle: Populao: Resultados: Aplicao:

Critrios de seleo de fontes: Mtodos de busca de fontes: Palavras-chave: Listagem de fontes: Tipo dos artigos: Idioma dos artigos: Critrios de incluso e excluso das publicaes Critrios de qualidade das publicaes: Processo de seleo das publicaes Avaliao da qualidade das publicaes: Estratgia de extrao de informao: Sumarizao dos resultados: (Mafra et al., 2006) Metodologia de Pesquisa - 2010/1 46

Conduo da Reviso
Seleo de Publicaes: A partir das fontes selecionadas, as publicaes so identificadas e selecionadas de acordo com os critrios de seleo e incluso/excluso estabelecidos no protocolo da reviso. Avaliao da Qualidade das Publicaes: as publicaes so avaliadas segundo os critrios de qualidade estabelecidos no protocolo. Anlise dos Dados: os dados dos estudos so extrados, analisados e sintetizados.

Metodologia de Pesquisa - 2010/1

47

Formulrio de Conduo da Reviso

Fonte: (fonte na qual a busca foi conduzida) Data da busca: Expresso de busca utilizada: Lista de artigos encontrados Lista dos artigos includos
Referncia completa Critrios de Incluso e Excluso
Critrios Resultados

Justificativa: (comentrios do pesquisador sobre sua escolha)

Lista dos artigos excludos (mesma estrutura de artigos includos) (Mafra et al., 2006)

Metodologia de Pesquisa - 2010/1

48

Publicao dos Resultados

Os resultados devem ser publicados:
Em um relatrio tcnico ou como parte do trabalho de concluso do curso (tese de doutorado ou dissertao de mestrado), incluindo todos os detalhes da reviso sistemtica. Em um artigo de evento ou peridico. Como normalmente nesses veculos h limitao de tamanho, o relatrio tcnico / trabalho de concluso deve ser referenciado.

Metodologia de Pesquisa - 2010/1

49

Estudo Baseado em Reviso Sistemtica (EBRS)

Desenvolver o Protocolo Conduzir a Pesquisa Relatar os Resultados

(Montoni apud Barcellos, 2009)

Metodologia de Pesquisa - 2010/1

50

Desenvolver o Protocolo
Definir o contexto no qual o estudo ser realizado e o objeto de anlise. Definir o protocolo de pesquisa, incluindo:
Objetivo Questes de Pesquisa Fontes Critrios para Seleo das Publicaes Forma de Armazenamento dos Dados das Publicaes Procedimentos para Extrao e Anlise de Dados Procedimento de Teste de Protocolo de Pesquisa

Testar o protocolo para verificar a viabilidade de execuo do mesmo, permitindo identificar modificaes necessrias no protocolo de pesquisa e/ou banco de dados de apoio.

Metodologia de Pesquisa - 2010/1

51

Conduzir a Pesquisa
Nesta atividade o pesquisador executa a pesquisa, coletando e armazenando os dados segundo o protocolo definido. Anlises quantitativas e qualitativas devem ser realizadas com base nos dados coletados.

Metodologia de Pesquisa - 2010/1

52

Relatar Resultados
Nesta atividade o pesquisador empacota os resultados gerados ao longo da execuo do estudo. Deve-se buscar publicar os resultados em alguma conferncia, revista ou biblioteca de trabalhos cientficos.

Metodologia de Pesquisa - 2010/1

53

Exemplo de EBRS
(Barcellos, 2009)

Metodologia de Pesquisa - 2010/1

54

Reviso Sistemtica (e EBRS)

Como tem de ter um objetivo e questes de pesquisa formuladas, no se aplica aos estgios iniciais da reviso bibliogrfica. Para ser bem aplicada, devem ter sido definidos o problema, os objetivos e as hipteses do trabalho.
Metodologia de Pesquisa - 2010/1 55

Referncias
Barcellos, M.P., Uma Estratgia para Medio de Software e Avaliao de Bases de Medidas para Controle Estatstico de Processos de Software em Organizaes de Alta Maturidade, Tese de Doutorado, COPPE/UFRJ, Rio de Janeiro, Brasil, 2009. Biolchini, J., Mian, P.G., Natali, A.C., Travassos, G.H., Systematic Review in Software Engineering: Relevance and Utility, Relatrio Tcnico ES-679/05, COPPE/UFRJ, Rio de Janeiro, Brasil, 2005. Kitchenham, B., Procedures for Performing Systematic Reviews, Joint Technical Report: Keele University Technical Report TR/SE - 0401 and NICTA Technical Report 0400011T.1, July 2004. Mafra, S.N., Travassos, G.H., Estudos Primrios e Secundrios Apoiando a Busca por Evidncia em Engenharia de Software, Relatrio Tcnico ES-687/06, COPPE/UFRJ, Rio de Janeiro, Brasil, 2005 Montoni, M., Uma Abordagem para Conduo de Iniciativas de Melhoria de Processos de Software, Exame de Qualificao para o Doutorado, COPPE/UFRJ, Rio de Janeiro, Brasil, 2007. Moresi, E.(Organizador), Metodologia de Pesquisa, Universidade Catlica de Braslia, 2003. Wazlawick, R.S., Metodologia de Pesquisa para Cincia da Computao, Editora Elsevier, 2009.

Metodologia de Pesquisa - 2010/1

56