HEIDER ALVARENGA DE JESUS

REVISO SISTEMTICA DE ENGENHARIA DE

SOFTWARE EXPERIMENTAL IN VITRO: UMA
ANLISE PRELIMINAR

LAVRAS MG
2013

HEIDER ALVARENGA DE JESUS

REVISO SISTEMTICA DE ENGENHARIA DE SOFTWARE

EXPERIMENTAL IN VITRO: UMA ANLISE PRELIMINAR

Monografia apresentada ao Colegiado

do Curso de Cincia da Computao,
para a obteno do ttulo de Bacharel
em Cincia da Computao.

Orientador:
Dr. Antnio Maria Pereira de Resende

Coorientador:
Dr. Andr Luiz Zambalde

LAVRAS MG
2013

Aos meus pais, Nelson Geraldo de Jesus e Maria Aparecida Alvarenga de Jesus
pelo amor e apoio durante toda a caminhada.
As minhas irms Tamar Alvarenga de Jesus e Elen Alvarenga Silva pela
amizade e carinho.
Aos meus parentes, amigos e colegas que sempre estiveram ao meu lado
confiando e apoiando.
DEDICO

AGRADECIMENTO

A Universidade Federal de Lavras (UFLA) e ao Departamento de

Cincia da Computao (DCC), pela oportunidade concedida para a realizao
do curso de Bacharel em Cincia da Computao.
Ao Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico
(CNPq) pela concesso da bolsa de iniciao cientfica.
Aos professores do Departamento de Cincia da Computao (DCC) e
demais

departamentos,

pelos

ensinamentos

transferidos

harmoniosa

convivncia.
Ao professor Dr. Antnio Maria Pereira de Resende pela orientao,
pacincia, amizade, dedicao e seus ensinamentos que foram de grande
relevncia para a realizao deste trabalho e meu crescimento profissional.
Ao professor Dr. Andr Luiz Zambalde pela disponibilidade, boa
vontade em ajudar sendo coorientador deste trabalho e pelos ensinamentos que
esto sendo muito importantes para o meu crescimento profissional.
Aos professores Dr. Paulo Henrique de Souza Bermejo e M. Sc. Andr
Grtzmann pela disposio em participar como membros da banca examinadora.
Ao Grupo de Pesquisa em Engenharia de Software (PqES) do DCC pela
oportunidade concedida para realizao de projetos de pesquisa em Engenharia
de Software.

RESUMO

A Engenharia de Software Experimental consiste na observao de

alguns aspectos do desenvolvimento de software com foco no experimento. Esta
observao pode ser feita atravs da aplicao de mtodos ou tcnicas, sejam
eles novos ou j existentes. A Engenharia de Software Experimental permite
compreender melhor o funcionamento das coisas e saber se o que acredita-se ser
verdade realmente . Existem vrios contextos de aplicao dos experimentos
em Engenharia de Software Experimental como in vitro, in vivo, in silico e in
virtuo. Neste trabalho foi elaborada uma reviso sistemtica sobre a Engenharia
de Software Experimental aplicada ao contexto in vitro. A realizao de um
experimento in vitro, sob condies controladas, antes de se realizar um
experimento in vivo, em ambiente real, muito importante principalmente por
poder diminuir os riscos, o custo, entre outros fatores. O estudo permitiu listar
mtodos/tcnicas utilizados atualmente e descrev-las, mostrando o atual cenrio
da Engenharia de Software Experimental aplicada ao contexto in vitro.

Palavras-chave: Engenharia de Software Experimental. In Vitro.

ABSTRACT

The Empirical Software Engineering consists in the observation of some

aspects of software development focusing on the experiment. This observation
may be performed by applying methods or techniques, either new or existing.
The Experimental Software Engineering allows a better understanding of how
things work and whether what is believed to be true really is. There are several
application contexts of experiments in Empirical Software Engineering as in
vitro, in vivo, in silico and in virtuo. In this work is presented a systematic
review of the Empirical Software Engineering applied to the in vitro context.
The realization of an in vitro experiment, under controlled conditions, before
conducting an in vivo experiment, in real environment, is very important mainly
for power to reduce the risks, costs, and other factors. The study allowed to list
methods and techniques used today and describe them, showing the current
scenario of Empirical Software Engineering applied to the in vitro context.

Keywords: Empirical Software Engineering. In Vitro.

LISTA DE ILUSTRAES
Figura 1 Processo de classificao dos estudos de uma RSL Etapa de seleo
............................................................................................................................ 21
Figura 2 Tipos de Pesquisa ................................................................................. 25
Figura 3 Desenvolvimento da RSL e anlise dos resultados .............................. 27
Figura 4 Resultados da busca na base IEEE Xplore ........................................... 34
Figura 5 Resultados da busca na base Scopus .................................................... 35
Figura 6 Resultado das buscas realizadas na base Elsevier ScienceDirect ......... 36
Figura 7 Resultado das buscas realizadas na base El Compendex ...................... 36
Figura 8 Resultado da busca realizada na base ACM Digital Library ................ 37
Figura 9 Processo de extrao de informaes de estudos sobre ESE................ 43

LISTA DE TABELAS

Tabela 1 Estudos Identificados e resultado da seleo primria da RSL............ 38

Tabela 2 Resultado da seleo secundria e estudos includos na RSL.............. 38

LISTA DE ABREVIATURAS E SIGLAS

ES Engenharia de Software
ESE Engenharia de Software Experimental
RSL Reviso Sistemtica de Literatura
LED Laboratrio de Educao a Distncia
DIS Departamento de Informtica e Sade
UNIFESP Universidade Federal de So Paulo
GQM Goal/Question/Metrics
QIP Quality Improvement Paradigm
IDEs Integrated Development Environments

SUMRIO

INTRODUO .................................................................................... 11

1.1

Objetivo Geral ...................................................................................... 13

1.2

Objetivos Especficos ........................................................................... 13

1.3

Estrutura do Documento ..................................................................... 13

REFERENCIAL TERICO............................................................... 15

2.1

Engenharia de Software Experimental .............................................. 15

2.2

Reviso Sistemtica de Literatura (RSL) .......................................... 19

METODOLOGIA ................................................................................ 24

3.1

Classificao da Pesquisa .................................................................... 24

3.2

Mtodo .................................................................................................. 26

3.2.1

Pr-desenvolvimento ............................................................................ 27

3.2.2

Desenvolvimento da RSL e Anlise dos Resultados .......................... 28

DESENVOLVIMENTO DA REVISO SISTEMTICA ............... 31

4.1

Planejar a RSL ..................................................................................... 31

4.2

Realizar a Pesquisa Bibliogrfica e Selecionar os Artigos................ 33

ANLISE DOS RESULTADOS......................................................... 39

CONCLUSES .................................................................................... 49
REFERNCIAS ................................................................................... 52

11
1 INTRODUO

O termo Engenharia de Sofwtare (ES) comeou a ser utilizado no ano

1968 em uma conferncia realizada na Alemanha. No ano de 1976 a IEEE
Computer Society criou um comit para cuidar do desenvolvimento de padres
para a ES. Ao longo das ltimas dcadas o corpo de conhecimento da ES vem se
desenvolvendo e evoluindo. Alm disso, este corpo de conhecimento no
esttico e estudos nesta rea do conhecimento devem se desenvolver e evoluir
conforme a ES amadurece (TRIPP, 2004).
Atualmente, os softwares esto por toda a parte e j fazem parte do
nosso cotidiano. A utilizao de softwares mais comum do que se imagina.
Eles esto em diversos aparelhos utilizados diariamente como os computadores,
caixas de autoatendimento, smartphones, e tambm em operaes mais
complexas como controlando a rbita de um satlite, fazendo previses do
tempo, controlando rotas de aeronaves, entre outras. Com isso, a ES passou a ter
um papel muito importante, mas por ser uma rea recente e com um corpo de
conhecimento em fase de amadurecimento, ela ainda produz muitos softwares
com falhas que podem ser perigosas.
A experimentao a base da cincia moderna e atravs dos
experimentos que se pode provar a validade de hipteses e em qual domnio se
estende sua validade. Aps ser validada, uma hiptese se torna uma tese. Para
que as novas criaes sejam utilizadas com segurana do resultado a ser
alcanado, muito importante determinar se ela abrange alguns eventos
especficos ou se mais genrica (BRILLIANT; KNIGHT, 1998).
A Engenharia de Software Experimental (ESE), do ingls Empirical
Software Engineering, consiste na observao de alguns aspectos do
desenvolvimento de software com foco no experimento. Esta observao pode

12
ser feita atravs da aplicao de mtodos/tcnicas, sejam eles novos ou j
existentes, conforme Brilliant e Knight (1998).
Para Perry e Porter (2000) e Kitchenham, Dyba e Jorgensen (2004), a
ESE permite compreender melhor o funcionamento das coisas e saber se o que
se acredita ser verdade realmente . Dentre os contextos de aplicao da ESE,
pode-se citar os tipos In Vivo, In Vitro, In Silico e In Virtuo.
Segundo Travassos, Gurov e Amaral (2002) o termo In Vivo refere-se a
experimentos aplicados em campo, ou seja, projetos reais, j o termo In Vitro
refere-se a experimentos aplicados em laboratrio, ou seja, em ambientes com
condies controladas.
Existem ainda os tipos In Silico, que trata de experimentos onde os
participantes e o mundo real so descritos por modelos computacionais, e o In
Virtuo, realizado sob condies controladas nas quais os participantes interagem
com modelos computacionais da realidade (LOPES; TRAVASSOS, 2009).
De acordo com Shull et al. (2001), primeiramente necessrio realizar
um estudo de viabilidade antes de transferir tecnologias para a indstria,
portanto

os

experimentos

referentes

validao/verificao

de

um

mtodo/tcnica devem ser realizados inicialmente In Vitro, ou seja, em

ambientes controlados. Os experimentos devem ser realizados In Vivo, em
ambiente real, somente aps a comprovao mnima de eficcia e/ou eficincia
de determinado mtodo/tcnica. Assim, fortalecer as tcnicas de aplicao de
experimentos In Vitro na rea de ES de extrema importncia para a
comunidade cientfica e tecnolgica, e tambm para o mercado, onde diversos
softwares so executados em dispositivos simples ou at em dispositivos mais
complexos, aplicados em cirurgias meticulosas, por exemplo.
Como a ESE, assim como a ES, uma rea que est em constante
desenvolvimento e evoluo, torna-se necessrio estabelecer o estado atual da
rea. Como este trabalho voltado ao contexto experimental in vitro, catalogar

13
os artigos e pesquisas com este tema de fundamental importncia para se
estabelecer/investigar novos protocolos, o que j foi feito e quais so os novos
desafios que a cincia precisa atacar.
Uma dificuldade encontrada a falta de um artigo ou documento que
descreva os mtodos/tcnicas de ESE In Vitro.

1.1 Objetivo Geral

O objetivo deste trabalho realizar uma Reviso Sistemtica de

Literatura (RSL) sobre ESE In Vitro e levantar os mtodos/tcnicas utilizados
atualmente nesta rea de conhecimento.

1.2 Objetivos Especficos

Os objetivos especficos deste trabalho so:

a)

Realizar uma Reviso Bibliogrfica sobre ESE e RSL;

b)

realizar uma RSL sobre ESE In Vitro;

c)

levantar os mtodos/tcnicas utilizadas na rea atravs dos

resultados obtidos na RSL;

d)

descrever os mtodos/tcnicas encontrados.

1.3 Estrutura do Documento

No captulo 2 deste trabalho, so apresentados os principais tpicos

relacionados a ESE, abordando sua definio e conceitos. Alm disto, tambm
so apresentados os fundamentos de uma RSL, definies, conceitos e os
procedimentos que devem ser seguidos durante sua elaborao. No captulo 3,

14
descrita a metodologia utilizada na execuo deste trabalho, desde as etapas
iniciais at sua concluso. No captulo 4 so detalhados os procedimentos
executados no desenvolvimento da RSL de ESE In Vitro. O captulo 5 apresenta
a anlise dos resultados obtidos na RSL. As concluses do trabalho so
apresentadas no captulo 6 e, ao final, as referncias bibliogrficas.

15
2 REFERENCIAL TERICO

A ESE uma rea nova e est em constante crescimento. Muitos estudos

tem sido realizados nesta rea com o intuito de ajudar a amadurecer a ES. Um
dos documentos utilizados para introduo e conceituao sobre a ESE foi o
relatrio tcnico elaborado por Travassos, Gurov e Amaral (2002).
Existem trabalhos clssicos envolvendo RSL em ES. Mafra e Travassos
(2006) destacam algumas revises sistemticas na rea: (JASPERSON et al.,
2002), (KITCHENHAM; TRAVASSOS, 2006), (MENDES, 2005), dentre
outras. A RSL realizada por Biolchini, Mian, et al. (2005) tambm foi utilizada
como referncia. Estes trabalhos foram importantes para visualizar o processo de
execuo de uma reviso sistemtica na prtica.

2.1 Engenharia de Software Experimental

A experimentao em ES surgiu por volta da dcada de 1980 (BASILI;

SELBY; HUTCHENS, 1986) e desde ento diversos trabalhos tem sido
publicados ao longo dos anos a este respeito (MAFRA; TRAVASSOS, 2006).
A ESE busca aprimorar a ES aplicando a abordagem cientfica
(experimentao) na construo de novos mtodos e tcnicas para apoio ao
desenvolvimento de software.
A experimentao permite avaliar a atividade humana de modo
sistemtico, disciplinado, computvel e controlado (TRAVASSOS; GUROV;
AMARAL, 2002). Esta avaliao muito importante para saber se algum
produto ou servio poder ser inserido ou utilizado em algum meio, se poder
atingir o objetivo proposto e quais os riscos essa introduo pode trazer.
possvel melhorar a qualidade dos trabalhos cientficos em ES
utilizando a validao de experimentos. Desta forma, as ideias mais promissoras

16
sero identificadas mais rapidamente e com mais segurana. Alm disso, este
um grande passo na consolidao da ES.
Travassos, Gurov e Amaral (2002) afirmam que uma discusso ainda se
concentra em considerar a ES uma cincia ou engenharia, pois o software possui
um duplo carter. Dentre as caractersticas explcitas que mostram sua relao
com a engenharia, pode-se citar o fato de a ES considerar o processo de criao
do produto (software). Mas tambm possui caractersticas que mostram a parte
cientfica da ES, como os aspectos relacionados a time-to-market (tempo de
lanamento de um produto) e competio exigindo a melhoria contnua e
sequencial da qualidade do processo do produto.
Para Mafra e Travassos (2006), a interao entre diversas variveis
influenciam no sucesso do desenvolvimento de software. Segundo os autores,
essas variveis podem ser: o ambiente de trabalho agradvel, a experincia de
pessoal, a utilizao de processos e procedimentos de qualidade e o apoio
ferramental adequado, por exemplo.
Mafra e Travassos (2006) observaram essas variveis presentes no
desenvolvimento

de

software

perceberam

uma

complexidade

no

relacionamento dessas variveis, levantando ento uma questo: como

identificar, isolar e avaliar a contribuio individual da aplicao de uma
determinada tecnologia para a qualidade final do produto num cenrio de
desenvolvimento de software?
Segundo Mafra e Travassos (2006), a experimentao em ES pode
atender satisfatoriamente a essa necessidade, a medida que fornece mecanismos
adequados para a identificao e o entendimento do relacionamento entre as
diferentes variveis envolvidas num determinado contexto.
No que diz respeito a conduo dos experimentos, Wohlin (2000) citado
por Travassos, Gurov e Amaral (2002) afirmam que existem quatro mtodos

17
relevantes em ES, sendo eles o mtodo cientfico, o mtodo de engenharia, o
mtodo analtico e o mtodo experimental.
O mtodo cientfico observa o mundo, sugere o modelo ou a teoria de
comportamento, mede e analisa, verifica as hipteses do modelo ou da teoria.
(TRAVASSOS; GUROV; AMARAL, 2002, p. 3).
O mtodo de engenharia observa as solues existentes, sugere as
solues mais adequadas, desenvolve, mede e analisa, e repete at que nenhuma
melhoria adicional seja possvel. (TRAVASSOS; GUROV; AMARAL, 2002,
p. 3).
O mtodo analtico (ou matemtico) sugere uma teoria formal,
desenvolve a teoria, deriva os resultados e, se possvel, compara-a com as
observaes empricas. (TRAVASSOS; GUROV; AMARAL, 2002, p. 3).
Neste trabalho foi considerado o mtodo experimental, onde um modelo
sugerido, ento se desenvolve o mtodo qualitativo e/ou quantitativo, aplica-se
um experimento, fazem-se medies e anlises, avalia-se o modelo e repete todo
o processo. Este processo geralmente levanta um novo modelo, no
necessariamente baseado em um modelo existente, e tenta estudar o efeito do
processo ou produto sugerido pelo novo modelo, conforme Travassos, Gurov e
Amaral (2002).
Wohlin et al. (2000) definiram que a conduo de experimentos em
cinco etapas, descritas por Mafra e Travassos (2006):

a)

definio: so definidos os problemas e objetivos do estudo

experimental;

b)

planejamento: determinado o projeto do estudo, so definidos os

instrumentos a ser utilizados, e os aspectos da validade dos
resultados so analisados, com isso elaborado o Plano do Estudo

18
Experimental, que deve ser cuidadosamente revisado e avaliado,
pois desempenha um papel crucial no contexto de um estudo;
c)

execuo: esta etapa realizada conforme o Plano do Estudo

Experimental, onde os dados experimentais so coletados;

d)

anlise e interpretao: os dados coletados so analisados e

avaliados, podendo esta etapa ser reexecutada conforme haja
necessidade;

e)

apresentao e empacotamento: Amaral (2003) substitui esta etapa

por um processo de empacotamento durante todo o processo de
experimentao, onde so capturadas as lies aprendidas desde o
incio do processo experimental. Ao contrrio do modelo proposto
por Wohlin et al. (2000), onde essas informaes s seriam
coletadas ao final, podendo ocorrer eventuais perdas de
informaes.

Travassos, Gurov e Amaral (2002, p. 5) afirmam que os objetivos

relacionados a execuo dos experimentos em ES so a caracterizao,
avaliao, previso, controle, e melhoria a respeito de produtos, processos,
recursos, modelos, teorias entre outros.
De acordo com Travassos, Gurov e Amaral (2002, p. 7), os elementos
principais do experimento so as variveis, os objetos, os participantes, o
contexto do experimento, hipteses, e o tipo de projeto do experimento. Este
trabalho se concentra em um destes elementos: no contexto do experimento, ou
seja, onde o experimento est sendo executado.
O contexto do experimento divido em in vitro, que se refere ao
experimento realizado no laboratrio sob as condies controladas, e in vivo,
que se refere ao estudo de um projeto real (TRAVASSOS; GUROV; AMARAL,

19
2002). Outros autores ainda citam o tipo in silico e in virtuo, onde o estudo
feito atravs de simulaes.
Este trabalho ir analisar a ESE aplicada ao contexto in vitro,
considerando ento, de acordo com a literatura, os experimentos realizados em
laboratrio, sob condies controladas.

2.2 Reviso Sistemtica de Literatura (RSL)

H dcadas os estudos primrios tem sido a principal forma de gerar

conhecimentos. Porm, desde o final da dcada de 80, outro tipo de estudo tem
se tornado cada vez mais frequente: a RSL com ou sem meta-anlise.
Inicialmente aplicado a literatura mdica, a RSL (ou reviso sistemtica)
mostrou sua eficincia e passou a ser utilizada tambm em diversas outras reas
do conhecimento (CASTRO et al., 2002).
A RSL uma tcnica para avaliar e interpretar pesquisas disponveis e
relevantes para uma questo particular de pesquisa, uma rea temtica ou um
fenmeno de interesse (KITCHENHAM, 2004, apud MIRA, 2011).
Conforme Mulrow (1994), a reviso sistemtica uma tcnica cientfica
objetiva, eficiente e reprodutvel, que permite extrapolar achados de estudos
independentes, avaliar a consistncia de cada um deles e explicar as possveis
inconsistncias e conflitos.
Uma RSL rene, de forma organizada, o resultado de vrios estudos
realizados em uma determinada rea do conhecimento. De acordo com Clarke
(2000), a RSL responde uma pergunta claramente formulada utilizando mtodos
sistemticos e explcitos para identificar, selecionar e avaliar criticamente
pesquisas relevantes, e coletar e analisar dados de estudos includos na reviso.
Alm disso, os mtodos estatsticos podem fazer parte da anlise dos artigos,
neste caso tem-se a denominao de meta-anlise.

20
Com o constante crescimento da quantidade de informao cientfica,
RSL so de extrema importncia, pois seu objetivo principal transformar as
informaes em conhecimento, ou seja, as informaes so reunidas,
organizadas e avaliadas.
O processo de desenvolvimento de uma RSL pode ser dividido em trs
fases: planejamento, execuo e anlise de resultados (BIOLCHINI et al., 2005).
Na fase de planejamento da RSL so identificadas as necessidades de se
realizar a reviso sistemtica, ento o pesquisador deve apresentar uma
justificativa para a realizao desta reviso. Depois disso traada uma
estratgia de busca de revises sistemticas j existentes para garantir que no
haja duplicidade e tambm que nenhuma RSL j existente fique de fora. Caso
existam revises sistemticas sobre o assunto, necessrio avaliar a qualidade
dessas revises (CASTRO et al., 2002).
Uma vez que foi garantida a necessidade de realizar a RSL, d-se incio
a elaborao do projeto. Esta etapa muito importante para que haja a reduo
da possibilidade de vieses. O projeto geralmente contm a descrio do
contexto, a descrio dos objetivos, descrio da amostra, descrio do mtodo,
cronograma de atividades e fontes de financiamento (CASTRO et al., 2002).
Com o projeto da reviso sistemtica em mos inicia-se a fase de
execuo. Nesta fase feita a identificao, seleo e coleta de dados dos
estudos primrios. Na etapa de identificao, diversas fontes de busca so
utilizadas para identificar os estudos que potencialmente podem ser includos na
RSL, de acordo com os critrios pr-estabelecidos no projeto da RSL. J na
etapa de seleo, os estudos identificados so analisados e classificados de
acordo com as categorias: estudos identificados, estudos no selecionados,
estudos selecionados, estudos excludos, estudos includos. O processo de
classificao dos estudos de uma RSL pode ser vista na Figura 1. Para reduzir a
possibilidade de vieses, utilizar vrias fontes e estratgias otimizadas de busca

21
so procedimentos indicados, pois um estudo pode constar em uma base de
dados, mas no em outra. O objetivo garantir que o mximo de estudos
possvel estejam includos na RSL. As tcnicas utilizadas para identificar e
selecionar os estudos devem ser descritas no projeto da RSL durante a fase de
planejamento (CASTRO et al., 2002).

Figura 1 Processo de classificao dos estudos de uma RSL Etapa de seleo

Fonte: Adaptado de Castro et al. (2002)

Aps classificar os estudos, realizada a coleta de dados dos estudos

classificados como estudos includos. Nesta etapa, coletado um conjunto de
informaes sobre cada estudo selecionado. Estas informaes podem ser os
mtodos, os participantes, os resultados, entre outras (CASTRO et al., 2002).
Finalmente inicia-se a fase de apresentao e interpretao dos
resultados e concluso. Nesta fase, os resultados obtidos na anlise dos dados
coletados so apresentados. Geralmente inclui a descrio e a qualidade dos
estudos e o resultado das variveis. As anlises de dados e sua apresentao so
fundamentais para interpretao dos resultados (CASTRO et al., 2002).

22
O processo de anlise dos dados pode ser dividido em anlise de
qualidade e anlise estatstica. Na anlise da qualidade dos estudos so
observados a validade interna, a validade externa e os mtodos usados em cada
estudo. A principal justificativa para a avaliao de qualidade dos estudos
includos a deteco de semelhanas e diferenas entre eles. Na anlise
estatstica podem ser feitas mltiplas meta-anlises, porm uma reviso
sistemtica no envolve obrigatoriamente uma ou mais meta-anlises (CASTRO
et al., 2002).
A interpretao dos resultados ocorre depois da anlise dos dados e um
dos passos mais complexos de uma RSL. Por mais objetivas que sejam as regras,
neste estgio que a subjetividade mais marcante. Na interpretao deve-se
levar em conta as trs partes dos resultados (descrio dos estudos, qualidade
dos estudos, anlise estatstica ou meta-anlise). A anlise estatstica a nica
que pode no estar presente. nesta fase que so apresentadas as respostas das
questes elaboradas durante o planejamento da RSL (CASTRO et al., 2002).
Para a discusso da RSL, Castro et al. (2002) sugere o seguinte roteiro:

a)

enunciado dos principais achados da reviso;

b)

foras e fraquezas da reviso;

c)

significado da reviso;

d)

recomendaes.

A boa redao fundamental para o apontamento adequado das

concluses e sua normalizao essencial para que se evitem os vieses.
Finalmente chega-se a concluso, onde se pode classificar a qualidade e o poder
estatstico da RSL (CASTRO et al., 2002).
Concluindo-se as trs fases, o processo de elaborao de uma RSL est
completo. Algumas etapas podero variar de acordo com a rea do

23
conhecimento em que a RSL ser aplicada, mas o essencial que ela no perca o
carter e a rigorosidade durante sua elaborao (CASTRO et al., 2002).
Depois de publicada, uma RSL poder receber comentrios, crticas e
sugestes que, quando pertinentes, devero ser incorporadas a reviso por meio
de aprimoramentos. Alm disso, a RSL poder receber atualizaes peridicas
que levem em conta novos estudos publicados ou em andamento (CASTRO et
al., 2002).

24

3 METODOLOGIA

A metodologia de pesquisa um conjunto de mtodos, tcnicas e

procedimentos cuja finalidade viabilizar a execuo da pesquisa que tem como
resultado um novo produto, processo ou conhecimento (JUNG, 2004).

3.1 Classificao da Pesquisa

Jung (2004) prope uma classificao dos tipos de pesquisa representada

na Figura 2. Segundo o autor, uma pesquisa pode ser classificada quanto a sua
natureza como bsica, para gerar conhecimento sem finalidades de aplicao, ou
aplicada, com finalidade de aplicao. Quanto aos objetivos, uma pesquisa pode
ser exploratria (descobrir/inovar), descritiva (como?) e/ou explicativa (por
que?). Quanto as abordagens, ela pode ser quantitativa ou qualitativa. Quanto
aos procedimentos, pode ser um survey, estudo de caso nico, experimental,
pesquisa-ao, estudo de casos mltiplos ou operacional. Os mtodos para coleta
de dados so a observao participante, grupos focados, entrevistas,
questionrios, experimentao e observao.
O modelo proposto por Jung (2004) foi adaptado neste trabalho para
atender as caractersticas do mesmo. A RSL foi includa nos procedimentos e os
formulrios nos mtodos de coleta de dados, este mtodo bastante utilizado em
uma RSL.

25

Figura 2 Tipos de Pesquisa

Fonte: Adaptado de Jung (2004)

Observando-se as definies apresentadas, este trabalho pode ser

classificado da seguinte forma:

26
a)

quanto a natureza: aplicada, pois o objetivo do trabalho investigar

mtodos/tcnicas utilizadas atualmente na ESE In Vitro;

b)

quanto aos objetivos: descritivos, uma vez que deseja-se procurar

tcnicas de ESE in vitro, sejam elas novas ou j existentes, em
artigos e documentos cientficos e descrev-las;

c)

quanto a abordagem: qualitativa, pelo fato de envolver a pesquisa,

identificao e descrio das tcnicas utilizadas em ESE in vitro;

d)

quanto aos procedimentos: RSL, pois esta foi a tcnica utilizada

neste trabalho para obter os resultados;

e)

quanto aos mtodos para coleta de dados: formulrio, para coletar

os dados resultantes dos artigos e documentos encontrados, cujo
preenchimento feito pelo prprio investigador.

3.2 Mtodo

Este trabalho foi organizado em duas fases principais, sendo a segunda

dividida em quatro etapas. As fases so definidas a seguir:

a)

pr-desenvolvimento: realizao do curso de reviso sistemtica a

distncia, oferecido pelo Laboratrio de Ensino a Distncia (LED)
do Departamento de Informtica e Sade (DIS) da Universidade
Federal de So Paulo (UNIFESP) e leitura de artigos e estudos
sobre RSL e ESE. Esta fase descrita na seo 3.2.1;

b)

desenvolvimento da RSL e anlise dos resultados (Figura 3):

elaborar o planejamento da RSL, onde so detalhados os
procedimentos a serem realizados durante a reviso, realizar a
pesquisa bibliogrfica sobre o tema envolvido na reviso

27
sistemtica, selecionar os artigos encontrados, analisar dos artigos
selecionados. Esta fase descrita na seo 3.2.2;

Figura 3 Desenvolvimento da RSL e anlise dos resultados

3.2.1

Pr-desenvolvimento

A primeira fase do projeto a realizao do curso de reviso sistemtica

a distncia, oferecido por iniciativa do Centro Cochrane do Brasil e do LED
DIS da UNIFESP. Embora seja um curso mais voltado para a rea de medicina e
sade, foi possvel adaptar os conhecimentos adquiridos e aplica-los em outras
reas, inclusive Engenharia de Software.
Segundo Castro et al. (2002), os objetivos de se realizar este curso so:

a)

informar sobre os aspectos tericos da RSL com e sem metaanlise;

b)

disponibilizar recursos, conhecimentos e habilidades para planejar,

conduzir e investigar uma RSL.

O modelo de educao a distncia permite que o pesquisador faa o

curso sem necessariamente estar presente na UNIFESP, facilitando o acesso em
qualquer lugar do mundo atravs da internet.

28
Alm do curso de RSL, foi realizada a leitura de artigos e estudos
relacionados a RSL e a ESE para melhor embasamento do pesquisador na rea.
Antes de se iniciar uma RSL necessrio observar a existncia de outras
RSL sobre o assunto a ser tratado, para evitar estudos duplicados. Foram feitas
pesquisas nas bases de dados sobre ESE In Vitro e no foi encontrada uma RSL
que abordasse este tema.
Tendo os conhecimentos necessrios para a elaborao de uma RSL em
ESE do tipo In Vitro e no tendo encontrado outras revises sistemticas sobre o
assunto, deu-se incio a segunda fase do trabalho, descrita na seo seguinte.

3.2.2

Desenvolvimento da RSL e Anlise dos Resultados

Esta fase foi dividida em quatro etapas, sendo trs delas pertencentes ao
processo de Desenvolvimento da RSL e a quarta etapa pertencente a Anlise dos
Resultados. A Figura 3, localizada na seo 3.2, mostra a diviso destas etapas.
A primeira etapa consiste na elaborao do planejamento da RSL, onde
so descritos os seus objetivos, formuladas as questes de pesquisa e criado o
protocolo a ser seguido durante a pesquisa bibliogrfica. Neste trabalho, os
resultados obtidos durante a execuo desta etapa est descrita na seo 4.1. O
protocolo de buscas contm informaes como:

a)

palavras-chave: so as palavras que resumem o tema a ser

pesquisado;

b)

string de busca: a juno das palavras-chave em uma string

formatada de maneira lgica para facilitar pesquisa nas bases de
dados;

c)

mtodo de busca de fontes: indica como a pesquisa deve ser

realizada;

29
d)

listagem de fontes: indica quais locais, ou quais fontes devem ser

consultadas na pesquisa;

e)

tipos de artigos: quais tipos de artigos sero considerados;

f)

idioma dos artigos;

g)

critrios de incluso e excluso dos artigos: estabelecem quais

artigos podem ou no ser selecionados para o estudo.

Realizar a pesquisa bibliogrfica a segunda etapa do desenvolvimento

da RSL. O pesquisador ir pesquisar as strings de busca nas bases de dados
seguindo todos os procedimentos estabelecidos no planejamento da RSL,
evitando assim o surgimento de vieses na pesquisa. Durante a realizao da
pesquisa bibliogrfica, o planejamento poder ser atualizado conforme as
necessidades de adequao da pesquisa. Todos os estudos encontrados na
pesquisa bibliogrfica em uma RSL so classificados como estudos
identificados.
A terceira etapa do desenvolvimento de uma RSL Selecionar os
Artigos Relacionados. Nesta etapa os artigos identificados so selecionados e
classificados de acordo com os critrios de incluso e excluso estabelecidos no
planejamento da reviso sistemtica. A etapa de seleo dividida em duas
partes: a seleo primria e a secundria.
Na seleo primria so analisados o ttulo, as palavras-chave, o resumo
e, caso necessrio, o texto completo dos trabalhos. Os estudos que no estiverem
relacionados com o tema da RSL so classificados como estudos noselecionados e no sero mais analisados na RSL. Os demais so classificados
como estudos selecionados.
Na seleo secundria os estudos selecionados de todas as bases so
unidos e analisados detalhadamente. Nesta seleo possvel detectar, e
classificar como estudos no includos, os estudos repetidos, irrelevantes e

30
incompletos. Os demais estudos so classificados como estudos includos, e
atravs desses estudos que sero obtidos os resultados da reviso sistemtica. A
Figura 1, localizada na seo 2.2, mostra o processo de classificao dos estudos
de uma RSL.
Estas duas etapas de Pesquisa Bibliogrfica e Selecionar os Artigos
Relacionados foram aplicadas no item 4.2 deste trabalho, onde esto descritos os
resultados obtidos nessas etapas.
Tendo classificado todos os estudos, os estudos selecionados e includos
passaro para a prxima etapa: Anlise dos Resultados, descrita no captulo 5
deste trabalho.
Inicialmente ocorre a anlise e coleta dos dados. Atravs da leitura dos
estudos so obtidas os dados relevantes para a RSL. Esses dados so coletados
atravs do preenchimento de formulrios, onde so reunidas todas as
informaes de interesse do estudo.
Na concluso, pode-se avaliar a qualidade e o poder estatstico da
reviso sistemtica. Atravs dos resultados obtidos, possvel responder as
questes de pesquisa elaboradas inicialmente no planejamento da RSL. Alm
disso, realizada uma discusso sobre os resultados obtidos contendo os
principais achados, foras e fraquezas da reviso e recomendaes para
trabalhos futuros.

31

4 DESENVOLVIMENTO DA REVISO SISTEMTICA

O desenvolvimento desta RSL permitiu que fossem reunidos estudos na

rea de ESE In Vitro e levantar e descrever os mtodos/tcnicas utilizados
atualmente nesta rea do conhecimento.
A tcnica de RSL utilizada neste trabalho foi adaptada do modelo
proposto por Castro et al. (2002). Conforme os autores dizem, as etapas de uma
RSL podero variar de acordo com a necessidade, desde que no percam o
carter e a rigorosidade da RSL.

4.1 Planejar a RSL

Nesta seo so apresentados os componentes do planejamento da RSL.

Este documento permite estabelecer um protocolo que controle o processo de
execuo da RSL e permite garantir que as pesquisas sejam realizadas com
rigor, evitando a ocorrncia de vieses que possam interferir nos resultados. Os
componentes do planejamento desta RSL so descritos a seguir:

a)

Objetivos: O objetivo desta RSL analisar os mtodos/tcnicas

utilizados na aplicao da ESE In Vitro. Pretende-se relatar como
esto os estudos em ESE In Vitro, levantar e descrever os
mtodos/tcnicas aplicados atualmente nesta rea.

b)

Questo de Pesquisa: Neste trabalho, sero buscados e analisados

os mtodos/tcnicas utilizados em experimentos de ESE realizados
em laboratrio. A anlise dos mtodos/tcnicas mais eficazes e/ou
eficientes ajudar a decidir qual poder ser usada de maneira tima
em um determinado estudo.

32
Questo 1: Quais mtodos/tcnicas tem sido utilizadas na ESE
In Vitro?
Questo 2: Quais destes mtodos/tcnicas possui melhor
eficcia e/ou eficincia relatada em ESE In Vitro?
c)

Palavras-Chave: As palavras chave escolhidas se referem

diretamente ao tema envolvido neste trabalho.
Contexto

da

Engenharia

de

Software

Experimental:

Experimental Software Engineering, Empirical Software

Engineering, Experimental research in Software Engineering,
Experimental studies in Software Engineering, Software
Engineering Experiments.
Contexto do Tipo de Experimentao: In Vitro.
d)

String de Busca: Esta string foi elaborada a partir das palavraschave, relacionadas logicamente:
((Experimental Software Engineering OR Empirical Software
Engineering

OR

Experimental

Research

in

Software

Engineering OR Experimental Studies in Software Engineering

OR Software Engineering Experiments) AND In Vitro)
e)

Mtodo de Busca de Fontes: Sites de bibliotecas cientficas virtuais.

f)

Listagem de Fontes:
IEEE Xplore (http://ieeexplore.ieee.org);
Scopus (http://www.scopus.com);
Elsevier ScienceDirect (http://www.sciencedirect.com);
El Compendex (http://www.engineeringvillage2.org); e
Association for Computing Machinery - ACM Digital Library
(http://dl.acm.org).

33
g)

Tipos de Artigos: foram considerados artigos com o contedo sobre

ESE In Vitro, realizando comparaes, anlises ou descries e
sugerindo estudos futuros.

h)

Idioma dos Artigos: Os artigos considerados devem estar em ingls

ou portugus.

i)

Critrios de Incluso e Excluso dos Artigos: Os artigos devem:

estar disponveis na Web;
oferecer contedo completo nas bases buscadas;
estar escritos em ingls ou portugus;
ter sido publicados entre 2007 e 2012; e
descrever os mtodos/tcnicas de ESE In Vitro (mbito das
questes 1 e 2).

As palavras-chave definidas nesta RSL foram obtidas atravs de

diversas variaes do tema da reviso. Alm dos atuais, diversas outras palavras
foram utilizadas em verses anteriores do planejamento, mas por no trazer
resultados relevantes ou satisfatrios foram eliminadas da verso final do
documento.
As bibliotecas virtuais definidas como fontes de pesquisa nesta RSL
apresentam grande quantidade de artigos na rea de Cincia da Computao e
ES, alm de ser amplamente utilizadas em outras revises sistemticas nesta rea
do conhecimento.

4.2 Realizar a Pesquisa Bibliogrfica e Selecionar os Artigos

Concludo o planejamento da RSL, iniciou-se a etapa de pesquisa

bibliogrfica, seguindo o protocolo especificado no planejamento. A pesquisa

34
foi realizada nas 5 bases especificadas no protocolo de busca, utilizando os
recursos de seus prprios sistemas de buscas.
Na base IEEE Xplore, a pesquisa foi realizada no modo Advanced
Search (Pesquisa Avanada). Ela foi otimizada atravs da utilizao de filtros
disponveis na prpria ferramenta de busca. Os filtros ativados foram: Topic:
Computing and Processing (Hardware/Software) (Tpico: Computao e
Processamento) e Publication Year: 2007 2012 (Ano de Publicao: 20072012).
A busca retornou 26 artigos (Figura 4). Ao passar pela seleo primria,
foram selecionados 5 artigos que possuam ttulo, palavras-chave ou resumo
relacionados com o tema da RSL. Na seleo secundria, 3 artigos foram
classificados como estudos com contedo irrelevante, portanto 2 artigos foram
includos na RSL.

You searched for: ((((((Experimental Software Engineering) OR

Empirical Software Engineering) OR Experimental Research in
Software Engineering) OR Experimental Studies in Software
Engineering) OR Software Engineering Experiments) AND In Vitro)
You Refined by:
Topic: Computing & Processing (Hardware/Software)
Publication Year: 2007 - 2012
26 Results returned
Figura 4 Resultados da busca na base IEEE Xplore

Na base Scopus, a pesquisa foi realizada no modo Document Search

(Busca de Documentos). Ela foi limitada em Date Range: 2007 to present
(Intervalo de datas: 2007 at data presente) e subject areas: Physical Sciences
(reas do conhecimento: Cincias Fsicas). Neste caso, a data presente
representa o ano 2012 (mesmo ano que foi realizada a pesquisa nesta base) e

35
Computer Science (Cincia da Computao) est compreendida em Physical
Sciences (Cincias Fsicas).
A busca nesta base retornou 8 artigos (Figura 5). Dos estudos
identificados, 4 foram selecionados na seleo primria. Na seleo secundria 2
foram classificados como estudos repetidos e 1 como estudo com contedo
irrelevante. Portanto, 1 estudo desta base foi includo na RSL.

Your query: (TITLE-ABS-KEY(experimental software engineering) OR

TITLE-ABS-KEY(empirical software engineering) OR TITLE-ABSKEY(experimental research in software engineering) OR TITLE-ABSKEY(experimental studies in software engineering) OR TITLE-ABSKEY(software engineering experiments) AND TITLE-ABS-KEY(in vitro))
AND SUBJAREA(mult OR ceng OR CHEM OR comp OR eart OR ener
OR engi OR envi OR mate OR math OR phys) AND PUBYEAR > 2006
AND (LIMIT-TO(SUBJAREA, "COMP") OR LIMIT-TO(SUBJAREA,
"MULT"))
Document results: 8
Figura 5 Resultados da busca na base Scopus

Na base Elsevier ScienceDirect, utilizou-se a busca no modo Advanced

Search (Pesquisa Avanada) em All Sources (Todas as Fontes). A pesquisa neste
modo realizada com apenas dois termos por vez, sendo assim a string de busca
foi adaptada de forma a atender todas as combinaes desejadas. De todas elas,
apenas duas combinaes retornaram resultados (Figura 6). Foram aplicados os
filtros Include: journals e all books (Incluir: peridicos e todos os livros),
Source: all sources (Fonte: todas as fontes), Subject: Computer Science
(rea do conhecimento: Cincia da Computao) e Date Range: 2007 to
Present (Intervalo de datas: 2007 at a data presente). Neste caso, a data
presente corresponde ao ano 2012, ano que foi realizada a busca.

36
Totalizando 4 artigos identificados nesta base, 2 foram classificados
como estudos com contedo irrelevante e 1 como estudo repetido, sendo apenas
1 includo na RSL.

1 articles found for: pub-date > 2006 and ("Experimental Software

Engineering") and ("In Vitro")[All Sources(Computer Science)]
3 articles found for: pub-date > 2006 and ("Empirical Software
Engineering") and ("In Vitro")[All Sources(Computer Science)]
Figura 6 Resultado das buscas realizadas na base Elsevier ScienceDirect

Utilizando o modo Quick Searck (Pesquisa Rpida) na base El

Compendex, novamente a string de busca foi dividida de forma a atender todas
as combinaes desejadas. De todas as buscas, apenas duas retornaram
resultados (Figura 7). As buscas foram realizadas utilizando o filtro Limit to:
2007 to 2012 (Limitar a: 2007 a 2012).
Dos 4 estudos identificados, todos foram classificados como estudos
repetidos, portanto nenhum artigo desta base foi includo na RSL.

records
in
Compendex
for
2007-2012
((("Experimental Software Engineering") WN All fields) AND (("In
Vitro") WN All fields))
2
records
in
Compendex
for
2007-2012
((("Empirical Software Engineering") WN All fields) AND (("In
Vitro") WN All fields))
Figura 7 Resultado das buscas realizadas na base El Compendex

Na base ACM Digital Library a string de busca foi dividida de forma a

atender todas as combinaes utilizando-se o modo Advanced Search com o
filtro Published since 2007 (Publicado a partir de 2007) e Published before

37
2012 (Publicado antes de 2012). Das combinaes, apenas uma retornou
resultado contendo 5 estudos (Figura 8).
Os 5 estudos identificados passaram pela seleo primria e, na seleo
secundria, 3 foram classificados como estudos com contedo irrelevante e 1
como estudo repetido. Apenas 1 estudo desta base foi includo na RSL.

Searching for: ("Empirical Software Engineering" and "AND" and "In

Vitro") and (PublishedAs:journal OR PublishedAs:proceeding OR
PublishedAs:transaction
OR
PublishedAs:magazine
OR
PublishedAs:newsletter)
Found 5 within Publications from ACM and Affiliated Organizations (FullText collection)
Figura 8 Resultado da busca realizada na base ACM Digital Library

Finalizado a etapa de pesquisa bibliogrfica, foram identificados 47

estudos no total, dos quais 22 foram selecionados na seleo primria e 5
passaram pela seleo secundria e foram includos na RSL. A Tabela 1 mostra
a quantidade de estudos identificados por base e o resultado da seleo primria.
A Tabela 2 mostra o resultado da seleo secundria por base e a quantidade de
artigos includos na reviso sistemtica.
Os estudos selecionados e includos na RSL de ESE In Vitro foram:

a)

Extracting Information from Experimental Software Engineering

Papers (CRUZES et al., 2007);

b)

Keynote: Serge Demeyer (DEMEYER, 2010);

c)

Formalisms in software engineering: Myths versus empirical facts

(ROMBACH; SEELISCH, 2008);

d)

Evaluating performances of pair designing in industry (CANFORA

et al., 2007);

38
e)

Evaluating the usefulness of software visualization in supporting

software comprehension activities (CARNEIRO et al., 2008).

Tabela 1 Estudos Identificados e resultado da seleo primria da RSL

Base

Estudos Identificados

Seleo Primria

IEEE Xplore

26

Scopus

Elsevier ScienceDirect

El Compendex

ACM Digital Library

TOTAL

47

22

Tabela 2 Resultado da seleo secundria e estudos includos na RSL

Base

Seleo Secundria

Estudos
Includos

Irrelevante
3

Repetido
0

Incompleto
0

Scopus

Elsevier ScienceDirect

El Compendex

ACM Digital Library

TOTAL

IEEE Xplore

39
5 ANLISE DOS RESULTADOS

Com os estudos obtidos na reviso sistemtica, foi possvel identificar

alguns mtodos/tcnicas utilizados atualmente em ESE In Vitro.
O artigo de Cruzes et al. (2007) apresentam um modelo baseado na ideia
de uma RSL, porm otimizado para a rea da ESE. Nele apresentada uma
abordagem para extrair informaes de documentos analisando sistematicamente
resultados de vrios trabalhos. Alm desta nova abordagem, os autores
apresentam outras quatro abordagens j existentes.
Cruzes et al. (2007) tambm descrevem um experimento in vitro
realizado com alunos de ps-graduao para validar a nova abordagem
apresentada por eles. Os resultados da avaliao desta nova abordagem mostram
que a tcnica suficientemente madura para extrair informaes de contexto a
partir de estudos, mas no para extrair os resultados. A extrao dos resultados
no ocorreu conforme os autores esperavam.
As abordagens citadas pelos autores foram divididas em duas estratgias
para tirar concluses a partir do resultado de estudos empricos na rea de
Engenharia de Software. Uma delas criar estudos relacionados e a outra
analisar dados recolhidos a partir de estudos independentes, que foram
executados com o objetivo de ter resultados combinados (CRUZES et al., 2007).
Cruzes

et

al.

(2007)

apresentam

como

estratgias

sobre

desenvolvimento de estudos relacionados os mtodos/tcnicas a seguir:

a)

Famlias de Estudos: Ciolkowski, Shull e Biffl (2002) descrevem o

mtodo de famlia de estudos, ou famlia de experimentos. Segundo
os autores, definido um framework comum para todos os estudos
empricos individuais que compe a famlia de estudos. Parte deste
framework a definio de variveis de contexto de interesse sobre

40
os ambientes investigados. Este framework define normas comuns
para o projeto e um conjunto de mtricas para permitir a
comparao efetiva dos resultados individuais. O objetivo da
famlia de estudos no replicar o mesmo experimento e validar os
resultados, mas examinar as variaes entre os diversos
experimentos. Em contraste com estudos individuais, famlias de
estudos observam uma variedade de contextos. Assim, vrias
questes de pesquisa podem ser respondidas atravs das famlias de
estudos. Segundo Cruzes et al. (2007), acredita-se que nesta
abordagem os dados de tais estudos podem potencialmente ser
combinados sem perda de preciso. Mas alguns problemas so
enfrentados neste tipo de estudo, como o custo e o tempo de
execuo elevados. Isso acaba tornando mais difcil gerar
resultados amplos o suficiente para gerar um corpo de
conhecimento. A validade desta abordagem acaba se expondo a
ameaas quando o mesmo projeto replicado. Alm disso, se existe
um problema com o framework, esta falha ser propagada para
todos os estudos. As concluses ento ficam um pouco mais fracas
do que se os estudos fossem executados completamente
independentes. Alm disso, o analista tem de utilizar algumas
abordagens para agregar os resultados dos experimentos.
b)

Abordagem Multi-Mtodos: De acordo com Daly (1996), a

abordagem multi-mtodos prope uma pesquisa emprica composta
por uma srie de estudos empricos que evoluram a partir de um
estudo exploratrio inicial atravs de estudos em laboratrio
envolvendo repeties internas. Esta abordagem permite que seja
prestada ateno a questes importantes e os resultados de cada
estudo na srie pode ser confirmatrio. Dependendo do objetivo de

41
um estudo emprico, os dados obtidos podem ser derivados de
diversos mtodos/tcnicas empricas diferentes, como medies de
dados industriais, questionrios, entre outros. Assim, segundo
Cruzes et al. (2007), os pesquisadores podem triangular resultados
obtidos por essas mtodos/tcnicas diferentes sem sobrepor as
fraquezas e complementando as foras ao invs de usar resultados
obtidos com o uso repetido da mesma mtodo/tcnica de pesquisa.
Embora tenha sido utilizada no estudo da tecnologia orientada a
objeto, esta abordagem no normalmente utilizada na Engenharia
de Software. O trabalho para triangular os resultados dobrado,
caro e demorado e no h abordagens sistemticas para triangular
os resultados.

Em relao aos estudos independentes, Cruzes et al. (2007) apresentam

outras trs abordagens:

a)

Reviso Sistemtica: Uma reviso sistemtica uma forma definida

e metdica de identificar, avaliar e analisar publicaes de estudos
primrios, a fim de investigar uma questo de pesquisa especfica
(CRUZES et al., 2007). O processo de reviso sistemtica
definido em trs etapas: o planejamento, a execuo e relatrio da
reviso (KITCHENHAM, 2004). Mais detalhes sobre esta tcnica
so descritos nas sees 2.2 e 3.2.2.

b)

Meta-anlise: Clarke (2000) afirma que a meta-anlise um

mtodo estatstico geralmente aplicado a RSL que integra o
resultado de dois ou mais estudos primrios. De acordo com Cruzes
et al. (2007), ela oferece um conjunto de tcnicas quantitativas que
permitem sintetizar os resultados de muitos tipos de pesquisa,

42
incluindo revises sistemticas, pesquisa de opinio, estudos de
correlao, estudos experimentais e anlises de regresso (CRUZES
et al., 2007). Em uma meta-anlise, os estudos relevantes para uma
questo so reunidos e construdo, a partir deles, um indicador da
relao sob investigao de cada um dos estudos. Ento estes
indicadores so utilizados para clculos estatsticos e, combinados
com outros mtodos quantitativos, so usados para responder as
questes. Em ES, esta abordagem j vem sendo utilizada, porm
nem sempre bem sucedida, pois requer dados que so consistentes
com a granularidade, semnticas e nveis contextuais. Os autores
ainda afirmam que apesar de a meta-anlise ser bastante utilizada
em revises sistemticas, ela um mtodo independente de analisar
os resultados dos estudos.
c)

Extrao de informaes de estudos sobre ESE: Baseado na ideia

da RSL, Cruzes et al. (2007) propuseram um processo para
combinar resultados de diferentes estudos em outro artigo. O
processo consiste em cinco etapas (Figura 9), comeando com uma
definio da rea do problema, a seleo de trabalhos de interesse, a
extrao de informao a partir destes trabalhos, a integrao das
informaes e, finalmente, a anlise e interpretao dos resultados.
Este processo iterativo, em que os resultados de um passo dado
podem convencer o pesquisador voltar a uma etapa anterior e
refazer as atividades associadas. A sada do processo um conjunto
de concluses e novos conhecimentos que surge a partir do
processo. Um detalhamento maior desta abordagem descrita por
Cruzes et al. (2007).

43

Figura 9 Processo de extrao de informaes de estudos sobre ESE

Fonte: Cruzes et al. (2007)

J o texto de Demeyer (2010) disponibiliza o resumo da palestra

Research in Software Evolution in vitro vs. in vivo que aborda duas
tcnicas complementares de pesquisa. Para o autor a pesquisa In vitro
necessria, porque as condies do laboratrio permitem que o pesquisador
tenha controle total sobre o contexto experimental, necessrio para estudar a
relao de causalidade entre o tratamento e os resultados. Ele afirma tambm
que as pesquisas in vivo permitem ao pesquisador estudar um fenmeno no
contexto da vida real para confirmar a aplicabilidade do tratamento.
Quanto ao trabalho de Rombach e Seelisch (2008), os autores ressaltam
a importncia do software em todos os setores da indstria e de todos os
aspectos da vida. Ele ainda afirma que devido a alta confiabilidade gerada no
software, o status da ES no satisfatrio devido a acidentes, aes de recall e
projetos atrasados.
Segundo Rombach e Seelisch (2008), muitos dos resultados de pesquisa
em ES no so feitos na prtica, ampliando constantemente a lacuna entre a
pesquisa e a prtica. O principal foco do trabalho apresentado pelos autores
motivar a criao de provas consistentes que permitiro a introduo menos
arriscada de novas abordagens da ES na prtica.
Os autores ainda afirma que a pesquisa precisa complementar cada nova
abordagem com a evidncia emprica consistente atravs de experimentos in
vitro, ou experimentos controlados, e estudos de caso; a indstria precisa de base

44
do estado atual da prtica quantitativamente, e precisa realizar estudos in vitro
de novas abordagens, a fim de identificar benefcios e limitaes em certos
contextos industriais.
Rombach e Seelisch (2008) discute o papel do software na indstria
adicionando um ponto de vista econmico, sumariza os problemas prticos
tpicos que so resultados da imaturidade da ES, identifica suas deficincias,
trata das possveis solues para esses problemas iniciando pelos princpios
gerais da Cincia da Computao, depois para a ES e suas ferramentas prticas
para o desenvolvimento de software e, finalmente, para o ingrediente mais
importante da ES: fatos empricos, ou experimentos. Ele ainda demonstra a
necessidade da ESE afirmando que a evidncia emprica o meio mais
importante para preencher as lacunas no corpo de conhecimento da ES. Os
autores citam trs tcnicas utilizadas na ESE, porm so mais utilizados no
contexto in vivo, pois lidam mais com equipes de desenvolvimento de software
de uma organizao. As tcnicas citadas pelos autores so as seguintes:

a)

GQM Goal/Question/Metric (Objetivo/Questo/Mtrica): apoiam

a deciso orientando a equipe de desenvolvimento de software a
obter mtricas relevantes. Travassos et al. (2002) afirmam que esta
abordagem oferece o processo da melhoria com o modelo da
medio baseado em camadas. Eles tambm afirmam que os
objetivos do GQM so: compreender, controlar e melhorar, focando
nos seguintes fatores: o custo, o risco, o tempo e a qualidade.

b)

QIP Quality Improvement Paradigm (Paradigma da Melhoria da

Qualidade): tem um forte foco emprico. Travassos et al. (2002)
afirma que a essncia dessa metodologia est na melhoria contnua
do processo de desenvolvimento de software.

45
c)

Experience Management: lida com a experincia em equipe de

projetos, de preferncia em diferentes domnios.

No que diz respeito ao quarto artigo, Canfora et al. (2007) realizado

um estudo sobre a programao em pares. Eles relatam os resultados de um
experimento controlado sobre a programao em pares realizado in vivo em uma
empresa de software. Os resultados obtidos foram comparados com os
resultados de uma experincia in vitro realizada anteriormente envolvendo
alunos.
Na experincia in vivo, os resultados obtidos pelos autores sugerem que
a programao em pares aumenta o tempo de desenvolvimento, mas melhora a
qualidade do software. Ao comparar os resultados desta experincia com os
resultados da experincia in vitro, os autores perceberam que eles apresentaram
tendncias semelhantes.
O experimento controlado realizado por Canfora et al. (2007) foi uma
rplica do experimento realizado em meio acadmico, alterando apenas os
participantes (profissionais ao invs de alunos) e o ambiente (indstria ao invs
do meio acadmico). Esta experincia produziu resultados similares tanto com
os estudantes quanto com os profissionais.
Conforme os resultados obtidos pelos autores, pode-se notar que o tipo
de experimento in vitro pode oferecer resultados semelhantes ao experimento in
vivo, ou seja, os resultados obtidos em um ambiente controlado podem ser
bastante parecidos aos obtidos na vida real.
O mtodo identificado neste estudo foi o experimento controlado. Mafra
e Travassos (2006) indicam o uso de experimentos controlados quando se deseja
obter um maior controle da situao, afim de manipular as variveis envolvidas
no estudo de forma direta, sistemtica e precisa. Os participantes so atribudos

46
aleatoriamente a diferentes tratamentos e o fato do experimento ser realizado em
laboratrio permite um alto controle das variveis envolvidas no estudo.
Mafra e Travassos (2006, p. 6-7) ainda afirmam que o objetivo
manipular uma ou mais variveis e controlar todas as outras variveis num valor
fixo. Segundo eles so feitas medies dos efeitos das manipulaes das
variveis, atravs das quais so realizadas anlises estatsticas. A seo 2.1 deste
trabalho apresenta uma descrio mais detalhada de um experimento.
Finalmente tem-se o estudo de Carneiro et al. (2008) prope uma infraestrutura para avaliar empiricamente a utilidade de paradigmas visuais no
convencionais em apoiar a compreenso do software. De acordo com os autores,
esses paradigmas visuais esto em plug-ins, que so acoplados em Ambientes de
Desenvolvimento Integrado (em ingls: Integrated Development Environments
ou IDEs), que visam representar o cdigo fonte em estruturas visuais tais como
rvores, diagramas ou grafos.
Embora essas interfaces sejam muito atraente visualmente, Carneiro et
al. (2008) buscaram saber mais sobre a eficcia delas em transmitir informaes
para os engenheiros de software. Ento eles realizaram dois estudos-piloto em
um ambiente experimental in vitro para avaliar a abordagem.
Os estudos-piloto conduzidos por Carneiro et al. (2008) consistem na
realizao de uma srie de tarefas nas quais so medidos o nmero de tarefas
concludas corretamente, o tempo para realizar cada tarefa e os recursos
utilizados pelos programadores. Estes primeiros estudos visam testar os artefatos
experimentais e a linha de base das variveis dependentes para um experimento
controlado no futuro. De acordo com o autor, as variveis independentes
consideradas no experimento so: o objeto experimental e a experincia do
participante, capturado por um questionrio.
Os dois estudos-piloto conduzidos pelos autores foram realizados com
profissionais juniores que estavam cursando ps-graduao na universidade.

47
Segundo o autor, no primeiro estudo os resultados indicaram que o ambiente
experimental utilizado foi consistente e que pode ser movido para um
experimento controlado em maior escala. J os grupos envolvidos no segundo
estudo foram menos experientes, embora as configuraes do experimento
fossem semelhantes. O autor afirma que, apesar disso, esta diferena no foi
suficiente para causar disparidade nos resultados. Com a anlise dos resultados,
o autor concluiu que a motivao foi questo fundamental. Os autores afirmam
que possuem um projeto experimental completo a ser aplicado e que pretendem
realizar mais estudos na rea.
Uma tcnica de ESE In Vitro identificada no trabalho de Carneiro et al.
(2008) foi a aplicao de questionrios. Wainer (2007) afirma que questionrios
so uma forma rpida e simples para avaliar as opinies, objetivos e preferncias
das pessoas. Um questionrio e composto de perguntas com respostas
predefinidas a serem respondidas pelos prprios sujeitos da pesquisa ou por
observadores que esto avaliando o sujeito.
Alm dos documentos pesquisados atravs da RSL realizada neste
trabalho, outros cinco mtodos de investigao experimental na rea de ESE
foram identificados no trabalho de Mafra e Travassos (2006). Os mtodos
citados so: survey, estudo de caso, experimento, RSL e reviso informal. As
tcnicas so descritas a seguir, exceto o experimento e a RSL que j foram
descritas anteriormente neste trabalho:

a)

Survey:

frequentemente

uma

investigao

realizada

em

retrospecto, quando, por exemplo, uma determinada tecnologia tem

sido utilizada durante um certo perodo de tempo (PFLEEGER,
1994). Utilizando entrevistas e questionrios para coletar os dados,
possvel observar o estado da situao atual. tomada uma
amostra representativa da populao para o estudo e os resultados

48
so analisados de forma que possam ser extradas concluses que
possam ser generalizadas a populao da qual a amostra foi tomada
(MAFRA; TRAVASSOS, 2006).
b)

Estudo de Caso: so estudos conduzidos quando se pretende

investigar uma entidade ou fenmeno dentro de um determinado
espao de tempo. Durante a conduo de um estudo de caso, so
realizadas anlises estatsticas atravs dos dados coletados com o
intuito de avaliar um determinado atributo ou relacionamento entre
diferentes atributos. Embora haja facilidade no planejamento do
estudo de caso, uma dificuldade quando se deseja generalizar os
resultados, pois geralmente os estudos de caso apontam efeitos em
uma situao particular (MAFRA; TRAVASSOS, 2006).

c)

Revises Informais: Segundo Mafra e Travassos (2006), as revises

informais so aquelas realizadas sem um protocolo de reviso prestabelecido, podendo ser dirigida por interesses pessoais de seus
pesquisadores, levando a resultados pouco abrangentes. Os autores
ainda completam que, por no ter um protocolo de buscas nem
critrios de incluso e excluso, as revises informais so pouco
abrangentes, no passveis de repetio, pouco confiveis e
dependentes dos revisores. Ao contrrio da reviso informal, a RSL
possui um processo formal para conduzir este tipo de investigao.

49

6 CONCLUSES

Com este trabalho foi possvel obter um cenrio do estado atual da ESE
quando aplicada no contexto in vitro, ou seja, sob condies controladas.
Inicialmente foi necessrio introduzir conceitos sobre a ESE e RSL a fim de
preparar e conduzir este trabalho de maneira adequada.
O resultado obtido com a realizao deste trabalho permitiu listar e
descrever os mtodos/tcnicas utilizadas atualmente em ESE do tipo In Vitro e
analisar quais as mais eficazes/eficientes. Alm disso, foi possvel responder as
questes de pesquisa, elaboradas durante o planejamento da RSL.
A resposta da questo 1, quais mtodos/tcnicas tem sido utilizadas na
ESE In Vitro?, pode ser claramente obtida a partir da anlise dos artigos
selecionados na RSL. Famlias de estudos, abordagem multi-mtodos, RSL,
meta-anlise, extrao de informao de estudos sobre ESE, experimento
controlado, aplicao de questionrios, survey, estudo de caso e reviso informal
foram os mtodos aplicados comumente em ESE do tipo In Vitro. Tambm
foram identificadas algumas abordagens que podem ser aplicadas neste contexto,
porm elas geralmente so aplicadas in vivo. So os mtodos GQM, QIP e
Experience Management.
A questo 2 pergunta quais destes mtodos/tcnicas possui melhor
eficcia e/ou eficincia em ESE In Vitro?. Para responder a esta questo com
maior preciso, seria mais conveniente realizar um estudo mais completo
envolvendo experimentao, comparao e anlise mais detalhados destes
mtodos/tcnicas. Mas apesar das limitaes, os artigos estudados nesta RSL
permitem visualizar um panorama de quais tcnicas tendem a ser mais eficientes
ou mais eficazes em determinadas condies.

50
Ao se tratar de estudos primrios, o experimento controlado foi utilizado
em trs artigos includos nesta RSL. Alm disso, o processo de execuo de um
experimento controlado se mostra bem elaborado.
No mbito dos estudos secundrios, a RSL j um mtodo consagrado e
muito utilizado em pesquisas de diversas reas do conhecimento e sua eficincia
e eficcia j so bastante conhecidas. Alm disso, a RSL pode ser
complementada com uma meta-anlise, sintetizando os resultados obtidos. Os
estudos secundrios so realizados a partir de um apanhado de outros estudos j
realizados, com o objetivo de analisar e/ou comparar determinados assuntos e
resultados. Baseado neste contexto, Cruzes et al. (2007) apresentaram a nova
abordagem de extrao de informaes de estudos que se aplica mais
diretamente na rea de ESE, porm melhorias ainda podem ser sugeridas e
aplicadas a tcnica para que torna-la mais eficaz.
Os pontos positivos do experimento in vitro so o custo reduzido, os
riscos mais baixos e facilidade na organizao dos estudos devido a maior
acessibilidade aos estudantes do que aos profissionais. Pode-se observar que os
resultados obtidos em um estudo in vitro possuem resultados semelhantes aos
obtidos em um experimento in vivo. Em alguns casos, os resultados podem at
ser generalizados para a indstria.
A principal limitao deste trabalho foi o curto tempo para realizao.
Com um prazo maior seria possvel investigar mais afundo cada mtodo/tcnica
encontrado e tambm buscar outros que possivelmente no foram identificados.
Outra limitao foi o nmero reduzido de trabalhos encontrados na RSL,
configurando, assim, uma fraqueza na RSL. Isto levanta uma questo sobre a
possvel ausncia de importncia da ESE In Vitro ou ento, por ser uma rea
mais recente, ainda existam poucos trabalhos publicados sobre o assunto. Outro
fator a ser observado o termo in vitro poder ter tornado a pesquisa bastante
especfica, uma sugesto de trabalho futuro dada a seguir para tentar contornar

51
este problema. Somente com o decorrer do tempo ser possvel determinar a real
importncia do tema.
Como sugesto de estudos futuros, pode-se realizar buscas de mtodos e
tcnicas de ESE do tipo In Vitro em estudos que relatam experimentos na rea,
mas no abordam explicitamente o termo in vitro. Outro trabalho futuro ser a
aplicao das tcnicas in vitro para verificar na prtica as dificuldades de seu
planejamento, aplicao e anlise.

52

REFERNCIAS

AMARAL, E. Empacotamento de Estudos Experimentais em Engenharia de

Software. Dissertao de Mestrado. COPPE/UFRJ, Programa de Engenharia de
Sistemas e Computao, Rio de Janeiro, RJ, Brasil, 2003.

BIOLCHINI, J. et al. Systematic Review in Software Engineering.

COPPE/UFRJ. Rio de Janeiro. 2005. (Thecnical Report RT-ES 679/05 of
Systems Engineering and Computer Science Department).

BRILLIANT, S. S.; KNIGHT, J. C. Empirical Research in Software

Engineering: A Workshop. Organized by The University of Virginia The
University of Maryland. Software Engineering Notes Volume 24 nmero 3,
Marriot Hotel, Greenbelt, MD, 29-30 June 1998. 45-52.

CANFORA, G. et al. Evaluating performances of pair designing in industry.

The Impact of Barry Boehms Work on Software Engineering Education and
Training, Journal of Systems and Software, 80, n. 8, August 2007. 1317 - 1327.

CARNEIRO, G. D. F. et al. Evaluating the usefulness of software

visualization in supporting software comprehension activities. Proceedings
of the Second ACM-IEEE international symposium on Empirical software
engineering and measurement (ESEM '08), New York, USA, 2008. 276-278.

CASTRO, A. A. et al. Curso de reviso sistemtica e metanlise [Online].

So

Paulo:

LED-DIS/UNIFESP,

So

Paulo,

2002.

Disponivel

<http://www.virtual.epm.br/cursos/metanalise>. Acesso em: 29 Junho 2012.

em:

53

CIOLKOWSKI, M.; SHULL, F.; BIFFL, S. A Family of Experiments to

Investigate the Influence of Context on the Effect of Inspection Techniques.
In Procedings of the of the 6th International Conference on Empirical Assesment
in Software Engineering (EASE), p. 48-60, Keele, UK, April 2002.

CLARKE, M; OXMAN, A. D.; editors. Cochrane Reviewers' Handbook 4.1

[updated June 2000]. In: Review Manager (RevMan) [Computer program].
Version 4.1. Oxford, England: The Cochrane Collaboration, 2000.

CRUZES, D. et al. Extracting Information from Experimental Software

Engineering Papers. Chilean Society of Computer Science, 2007. SCCC '07.
XXVI International Conference of the, 8-9 Nov 2007. 105-114.

DALY, J. Replication and a Multi-Method Approach to Empirical Software

Engineering Research. PhD Thesis, Department of Computer Science,
University of Strathclyde, 1996.

DEMEYER, S. Keynote: Serge Demeyer. Software Maintenance and

Reengineering (CSMR), 2010 14th European Conference on, 15-18 March
2010.

JASPERSON, J. et al. Review: Power and Information Technology

Research: A Metatriangulation Review. MIS Quarterly, 26(4): p. 397-459,
December, 2002.

54
JUNG, C. F. Metodologia para pesquisa e desenvolvimento: aplicada a
novas tecnologias, produtos e processos. ISBN 8573232331, 9788573232332.
Axcel Books, 2004.

KITCHENHAM, B. Procedures for Performing Systematic Reviews, 2004.

ISSN Keele University Technical Report TR/SE-0401. Disponivel em:
<http://www.idi.ntnu.no/emner/empse/papers/ kitchenham_2004.pdf>. Acesso
em: 30 maio 2011.

KITCHENHAM, B. A.; DYBA, T.; JORGENSEN, M. Evidence-Based

Software Engineering. Proceedings of the 26th International Conference on
Software Engineering ICSE '04, Washington, DC, USA, 2004. 273-281.

KITCHENHAM, B.; TRAVASSOS, G. A Systematic Review of Cross- vs.

Within-Company Cost Estimation Studies. 10th International Conference on
Evaluation and Assessment in Software Engineering, EASE06, 10-11 April
2006, Keele University, Staffordshire, United Kingdom.

LOPES, V. P.; TRAVASSOS, G. H. Knowledge Repository Structure of an

Experimental Software Engineering Environment. Software Engineering,
2009. SBES '09. XXIII Brazilian Symposium on, 5-9 Oct. 2009. 32-42. Doi:
10.1109/SBES.2009.12

MAFRA, S. N.; TRAVASSOS, G. H. Estudos Primrios e Secundrios

apoiando a busca por Evidncia em Engenharia de Software. COPPE/UFRJ.
Rio de Janeiro. 2006. (Relatrio Tcnico RT-ES-687/06 do Programa de
Engenharia de Sistemas e Computao).

55
MENDES, E. A systematic review of web engineering research. International
Symposium on Empirical Software Engineering, p. 480-490, Nov, 17, 2005.

MIRA, S. H. B. Otimizao em Engenharia de Software: Uma Reviso

Sistemtica. I Workshop do Grupo de Pesquisa em Engenharia de Software
DCC/UFLA. Lavras, 2011.

MULROW, C. D. Rationale for systematic reviews. Division of General

Medicine, University of Texas Health Science Center, San Antonio 70284, 3
Sep 1994. 597-599.

PERRY, D. E.; PORTER, A. A.; VOTTA, L. G. Empirical studies of software

engineering: a roadmap. Proceedings of the Conference on The Future of
Software Engineering, Limerick, Ireland, 2000. 345-355.

PFLEEGER, S. Experimental Design and Analysis in Software Engineering

Part 1-5. ACM Sigsoft, Software Engineering Notes, Vol. 19, n 4, p. 16-20;
Vol. 20, n 1, p. 22-26; Vol. 20, n 2, p. 14-16; Vol. 19, n 3, p. 13-15; Vol. 20,
n 4, p. 14-17, 1994-1995.

ROMBACH, D.; SEELISCH, F. Formalisms in software engineering: Myths

versus empirical facts. Lecture Notes in Computer Science (including subseries
Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics),
5082 LNCS, 2008. 13-25.

SHULL, F., CARVER, J., TRAVASSOS, G. H., 2001. An empirical

methodology for introducing software processes. ACM SIGSOFT Software
Engineering Notes, v. 26, n. 5, pp. 288-296.

56

TRAVASSOS, G. H.; GUROV, D.; AMARAL, E. A. G. D. Introduo

Engenharia de Software Experimental. COPPE/UFRJ, Rio de Janeiro, 2002.
(Relatrio Tcnico RT-ES-590/02 do Programa de Engenharia de Sistemas e
Computao).

TRIPP, LEONARD L. Guide to the Software Engineering Body of

Knowledge

(SWEBOK).

Foreword.

2004.

Disponvel

em:

<http://www.computer.org/portal/web/swebok/html/foreward>. Data de Acesso:

15/04/2013

WAINER, J. Mtodos de pesquisa quantitativa e qualitativa para a Cincia

da Computao. Atualizao em Informtica. Org: Tomasz Kowaltowski,
Karin Breitman, Rio de Janeiro, Ed. PUC-Rio (2007).

WOHLIN, C. et al. Experimentation in Software Engineering: An

Introduction. The Kluwer International Series in Software Engineering,
Norwell, USA, Kluwer Academic Publishers, 2000.