Avaliao deve ser contrastada com dois outros conceitos, verificao e validao.

Verifica
processo de julgar a aderncia de um sistema de informao com a sua especificao, e vali
dao o processo de julgar quo bem um sistema de informao resolve o problema para o qua
l ele foi concebido. (p. 2).
De forma anloga, a coleta de dados (preferencialmente quantitativos) sobre custos
de desenvolvimento de software [...] pode levar criao de leis gerais ou teorias em
diferentes reas da computao. E a descoberta de um fenmeno que no pode ser explicado
por essas teorias, pode levar sua substituio por outra teoria. Por outro lado, cinc
ia da computao, se for uma cincia, tem caractersticas peculiares - no s h poucas leis
computao, mas as leis que existem: tm um carter estatstico [...]; so rasas[...]; a mai
oria delas so datadas[...] . (p. 3 e 4)
A pesquisa analtica [...] o mtodo mais comum de gerar/obter conhecimento sobre prog
ramas e algoritmos. A pesquisa analtica faz algumas pressuposies sobre os dados do
programa ou sobre a mquina onde o programa vai ser executado, e prova matematicam
ente que o programa tem algumas propriedades interessantes . (p. 5).
A essncia da pesquisa quantitativa em cincia da computao verificar o quo melhor u
programa/sistema novo frente (s) alternativa(s) . (p.6).
Algumas reas da computao usam conjuntos de dados ou conjuntos de exemplos definidos
pela comunidade como forma de avaliar os programas. Tais conjuntos de dados, ou
benchmarks, devem em princpio representar a possvel diversidade dos dados reais . (p
.6).
Criar, manter, atualizar, contribuir e analisar as caractersticas de benchmarks
uma atividade que deve ser considerada como cientificamente nobre e
importante. Por exemplo, [Holte 1993] mostra que um benchmark muito usado
em aprendizado de mquina (o conjunto de dados do UCI) tinha um srio vis
- os exemplos eram muito fceis, e, portanto, quase todos as tcnicas usadas
tinham resultados muito bons nesses exemplos [...] O efeito contrrio, efeito-cho,
acontece quando os programas de benchmark so muito difceis e o desempenho
dos programas todo muito baixo. (p.7)
Em pesquisa quantitativa, assume-se que as variveis de interesse podem
ser medidas objetivamente. Mas o que medido pode variar. Por exemplo,
no caso de benchmarks descritos acima, uma medida possvel o tempo de
execuo, outra medida possvel se o programa acertou ou no a resposta.(p.8)
Testes estatsticos so procedimentos que fazem uma particular pressuposio
sobre os dados, a chamada hiptese nula, e mais uma serie de outras
pressuposies (que chamaremos de condies do teste) sobre os dados,
e calculam a probabilidade que alguma propriedade relacionada aos dados
seja verdadeira, dadas as pressuposies. (p.10)
[...]A idia por
traz da maioria dos testes estatsticos assumir que existe uma nica fonte de
dados D, e que tanto D1 como D2 so amostragens dessa mesma fonte D.(p.11)
A hiptese nula exatamente a idia de que D1 e D2 so amostragens
da mesma fonte D. Mas D1 e D2 tm algumas propriedades diferentes, por
exemplo, a mdia.
Em estatstica o que chamamos de parmetro chamado de fator, e, portanto,
o problema acima tm 2 fatores. O nmero de valores possvel para
cada valor chamado de nvel (level). (p. 14)
Questionrios so uma forma rpida e simples para avaliar as opinies,
objetivos, anseios, preferncias, crenas, etc. de pessoas. Mas por ser uma
forma simples, se malconcebida, pode levar a um vis considervel. [...] questionrios
so um conjunto de perguntas com respostas predefinidas
ou perguntas de resposta fechada (closed questions), que so respondidas,

ou pelos prprios sujeitos da pesquisa (questionrios auto-aplicados), ou por

observadores que esto avaliando os sujeitos. (p. 15)
Uma forma de avaliar a confiabilidade
aplicar o questionrio duas vezes para um mesmo grupo de pessoas, tomando
cuidado para que o tempo entre as aplicaes no seja to grande que as
respostas teriam mudado, nem to curto que as pessoas se lembrem do que
responderam na primeira aplicao. Se as diferenas entre as duas aplicaes
muito grande, a confiabilidade do questionrio pequena. (p. 16)
As questes de validade e confiabilidade do instrumento indicam que melhor
usar questionrios j elaborados (e validados) que desenvolver um questionrio
novo. [...] Em cincia da computao
h poucos exemplos de validao de questionrios. (p. 16)
A elaborao das respostas predefinidas tambm muito importante. O
princpio que deve nortear essas respostas o balano - os extremos opostos
das alternativas devem ser de igual intensidade e em direes opostas, e
as alternativas intermedirias devem ser em igual nmero nas duas direes
possveis. (p. 17)
Dois problemas comuns em questionrios, especialmente questionrios
auto-aplicveis, o vis de amostragem e a no-resposta.(p 18)
A forma mais comum de utilizao de dados de questionrios apenas
report-los. Normalmente descreve-se a distribuio das respostas de cada
questo (ou das questes mais relevantes)(p. 18)
A segunda forma de utilizao de um questionrio agregar as vrias respostas
(talvez ponderadas por pesos) num s ndice que reflete uma medida
de interesse.(p. 19)
A terceira forma de utilizao dos dados de questionrios buscar correlaes
entre as respostas de diferentes questes. Isto deve ser feito com cuidado.
O problema central relacionado com o problema de comparaes mltiplas
- fazendo-se vrias correlaes entre questes provvel que algumas
correlaes(p. 19)
[...]a comunidade de CC como um todo (com exceo da rea de usabilidade)
no parece ainda ter desenvolvido critrios para avaliar os questionrios em si,
ou o resultado de questionrios, e, portanto, parece ainda haver espao para
um certo amadorismo no uso de questionrios. (p. 19)
Experimentos so atividades caracterizadas pela manipulao de algumas
variveis, e a observao de outras, em situaes artificiais ou semi-artificiais.
No caso de experimento em CC estamos sempre nos referindo a experimentos
que envolvem seres humanos, e vrios deles.(19)
Validade interna a confiana que se tem de que o efeito observado
realmente devido manipulao feita, e no a outros fatores. Uma ameaa
validade interna uma outra possvel explicao para o efeito observado que
no a ao ou a manipulao feita. Validade externa a confiana que se tem
que o efeito observvel generalizvel, ou seja, mesmo acreditando que para
esse grupo o efeito devido manipulao, tal se repetir para outros grupos?(20)
(...)Essa ameaa chamada de instrumentao, e se baseia
na idia que talvez a diferena ente O1 e O2 devido a um erro na medio.
Por exemplo, os testes de O1 e de O2 so suficientemente diferentes, ou as
observaes so feitas por pessoas diferentes, etc. (21)

(...)Essa ameaa chamada de maturao, ou

seja, que os sujeitos dos experimentos podem tornar-se mais capazes com o
tempo, independentemente da interveno. (21)
(...) Essa
ameaa chamada de testagem, ou seja, que o fato de passar por O1 prepara
os programadores para ir melhor no O2.(21)
(...)Essa ameaa chamada de histria, ou seja, a possibilidade de que haja
um evento externo ao experimento que causou a melhora dos resultados.
Nem todas essas ameaas acima podemser relevantes para o experimento(21)
(...)Um efeito similar ao placebo e talvez mais relevante
para a experimentos em CC o efeito Hawthorne, que diz que pode haver
um efeito positivo apenas pelo fato dos sujeitos saberem que esto
sendo estudados/observados.(23)
Na literatura, desenhos de experimentos so ditos verdadeiramente experimentais
se a seleo dos membros dos grupos de controle e do grupo
experimental feita de forma aleatria, o que indicado por um A antes de
cada grupo. A escolha dos grupos de forma aleatria elimina as ameaas de
seleo e mortalidade seletiva.(24)
A idia da srie temporal interrompida que se as vrias observaes antes
da interveno e depois da interveno tm um padro claro, e so diferentes
entre si, ento a diferena pode ser atribuda interveno X.(26)
Numa primeira definio, mtodos qualitativos diferem de mtodos quantitativos
porque se ocupam de variveis que no podem ser medidas, apenas
observadas. Essa uma dicotomia muito simplista. Mtodos qualitativos vm
das cincias sociais, em oposio aos mtodos quantitativos que derivam das cincias natur
ais. (27 e 28)
[...]eu acho a diviso em apenas dois grupos mais produtiva: a
pesquisa observacional e a pesquisa-ao (action research). A pesquisa
observacional tem como objetivo observar o ambiente, mas no modific-lo; j
o objetivo central da pesquisa-ao modificar o ambiente.(28)
Segundo vrios autores [...] a pesquisa
qualitativa onservacional pode ser dividida segundo a perspectiva filosfica
ou epistemolgica que a embasa em: positivista / nterpretativista /crtica. A perspe
ctiva positivista tenta seguir de perto os fundamentos da pesquisa
quantitativa, ou seja, que existem variveis objetivas no mundo, que embora no possam
ser medidas, podem ser observadas.(28)
A perspectiva interpretativista prope que no h variveis objetivas, e que
tudo que observado depende de interpretao de um observador, e que diferentes
pessoas no s observaro o mesmo fato de forma diferente,mas atribuiro
valor a esse fato de forma diferenciada.(29)
A perspectiva crtica entende o mundo como a construo histrica e social
de relaes de poder e dominao. Nesta viso sistemas de informao provavelmente
herdam da sociedade relaes de poder, alienao e dominao,
e revelar essas heranas o objetivo central da pesquisa qualitativa de fundo
crtico.(29)
Dube and Pare 2003] analisou 210 artigos de pesquisa observacional na
rea de sistemas de informao de 1990 a 2000, e descobriu que 87% deles
seguem a perspectiva positivista, 12% a prespectiva interpretativista e apenas
1% a perspectiva crtica.(29)

A pesquisa observacional positivista na sua maioria chamada de descritiva

ou exploratria, isto , busca descrever de forma objetiva e direta
eventos e fatos de interesse.(29)
Existem dois estilos extremos de pesquisa observacional, com diferentes
mtodos e objetivos (...) O que mais caracteriza a separao em dois estilos o nvel de
envolvimento
entre o pesquisador e os sujeitos da pesquisa observacional. No estudo de
caso, o pesquisador interage com os sujeitos de uma forma semi-formal, enquanto
que em etnografia o pesquisador vive e trabalha junto com os sujeitos.(p.30)
O objetivo central do estudo etnogrfico entender como as pessoas trabalham,
e normalmente esse entendimento no possvel apenas entrevistando
ou mesmo conversando com elas. Muitas das prticas de trabalho so tcitas,
isto , no so conscientes o suficiente para que as pessoas falem sobre elas,
e se foradas a faz-lo elas acabam reinterpretando e filtrando muitas dessas
prticas.(p. 31)
reas da computao que esto interessadas em processos, decises e
opinies optam por um estilo de estudo de caso. As reas de engenharia
de software, de sistemas de informao, de informtica mdica so exemplos
onde os aspectos formais da organizao so importantes, e, portanto, onde
um estilo de estudo de caso interessante.(p. 31)
De modo geral, o problema central da pesquisa qualitativa o rigor: como
garantir que os dados e as concluses obtidas so confiveis, vlidas e generalizveis.
Dentro da validade, a questo central como controlar a subjetividade
ou o vis do pesquisador: como saber se as concluses realmente vm
dos dados ou se vm de posies pr-experimentais do pesquisador.(31)
O pesquisador que usa mtodos qualitativos tem que ter alguns cuidados
na hora de publicar seus resultados. O primeiro problema de publicar os resultad
os
de uma pesquisa qualitativa defender o mrito dos mtodos qualitativos,
se a publicao em uma rea da CC que valoriza a pesquisa quantitativa.(35)
Mesmo que a rea de CC j aceite bem pesquisa qualitativa, o segundo
cuidado quase sempre necessrio. Na pesquisa quantitativa, a competncia
do pesquisador central na escolha do desenho experimental e na escolha do
teste estatstico, mas fazer pesquisa essencialmente uma tarefa mecnica.(35)
O pesquisador qualitativo precisa ento mostrar evidncias no artigo que
um pesquisador competente! O texto da publicao tem que ser rico o suficiente
para dar confiana ao revisor e aos leitores que a pequisa foi feita por
algum competente.(35)