Vous êtes sur la page 1sur 100

UNIVERSIDADE DO VALE DO ITAJA

CENTRO DE CINCIAS TECNOLGICAS DA TERRA E DO MAR


CURSO DE CINCIA DA COMPUTAO

FERRAMENTA DE APOIO AO PROCESSO DE AVALIAO DE


PRODUTO DE SOFTWARE

rea de Engenharia de Software

por

Eduardo Vieira

Fabiane Barreto Vavassori Benitti, Dr.


Orientadora

Itaja (SC), maro de 2012

UNIVERSIDADE DO VALE DO ITAJA


CENTRO DE CINCIAS TECNOLGICAS DA TERRA E DO MAR
CURSO DE CINCIA DA COMPUTAO

FERRAMENTA DE APOIO AO PROCESSO DE AVALIAO DE


PRODUTO DE SOFTWARE

rea de Engenharia de Software

por

Eduardo Vieira

Relatrio apresentado Banca Examinadora do


Trabalho de Concluso do Curso de Cincia da
Computao para anlise e aprovao.
Orientadora: Fabiane Barreto Vavassori Benitti,
Dr.

Itaja (SC), maro de 2012

SUMRIO
LISTA DE ABREVIATURAS.................................................................. iv
LISTA DE FIGURAS ................................................................................. v
LISTA DE TABELAS ............................................................................... vi
RESUMO ................................................................................................... vii
ABSTRACT ..............................................................................................viii
1. INTRODUO ...................................................................................... 1
1.1 OBJETIVOS ........................................................................................................ 4
1.1.1 Objetivo Geral ................................................................................................... 4
1.1.2 Objetivos Especficos ........................................................................................ 4
1.2 METODOLOGIA................................................................................................ 5
1.3 ESTRUTURA DO TRABALHO ....................................................................... 6
2. FUNDAMENTAO TERICA...................................................................... 7
2.1 QUALIDADE DE SOFTWARE ........................................................................ 7
2.2 NORMAS DE QUALIDADE ISO/IEC ............................................................. 8
2.2.1 ISO/IEC 9126 Qualidade dos produtos de software................................. 10
2.2.2 ISO/IEC 14598 Avaliao dos Produtos de Software............................... 14
2.2.3 ISO/IEC 14598-5 Processo para avaliadores ............................................ 16
2.2.4 ISO/IEC 14598-6 Documentao de mdulos de avaliao ..................... 18
2.2.5 Relacionamento das normas ISO/IEC 9126 e ISO/IEC 14598 ................... 19
2.2.6 ISO/IEC 12119 Pacotes de Softwares Testes e requisitos de Qualidade
20
2.2.7 SQUARE 25000 ............................................................................................... 22
2.3 MTODOS DE QUALIDADE......................................................................... 25
2.3.1 MEDE-PROS ................................................................................................... 26
2.3.1.1
Documentao MEDE-PROS ................................................................. 26
3. TRABALHOS CORRELATOS ....................................................................... 28

4. Desenvolvimento ................................................................................... 36
4.1
Processo Proposto ...................................................................... 36
4.1.1
4.1.2
4.1.3
4.1.4

4.2

Detalhamento das atividades ......................................................................... 39


Papis................................................................................................................ 42
Artefatos ........................................................................................................... 42
Relao das Normas Atendidas pelo Processo Proposto ............................. 44

Projeto ......................................................................................... 46

4.2.1 Definio dos Requisitos e Regras de Negcio ............................................. 46


4.2.2 Modelos de Caso de Uso ................................................................................. 49
4.2.3 Modelagem Entidade Relacionamento ......................................................... 50

ii

4.3
4.4
4.4.1
4.4.2

Telas do Sistema ........................................................................ 51


Avaliao da Ferramenta ......................................................... 61
Planejamento da Avaliao ...................................................... 61
Resultados da avaliao ............................................................ 65

4.4.2.1
4.4.2.2

Resultados da avaliao do produto de software .................................. 65


Resultados da avaliao da ferramenta de apoio .................................. 65

5. Concluso .............................................................................................. 66
5.1 TRABALHOS FUTUROS ................................................................................ 67

REFERNCIAS BIBLIOGRFICAS ................................................... 68


APNDICE A DETALHAMENTO DOS CASOS DE USO............. 72
APNDICE B DICIONRIO DE DADOS DO MODELO ER ....... 79
APNDICE C TELAS DO SISTEMA ............................................... 82
APNDICE D MODELO E LAYOUT DO CHECKLIST DE
AVALIAO PARA IMPORTAO .................................................. 85
APNDICE E CHECKLIST DE AVALIAO DO PRODUTO DE
SOFTWARE OLQR ONLINE QUICK REPORT ............................ 86
APNDICE F QUESTIONRIO DE AVALIAO DA
FERRAMENTA DE APOIO PARA OS AVALIADORES ................. 87
APNDICE G RELATRIO FINAL DE AVALIAO DO
PRODUTO DE SOFTWARE OLQR ..................................................... 88

iii

LISTA DE ABREVIATURAS
ABNT
AJAX
CenPRA
COTS
ERP
GQM
IEC
IEEE
INPI
ISO
JTC
MCT
MEDE-PROS
MFAQS
MR
NBR
PBQP-Software
RRBT
SEPIN
SQuaRE
SWEBOK
TCC
UNIVALI

Associao Brasileira de Normas Tcnicas


Asynchronous Javascript and XML
Centro de Pesquisa Renato Archer
Commercial off-the-shelf
Planejamento de Recursos Empresariais
Goal Question Metric
International Electrotechnical Commission
Institute of Electrical and Electronics Engineers
Instituto Nacional de Propriedade Industrial
International Organization for Standardization
Joint Technical Committees
Ministrio da Cincia e Tecnologia
O Mtodo de Avaliao de Qualidade de Software
Modelo fuzzy para avaliao de qualidade de software
Modelo de requisitos
Norma Brasileira
Programa Brasileiro da Qualidade e Produtividade
Risk & Requirement Base Testing
Secretaria de Poltica em Informtica
Software Product Quality Requirements and Evalution
Software Endy gineering Body Of Knowledge
Trabalho de Concluso de Curso
Universidade do Vale do Itaja

iv

LISTA DE FIGURAS
Figura 1. Distribuio das organizaes de acordo com a utilizao de Normas para requisitos de
qualidade de software (valor percentual). ..................................................................................10
Figura 2. Avaliao segundo norma ISO/IEC 9126 ...........................................................................10
Figura 3. Processo de avaliao segundo a norma 14598-1. .............................................................. 14
Figura 4. Relacionamento das normas ISO/IEC 14598 .....................................................................16
Figura 5. Relacionamento entre as sries de normas ISO/IEC 9126 e 14598. ...................................20
Figura 6. Estrutura da norma 12119. ..................................................................................................22
Figura 7. Arquitetura dos documentos que compem a srie de normas SquaRE............................. 23
Figura 8. Estrutura da lista de verificao de um mtodo de avaliao (MEDE-PROS) ...................27
Figura 9. Modelo detalhado do mtodo MEDE-PROS. .....................................................................28
Figura 10. Tela de cadastro de avaliao da ferramenta web. ............................................................ 31
Figura 11. Processo de avaliao de portabilidade ............................................................................32
Figura 12. Processo da Framework de especializao .......................................................................33
Figura 13. Processo de avaliao AdeQuas. ......................................................................................34
Figura 14. Processo proposto .............................................................................................................38
Figura 15. Casos de Uso Mdulo Fornecedor e Coordenador ........................................................... 49
Figura 16. Casos de uso mdulo avaliador ........................................................................................50
Figura 17. Modelagem entidade relacionamento ...............................................................................51
Figura 18. Acesso ao sistema .............................................................................................................52
Figura 19. Cadastro de Coordenador..................................................................................................52
Figura 20. Cadastro de produto de software ......................................................................................53
Figura 21. Requisitos da avaliao .....................................................................................................54
Figura 22. Gerenciar check-list ..........................................................................................................54
Figura 23. Cadastro de escala .............................................................................................................55
Figura 24. Gerar plano de avaliao...................................................................................................55
Figura 25. Acompanhar avaliao ......................................................................................................56
Figura 26. Avaliar produto .................................................................................................................57
Figura 27. Gerar relatrio parcial .......................................................................................................58
Figura 28. Liberar relatrio parcial ....................................................................................................59
Figura 29. Visualizar relatrio final ...................................................................................................60
Figura 30. OLQR - Online Quick Report ........................................................................................... 62
Figura 31. Etapas e atividades da avaliao .......................................................................................64
Figura 32. Gerenciar Coordenador .....................................................................................................82
Figura 33. Cadastro de avaliador........................................................................................................82
Figura 34. Cadastro de fornecedor .....................................................................................................83
Figura 35. Gerenciar check-list ..........................................................................................................83
Figura 36. Acompanhar avaliao ......................................................................................................84
Figura 37. Modelo e layout do checklist de avaliao .......................................................................85

LISTA DE TABELAS
Tabela 1. Caractersticas e subcaractersticas do software. ................................................................ 12
Tabela 2. Protocolo da busca..............................................................................................................29
Tabela 3. Trabalhos Correlatos ..........................................................................................................30
Tabela 4. Comparativo trabalhos correlatos .......................................................................................35
Tabela 5. Elementos do diagrama de atividade ..................................................................................37
Tabela 6. Detalhamento das atividades .............................................................................................. 39
Tabela 7. Relao das normas atendidas quando comparadas ao processo .......................................44
Tabela 8. UC01. Login .......................................................................................................................72
Tabela 9. UC02 Cadastrar Coordenador ............................................................................................ 72
Tabela 10. UC03 Cadastrar Fornecedor ............................................................................................. 72
Tabela 11. UC04 Cadastrar dados do produto ...................................................................................72
Tabela 12. UC05 Definir os requisitos da avaliao ..........................................................................73
Tabela 13. UC06 Acompanhar avaliao ........................................................................................... 73
Tabela 14. UC07 Cadastrar escala .....................................................................................................73
Tabela 15. UC08 Definir check-list da avaliao ..............................................................................74
Tabela 16. UC09 Cadastrar avaliador ................................................................................................ 76
Tabela 17. UC10 Gerar plano da avaliao........................................................................................76
Tabela 18. UC11 Avaliar o produto ...................................................................................................76
Tabela 19. UC12 Gerar o relatrio parcial .........................................................................................77
Tabela 20. UC13 Gerar o relatrio final ............................................................................................ 78
Tabela 21. Dicionrio de dados do modelo ER ..................................................................................79

vi

RESUMO
VIEIRA, Eduardo. Ferramenta de apoio a avaliao de produto de software. Itaja, 2012. 105 f.
Trabalho de Concluso de Curso (Graduao em Cincia da Computao)Centro de Cincias
Tecnolgicas da Terra e do Mar, Universidade do Vale do Itaja, Itaja, 2012.
As empresas esto se tornando cada vez mais dependentes de tecnologia, resultando em processos
internos conduzidos e direcionados por um crescente nmero de sistemas informatizados. Esta
tendncia natural e representa a realidade das empresas na sobrevivncia de um mercado cada vez
mais competitivo, no qual as corporaes procuram a tecnologia para reduzir custos, ganhar
eficincia, melhorar processos e expandir sua forma de atuao. Nestas condies, todo o processo
de desenvolvimento de software cresce de maneira proporcional ao das corporaes, aumentando os
riscos de falhas e tornando-se complexo desenvolver ferramentas com um nvel de qualidade
aceitvel. A partir deste cenrio, este trabalho aborda o tema "qualidade de produto de software",
que tem como principal objetivo garantir a qualidade nos resultados obtidos no processo de
desenvolvimento. A qualidade de produto de software fundamentada na srie de normas ISO/IEC
9126, 14598, 12119 e mais recentemente a SQuaRE 25000. No Brasil, o CenPRA (Centro de
Pesquisas Renato Archer) desenvolveu o MEDE-PROS, um mtodo de avaliao de qualidade de
produto de software que ganhou destaque nos ltimos anos. A partir deste mtodo e das normas
ISO/IEC, prope-se neste projeto a especficao de um processo para avaliao de qualidade de
produtos de software e, com base neste processo, construir uma ferramenta de apoio. O sistema foi
desenvolvido com o objetivo de flexibilizar o processo de avaliao de software de acordo com as
necessidades do avaliador e do requisitante da avaliao, contemplando o apoio automatizado a
todas as etapas do processo. Outro fator importante que embasa a construo desta ferramenta a
indisponibilidade dos softwares existentes para uso acadmico ou comercial. A ferramenta foi
desenvolvida em tecnologia web, buscando uma maior independncia de plataforma, priorizando a
portabilidade, e facilitando o acesso simultneo por vrios usurios.
Palavras-chave: Engenharia de software. Qualidade de Produto de Software. Ferramenta de apoio.

vii

ABSTRACT
The companies are becoming more and more dependent of technology, resulting in internal process
managed and directed by an increasing number of computerized systems. This tendency is natural,
and it represents the reality of companies in the survival of an increasingly competitive market,
where corporations seek the technology to reduce costs,gain efficiency, improve processes and
expand the way it operates. In these conditions, all the process of software development is growing
proportionally to the corporations, increasing the risks of faults and becoming complex to develop
tools with a"quality level" acceptable. From this backdrop, we address the theme of "product
quality" software, which has the main objective to ensure quality results obtained in the
development process. The quality of software product is founded on the series of standards ISO/IEC
9126, 14598, 12119 and more recently the SQuaRE 25000. In Brazil, the CenPRA (Renato Archer
Research Center) developed the MEDE-PROS, a method for evaluating the quality of software
product, which has gained prominence in recent years. From these concepts, this project is to
propose the specification of a new process for evaluating the quality of software products and,
based on this process, build a support tool. The system will be developed with the goal of flexibility
in the process of evaluating the software based on the requirements of the evaluator and the
evaluation of the requester as well as includes automated support in the final stage of the
process.Another important factor that supports the construction of that tool is the unavailability of
existing software for academic or commercial use, and the availability of source code. The software
will be developed in web technology, seeking greater platform independence, emphasizing
portability, and facilitating access by multiple users simultaneously.
Keywords: Software engineering. Software Product Quality. Tool support.

viii

1. INTRODUO
A idia de qualidade pode parecer muito intuitiva a princpio, porm, Koscianski e Soares
(2007) afirmam que A qualidade relativa. O que qualidade para uma pessoa pode ser falta de
qualidade para outra. Qualidade de Software uma rea da Engenharia de Software que visa
assegurar que necessidades explcitas e implcitas faam parte do produto de software, o resultado
da qualidade obtido atravs de definies e normatizaes de processos de desenvolvimento
(GUERRA; COLOMBO, 2009). praticamente impossvel obter qualidade em um software
construdo atravs de processos falhos e deficientes de desenvolvimento, neste caso, tem-se duas
dimenses fundamentais para a qualidade de software: dimenso da qualidade do processo e
dimenso da qualidade do produto (BARTI, 2002).
Segundo Barti (2002), a qualidade do processo visa garantir a qualidade no ciclo de
desenvolvimento do software, englobando todas as atividades que focam na garantia de qualidade e
permitindo que a maioria dos artefatos gerados tenha um procedimento de avaliao da qualidade.
A qualidade do produto de software tem como principal objetivo garantir a qualidade nos
resultados obtidos no processo de desenvolvimento e, de um modo geral, engloba atividades
destinadas a estressar telas e funcionalidades do sistema (BARTI, 2002). Na avaliao da
qualidade do produto de software, espera-se atingir todas as caractersticas implcitas e explcitas da
ferramenta, entende-se por caractersticas explcitas todos os requisitos definidos pelo usurio, e
necessidade implcita como as caractersticas desejveis para o sistema, como por exemplo o
desempenho do sistema e at mesmo o cumprimento do cronograma (GUERRA; COLOMBO,
2009).
Para Koscianski e Soares (2007) uma questo bsica da qualidade do software ter
claramente os objetivos que se espera alcanar com o projeto. Para obter tais objetivos preciso
definir e enumerar qualidades desejveis, de preferncia dados quantitativos, que meam uma srie
de caractersticas do software. As medidas tambm podem ser usadas para uma definio mais
precisa de requisitos, fixando-se no incio do projeto os valores desejados para o produto final
A qualidade de produto de software fundamentada na srie de normas ISO/IEC 9126,
14598, 12119 e mais recentemente a SQuaRE 25000. A ISO (International Organization for
Standardization) foi criada para definir padres internacionais e surgiu da necessidade das empresas
em exportarem suas mercadorias e servios, facilitando o intercmbio destes itens entre os pases.
(GUERRA; COLOMBO, 2009).

Koscianski e Soares (2007, p. 204) dizem que uma das mais importantes normas para
caracterizao e medio de qualidade de produto de software a SQuaRE ISO/IEC 25000.
SQuaRE significa Software Product Quality Requirements and Evaluation

(Requisitos de

Qualidade e Avaliao de Produtos de Software) e constitui uma reviso e melhoria das normas ISO
9126 e ISO 14598, ambas tratam da qualidade do produto de software. (KOSCIANSKI; SOARES,
2007).
A norma 9126 define um modelo para qualidade do produto e os instrumentos necessrios,
apresentando uma srie de documentos para comparar dados qualitativos e quantitativos de
qualidade. A ISO 14598 procura abranger os aspectos gerenciais de uma empresa, sugerindo uma
metodologia precisa e documentaes indispensveis que so estudadas por diferentes nveis, como
usurio e desenvolvedor. A norma ISO/IEC 12119 aplicvel a pacotes de softwares
(processadores de texto, planilhas eletrnicas, banco de dados, entre outros) e estabelece os
requisitos de qualidade e instrues de como testar um pacote de software com base nos requisitos
estabelecidos. (KOSCIANSKI; SOARES, 2007).
A SQuaRE surgiu com o objetivo de obter maior clareza nas normas de qualidade de
produto, o processo de transio entre as normas 9126 e 14598 foi lenta e trabalhosa onde iniciou-se
um processo de reviso e melhoria das duas normas e posteriormente a implementao da srie
25000. (GUERRA; COLOMBO, 2009).
Existe uma gama de entidades de pesquisa em tecnologia da informao que dedicam
esforos para aprimorar a melhoria da qualidade de Software produzido no Brasil. O NAPS (Ncleo
de Avaliao de Produtos de Software), criado pela empresa CELEPAR (Companhia Eltrica do
Estado do Paran) em parceria com a CITS (Centro de Internacional de Campinas), tem como
objetivo avaliar a qualidade de produtos de software desenvolvidos pela empresa e por terceiros. O
Prmio ASSESPRO, que tem por objetivo incentivar as empresas de software a melhorar a
qualidade de seus produtos foi criado pela ASSESPRO (Associao Brasileira de Software e
Servios de Informtica). O CenPRA (Centro de Pesquisas Renato Archer) desenvolveu o MEDEPROS Mtodo de Avaliao de Qualidade de Produto de Software, e uma das iniciativas dentro
da rea de qualidade de produto de software que mais tem se destacado nos ltimos anos. (ANJOS;
MOURA, 2002).
O mtodo MEDE-PROS foi criado com o objetivo de avaliar a qualidade de produto de
software, tendo como referncia as normas NBR ISO/IEC 9126 e NBR ISO/IEC 12119, est

registrado na Fundao Biblioteca Nacional, e com o registro de marca no INPI Instituto Nacional
de Propriedade Industrial. (GUERRA; COLOMBO, 2009).
Outro mtodo existente o QFD - Funo de desdobramento de qualidade, criado por
Macabe e divulgado nos EUA por Don Clausing e pela American Supplier Institute (ASI), utilizado
para transformar as necessidades dos clientes em requisitos de produto e de processo. Tem por fim
estabelecer a qualidade no projeto, obter a satisfao do cliente, e efetuar o desdobramento das
metas do referido projeto e dos pontos prioritrios, em termos de garantia da qualidade, at o
estgio de produo (VIVEIROS, 2006 p. 9). As funes principais do QFD so: capturar a
necessidade do cliente, minimizar perdas de informaes e disponibilizar maneiras em que os
requisitos sejam atendidos pela equipe de desenvolvimento. O QFD dividido em duas partes,
desdobramento da qualidade, que consiste em transformar as necessidades dos usurios em
caractersticas de qualidade, definir a qualidade final do produto acabado e o desdobramento da
qualidade para outros itens e; desdobramento da funo da qualidade que consiste no
desdobramento, em detalhes, das funes profissionais ou dos trabalhos que formam a qualidade,
seguindo a lgica de objetivos e meios (VIVEIROS, 2006 p. 9).
Existem algumas ferramentas de apoio a qualidade de produtos de software como o
INOVADOR, cujo objetivo avaliar produtos de software segundo as caractersticas descritas na
norma ISO/IEC 9126-1 e as mtricas de Qualidade em Uso descritas na norma ISO/IEC 9126-4. A
ferramenta INOVADOR foi criada e desenvolvida por Cibele C. P. Sodr no trabalho de concluso
de curso de Graduao em Cincia da Computao (SODR, 2006).
Em outro trabalho de concluso de curso, o acadmico Jonathan M. Borges desenvolveu um
sistema web baseado no mtodo MEDE-PROS e na norma NBR ISO/IEC 14598-5, alm de auxiliar
no processo de avaliao, a ferramenta possibilita o acompanhamento da execuo da avaliao
pelo requisitante da avaliao, apresentando os aspectos negativos e positivos do software avaliado
(BORGES, 2006).
Com base nos fundamentos citados neste documento e nas ferramentas j existentes como o
INOVADOR, que implementa e foca somente a norma ISO/IEC 9126 e o Ambiente web de Suporte
ao Processo de Avaliao da Qualidade de Produto de Software que implementa quase que a
totalidade das caractersticas do mtodo MEDE-PROS e norma ISO/IEC 14598, prope-se construir
uma nova ferramenta de apoio no processo de avaliao da qualidade do produto de software,
baseada nas normas ISO/IEC mencionadas e buscando se basear no mtodo MEDE-PROS, porm,
com o objetivo de flexibilizar o processo de avaliao do software de acordo com as necessidades
do avaliador e do requisitante da avaliao, contemplando tambm o apoio automatizado na etapa

final da avaliao, sendo esta uma funcionalidade ausente nos dois trabalhos correlatos citados nos
pargrafos anteriores. Outro fator importante que embasa a construo desta ferramenta a
indisponibilidade dos softwares existentes, tanto para uso acadmico e/ou comercial, quanto
disponibilizao do cdigo fonte.
Assim, o tema proposto neste trabalho de concluso de curso tem como objetivo criar uma
ferramenta baseada nas normas ISO/IEC 9126, 14598, 12119, SQuaRE 25000 e ao mtodo MEDEPROS, resultando em um sistema abrangente e flexvel de apoio ao processo de avaliao da
qualidade do produto de software. O sistema ser web, buscando uma maior independncia de
plataforma, priorizando a portabilidade, e facilitando o acesso simultneo por vrios usurios.

1.1 OBJETIVOS
1.1.1 Objetivo Geral
Desenvolver uma ferramenta web de apoio ao processo de avaliao da qualidade de
produto de software baseada nas normas ISO/IEC 9126, 14598, 12119, SQuaRE 25000 e no mtodo
MEDE-PROS.

1.1.2 Objetivos Especficos

Pesquisar sobre qualidade de produto de software e solues automatizadas para o


processo de avaliao;
Especficar o processo proposto para avaliao do produto de software, baseado nas
normas ISO/IEC 9126, 14598, 12119, SQuaRE 25000 e no mtodo MEDE-PROS;
Especficar a ferramenta para apoio ao processo proposto;
Implementar a ferramenta conforme especficao; e
Testar e avaliar a adequao da ferramenta.

1.2 Metodologia
A metodologia utilizada para a realizao deste projeto consistiu em duas grandes etapas: (i)
Pesquisa e fundamentao ao tema de estudo; e (ii) desenvolvimento.
A etapa de pesquisa e fundamentao ao tema de estudo consistiu basicamente em pesquisas
de materiais relacionados ao tema qualidade de produto de software e a busca por solues
similares. Os materiais de estudo utilizados para fundamentao foram: normas, livros, artigos (de
peridicos e anais) e trabalhos de doutorado e mestrado, bem como monografias. Os principais
assuntos da pesquisa foram normas e mtodos para avaliao de qualidade de produto de software.
Para busca de solues similares utilizou-se uma estratgia de pesquisa sistemtica, utilizando um
protocolo para busca com: string de busca, critrios para seleo e excluso de estudos e critrios
para extrao dos dados.
A segunda etapa, de desenvolvimento, objetivou a criao de um processo para avaliao de
qualidade de produto de software, baseado nas normas e mtodos estudados na etapa de
fundmentao. Para especificar o processo foi utilizada uma notao baseada no diagrama de
atividades da UML. Nesta etapa foi detalhado a relao entre as normas e mtodo de avaliao com
o processo proposto. Com base no processo de avaliao criado, iniciou-se a especificao da
ferrramenta de apoio. Nesta fase foram definidos os requisitos funcionais, no funcionais e regras
de negcio do sistema, divididos em trs mdulos: fornecedor, coordenador e avaliador.
Tambm foram apresentados os casos de uso da ferramenta, detalhando as principais
funcionalidades do sistema e os papis envolvidos, e atravs do diagrama de entidaderelacionamento,

foi realizado o projeto do banco de dados. Com base no modelo entidade-

relacionamento, os requisito e regras de negcio, foi implementado a ferramenta.


Por ltimo, foi apresentado um plano para avaliao da ferramenta, que serviu de base para
avaliar um produto de software, seguindo todas as etapas do processo proposto. No processo de
avaliao, foram selecionadas pessoas especficas para o papel de coordenador, fornecedor e
avaliador. O planejamento e resultado da avaliao foi documentado afim de demonstrar que a
ferramenta atende ao processo no qual foi baseada.

1.3 Estrutura do trabalho


Este trabalho est estruturado em 4 captulos: (i) Introduo; (ii) Fundamentao Terica;
(iii) Trabalhos Correlatos; e (iv) Desenvolvimento.
O Captulo 1 apresenta o tema do projeto, abordando suscintamente as necessidades e
objetivos a serem alcanados com o trabalho.
O Captulo 2 destinado ao embasamento do projeto, apresentando os conceitos e detalhes
das normas e mtodos de qualidade de produto de software, pertinentes ao trabalho.
O Captulo 3 apresenta os trabalhos similares ao proposto neste projeto, utilizando como
estratgia uma pesquisa sistemtica.
Por ltimo, o Captulo 4, apresenta o processo proposto no projeto e a modelagem da
ferramenta de apoio a avaliao de qualidade de produto de software, relacionando as normas
estudadas com a ferramenta implementada. No mesmo captulo so demonstradas as telas do
sistema, realacionandoas s etapas do processo de avaliao. O ltimo tpico apresenta o
planejamento e os resultados da avaliao de um produto de software.

2.

FUNDAMENTAO TERICA
Conforme a Pesquisa de Qualidade no Setor de Software Brasileiro 2009 (MARINHO;

SOUZA, 2011), realizada pela SEPIN (Secretaria de Poltica em Informtica), os resultados


indicam a plena conscientizao do setor de informtica quanto importncia adoo de modelos,
mtodos e normas para melhora da qualidade, permitindo a entrada de empresas brasileiras no
cenrio internacional de software.
As prximas sees tem como objetivo fundamentar teoricamente o processo proposto para
avaliao da qualidade de produto de software, conforme mencionado no Item 1.1.2 deste
documento. A Seo 2.1 introduz o assunto qualidade de software, focando em qualidade de
produto de software. A Seo 2.2 apresenta as normas de qualidade ISO/IEC que so utilizadas na
especificao do processo proposto, e os sub itens seguintes detalham as normas. A Seo 2.3
apresenta o conceito de mtodo de qualidade de software genrico e especialista, sendo a Seo
2.3.1 responsvel por enfatizar o mtodo MEDE-PROS.

2.1 Qualidade de Software


Definir qualidade de software uma tarefa difcil, visto que os atributos desta atividade
dependem e variam de acordo do ponto de vista do avaliador e dos envolvidos (SIBISI;
WAVEREN, 2007). Em um contexto geral, qualidade de software pode ser entendida como um
conjunto de caractersticas a serem atendidas, alcanando s necessidades explcitas e implcitas de
seus usurios e deve ser construda no processo de desenvolvimento do sistema (DUARTE;
FALBO, 2006).
Em geral, as necessidades explcitas so expressas na definio de requisitos propostos pelo
produtor de software aps o levantamento da necessidade do cliente. Esses requisitos
definem as condies em que o produto deve ser utilizado, seus objetivos, funes e o
desempenho esperado. O enfoque da Qualidade centrado no atendimento a esses requisitos
denominado "conformidade com os requisitos". As necessidades implcitas so aquelas
que no esto expressas nos documentos do produtor, mas so necessrias para o usurio e
so identificadas de acordo com a maturidade do produtor. O enfoque da Qualidade
centrado nessa classe de necessidades est relacionado "adequao para uso".
(COLOMBO, 2004. p.14)

Segundo Alsultanny e Wohaishi (2009), a tarefa de aplicar mtricas de qualidade para


produtos e processo de software complexa e requer conhecimento referente aos objetivos que se
pretende alcanar. A ausncia de qualidade de software tem causado custos significativos para as
empresas de softwares, que enfrentam clientes insatisfeitos e conseqentemente perdem a

credibilidade no mercado, gerando retrabalho. Por outro lado, o problema de falta de qualidade
tambm afeta os compradores de softwares, que sofrem com sistemas defeituosos e que no
atendem suas necessidades. No incio da computao a falta de qualidade era medida com base na
identificao e correo de erros no programa (SIBISI; WAVEREN, 2007). A mesma pessoa que
desenvolvia o sistema tambm testava, pois no existiam pessoas dedicadas para tal atividade.
Geralmente, a validao do software era realizada quando o produto j estava quase pronto ou
totalmente finalizado. Esta ao evoluiu com o tempo e passou a ser considerada uma m prtica do
processo de engenharia de software, apesar disto, continua sendo utilizada por muitas empresas
(BARTI, 2002).
Existem duas etapas nas quais possvel avaliar a qualidade de um software: durante o
desenvolvimento do software, conhecido como qualidade do processo; e quando o software for
entregue ao cliente e aos usurios, definida como qualidade do produto de software (PRESSMAN,
2002). A importncia da qualidade de produto de software est proporcionalmente ligada ao
crescente uso dos computadores, nas mais diversas reas de aplicao, vinculados, por exemplo, ao
sucesso de um negcio e at mesmo a segurana humana. Um estudo realizado por Reed (2000)
indica que se alguns softwares de uso global deixarem de funcionar, aproximadamente 40% da
populao sofrero com as conseqncias.
Considerando este cenrio, percebe-se a real importncia da qualidade na seleo e
desenvolvimento do produto de software, sempre fazendo o uso de mtricas amplamente aceitas e
validadas, resultado que pode ser obtido atravs do uso de normas tcnicas que abrangem as
atividades relacionadas qualidade de produto de software (ABNT, 2003).

2.2 NORMAS DE QUALIDADE ISO/IEC


Conceitualmente, normalizao "o processo de aplicar regras estabelecidas e executar uma
atividade de maneira ordenada". Os benefcios trazidos na utilizao de normas no desenvolvimento
e teste de software podem ser quantitativos, como reduo de custos, tempo e erro, e qualitativos
como adequao, facilidade de uso e melhor atendimento dos requisitos solicitados pelo usurio. No
Brasil, o rgo responsvel pela normalizao a Associao Brasileira de Normas Tcnicas ABNT, foi fundada em 1940 e reconhecida como Foro Nacional de Normalizao, uma entidade
privada e sem fins lucrativos. Existem normas internacionais, regionais, nacionais e organizacionais
em funo de sua rea de aplicao. A ABNT responsvel por representar o Brasil em entidades
internacionais de normalizao, sendo as mais conhecidas a ISO e a IEC. (KOSCIANSKI, 1999)
8

A Organizao Internacional para Padronizao um rgo no governamental e


popularmente conhecida como ISO, foi fundada e sediada em 23 de fevereiro de 1947, em Genebra,
na Sua. A ISO tem como misso a normalizao de atividades desenvolvidas a nvel mundial,
estabelecendo acordo entre pases e publicando-os como normas internacionais. A IEC International Electrotechnical Commission, foi fundada em 1906, tambm em Genebra, Sua, e
uma organizao internacional de padronizao de tecnologias eltricas, eletrnicas e outras
relacionadas que, e em conjunto com a ISO, formam a JTC - Joint Technical Committees,
responsvel por elaborar normas na rea de tecnologia da informao (KOSCIANSKI, 1999).
A Pesquisa de Qualidade no Setor de Software (2009), realizada pelo Programa Brasileiro
da Qualidade e Produtividade PBQP-Software, tem como objetivo obter dados e indicadores sobre
a evoluo da qualidade no setor de softwares de TI do Brasil, e descreve as principais normas de
qualidade produto de software publicadas pela ISO/IEC e ABNT, sendo elas: NBR ISO/IEC 9126,
NBR ISO/IEC 25000, NBR ISO/IEC 12119 e NBR ISO/IEC 14598.
A norma NBR ISO/IEC 9126-Parte 1:2003 (ABNT, 2003) define as caractersticas da
qualidade do produto de software e diretrizes para seu uso. A famlia de normas NBR
ISO/IEC 14598 (Partes 1 a 6) trata do processo de avaliao de produtos de software. A
Norma NBR ISO/IEC 25000:2008 - Engenharia de software - Requisitos e avaliao da
qualidade de produtos de software (SQuaRE) - Guia do SQuaRE, ... tem o objetivo de
gradativamente substituir o conjunto de Normas NBR ISO/IEC 9126 e NBR ISO/IEC
14598. ... A NBR ISO/IEC 12119:1998 estabelecia os requisitos da qualidade e testes de
pacote de software. (MARINHO; SOUSA, 2011).

Dados obtidos atravs de pesquisa demonstram que as normas so pouco utilizadas pelas
organizaes. Ao total 273 empresas responderam as questes relacionadas qualidade de produto
de software, sendo que 89% deste total informaram que no utilizam nenhuma das normas
relacionadas. Pode-se considerar um porcentual elevado, considerando que a norma NBR 9126 esta
publicada desde 1996 pela ABNT. Na Figura 1, pode-se observar os resultados obtidos
(MARINHO; SOUSA, 2011).

Figura 1. Distribuio das organizaes de acordo com a utilizao de Normas para


requisitos de qualidade de software (valor percentual).
Fonte: Marinho e Sousa (2011, p. 108).

2.2.1 ISO/IEC 9126 Qualidade dos produtos de software


A norma ISO/IEC 9126 referncia no processo de avaliao produto de software e define
um modelo de qualidade divido em quatro documentos: modelo de qualidade, mtricas externas,
mtricas internas e mtricas de qualidade de uso (ABNT, 2003). A figura 2 apresenta a sequncia de
avaliao segundo a norma ISO/IEC 9126.

Figura 2. Avaliao segundo norma ISO/IEC 9126


Fonte: Colombo (2004).

10

O modelo de qualidade baseado em mtricas externas e internas divide a avaliao de um


software em seis caractersticas distintas, divididas em subcaractersticas e, por sua vez, podem ser
desdobradas em mais nveis, que representam os atributos de qualidade (ROCHA; MALDONADO;
WEBER, 2001):
a) Funcionalidade: caracterstica que afere a existncia de funes que atendam as
necessidades explcitas ou implcitas do software e suas propriedades especficas.
Adequao, acurcia, interoperabilidade, segurana de acesso e conformidade so
subcaractersticas da funcionalidade.
b) Confiabilidade: condiz a capacidade de um software manter seu desempenho em
determinadas condies e tempo. Possui como subcaractersticas: maturidade, tolerncia
a falhas, recuperabilidade e conformidade.
c) Usabilidade: refere-se ao esforo na utilizao e aprendizado de um produto de software,
assim como o julgamento individual do uso por um conjunto de usurios.
Inteligibilidade, apreensibilidade, operacionalidade, atratividade e conformidade so
suas subcaractersticas.
d) Eficincia: a relao entre o desempenho de um produto de software e a quantidade de
recursos utilizados sob uma condio especfica. As subcaractersticas so:
comportamento em relao ao tempo, comportamento em relao aos recursos e
conformidade.
e) Manutenibilidade: esforo necessrio para modificaes especficas realizadas no
software e tambm localizar e reparar erros. Possui como subcaractersticas:
analisabilidade, modificabilidade, estabilidade, testabilidade e conformidade
f) Portabilidade: a caracterstica responsvel por avaliar a capacidade de um software ser
transportado de um ambiente para outro. Possui como subcaractersticas: adaptabilidade,
capacidade para ser instalado, coexistncia, capacidade para substituir e conformidade.

11

Na Tabela 01 consta a relao das caractersticas, subcaractersticas e sua respectiva


pergunta chave.
Tabela 1. Caractersticas e subcaractersticas do software.
Caracterstica

Funcionalidade (satisfaz
s necessidades?)

Confiabilidade
( imune a falhas?)

Usabilidade
( fcil de usar?)

Subcaractersticas
Adequao
Acurcia
Interoperabilidade
Conformidade
Segurana de acesso
Maturidade
Tolerncia a falhas

Pergunta chave para subcaractersticas

Recuperabilidade

capaz de recuperar dados em caso de


falha?
fcil entender o conceito e a aplicao?
fcil aprender a usar?
fcil de operar e controlar?

Inteligibilidade
Apreensibilidade
Operacionalidade

Qual o tempo de resposta, a velocidade de


execuo?

Tempo

Eficincia
( rpido e enxuto?)

Recursos

Quanto recurso usa? Durante quanto


tempo?

Analisabilidade

fcil de encontrar uma falha, quando


ocorre?
fcil modificar e adaptar?

Modificabilidade

Manutenibilidade ( fcil
de modificar?)

Portabilidade
( fcil de usar em outro
ambiente?)

Prope-se a fazer o que apropriado?


Faz o que foi proposto de forma correta?
Interage com os sistemas especificados?
Est de acordo com as normas, leis e etc.?
Evita o acesso no autorizado aos dados?
Com que freqncia apresenta falhas?
Ocorrendo falhas, como ele reage?

H grande risco quando se fazem


alteraes?
fcil testar quando se fizer alteraes?
fcil adaptar a outros ambientes?

Estabilidade
Testabilidade
Adaptabilidade
Capacidade para ser
instalado

fcil instalar em outros ambientes?

Est de acordo com padres de


portabilidade?
Capacidade para substituir fcil usar para substituir outro?
Conformidade

Fonte: Andrade e Falk (2001)


Mtricas de qualidade de uso tm por objetivo medir a capacidade de um produto de
software em atingir os requisitos desejveis pelos usurios, sendo os atributos classificados em:
eficcia, produtividade, segurana e satisfao (ROCHA; MALDONADO; WEBER, 2001):
a) Efetividade: o software deve permitir que os usurios alcancem metas especficas com
acurcia e completeza, no contexto de uso especificado;

12

b) Produtividade: refere-se capacidade do produto de software em permitir que seus


usurios executem uma quantidade apropriada de recursos em relao a eficcia obtida,
dentro do contexto de uso especificado;
c) Segurana: o produto de software deve apresentar nveis aceitveis de riscos a processos,
pessoas, negcios, propriedades e ao meio-ambiente, dentro do contexto de uso
especificado; e
d) Satisfao: capacidade do produto de software em satisfazer usurios, dentro do contexto
de uso especificado.
A norma 9126 possui um total de quatro documentos, um descrevendo o modelo de
qualidade e trs documentos para relatrios tcnicos, que servem para o apoio na definio de
requisitos e avaliao da qualidade de produto de software (ABNT, 2003):
a) ISO/IEC 9126-1 modelo de qualidade: descreve um modelo de qualidade de produto
de software;
b) ISO/IEC 9126-2 - mtricas externas: define mtricas para medir quantitativamente
caractersticas e subcaractersticas externas dos softwares, definidas na norma 9126-1;
c) ISO/IEC 9126-3 mtricas internas: utilizado para medir a qualidade de software de
maneira quantitativa (caractersticas internas), tambm baseado nas definies da norma
9126-1; e
d) ISO/IEC 9125-4 mtricas de qualidade em uso: apia e auxilia o processo de
determinao das mtricas de qualidade de uso descrito na norma 9126-1.
Os relatrios tcnicos no definem valores para as mtricas e nveis de avaliao, pois estas
so caractersticas definidas individualmente para cada produto de software e que dependem de
fatores como a categoria do software, nvel de integridade e necessidade dos usurios (ABNT,
2003).

13

2.2.2 ISO/IEC 14598 Avaliao dos Produtos de Software


A srie de normas ISO/IEC 14598 fornece mtodos para mensurao, medio e avaliao
de qualidade de produto de software. Descreve mtodos de avaliao tanto para o processo de
desenvolvimento de software, quanto para um produto pronto. A ISO/IEC 14598 destinada para
uso em conjunto com a srie de normas ISO/IEC 9126 e composto por um total de seis
documentos que juntos, fornecem um modelo de avaliao genrico, para avaliao de qualidade de
software (ISO/IEC 14598-1):
a) ISO/IEC 14598-1 viso geral: o primeiro documento um guia de avaliao,
apresentando uma viso geral sobre o processo de avaliao, a figura 3 mostra o
processo proposto pela norma;

Fonte: Colombo(2004).
Figura 3. Processo de avaliao segundo a norma 14598-1.

b) ISO/IEC 14598-2 planejamento e gesto: tem por objetivo ser mais especfico na
apresentao dos requisitos, recomendaes e orientaes que englobam processo de
planejamento e gerenciamento de avaliao de produtos de software, "incluindo:

14

desenvolvimento, aquisio, padronizao, controle, transferncia e realimentao do


uso de tecnologias de avaliao no mbito da organizao." (MPS.BR, 2011).
c) ISO/IEC 14598-3 processo para desenvolvedores: destinado ao processo de
desenvolvimento do produto de software. Atravs de indicadores e mtricas, procura
prever a qualidade a ser obtida no produto final, beneficiando na tomada de decises;
d) ISO/IEC 14598-4 processo para adquirentes: destinada a adquirente de software,
contemplando um processo de avaliao de produtos de software de prateleira, produtos
de software sob encomenda e tambm modificaes em produtos j existentes. O
principal objetivo deste documento comparar o software a ser avaliado com
alternativas j existentes no mercado, ou garantir que o produto de software final atenda
aos requisitos estabelecidos no desenvolvimento;
e) ISO/IEC 14598-5 processo para avaliadores: o quinto documento tem por objetivo
orientar a implementao de uma avaliao de produto de software, considerando o
modelo de qualidade descrito na norma ISO/IEC 9126-1. As orientaes da norma
ISO/IEC 14598-5 definem "as atividades necessrias para analisar os requisitos de
avaliao de modo a especificar, projetar e executar as atividades de avaliao"
(MPS.BR, 2011); e
f) ISO/IEC 14598-6 documentao de mdulos de avaliao: o sexto e ltimo documento
define como criar um mdulo de avaliao, construindo a estrutura e contedo da
documentao utilizada no processo, como o relatrio final dos resultados obtidos. Um
mdulo de avaliao produzido e validado, seguindo a norma ISO/IEC 14598-6, deve
resultar em avaliaes imparciais que possam ser repetidas e reproduzidas. (MPS.BR,
2011).
As sees seguintes detalham as normas ISO/IEC 14598-5 e ISO/IEC 14598-6, visto que
estes dois documentos sero bastante utilizados em um dos objetivos gerais deste trabalho:
especificar o processo proposto para avaliao do produto. A Figura 4 mostra o relacionamento das
normas ISO/IEC 14598.

15

Figura 4. Relacionamento das normas ISO/IEC 14598


Fonte: Colombo (2004)

2.2.3 ISO/IEC 14598-5 Processo para avaliadores


A norma ISO/IEC 14598-5 responsvel por orientar o planejamento e execuo de um
processo de avaliao de um software, atravs de uma srie de recomendaes. Por sua
generalidade, deve ser executada sempre observando os requisitos do produto a ser avaliado, bem
como as caractersticas pertinentes ao domnio para o qual a avaliao ser realizada. Os
documentos destinam-se ao processo de avaliao de produtos existentes ou em desenvolvimento,
sendo possvel sua utilizao por fornecedores, usurios, entidades certificadoras e avaliadores em
laboratrio. Vrios documentos do software podem ser considerados para o processo de avaliao,
tais como: documentos do projeto, relatrios de teste e validao, cdigo fonte e documentao do
usurio. (FORTES; SILVA; PAIVA, 2001).
Os principais objetivos do processo de avaliao descrito na norma ISO/IEC 14598-5,
obter quatro caractersticas bsicas e desejveis em um processo de avaliao de software
(KOSCIANSKI, 1999):
a) Repetibilidade: uma especificao de avaliao, repetida pelo mesmo avaliador e para o
mesmo produto, produza resultados que possam ser considerados como idnticos;

16

b) Reprodutibilidade: uma especificao de avaliao de um produto, repetida por


avaliadores diferentes, produza resultados que possam ser considerados como idnticos;
c) Imparcialidade: a avaliao deve ser neutra, e que no seja tendenciosa a algum tipo de
resultado em particular;
d) Objetividade: os resultados obtidos devem ser baseados em fatos, sem que haja
interferncias dos sentimentos do avaliador.
A norma ISO/IEC 14598-5 sugere uma estrutura de execuo no processo de avaliao
dividida em cinco etapas: anlise de requisitos, especificao da avaliao, execuo da avaliao e
concluso da avaliao (FORTES; SILVA; PAIVA, 2001).
a) Anlise de Requisitos: etapa em que so definidos os requisitos e descritos os objetivos
da avaliao, dependendo dos diferentes usurios do produto.
b) Especificao da Avaliao: etapa onde definido o escopo da avaliao e medies de
software que sero executadas nos componentes da avaliao. So definidas tambm as
responsabilidades de todos os envolvidos no processo de avaliao.
c) Planejamento da Avaliao: nesta etapa so definidos os documentos e procedimentos
que sero utilizados pelo avaliador, com base nas especificaes da etapa anterior.
"O avaliador deve produzir um plano que descreva os recursos necessrios para realizar
a avaliao especificada, a distribuio desses recursos ... bem como os prazos, a equipe
de avaliao, os riscos associados e todas as atividades envolvidas (FORTES; SILVA;
PAIVA, 2001).
d) Execuo da avaliao: etapa onde so obtidos os resultados de execuo de acordo com
a anlise de requisitos, especificao da avaliao e planejamento. O resultado desta
etapa o rascunho do relatrio e dos dados da avaliao.
e) Concluso da avaliao: etapa final do processo de avaliao, onde revisado o relatrio
de avaliao e disponibilizados os resultados obtidos.

17

2.2.4 ISO/IEC 14598-6 Documentao de mdulos de avaliao


Em uma viso geral, os mdulos de avaliao fornecem uma ligao entre as tcnicas de
avaliao, indicadores e mtricas de qualidade. O processo de avaliao de um produto de software
inteiramente baseado em um conjunto de mtricas, que em conjunto, fornecem informaes sobre
as propriedades do software. As normas ISO/IEC 9126-2 e ISO/IEC 9126-3 possuem o objetivo de
definir as mtricas atravs dos relatrios tcnicos. Os mdulos de avaliao surgiram da
necessidade de padronizar a forma de documentar estas normas, e utiliz-las de maneira eficiente,
permitindo a troca de informaes sobre avaliaes. Um mdulo de avaliao uma estrutura de
dados e instrues utilizados para o processo de avaliao e na prtica, serve para especficar os
mtodos de avaliao aplicveis para uma dada caracterstica (ou subcaractersticas) e identificar as
evidncias (por exemplo, amostra de cdigo) que ele necessita (KOSCIANSKI, 1999).
Os mdulos de avaliao descritos na norma ISO/IEC 14598-6 possuem um padro que
deve ser seguido, construindo um modelo bsico que contm a seguinte estrutura:
a) Prefcio e introduo: parte da estrutura responsvel por informaes sobre: preparao,
aprovao, contribuies e alteraes sofridas pelo mdulo de avaliao e
relacionamento com outros documentos e/ou normas;
b) Escopo: na etapa de escopo do mdulo de avaliao, so identificadas as caractersticas e
subcaractersticas (em conjunto a norma ISO/IEC 9126), o nvel de avaliao e tcnicas
utilizadas;
c) Referncias: parte onde constam documentos normativos e normas tcnicas
relacionadas. Se o mdulo de avaliao em questo depender dos resultados de outro
mdulo de avaliao, este tambm far parte das referncias;
d) Termos e definies: parte da estrutura onde ficam todas as definies de termos
tcnicos que so utilizados no mdulo de avaliao, que tambm pode ser feito atravs
da referncia a fontes onde possam ser encontradas as definies;
e) Entradas para a avaliao: etapa responsvel por identificar as entradas, os dados e as
mtricas e medidas usadas:

18

a. Entradas: a identificao de todas as informaes requeridas como entrada para


o mdulo de avaliao.
Estes devem ser classificados como componentes de produto (especificao de requisitos de
software, descrio do projeto de software, descrio de programa, cdigo fonte, cdigo
executvel, documentao de usurio), informao de produto (relatrio de reviso de
requisitos de software, relatrio de reviso de projeto de software, relatrio de reviso de
programa, relatrio de teste de unidade, relatrio de reviso de documentao de usurio) e
informaes de suporte (plano de garantia de qualidade, plano de gesto de configurao,
plano de teste de programa e descrio de lngua de programao e compilador)
(KOSCIANSKI, 1999).

b. Dados: descrevem quais sero os parmetros para especificao dos elementos de


dados que sero extrados dos documentos de entradas e demais evidncias. A
partir dos elementos de dados, que as mtricas de avaliao sero computadas.
c. Mtricas e medidas: a partir dos elementos de dados, descreve como as mtricas
e medidas sero calculadas.
f) Interpretao dos resultados: compreende o mapeamento das medidas e o relato da
avaliao. Mapeamento das medidas a interpretao dos resultados obtidos atravs das
medies e o relato da avaliao descreve "o contedo do relatrio com o resultado da
aplicao do mdulo de avaliao e a visualizao dos valores obtidos (KOSCIANSKI,
1999).

2.2.5 Relacionamento das normas ISO/IEC 9126 e ISO/IEC 14598


As normas ISO/IEC 9126 e ISO/IEC 14598 foram construdas para serem utilizadas em
conjunto, sendo que uma complementa a outra. Em uma viso geral das duas normas, pode-se
resumi-las da seguinte maneira: o modelo de qualidade est descrito na norma ISO/IEC 9126-1,
sendo que os demais documentos (ISO/IEC 9126-2, ISO/IEC 9126-3, ISO/IEC 9126-4)
correspondem aos relatrios tcnicos, que so responsveis por fornecer exemplos de mtricas de
qualidade. O documento ISO/IEC 14598-1 define os conceitos envolvidos no processo de avaliao
de qualidade de software de uma maneira genrica. Os documentos ISO/IEC 14598-2 e ISO/IEC
14598-6 oferecem suporte avaliao e os demais documentos (ISO/IEC 14598-3, ISO/IEC 145984, ISO/IEC 14598-5) so utilizados para apoio no processo de avaliao especfico por usurio
(desenvolvedores, adquirentes e avaliadores de software). As ligaes entre as duas normas podem
ser visualizadas na Figura 5. (MPS.BR, 2011).

19

Figura 5. Relacionamento entre as sries de normas ISO/IEC 9126 e 14598.


Fonte: MPS.BR (2009, p. 68)

2.2.6 ISO/IEC 12119 Pacotes de Softwares Testes e requisitos de Qualidade


Colombo (2004), comenta que Pacotes de softwares o conjunto completo e documentado
de programas fornecidos a diversos usurios para uma aplicao ou funo genrica, e so
conhecidos internacionalmente como COTS Commercial off-the-shelf. Segundo Colombo, ...
COTS se concentra na produo de componentes competitivos e fceis de integrar, muitas vezes
usando componentes de outros fornecedores. So exemplos de pacotes de software: programas
utilitrios, processadores de texto, softwares grficos, banco de dados, entre outros.
A norma ISO/IEC 12119 aplicvel a avaliao de pacotes de software finalizados, no
contemplando a avaliao de qualidade no processo de desenvolvimento. O pblico alvo desta
norma so fornecedores de softwares, entidades responsveis por certificao, laboratrios de teste
de software, compradores de softwares, auditores responsveis por auditar laboratrios de teste e
usurios. A norma ISO/IEC 12119 estabelece as necessidades e requisitos que um pacote de
software deve ter, sendo eles: descrio do produto e documentao do usurio (ABNT, 1998).

20

A descrio do produto fornece informaes sobre o produto (documentao de usurio,


programas e dados, caso tenham) e fornecido junto documentao do software. Segundo a
ABNT (1998), a descrio do produto deve ser completa, organizada e livre de inconsistncias
internas, oferecendo aos compradores do pacote de software auxlio na avaliao do produto em
relao as suas necessidades, antes de compr-lo. As informaes que a descrio do produto deve
conter so: identificao da descrio do produto, identificao do produto, fornecedor, tarefa,
requisitos de hardware e software, conformidade a documentos de requisitos, interface com outros
produtos, itens que compem o pacote, instalao, suporte e manuteno.

Os requisitos de

programas de dados so avaliados de acordo com a funcionalidade (instalao, presena de funes,


correo e consistncia), confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade
(ABNT, 1998).
As instrues para teste descritas na norma ISO/IEC 12119 incluem "tanto o teste das
propriedades necessrias a todos os produtos de mesmo tipo, quanto o teste das propriedades
especificadas na descrio do produto". Os testes funcionais (caixa-preta) e de inspeo de produto
tambm so contemplados pela norma. As atividades para teste devem contemplar qualquer
informao que seja fornecido como parte do pacote de software (descrio, documentao do
usurio, programas e dados) e devem abranger todos os requisitos descritos nas normas para estes
dados. Os registros gerados para cada teste devem conter o plano de teste, resultado e identificao
das pessoas envolvidas. Ao final do teste gerado um relatrio, que contm os objetivos e
resultados alcanados, contendo a seguinte estrutura: identificao do produto, sistemas
computacionais usados para o teste, documentos utilizados, resultado dos testes, lista das no
conformidades aos requisitos, lista contendo informaes sobre recomendaes e noconformidades com estas recomendaes, e por fim, data do encerramento do teste. Uma vez
realizado o teste no pacote de software, a mesma documentao poder ser utilizada para um novo
teste, desde que seja no mesmo pacote de software (ABNT, 1998). A Figura 6 mostra a estrutura da
norma ISO/IEC 12119.

21

Figura 6. Estrutura da norma 12119.


Fonte: Colombo(2004).

2.2.7 SQUARE 25000


A srie de normas NBR ISO/IEC 25000, formam o modelo de qualidade conhecido como
SQuaRE - Requisitos e avaliao da qualidade de produtos de software, e foi construda com base
nas sries de normas ISO/IEC 9126 e ISO/IEC 14598, visando substitu-las gradativamente. O
objetivo geral da srie de normas SQuaRE visa melhorar e unificar os trs principais processos
pertinentes a qualidade de software, sendo: especificao de requisitos, medio de qualidade e
avaliao. (MARINHO; SOUSA, 2011).
Segundo Suryn e Abran (2003), a srie de normas SQuaRE corresponde a segunda gerao
de normas de qualidade de software, e foi construda com base nas seguintes premissas:
a) Unir as normas ISO/IEC 14598 e ISO/IEC 9126 em uma nica estrutura de normas;
b) Introduzir uma nova organizao de normas;
c) Apresentar um novo modelo de referncia geral de qualidade;
d) Padronizar guias de qualidade detalhados;
e) Introduzir um padro de primitivas de medio;
f) Normalizar os requisitos de qualidade; e
g) Apresentar um guia prtico de uso das normas com exemplos.

22

O modelo SQueRE composto por quatorze documentos distribudos em cinco mdulos:


gesto de qualidade, modelo de qualidade, medio de qualidade, requisitos de qualidade e
avaliao de qualidade, que possuem os seguintes objetivos (MPS.BR, 2011). A Figura 7
exemplifica a arquitetura da norma SQuaRE:

Figura 7. Arquitetura dos documentos que compem a srie de normas


SquaRE
Fonte: Guerra e Colombo (2009).

a) ISO/IEC 2500n - Gesto da Qualidade: mdulo responsvel por apresentar o modelo de


normas SQuaRE, bem como definir os conceitos, termos e referncias mencionados nas
demais divises da SQuaRE. A ISO ISO/IEC 2500n possui dois documentos distintos:
a. ISO/IEC 25000 - Guia para SQuaRE: apresenta a estrutura SQuaRE,
terminologias, viso geral, modelos de referncia e pblico-alvo;
b. ISO/IEC 25001 - Planejamento e gesto: fornece os requisitos e orientaes para
o planejamento e gesto do processo de avaliao de produto de software;
b) ISO/IEC 2501n - Modelo de Qualidade: define um padro de qualidade detalhado,
especificando as caractersticas de qualidade externas, internas e qualidade de uso. A
norma ISO/IEC 2501n composta de dois documento:

23

a. ISO/IEC 25010 - Guia de modelo de qualidade: determina um modelo,


caractersticas e subcaractersticas para qualidade interna, externa e qualidade de
uso para produto de software;
b. ISO/IEC 25012 - Guia de modelo de qualidade de dados: define um padro para
uso de dados tanto por pessoas quanto sistemas;
c) ISO/IEC 2502n - Medio da Qualidade: inclui a padronizao matemtica das mtricas
de qualidade internas, externas e em uso, junto a um modelo de qualidade de produto de
software e tambm um guia prtico para implementao do modelo, destinado a
avaliadores, adquirentes e desenvolvedores. Este mdulo inclui cinco documentos:
a. ISO/IEC 25020 Guia e modelo de referncia: introduz as explicaes, modelo
de referncia e definies comuns para as primitivas de medio internas,
externas e de qualidade em uso, destinado a usurios, desenvolvedores e
avaliadores;
b. ISO/IEC 25021 - Medio de primitivas: define um conjunto de medidas para a
construo de mtricas para medio de qualidade das caractersticas internas,
externas e de uso do produto de software;
c. ISO/IEC 25022 - Mtricas para qualidade interna: define uma srie de mtricas
internas para medir quantitativamente as caractersticas e subcaractersticas de
qualidade interna de um produto de software;
d. ISO/IEC 25023 - Mtricas para qualidade externa: define uma srie de mtricas
externas para medir quantitativamente as caractersticas e subcaractersticas de
qualidade externa de produto de software;
e. ISO/IEC 25024 - Mtricas para qualidade em uso: define uma srie de mtricas
de qualidade em uso para medir quantitativamente as caractersticas e
subcaractersticas de qualidade em uso de produto de software.
d) ISO/IEC 2503n - Requisitos de Qualidade: a diviso que abrange as normas destinadas
a especificao de requisitos de qualidade. Os requisitos podem ser orientados tanto para

24

um produto de software que ser desenvolvido, quanto para um produto final.


composto de um nico documento:
a. ISO/IEC 25030 - Guia de requisito de qualidade: guia destinado a especificao
dos requisitos de qualidade de produto de software.
e) ISO/IEC 2504n - Avaliao da Qualidade: conjunto de normas que incluem os
requisitos, recomendaes e diretrizes para avaliao da qualidade de produto de
software para clientes e desenvolvedores. Este modelo composto dois documentos:
a. ISO/IEC 25040 - Guia e modelo de referncia para avaliao de qualidade:
fornece uma estrutura destinada a identificao dos requisitos gerais e conceitos
para especificao e avaliao da qualidade de software descrevendo um
processo de avaliao;
b. ISO/IEC 25041 - Documentao para o mdulo de avaliao: define um mdulo
de avaliao capaz de avaliar erros induzidos e detectados e a maneira como o
sistema trata e recupera estes eventos.
f) ISO/IEC 25051 Requisitos de Qualidade para COTS: Extenso da SQuaRE que
fornece requisitos de qualidade e requisitos documentao para pacotes de software
(COTS).
g) ISO/IEC 25062 Formato Comum da Insdstria para Relatrios de Usabilidade:
segunda extenso da SQuaRE, visa estabelecer um padro para registro de medidas de
usabilidade, obtidas atravs de testes.
O modelo de normas para qualidade de produto de software SquaRE possui alguns
documentos que ainda esto em fase de reviso e outros que foram publicados.

2.3 MTODOS DE QUALIDADE


Segundo Guerra, Colombo e Villalobos (2005), um mtodo de avaliao de qualidade pode
ser genrico ou especialista. Mtodos especialistas so desenvolvidos com o objetivo de avaliar
produtos de software pertencentes a um domnio especfico, com determinadas caractersticas e
escopo particularmente customizvel. Nos mtodos de avaliao genricos, todas as caractersticas
de qualidade de um software devem ser consideradas, independente da categoria de software a ser
25

avaliado. O objetivo da prxima sesso dar nfase ao mtodo genrico de qualidade de produto de
software desenvolvido pelo CenPRA: MEDE-PROS.

2.3.1 MEDE-PROS
O Mtodo de Avaliao de Qualidade de Software - MEDE-PROS, foi desenvolvido pelo
CenPRA - Centro de Pesquisa Renato Archer e tem como objetivo avaliar um produto de software
sob o ponto de vista do usurio final. O MEDE-PROS encontra-se registrado na Fundao da
Biblioteca Nacional e com registro de marca no INPI (Instituto Nacional de Propriedade Industrial),
no Brasil. Este mtodo avalia seis caractersticas de qualidade que devem estar presentes em um
produto de software, sendo: funcionalidade, confiabilidade, portabilidade, usabilidade, eficincia e
manutenibilidade, estas caractersticas possuem como referncia a norma ISO/IEC 9126. O MEDEPROS tambm define os requisitos de qualidade para pacotes de software (COTS), tendo como
referncia a norma ISO/IEC 12119. A partir destas caractersticas, o mtodo MEDE-PROS, fornece
um guia de avaliao, "contendo procedimentos e instrues para avaliao e est estruturado
seguindo uma seqncia de passos, agrupados por tarefas especficas, para orientar a avaliao da
qualidade de um produto de software." (GUERRA; COLOMBO; VILLALOBOS, 2005). O
resultado final um relatrio de avaliao, onde so apontadas as caractersticas do produto que
atendem as normas de qualidade de software e os pontos que precisam ser revistos e melhoria dos
no produto.

2.3.1.1 Documentao MEDE-PROS


O MEDE-PROS um mtodo de avaliao genrico formado por trs documentos
principais (ROCHA; MALDONADO; WEBER, 2001):
a) Lista de verificao: uma ferramenta que apia os avaliadores no processo de avaliao
de qualidade, estando as caractersticas e subcaractersticas do produto decompostas
hierarquicamente em um modelo. A lista de caractersticas e subcaractersticas podem
ser agrupadas em um conjunto de componentes, e estes, por um conjunto de questes.
Ao total, cinco componentes podero ser avaliados: embalagem, descrio do produto,
documentao do usurio, interface e software. Na Figura 8, pode-se observar a relao
das caractersticas e normas de qualidade que contriburam para a construo da lista de
verificao.

26

Figura 8. Estrutura da lista de verificao de um mtodo de avaliao


(MEDE-PROS)
Fonte: Processo de Avaliao de Produtos de Sotware (2005).
b) Manual do Avaliador: material que contm as diretrizes, informaes e recomendaes
necessrias para utilizao da lista de verificao durante o processo de avaliao de um
produto de software, com o objetivo de auxiliar os avaliadores.
c) Modelo de relatrio de avaliao: um laudo tcnico que fornece informaes sobre a
qualidade de produto de software, sob o ponto de vista de um usurio final. Aponta as
caractersticas do software que esto dentro das normas de qualidade, e tambm pontos
que no esto em conformidade, apresentando ao final do documento, uma lista de
sugestes que visam adequar o produto de software aos requisitos especificados.
O modelo de avaliao MEDE-PROS, sugere que os componentes de um software sejam
avaliados em trs etapas: instalao, execuo e desinstalao; e durante estas etapas, o avaliador
poder medir alguns atributos dos componentes do produto, sendo: software, interface,
documentao, descrio do produto e embalagem (GUERRA; COLOMBO, 2009).
Com base nos modelos e etapas citadas anteriormente nesta seo, pode-se ter uma viso
mais detalhada do modelo de qualidade MEDE-PROS. Ao total, sete componentes fazem parte
deste modelo, sendo que cada componente possui suas respectivas caractersticas e
subcaractersticas de qualidade, e que por sua vez, se desdobram em um total de 526 questes a
serem aplicadas na avaliao de qualidade de um produto de software. (GUERRA; COLOMBO,
2009). Uma viso detalhada do modelo MEDE-PROS pode ser verificada na Figura 9:

27

Figura 9. Modelo detalhado do mtodo MEDE-PROS.


Fonte: Guerra e Colombo (2005).
Na lista de verificao, as subcaractersticas de qualidade de produto de software so
desdobradas em atributos que podem ser medidos e pontuados. Estes atributos so chamados de
medidas e baseado nos relatrios tcnicos ISO/IEC 9126-2, 9126-3 e 9126-4. Como exemplos de
medidas podemos citar:
a) Instalao: esta especficado o tipo de processador necessrio para colocar o produto em
uso;
b) Documentao do usurio: os documentos do usurio impressos esto identificados;
c) Interface: apresenta erros gramaticais.

3.

Trabalhos Correlatos
Esta seo pretende apresentar os trabalhos similares ao proposto neste projeto. Para

pesquisa dos trabalhos foram utilizadas estratgia de pesquisa sistemtica, sendo utilizado um

28

protocolo para a busca, com string de busca, critrios para seleo e excluso dos estudos, bem
como os critrios para extrao dos dados.
Na Tabela 02, pode-se observar o protocolo de busca utilizado na pesquisa.
Tabela 2. Protocolo da busca
Estratgia

de String da busca: ("qualidade de software" OR "qualidade de produto de


software" OR "Avaliao de software") AND ("Processo de avaliao"

pesquisa

OR "Ferramenta de apoio").
Foram analisados os 100 primeiros documentos retornados pela string de
pesquisa, conforme critrios de seleo e excluso.
Fonte de pesquisa: Google Acadmico.
Critrios de seleo

Os termos de busca devem estar contidos no ttulo ou abstract


Sero considerados apenas trabalhos de concluso de curso
superior e ps-graduo, artigos cientficos e tambm teses de
mestrados e doutorados, focados no tema qualidade de produto de
software.
Sero considerados trabalhos apenas na lngua portuguesa

Critrios de excluso

Trabalhos com ttulo que fogem totalmente do contexto da


pesquisa
Trabalhos que no propem um novo processo ou ferramenta de
apoio a qualidade de produto de software

Estratgia

para

extrao dos dados

Leitura do abstract
Leitura dos objetivos gerais e especficos do estudo
Leitura da seo onde descrito um novo processo ou ferramenta
de apoio a qualidade de produto de software ou ambos
Extrair informaes referentes ao: ttulo do projeto, objetivo do
estudo, embasamento, contribuio e descrio.

A partir da string de pesquisa, o Google Acadmico retornou um total de oitocentos e oitenta


e um (881) resultados, do qual foram analisados os cem (100) primeiros. Dentre os cem
(100)estudos analisados, dezenove (19) estavam de acordo com os critrios de seleo, no qual, ao

29

aplicar os critrios de excluso, sobraram no total seis (06) documentos. A Tabela 3 mostra os
dados extrados dos trabalhos selecionados.
Tabela 3. Trabalhos Correlatos
Ttulo

Objetivos do estudo

Embasamento
Contribuio
Descrio

Ttulo
Objetivos do estudo
Embasamento
Contribuio
Descrio

Avaliador: Uma Ferramenta de Apoio Aplicao da norma ISO/IEC


9126 para Avaliao da Qualidade de Produtos de Software (SODR,
2006).
Avaliar produtos de software segundo as caractersticas de Qualidade em
Uso da norma ISO/IEC 9126-1 e nas mtricas de Qualidade em Uso
descritas na norma ISO/IEC 9126-4.
Normas ISO/IEC 9126-1 e ISO/IEC 9126-4.
Ferramenta de apoio ao processo de avaliao da qualidade de produdo
software.
Desenvolvida em linguagem Borland Delphi 7 com banco de dados
PostgreSQL 8.1. Possui trs mdulos:
a) Administrador: cadastro dos preparadores da avaliao;
b) Preparador: definio das mtricas que sero avaliadas, nveis de
pontuao e critrios de julgamento;
c) Avaliador: execuo da avaliao definida pelo preparador.
As configuraes mnimas de hardware e software so: memria RAM de
32 MB, ambiente windows 95 ou superior e processador de 500 MHz.
Ferramenta no disponvel para download.
Ambiente web de suporte ao processo de avaliao da qualidade de
produtos de software (BORGES, 2006).
Especficao e implementao de uma ambiente web para auxiliar no
processo de avaliao de produtos de software.
Norma 14598-5 e ao mtodo de avaliaao da qualidade de produto de
software MEDE-PROS.
Ferramenta web para auxilio no processo de avaliao de produto de
software.
O sistema foi desenvolvido em liguagem de programao PHP verso 5,
acessando uma base de dados MySQL verso 5, e utilizando tambm
HTML, AJAX e biblioteca grfica PJGraph. Alm de auxiliar no processo
de avaliao, possibilita o acompanhamento da execuo da avaliao pelo
requisitante da avaliao, apresentando os aspectos positivos e negativos do
software avaliado. Com referncia na norma ISO/IEC 14598-4 e o mtodo
MEDE-PROS, foi proposto um ciclo de atividades para o processo de
avaliao: (i) levantamento de requisitos; (ii) especficao e plano de
avaliao; (iii) execuo e acompanhamento da avaliao; (iv) finalizao
da avaliao. A ferramente no est disponvel para utilizao.

A figura 10, mostra a tela de cadastro de avaliao da ferramenta web.

30

Figura 10. Tela de cadastro de avaliao da ferramenta web.


Ttulo

Um Modelo para avaliao de produtos de software (ANJOS;


MOURA, 2002).

Objetivos do estudo

Propor um novo modelo de avaliao para produtos de software, baseado


nas normas ISO, nos processo de avaliao de produtos de software padro
e modelos de avaliao mais utilizados no mercado de software.
Normas ISO/IEC 9126, ISO/IEC 14598 e ISO/IEC 12119.
Processo de avaliao de produto de software.
Prope um processo baseado nas normas ISO/IEC 9126, ISO/IEC 14598 e
ISO/IEC 12119, adicionando a avaliao do domnio por especialista.
Insere a participao do Avaliador especialista no domnio, que um
profissional especializado na rea objeto do software avaliado, capaz de
verificar o cumprimento de todos os requisitos definidos e identificar e
definir as necessidades implcitas, garantindo assim no apenas a
conformidade das funes aos requisitos, mas sobretudo a acurcia e
adequao. O modelo visa tambm a diminuio do tempo de atingimento
da maturidade do software, sendo que geralmente esta maturidade alcana
aps um longo perodo de utilizao do software por no especialistas.
Um Processo de Avaliao da Portabilidade de unidades de Software
(GOMES FILHO, 2005).
Apresentar uma proposta de um processo de avaliao da portabilidade de
unidade de software.
ISO/IEC 9126-1 e ISO/IEC 14598.
Processo de avaliao.
Definir um proceso de avaliao de unidades de software baseado na
famlia ISO/IEC 14598, focado na caracterstica portabilidade e suas
subcaractersticas (adaptabilidade, capacidade para ser instaladao,
coexistncia e capacidade para substituir) descritas na ISO/IEC 9126-1.
Foram selecionadas mtricas internas e externas que sero utilizadas
durante o processo de avaliao da portabilidade de produtos de software e
para cada mtrica foi estabelecido um valor mapeado numa escala. Uma

Embasamento
Contribuio
Descrio

Ttulo
Objetivos do estudo
Embasamento
Contribuio
Descrio

31

vez determinado as mtricas e seus valores, restaram os processos de


obteno de julgamento dos valores obtidos, que so feitos em seis (6)
etapas:
a) Identificar as informaes disponveis sobre a unidade de software;
b) Identificar as dependncias do software com o ambiente;
c) Selecionar o mtodo de avaliao da portabilidade adequado a partir
das informaes disponveis;
d) Especificar novos ambientes para a unidade de software dependendo
do mtodo de avaliao selecionado;
e) Executar a avaliao de acordo com o mtodo de avaliao da
portabilidade selecionado;
f) Sintetizar os resultados.
A figura 11 mostra o processo de avaliao de portabilidade de produto de
software.

Figura 11. Processo de avaliao de portabilidade


Ttulo
Objetivos do estudo

Embasamento
Contribuio

Framework para Especializao de Modelos de Qualidade de Produtos


de Software (SANTOS; PRETZ, 2009).
Propor um framework para construo de modelos de avaliao de
qualidade de produtos de software especializados para reas de negcio do
Serpro.
Estratgia RRBT (Risk & Requirement Base Testing), ISO/IEC 9126-1 e
ISO/IEC 14598 e abordagem GQM (Goal Question Metric).
Processo para especializao de modelos de qualidade de produtos de
software.

32

Descrio

Especializao do modelo e medio de qualidade. A idia principal a


rastreabilidade desde o requisito at a tcnica de teste que permitir a
medio da qualidade, considerando os riscos e atributos da qualidade
associados, a figura 12 exemplifica este proceso. A partir do MR (Modelo
de requisitos), que um conjunto de artefatos e diagramas que
contextualizam e especificam as necessidades, funcionalidade e requisitos
que o produto de software se prope a atender, aplicada a tcnica RRBT
para associao de riscos e priorizao dos testes. Os atributos de
qualidades so baseados na norma ISO/IEC 9126-1 e o processo baseado na
norma ISO/IEC 14598-4.

Figura 12. Processo da Framework de especializao


Ttulo
Objetivos do estudo

Embasamento
Contribuio
Descrio

Ferramenta fuzzy para avaliao da qualidade de software


(OLIVEIRA, 2002).
Desenvolver uma ferramenta de suporte ao processo de avaliao de
software baseado no modelo MFAQS, promovendo mecanismos de
investigao de nvel de qualidade, atravs do julgamento de especialistas,
como tambm a anlise e a obteno de resultados mais confiveis.
Baseado no modelo MFAQS - modelo fuzzy para avaliao de qualidade de
software.
Ferramenta de apoio baseada no modelo MFAQS.
O AdeQuaS implementa e automatiza o processo de avaliao descrito no
MFAQS, tornando transparente para os participantes do processo de
avaliao as tarefas mais rduas contidas no modelo MFAQS, compostos
por dois mdulos: (i) AdeQuaS-Analisador: no qual so realizadas as
principais atividades do processo de avaliao da qualidade desde a
definio da avaliao at a gerao de relatrios dos resultados obtidos; e
(ii) AdeQuaS-Avaliador: basicamente um visualizador e um coletor de
informaes do objeto de avaliao. O processo de avaliao foi construdo
basicamente a partir de quatro etapas:
a) Definio da avaliao;
b) Coleta de dados dos especialistas;
c) Tratamento de dados;
d) Gerao de resultados.

33

O processo de avalio proposto pode ser visto na figura 13.

Figura 13. Processo de avaliao AdeQuas.


No documento analisado, no constam dados sobre linguagem de
programao, tecnologia utilizada, e disponibilidade da ferramenta.

34

A Tabela 4 foi criada a partir da comparao dos trabalhos correlatos e a proposta deste
estudo. As caractersticas comparadas foram definidas com base nos objetivos deste trabalho.
Tabela 4. Comparativo trabalhos correlatos
Prope
Prope
Qual
Disponvel a Normas
ferramenta? Processo? plataforma? Comunidade? ISO/IEC
Avaliador: ferramenta de
apoio (SODR, 2006).

Modelos
de
qualidade

SIM

NO

DESKTOP

NO

9126-1
9126-4

--

SIM

NO

WEB

NO

14598-5

MEDEPROS

NO

SIM

--

--

9126
14598
12119

--

NO

SIM

--

--

9126-1
14598

--

Framework para
especializao (SANTOS;
PRETZ, 2009).

NO

SIM

--

--

9126-1
14598

--

AdeQuas: Ferramenta
Fuzzy (OLIVEIRA, 2002).

SIM

NO

DESKTOP

NO

9126

MFAQS

SIM

9126
14598
12119
25000

MEDEPROS

Ambiente Web de suporte


(BORGES, 2006).
Modelo de avaliao de
produtos de software
(ANJOS; MOURA, 2002).
Processo avaliao de
portabilidade
(GOMES FILHO, 2005).

Ferramenta de apoio a
avaliao de qualidade de
produto de software
TCC

SIM

SIM

WEB

Comparando com os trabalhos correlatos pesquisados, pode-se destacar como diferencial do


presente projeto: o embasamento por uma maior quantidade de normas, incluindo a norma mais
atual ISO/IEC 25000, buscando uma ferramenta mais abrangente e genrica para avaliao de
qualidade de produto de software; a disponibilizao para a comunidade em geral da ferramenta a
ser desenvolvida; e um novo processo de avaliao de qualidade de produto de software desenhado
e desenvolvido junto a uma ferramenta independente.

35

4. DESENVOLVIMENTO
Nesta seo so apresentadas as caractersticas pertinentes a modelagem do processo
proposto e da ferramenta de apoio a qualidade de produto de software. A Subseo 4.1 apresenta o
processo proposto detalhando os aspectos necessrios. Na Subseo 4.1.1 4.1.5 so apresentadas
as regras do negcio, a definio dos requisitos funcionais e no funcionais, e nas Subsees 4.1.6 e
4.1.7 esta a especficao do diagrama de casos de uso da ferramenta e a modelagem entidade
relacionamento.

4.1 PROCESSO PROPOSTO


Com base nas normas estudas na Seo 2.2, no mtodo MEDE-PROS e nos trabalhos
correlatos, propem-se neste trabalho um novo processo para avaliao de qualidade de produto de
software. Um processo ... bem definido deve indicar as atividades a serem executadas, os recursos
requeridos, os artefatos consumidos e produzidos e os procedimentos a serem adotados (mtodos,
tcnicas, modelos de documentos, entre outros)" (BERTOLLO; SEGRINI; FALBO, 2006). Um
processo padronizado aquele que possui a descrio das atividades que devem ser considerados
nos projetos de software de uma organizao, incluindo tambm os demais ativos de processo
envolvidos, dentre eles artefatos, procedimentos, ferramentas e papis. Com base nos conceitos e
padres de processo, esta seo apresenta o processo de avaliao de qualidade de produto de
software, que serviu de base para o desenvolvimento da ferramenta de apoio. O processo foi
construdo a partir de trs componentes: papel, atividade e artefato (VILLELA; TRAVASSOS;
ROCHA, 2004):
a) Papel: so os agentes do processo com perfis especfico para execuo de determinadas
atividades;
b) Atividade: caracteriza-se como uma ao transformadora dentro do processo, sempre
associada a um papel. Pode requerer um artefato de entrada, e tambm produzir um
artefato de sada; e
c) Artefato: qualquer produto produzido ou consumido pelo papel em uma determinada
atividade, podendo ser de entrada e/ou sada.

36

Para modelar o processo foi utilizada uma notao baseada no diagrama de atividades da
UML. A Tabela 5 apresenta e descreve os elementos utilizados, facilitando o entendimento do
processo descrito na figura 14.
Tabela 5. Elementos do diagrama de atividade
Item

Descrio
Indica uma atividade do processo.

Caixa que identifica um artefato, podendo ser de entrada ou de sada

Indicador de transio entre as atividades do processo

Indica a relao e dependncia entre um artefato e uma atividade.


Raia que divide as atividades em relao aos papis do processo.
Fork/Join: indica o incio e fim simultneo de atividades concorrentes.
Indica o incio do processo
Indica o trmino do processo

Com base na definio do conceito de processo e a apresentao dos elementos utilizados,


prope-se um novo processo para avaliao de qualidade de produto de software, apresentado na
Figura 14 e detalhado nas sees subsequentes.

37

Figura 14. Processo proposto

38

O processo de avaliao de qualidade de produto de software composto de trs papis: (i)


fornecedor, que disponibiliza informaes referentes ao software; (ii) coordenador, que organiza a
avaliao do nicio ao fim; e (iii) avaliador, responsvel por executar a avaliao do produto com
base no check-list de avaliao, destaca-se o requisito mnimo de 2 (dois) avaliadores por avaliao.
O processo executado em trs fases distintas, sendo: (i) identificao; (ii) planejamento e
execuo; e (iii) concluso.

4.1.1 Detalhamento das atividades


As atividades que compem o processo de avaliao de qualidade de produto de software
podem ser conhecidas na Tabela 6, a qual apresenta uma descrio das atividades, os papis
envolvidos, bem como os artefatos de entrada e/ou sada.
Tabela 6. Detalhamento das atividades
Atividade 01

Disponibiliza o software e documentao necessria

Descrio

Esta atividade prev que o fornecedor do produto dever


entregar para avaliao o produto completo, tal como entregue
aos usurios. Por exemplo, se o produto instalado pelo
fornecedor, este dever proceder a instalao para avaliao.
Caso o produto seja entregue em mdia especfica para instalao
pelo usurio, todos os componentes devero ser enviados (por
exemplo, manual, DVD lacrado, etc...).

Papis envolvidos
Artefato de sada
Atividade 02

Fornecedor
Documentao do produto de software
Identifica o tipo de produto a ser avaliado e define os requisitos
da avaliao

Descrio

Com base no material disponibilizado pelo fornecedor, o


coordenador da avaliao ir efetuar uma primeira anlise do
produto de software, definindo os requisitos e objetivos da
avaliao. Tanto o fornecedor quanto o coordenador podero
documentar na ferramenta de apoio, informaes sobre o
fornecedor e o produto a ser avaliado.

Papis envolvidos
Artefato de entrada
Artefado de sada
Atividade 03

Coordenador e Fornecedor
Documentao do produto de software
Requisitos de avaliao do produto de software
Define normas e modelo de avaliao

39

Descrio

Com o auxlio da documentao do produto de software e os


requisitos da avaliao, o coordenador ir definir quais normas
e/ou modelo de avaliao orientaro a avaliao. Nesta etapa so
definidas quais as caractersticas do software sero avaliadas, por
exemplo, se um software possui caractersticas de pacote de
software, ento a norma ISO/IEC 12119 poder ser utilizada para
avaliao.

Papis envolvidos
Artefato de entrada
Atividade 04

Coordenador
Requisitos do produto de software
Define o check-list de perguntas para os avaliadores, com base
nas mtricas externas, internas e de uso.

Descrio

Uma vez definidas as normas de qualidade para avaliao, o


coordenador ir criar o check-list de perguntas, destinado aos
avaliadores. As perguntas sero baseadas nas mtricas de
qualidade externas, internas e de uso.

Papis envolvidos
Artefato de sada
Atividade 05

Coordenador
Questionrio para os avaliadores
Produz o plano de avaliao e disponibiliza aos avaliadores

Descrio

Aps concluir a etapa de criao do check-list, o coordenador ir


gerar o plano de avaliao, que ir conter a documentao do
produto de software junto aos requisitos da avaliao, check-list
de perguntas e informaes sobre os avaliadores. O documento
gerado servir como auxlio ao fornecedor e coordenador para
acompanhamento do processo de avaliao.

Papis envolvidos
Artefato de sada
Atividade 06

Coordenador
Plano de avaliao
Acompanha os avaliadores e os resultados parciais

Descrio

Com o do plano de avaliao, o coordenador ir acompanhar os


resultados parciais da avaliao, monitorando os avaliadores e a
evoluo da avaliao.

Papis envolvidos
Artefato de entrada
Atividade 07

Coordenador
Plano de avaliao
Acompanha o processo de avaliao

Descrio

O fornecedor poder acompanhar o processo de avaliao com o


auxlio do plano de avaliao disponibilizado pelo coordenador,
possuindo acesso restrito aos resultados parciais e finais.

Papis envolvidos
Artefato de entrada
Atividade 08

Fornecedor
Plano da avaliao
Executa avaliao por mdulos

40

Descrio

Nesta atividade, os avaliadores executam a avaliao atravs do


check-list definido pelo coordenador. As avaliaes acontecem
paralelamente (minmo dois avaliadores) e os resultados obtidos
so documentados na ferramenta de apoio.

Papis envolvidos
Artefato de entrada
Artefato de sada
Atividade 09

Avaliador
Questionrio para os avaliadores
Resultado parcial
Avalia o resultado parcial

Descrio

Com base nos resultados parciais gerados, os avaliadores iro


analisar as respostas e definir apenas um resultado para cada
questo, considerando todas as respostas com o objetivo de
chegar a um consenso.

Papis envolvidos
Artefato de entrada
Atividade 10

Avaliador
Resultado parcial
Gera relatrio parcial e encaminhar ao coordenador

Descrio

Ao trmino da avaliao do resultado parcial, os avaliadores


geram o relatrio parcial e disponibilizam os resultados ao
coordenador.

Papis envolvidos
Artefato de sada

Avaliador
Relatrio parcial

Atividade 11

Avalia relatrio parcial

Descrio

O coordenador ir avaliar o relatrio parcial, observando se existe


alguma divergncia no resultado obtido e tambm se existe
coerncia nas respostas fornecidas. A partir do relatrio parcial o
coordenador ir criar o relatrio final.

Papis envolvidos
Artefato de entrada
Atividade 12

Coordenador
Relatrio parcial
Gera o relatrio final e encaminha ao fornecedor

Descrio

Uma vez avaliado o relatrio parcial, o coordenador conclui a


avaliao e gera o relatrio final. O relatrio final ser construdo
com informaes que interessam ao fornecedor, tais como o
resultado da avaliao e recomendaes para melhoria do
software.

Papis envolvidos
Artefato de sada
Atividade 13

Coordenador
Relatrio final
Recebe o resultado da avaliao

Descrio

O fornecedor recebe a documentao final do resultado da


avaliao do software que foi disponibilizado pelo coordenador.

Papis envolvidos
Artefato de entrada

Fornecedor
Relatrio final
41

4.1.2 Papis
O processo proposto ter a participao de trs papis fundamentais:
a) Fornecedor: papel responsvel por solicitar a avaliao do software e disponibilizar
informaes e a documentao necessria sobre o mesmo;
b) Coordenador: responsvel por receber o software, gerando a documentao necessria
para os avaliadores e o documento final para o fornecedor, participando tambm do
acompanhamento durante o processo de avaliao;
c) Avaliador: papel responsvel por executar o questionrio definido pelo coordenador,
fornecendo o relatrio parcial da avaliao.

4.1.3 Artefatos

Artefatos so os produtos gerados ou utilizados por um papel em uma determinada


atividade. A seguir so descritos os artefatos envolvidos no processo proposto de avaliao de
qualidade de produtos de software.
a) Documentao do produto de software: Documento disponibilizado pelo fornecedor ao
coordenador com as informaes do produto de software, necessrias para o coordenador
definir os requisitos da avaliao. Possui os seguintes itens, baseados na norma ISO/IEC
12119 (SQUARE 25051): descrio do produto, documentao de requisitos do sistema,
documentao de usurio.
b) Requisitos do produto de software: Artefato gerado pelo coordenador contendo os
requisitos da avaliao a partir da documentao fornecida pelo fornecedor. Ser com base
neste documento que o fornecedor ir gerar o questionrio para os avaliadores e tambm ir
compor o plano de avaliao. O documento gerado possui a lista com os requisitos do
sistema, baseada na srie de normas ISO/IEC 9126 (SQUARE 25010, 25022, 25023 e
25024) e ISO/IEC 12119 (SQUARE 25051).
c) Questionrio para os avaliadores: Documento gerado pelo coordenador para o avaliador
baseado nas mtricas de avaliao de qualidade de produto de software. O artefato dever

42

conter a lista com as perguntas, associadas as mtricas internas, externas e de uso. Todas as
mtricas avaliadas sero baseadas na srie de normas ISO/IEC 9126 (SQUARE 25010,
25022, 25023 E 25024).
d) Plano de avaliao: Artefato gerado pelo coordenador contendo o plano de avaliao,
destinado ao prprio coordenador e ao fornecedor, para acompanhamento do processo. O
fornecedor ter acesso parcial ao plano de avaliao, itens como lista de perguntas e
resultados parciais, no sero visveis ao mesmo. O documento gerado deve conter
informaes sobre o software a ser avaliado, lista de perguntas gerada para os avaliadores e
dados dos avaliadores alm do relatrio parcial e final, conforme so concludos. Este
artefato baseado na srie de normas ISO/IEC 14598-1, 14598-2 e 14598-6 (SQUARE
25001, 25040 e 25041).
e) Resultado parcial: Documento gerado pelos avaliadores ao trmino de cada avaliao e
contm as respostas para as perguntas que constam no artefato Questionrio para os
avaliadores. A partir deste artefato, os avaliadores iro gerar o relatrio final. O documento
gerado baseado na norma ISO/IEC 14598-5.
f) Relatrio parcial: Artefato gerado pelos avaliadores destinado ao coordenador e que ir
compor o relatrio final. O relatrio parcial construdo com base nos resultadados parciais
de cada avaliador. O documento gerado deve conter a resposta j analisada de todos os
avaliadores, baseado na norma ISO/IEC 14598-1 e 14598-2 (SQUARE 25001 e 25040).
g) Relatrio final: Artefato gerado pelo coordenador e destinado ao fornecedor. o produto
final da avaliao. Alm do relatrio parcial e dados do plano de avaliao, podem existir
sugestes de melhorias para a ferramenta avaliada, o que depender do resultado da
avaliao. Documento baseado na norma ISO/IEC 14598-6 (SQUARE 25041).

43

4.1.4 Relao das Normas Atendidas pelo Processo Proposto


Na Tabela 7 pode-se visualizar a relao entre as normas de qualidade comparado a cada
atividade do processo proposto, enfatizando os itens das normas que so atendidas pelo processo e
os itens que no so atendidos.
Tabela 7. Relao das normas atendidas quando comparadas ao processo
Norma Doc.
ISO/IEC
9126

1*
2*, 3*, 4*

Atividade que atende a norma


Define normas e modelo de avaliao.

O que no atende?

Define as perguntas para os avaliadores, com


base nas mtricas externas, internas e de uso.
Identifica o tipo de produto a ser avaliado e
define os requisitos da avaliao
Define normas e modelo de avaliao.

1*, 2*, 6*
ISO/IEC
14598

ISO/IEC
12119

1*

25051*

ISO/IEC
25000

25000*
25001*
25030*
25040*
25000*
25001*
25010*

Define as perguntas para os avaliadores, com


base nas mtricas externas, internas e de uso.
Produz o plano de avaliao e disponibiliza aos
avaliadores.
Avalia o resultado parcial e gera o relatrio final
Executa a avaliao por mdulos.
Avalia o resultado parcial.
Gera relatrio parcial e encaminha ao
coordenador.
Disponibiliza o software e documentao
necessria.
Identifica o tipo de produto a ser avaliado e
define os requisitos da avaliao.
Executa a avaliao por mdulos
Gera relatrio parcial e encaminha ao
coordenador
Avalia o resultado parcial e gera o relatrio final
Disponibiliza o software e documentao
necessria

14598-3 - No contempla
processo para
desenvolvedores
14598-4 - No contempla
processo para
adquirentes

`- No atende ao teste de
acompanhamento

25012 - No utiliza guia


de modelo de qualidade
de dados

Identifica o tipo de produto a ser avaliado e


define os requisitos da avaliao.

Define normas e modelo de avaliao.

44

25062 - No contempla
formato comum da
indstria para relatrios

de usabilidade

25020*
25021*
25022*
25023*
25024*
25040*

Define as perguntas para os avaliadores, com


base nas mtricas externas, internas e de uso.*

25001*
25040*
25041*

Produz o plano de avaliao e disponibiliza aos


avaliadores.

25040*

25001*

Executa a avaliao por mdulos.


Avalia o resultado parcial.
Gera relatrio parcial e encaminha ao
coordenador.
Avalia o resultado parcial e gera o relatrio final.

* O atendimento integral a esta norma tambm est condicionada s definies do coordenador

importante ressaltar que o atendimento integral das normas de qualidade durante o


processo de avaliao proposto nesta seo, tambm depende das definies do coordenador ao
planejar o plano de avaliao.
Pode-se relacionar o mtodo MEDE-PROS e o processo proposto com base nos trs
documentos principais que compem o mtodo. A lista de verificao atendida atravs da
atividade 04, onde o coordenador define o check-list de perguntas. Nesta atividade, as perguntas
podem ser baseadas na lista de verificao proposta pelo MEDE-PROS, que um documento onde
constam exemplos de questes a serem aplicadas na avaliao.. Na etapa seguinte, podemos
relacionar o manual do avaliador atividade 08, onde os avaliadores executam a avaliao. Nesta
atividade do processo, o documento fornececido pelo MEDE-PROS torna-se til para orientar os
avaliadores durante a atividade. Por ltimo, o modelo de relatrio de avaliao est relacionado
atividade 10, gerar relatrio parcial. Nesta atividade os avaliadores geram o relatrio que ser
destinado ao fornecedor do produto de software, utilizando o documento do mtodo como base para
gerar o relatrio do documento.

45

4.2 PROJETO
Esta seo responsvel pela especficao da ferrramenta de apoio a avaliao da
qualidade de produto software e serviu de base para todo o processo de desenvolvimento do TCC II.
apresentada em trs etapas: (i) Definio dos requisitos e regras de negcio; (ii) Modelagem dos
casos de uso; e (iii) Modelagem entidade relacionamento.

4.2.1 Definio dos Requisitos e Regras de Negcio


Nesta seo so definidos os requisitos funcionais, no funcionais e as regras de negcio da
ferramenta a ser desenvolvida. As definies foram identificadas com base nas caractersticas
inerentes ao processo proposto.
Os seguintes requisitos funcionais foram identificados para a ferramenta proposta:
RF01 O sistema dever permitir o cadastro do coordenador
RF02 - O sistema dever permitir ao coordenador e ao fornecedor cadastrar dados do
fornecedor;
RF03 - O sistema dever permitir ao coordenador e ao fornecedor cadastrar dados do
produto de software;
RF04 O sistema dever permitir ao coordenador cadastrar dados dos avaliadores;
RF05 - O sistema dever permitir ao coordenador e ao fornecedor definirem os
requisitos da avaliao;
RF06 - O sistema dever permitir ao fornecedor acompanhar o processo de
avaliao;
RF07 - O sistema dever permitir o coordenador definir o check-list de avaliao;
o RF07.01 O coordenador poder importar um check-list; e
o RF07.02 O coordenador poder adotar um check-list j cadastrado na
ferramenta.

46

RF08 - O sistema dever permirir o coordenador gerar o plano de avaliao;


RF09 - O sistema dever permitir o coordenador acompanhar o processo de
avaliao;
RF10 - O sistema dever permitir que o avaliador execute o check-list de avaliao;
RF11 - O sistema dever permitir aos avaliadores definir um relatrio parcial e
encaminhar ao coordenador;
RF12 - O sistema dever permitir o coordenador avaliar o relatrio parcial;
RF13 - O sistema dever permitir o coordenador gerar o relatrio final e
disponibilizar ao fornecedor;
RF14 - O sistema dever permitir ao fornecedor visualizar o relatrio final;
RF15 O sistema dever permitir o coordenador exportar um check-list existente no
banco de dados da ferramenta; e
RF16 O sistema dever permitir o coordenador cadastrar escalas de avaliao.
Os seguintes requisitos no funcionais foram identificados para a ferramenta proposta:
RNF01 - A inteface da ferramenta dever ser web, escrita em liguagem PHP;
RNF02 - O sistema dever utilizar javascript para validar formulrios;
RNF03 - O sistema dever utilizar banco de dados MySQL;
RNF04 - O sistema dever ser compatvel com o browser Google Chrome verso
17.0;
RNF05 A ferramenta dever conter trs mdulos, com acessos restritos:
- Fornecedor: Acompanhar parcialmente a avaliao e obter o relatrio final;
- Coordenador: Planejar e coordenar a avaliao, gerar o relatrio final;
- Avaliador: Gerar os resultados e relatrios parciais da avaliao.
47

RNF06 - O check-list de perguntas dever ser importado atravs de um arquivo


excel, com layout pr-definido e salvo em formato de texto separado por tabulao;
As seguintes regras de negcio foram identificadas para a ferramenta proposta:
RN01 - A avaliao dever ser executada por, no mnimo, dois avaliadores;
RN02 - O relatrio parcial s poder ser gerado aps todos os avaliadores
conclurem a avaliao parcial;
RN03 - o coordenador no poder interferir nos resultados parciais, enquanto no
forem concludos pelos avaliadores;
RN04 - O fornecedor no poder ter acesso aos resultados parciais da avaliao;
RN05 - O relatrio final s poder ser gerado quando o reltrio parcial for concludo;
RN06 - Os avaliadores no podero alterar os resultados parciais da avaliao aps
liberarem o relatrio parcial ao coordenador;
RN07 - O check-list estar disponvel aos avaliadores somente aps o coordenador
produzir o plano de avaliao;
RN08 - O fornecedor dever ter acesso aos resultados da avaliao aps o
coordenador gerar o relatrio final;

48

4.2.2 Modelos de Caso de Uso


Nesta seo so apresentados os diagramas de casos de uso da ferramenta criados na fase de
especficao. Os diagramas foram dividos a partir dos trs principais mdulos da ferramenta:
fornecedor, coordenador e avaliador. A Figura 15 apresenta os casos de uso do mdulo fornecedor e
coordenador, demonstrando visualmente as funcionalidades que cada papel ter acesso na
ferramenta. Os papis fornecedor e coordenador compartilham o acesso a alguns casos de uso,
como: login, cadatrar fornecedor, cadastrar dados do produto, definir os requisitos da avaliao e
acompanhar a avaliao. Os casos de uso cadastrar coordenador, cadastrar escala, definir o checklist de avaliao, cadastrar avaliador, gerar plano de avaliao e gerar relatrio final, so exclusivos
do papel coordenador.

Figura 15. Casos de Uso Mdulo Fornecedor e Coordenador


Os casos de uso do mdulo avaliador podem ser observados na Figura 16, basicamente
engloba duas atividades: avaliar o produto e gerar o relatrio parcial.

49

Figura 16. Casos de uso mdulo avaliador


No apndice A est o detalhamento dos casos de uso apresentados nesta seo.

4.2.3 Modelagem Entidade Relacionamento


Para modelar a entidade relacionamento do banco de dados MySQL, foi utilizado a
ferramenta freeware MySQL Workbench 5.2 CE. A modelagem pode ser visualizada na figura 17.
Uma viso mais detalhada das tabelas e seus respectivos campos pode ser visualizado no Apndice
B.

50

Figura 17. Modelagem entidade relacionamento

4.3

TELAS DO SISTEMA
As principais telas do sistema so apresentadas nesta seo. Algumas interfaces foram

anexadas ao apndice C por serem consideradas menos relevantes.


O primeiro acesso a ferramenta de apoio atravs da tela de login e senha. A figura 18 exibe
esta tela. A partir do login identificado o perfil de acesso ao sistema, dividido em trs mdulos:

51

coordenador, fornecedor e avaliador, conforme descrito no RNF05. O menu da ferramenta


carregado dinamicamente, de acordo com tipo de usurio que logou no sistema.

Figura 18. Acesso ao sistema


Atravs do login com perfil de coordenador, o usurio poder acessar o cadastro de
coordenadores, avaliadores, fornecedores, produtos de software e escala. Tambm ter acesso ao
cadastro de requisitos de avaliao, check-list de avaliao (importao e exportao), cadastro do
plano, gerao do relatrio final, visualizao do relatrio final e acompanhamento da avaliao.
O usurio que acessar o sistema com login de coordenador ter acesso a alterar o prprio
cadastro, cadastrar produtos e requisitos de software,

acompanhar a avaliao e visualizar o

relatrio final. Com o perfil de avaliador, o usurio que logar no sistema ter acesso a alterar o
prprio cadastro, avaliar produtos de software e gerar o relatrio parcial. A figura 19 exemplifica a
tela de cadastro de coordenador. As telas de cadastro de avaliador e fornecedor podem ser
visualizadas no apndice C.

Figura 19. Cadastro de Coordenador

52

Aps o coordenador responsvel pela avaliao cadastrar o fornecedor do produto de


software e os avaliadores, efetuar o cadastrado de produto de software, conforme figura 20. Nesta
tela possvel informar o fornecedor responsvel pelo produto, descrio, requisitos de software e
hardware, e demais informaes. Esta atividade pode ser executada tanto pelo coordenador, quanto
pelo fornecedor.

Figura 20. Cadastro de produto de software


Ao finalizar a entrada de dados referente ao produto de software, liberado ao coordenador
e fornecedor o acesso ao cadastro dos requisitos da avaliao, conforme figura 21. Neste tela
possvel informar o propsito, escopo e requisitos da avaliao.
Todos os item descritos nos pargrafos anteriores fazem parte da etapa de identificao do
processo proposto. Os prximos itens desta seo descrevem a fase de: (i) planejamento e controle,
e (ii) fase de concluso, relacionando as telas do sistema.

53

Figura 21. Requisitos da avaliao


Antes de gerar o plano da avaliao, o coordenador dever definir o check-list de avaliao.
O check-list poder ser visualizado, exportado e importado para o banco de dados da ferramenta
atravs do menu Check-list, apresentado na figura 22. O check-list dever ser importado atravs
de um arquivo de texto (extenso *.txt), salvo em formato UFT-8 e com layout pr definido. O
modelo para criar o arquivo pode ser consultado no apndice D.

Figura 22. Gerenciar check-list


Antes de importar o check-list, o coordenador dever cadastrar as escalas de avaliao
(figura 23), que sero utilizadas pelos avaliadores para responder as perguntas da avaliao. Nesta
tela dever ser definida uma chave, indicador e a descrio da escala. A chave tem como objetivo
facilitar a importao do arquivo, e serve como um identificador da escala dentro do banco. O

54

coordenador da avaliao cria a chave da escala, elemento utilizado posteriormente no arquivo de


importao das questes para avaliao. O indicador informa se o peso da escala na avaliao ser
positiva, negativa ou neutra. A descrio o texto das possveis respostas que iro ser apresentadas
para o avaliador, na fase de avaliao e consolidao.

Figura 23. Cadastro de escala


Aps definir as escalas e importar o check-list, o prximo passo ser cadastrar o plano de
avaliao. Esta funcionalidade permite definir os avaliadores (sendo no mnimo dois), uma data de
incio e trmino e o check-list de avaliao, conforme figura 24. A partir do plano, os avaliadores
tero acesso para avaliar o produto de software e o coordenador e fornecedor podero acompanhar o
processo de avaliao.

Figura 24. Gerar plano de avaliao

55

Na tela de acompanhamento da avaliao (figura 25), tanto o fornecedor quanto o


coordenador podero visualizar dados como: nmero de questes, porcentagem de concluso geral
e porcentagem por avaliador.

Figura 25. Acompanhar avaliao

56

Aps o coordenador concluir o plano, os avaliadores tero acesso para efetuar a avaliao do
produto de software. Nesta tela, representada pela figura 26, ser possvel visualizar as questes
definidas no check-list. A apresentao ordenada por categoria e sub-categoria de avaliao,
juntamente ao conjunto de escala definida para a pergunta. Na resposta, o avaliador dever
obrigatoriamente responder a uma das escalas, podendo informar um comentrio e/ou anexar um
arquivo de imagem (extenses gif, png ou jpeg) com evidncias dos testes. O avaliador poder
concluir uma avaliao somente quando todas as questes tiverem sido respondidas.

Figura 26. Avaliar produto


Aps todos os avaliadores conclurem a avaliao individual, a tela de consolidao das
respostas liberada (figura 27). Nesta interface os avaliadores podero visualizar as respostas
individuais de cada avaliador, junto aos respectivos comentrios e anexos.
O processo de consolidao consiste em avaliar e definir uma resposta de consenso por
questo, e tambm os comentrios positivos, negativos e observaes de cada categoria avaliada.
Esta funcionalidade foi implementada com o objetivo de facilitar a atividade de gerao do relatrio
parcial da avaliao. O usurio que efetuar a consolidao poder visualizar, na mesma tela, a
resposta de cada avaliador para todas as questes do check-list, onde possvel tambm verificar os
comentrios e anexos. Ao clicar no checkbox do comentrio individual do avaliador, o texto ser
automaticamente includo na caixa de comentrio da categoria. O texto ser inserido na caixa de
acordo com o indicador da escala de resposta do avaliador, podendo ser do tipo negativo, positivo
ou observao. O indicador definido no cadastro de escala.

57

Figura 27. Gerar relatrio parcial


Aps os avaliadores conclurem a consolidao da avaliao parcial, o sistema permitir o
coordenador analisar e alterar os resultados de cada categoria avaliada (figura 28). Nesta fase as
respostas individuais por avaliador no sero mais visveis, sendo possvel visualizar e editar apenas
os comentrios de cada categoria avaliada. Esta etapa compreende o trmino da fase de
planejamento e controle do processo proposto, passando para a fase seguinte: concluso.

58

Figura 28. Liberar relatrio parcial


Aps a liberao do resultado da avaliao pelo coordenador, o fornecedor do produto em
questo poder visualizar o relatrio final. O objetivo do relatrio final exibir os resultados
negativos, positivos e observaes de cada categoria do software avaliado. A tela do relatrio final
pode ser visualizada na figura 29.

59

Figura 29. Visualizar relatrio final

60

4.4 AVALIAO DA FERRAMENTA


Com o objetivo de avaliar a ferramenta de apoio, a partir de um produto de sofware
pertencente a empresa no qual o acdemico trabalha, foi elaborado um plano para a avaliao. As
prximas sees foram destinadas a documentao do planejamento da avaliao e os resultados
obtidos. importante frisar que esta uma avaliao preliminar da ferramenta de apoio e, como
trabalhos futuros, sugere-se elaborar um plano de avaliao com outros produtos de software e
outras pessoas para os papis do processo. O objetivo de efetuar mais avaliaes de validar no
apenas o software, mas tambm o processo proposto.

4.4.1 PLANEJAMENTO DA AVALIAO


Para avaliar a ferramenta de apoio tornou-se necessrio escolher um produto de software, e
com base neste software, montar um plano de avaliao seguindo os moldes detalhados no processo
proposto. O produto de software escolhido foi um mdulo especfico de intranet da empresa Brasil
Foods S/A, chamado OLQR - Online Quick Report (figura 30) que tem como objetivo orientar os
colaboradores da empresa atravs de relatrios contendo o passo passo na execuo de transaes
do sistema ERP da empresa. Para reproduzir um cenrio de testes seguro e ntegro, foram
selecionadas pessoas diferentes para cada papel na avaliao, sendo: um fornecedor, um
coordenador e dois avaliadores. Vale ressaltar que os avaliadores no possuem conhecimento sobre
qualidade de software ou experincia em avaliao de produto de software. Os resultados da
avaliao destes papis foram baseados em seus conhecimentos referente ao produto avaliado e
orientaes do acdemico sobre o objetivo da avaliao e como utilizar a ferramenta de apoio.

61

Figura 30. OLQR - Online Quick Report

Para o papel de avaliador, foram selecionados dois colaboradores da Brasil Foods S/A. O
primeiro, Alexsandro Moraes, trabalha na rea de controladoria como analista fiscal e acessa o
mdulo OLQR esporadicamente quando h dvidas sobre o processo de execuo nas transaes
novas. O segundo avaliador, Cristina Bernardi, trabalha na rea de melhoria contnua, na funo de
analista snior. Segundo a usuria, o acesso ao mdulo efetuado sempre que surge um processo
desconhecido para ela na empresa. A ferramenta de apoio foi publicada em um servidor web,
fornecido pela UNIVALI, possibilitando o acesso do sistema pelos avaliadores.
O papel de coordenador foi efetuado pela orientadora deste trabalho, Fabiane B. V. Benitti e
para o papel de fornecedor foi definido o prprio acadmico, que tambm trabalha na empresa
Brasil Foods S/A e possui acesso ao produto de software avaliado.
Os testes da ferramenta aconteceram nos dias 24 e 25 de fevereiro de 2012. A localizao foi
no CSC Centro de Sevios Compartilhados da Brasil Foods localizado em Itaja, estado de Santa
Catarina. O tempo de durao foi de aproximadamente duas horas por avaliador. O check-list
utilizado na avaliao esta anexado ao apndice E, sendo que os critrios adotados foram extrados
do mtodo de avaliao MEDE-PROS.

62

O cenrio de testes seguiu todas as etapas do processo proposto para avaliao. O cadastro
do produto de software e requisitos de avaliao foram efetuados pelo fornecedor e a definio do
checklist e do plano teve a aprovao do coordenador. Os avaliadores receberam o login e senha
para o acesso a ferramenta. O acadmico repassou os objetivo da atividade e uma breve orientao
de como executar a avaliao e consolidao atravs da ferramenta. Ao final dos testes foi aplicado
um questionrio de avaliao referente ao uso da ferrementa de apoio, com perguntas no objetivas
sobre ao funcionamento geral e interface. O questionrio de avaliao pode ser visualizado no
apndice F. A figura 31 demonstra um diagrama com as etapas da valiao da ferramenta de apoio,
relacionado as atividades aos participantes da avaliao.

63

Figura 31. Etapas e atividades da avaliao

64

4.4.2 RESULTADOS DA AVALIAO


Esta seo tem como objetivo apresentar os resultados da avaliao do produto de software
avaliado e da ferramenta de apoio. O texto foi escrito com base no relatrio final de avaliao do
produto de software e no questionrio de avaliao da ferramenta de apoio.

4.4.2.1

Resultados da avaliao do produto de software

Na maioria das questes a resposta dos avaliadores foi unnime, e de uma maneira geral o
resultado foi positivo. A padronizao e a formatao de cones e janelas, a ausnsia de erros
gramaticais e ortogrficos e a no ocorrncia de falhas durante a execuo foram aspectos
considerados positivos no produto de software avaliado. Como aspectos negativos, foram
destacados a dificuldade na utilizao da interface de busca de relatrios OLQR e a falta de
entendimento sobre o objetivo do sistema no primeiro acesso do usurio no sistema. Algumas
imagens de tela do produto de software foram anexadas para evidnciar a resposta. O relatrio final,
que o resultado obtido atravs do processo de avaliao, pode ser visualizado no apndice G.

4.4.2.2

Resultados da avaliao da ferramenta de apoio

Ao trmino dos testes, o questionrio de avaliao da ferramenta de apoio foi respondido


pelos avaliadores.Os dois avaliadores concordaram que as funcionalidades do sotware esto
apresentadas de forma clara e de fcil entendimento. Ao questionar se as funcionalidades do
software so suficientementes adequadas, um avaliador respondeu que concorda e outro que
concorda veemente. Referente a performance do software, os dois avaliadores concordam veemente
que satisfatrio. Ambos concordaram veemente que h facilidade na utilizao do software.
Nas crticas e sugestes um dos avaliadores citou que a funcionalidade de anexos na etapa
de avaliao pode ser melhorada afim de facilitar a forma de upload, pois houve dvidas no
momento de verificar se uma imagem estava anexado a uma questo. Foi sugerido tambm uma
funcionalidade de ajuda na ferramenta, com textos explicativos, caso haja dvidas sobre o
funcionamento do sistema.

65

5. CONCLUSO
O conceito deste projeto surgiu da necessidade em ter uma ferramenta que apie o processo
de avaliao de qualidade de produto de software. Considerando este fator bsico, foi desenvolvida
a ideia de um novo processo de avaliao, com base nos conceitos, normas e mtodos existentes na
rea de estudo relacionada ao tema. A partir deste processo, foi especificada a ferramenta visando
apoiar o processo proposto e garantir que todas as etapas fossem cumpridas.
As pesquisas ao tema de estudo tiveram foco nas normas e mtodos de avaliao de
qualidade de software e serviram de base para desenhar o processo proposto dentro de padres
aceitveis. A necessidade de pesquisar solues similares evidenciou a dificuldade em encontrar
ferramentas disponveis e acessveis a comunidade em geral, propiciando o estudo e
desenvolvimento de uma ferramenta que atenda esta necessidade. A modelagem do processo foi
representada atravs de um diagrama de atividades UML e serviu como apoio para especificar a
ferramenta a ser criada.
Durante a implementao do sistema foram efetuadas anlises com os diagramas de caso de
uso e de entidade relacionamento, visando garantir que todas os itens especificados fossem
atendidos seguindo o padro estabelecido no projeto. Ao final do desenvolvimento foram efetuados
os testes de validao da ferramenta, onde constatou-se que o sistema consegue atender todos os
requisitos e regras de negcio.
Atravs da avaliao, constatou-se que a ferramenta de apoio atende a todas as etapas do
processo proposto, e como resultado, teve-se um produto de software avaliado, onde foram
elencandas as caractersticas positivas, negativas e observaes referentes aos componentes
avaliados.
Com a concluso deste trabalho, espera-se que os resultados sejam teis para a rea de
qualidade de produto software, devido a carncia de estudos e de ferramentas para automatizao
do processo de avaliao disponveis no meio acdemico e privado. Como principais contribuies
que este trabalho proporciona pode-se citar a pesquisa na rea de qualidade de produto de software,
a proposta de um novo processo de avaliao baseado nas normas mais relevantes do mercado e por
ltimo, uma ferramenta de apoio construda com base no processo.

66

5.1

Trabalhos Futuros

Durante a avaliao do software foi identificado que a interface da ferramenta pode ser
melhorada, exibindo menus mais bem estruturados e otimizando o layout das funcionalidades
existentes.
Outro ponto que pode ser tratado como trabalhos futuros a funcionalidade de anexo na fase
de avaliao, consolidao e gerao do relatrio final. Pretende-se otimizar a interface de upload,
alm de incluir a opo de edio de arquivos j anexados e tambm a pr-visualizao dos
arquivos na fase de avaliao e consolidao. Foi identificada tambm a necessidade de efetuar
cenrios de teste variados, com outros produtos de software e pessoas diferentes para representar os
papis, afim de validar no apenas a ferramenta, mas tambm o processo proposto.
Por fim, identificou-se tambm a necessidade de implementar uma opo de ajuda para os
usurios da ferramenta, caso existam dvidas sobre o processo de funcionamento do sistema.

67

REFERNCIAS BIBLIOGRFICAS
ABNT - ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 12119-1:
Tecnologia de informao - Pacotes de software - Teste e requisitos de qualidade. Rio de Janeiro,
1998.

ABNT - ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 9126-1:


Engenharia de Software - Qualidade de produto - parte 1: modelo de qualidade. Rio de Janeiro,
2003.

ALSULTANNY, Y. A; WOHAISHI, A. M. Requirements of Software quality Assurance


Model. 2009. Artigo da Enviroment and Computer Science Second Internacional Conference.

ANDRADE, D. Gomes de; FALK, J. Anthony. Eficcia de sistemas de informao e percepo


de mudana organizacional: um estudo de caso. Disponvel em:
<http://dx.doi.org/10.1590/S1415-65552001000300004>. Acesso em: 05 ago. 2011.

ANJOS, L. A. Mendona dos; MOURA, H. P. de. Um modelo para avaliao de produtos de


software. 2002. Artigo da Universidade Federal de Pernambuco.

BARTI, Alexandre. Garantia de qualidade de software: adquirindo maturidade organizacional.


Rio de Janeiro, RJ: Campus, 2002.

BERTOLLO, G.; SEGRINI, B.; FALBO, R. de A. Definio de processos de software em um


ambiente de desenvolvimento de software baseado em ontologias. 2006. Artigo do V Simpsio
Brasileiro de Qualidade de Software.
BORGES, J. Manoel. Ambiente web de suporte ao processo de avaliao da qualidade de
produtos de software. 2006. Trabalho de Concluso de Curso (Bacharelado em Cincias da
Computao) - Universidade Regional de Blumenau, Blumenau, 2006.

COLOMBO, R. M. Thienne. Processo de avaliao da qualidade de pacotes de software. 2004.


Dissertao de Mestrado (Cincia da Computao) - Universidade Estadual de Campinas,
Campinas, 2004.

DUARTE, K. C; FALBO, R. A. Uma ontologia de qualidade de software. 2006. Dissertao de


Mestrado (Engenharia Mecnica) - Universidade Federal do Esprito Santo, Vitria, 2006.

FORTES, R. P. de M.; SILVA, E. A. da; PAIVA, D. M. Barroso. Utilizando a Norma ISO IEC
14598-5 na Avaliao de Qualidade de Hiperdocumentos Web. 2001. Artigo da Universidade de
So Paulo.

GOMES FILHO, M. J. A.. Um processo de avaliao da portabilidade de unidades de software.


2005. Trabalho de Concluso de curso (Graduao em Cincia da Computao) - Universidade
Federal de Pernambuco, Recife, 2005.

GUERRA, A. C.; COLOMBO, R, T.; VILLALOBOS, M. T. Processo de avaliao de produtos


de software. 2005. Artigo do Centro de Pesquisas Renato Archer.

GUERRA, A. C; COLOMBO, Regina M. T. Tecnologia da informao: qualidade de produto de


software. Brasilia: PBQP, 2009.

KOSCIANSKI, A. et al. ABNT - Guia para utilizao das normas sobre avaliao de qualidade
de produto de software - ISO/IEC 9126 e ISO/IEC 14598. Paran: Curitiba, 1999.

KOSCIANSKI, Andr; SOARES, M. dos Santos. Qualidade de software: aprenda as


metodologias e tcnicas mais modernas para o desenvolvimento de software. 1.ed. So Paulo:
Novatec, 2007.

MARINHO, D. S; SOUSA, E. J. Pesquisa de Qualidade no Setor de Sotware Brasileiro 2009.


Disponvel em: < http://www.blogcmmi.com.br/qualidade/pesquisa-de-qualidade-no-setor-desoftware-brasileiro-de-2009 >. Acesso em: 20 ago. 2011.

MPS.BR -Melhoria de Processo do Software Brasileiro Guia de Aquisio. <


http://homepages.dcc.ufmg.br/~rodolfo/GPS1-Turma11/MPS.BR_Guia[1].pdf > Acesso em: 28
ago. 2011.

OLIVEIRA, K. R. AdeQuaS: Ferramenta Fuzzy para Avaliao da Qualidade de Software. 2002.


Dissertao de Mestrado (Informtica Aplicada) - Universidade de Fortaleza, Fortaleza, 2002.

PRESSMAN, R.S. Engenharia de Software. 5.ed. Rio de Janeiro: McGraw Hill, 2002.
REED, K. Software engineering a new millennium?. 2000. Artigo da IEEE Computer Society
Press.

69

ROCHA, A. R. Cavalcanti da; MALDONADO, J. Carlos; WEBER, K. Chaves. Qualidade de


software. So Paulo: Prentice Hall, 2001.

SANTOS, L. dos Bays; PRETZ, E. Framework para Especializaes de Modelos de Qualidade


de Produtos de Software. Trabalho de Concluso de Curso (Bacharelado em Cincia da
Computao) FEEVALE, Novo Hamburgo, 2009.

SIBISI, M; WAVEREN, C. c. van. A process framework for customising software quality


models. 2007. Artigo da Altech UEC Technol.

SODR, C. C. Pelizer. Avaliador: uma ferramenta de apoio aplicao da norma ISO/IEC 9126
para avaliao da qualidade de produtos de sofware. Estgio obrigatrio desenvolvido durante o 4
ano do Curso de Graduao (Bacharelado em Cincia da Computao) - Universidade Estadual de
Londrina, Londrina, 2006.

SURYN, W.; ABRAN, A. ISO/IEC SQuaRE. The second generation of standarts for software
product quality. 2003. Artigo do Departament of Electrical Engineering, cole de Technologie
Suprieure.

VILLELA, K.; TRAVASSOS, G. H.; ROCHA, A. R. C. Definio e construo de ambientes de


desenvolvimento de software orientados a organizao. 2004. Artigo da Universidade Federal do
Rio de Janeiro.

VIVEIROS, S. Pereira. Um estudo para a utilizao do mtodo QFD na definio de medidas


de qualidade de produtos de software. Dissertao de Mestrado (Cincia da Computao) Universidade Federal de Minas Gerais, Belo Horizonte, 2006.

70

APNDICES

71

APNDICE A DETALHAMENTO DOS CASOS DE USO


Da Tabela 8 20 so detalhados os casos de uso, visando um melhor entendimento das
funcionalidades previstas.
Tabela 8. UC01. Login
Descrio
Objetivo
Relaes
Pr-condio
Ps-condio

UC01. Login
Permitir que o coordenador, fornecedor e avaliadores
acessem a ferramenta atravs de um login e senha
previamente cadastrados, com o objetivo de restringir o
acesso a determinados mdulos e funes do sistema.
RNF05
Usurio com cadastro ativo no sistema
Um usurio logado no sistema

Tabela 9. UC02 Cadastrar Coordenador


Descrio

Objetivo

Relaes
Ps-condio

UC02. Cadastrar Coordenador


Permitir o coordenador criar, alterar e consultar seu prprio
cadastro no sistema, informando dados necessrios para o
primeiro login na ferramenta com perfil de coordenador. A
partir da criao do cadastro do coordenador, ser possvel
iniciar um processo de avaliao.
RF01
Um coordenador foi cadastrado no sistema

Tabela 10. UC03 Cadastrar Fornecedor


Descrio
Objetivo
Relaes
Pr-condio
Ps-condio

UC03. Cadastrar Fornecedor


Permitir ao coordenador criar, alterar, consultar e excluir dados
do fornecedor. Aps logado no sistema, o fornecedor ter
acesso a consulta e alterao do prprio cadastro.
RF02
Um coordenador ou fornecedor logado no sistema
Um fornecedor foi cadastrado no sistema

Tabela 11. UC04 Cadastrar dados do produto


Descrio

UC04. Cadastrar dados do produto


72

Objetivo
Relaes
Pr-condio
Ps-condio

Permitir que o fornecedor e o coordenador cadastrem um


produto de software no sistema. Os dois perfis tero acesso
a incluso, excluso, alterao e consulta ao produto de
software.
RF03
Ter um fornecedor ou um coordenador logado no sistema
Um produto foi cadastrado no sistema

Tabela 12. UC05 Definir os requisitos da avaliao


Descrio
Objetivo
Relaes
Pr-condio
Ps-condio

UC05. Definir os requisitos da avaliao


Permitir acesso ao fornecedor e ao coordenador cadastrar os
requisitos da avaliao do produto de software. Ambos os perfis
tero acesso a incluso, excluso, alterao e consulta aos
requisitos da avaliao.
RF05
Ter um fornecedor ou um coordenador logado no sistema
Os requisitos da avaliao foram cadastrados no sistema.

Tabela 13. UC06 Acompanhar avaliao


Descrio

Objetivo

Relaes
Pr-condio
Prottipo

UC06. Acompanhar avaliao


Permitir o acompanhamento da avaliao ao coordenador
e ao fornecedor. A ferramenta ir apresentar um relatrio
com o porcentual e dados referente o andamento da
avaliao. Os dados sero mostrados na tela totalizando o
total de concluso da avaliao, dividido por avaliadores e
total geral geral.
RF06, RF09, RN06
Um plano de avaliao gerado

Tabela 14. UC07 Cadastrar escala


Descrio

Objetivo

UC07. Cadastrar escala


Permitir o coordenador cadastrar escalas de avaliao, que sero
utilizadas no processo de importao do arquivo para definir o check-list
de avaliao. O cadastro das escalas de avaliao sero baseadas no
padro de respostas descrito na lista de verificao do mtodo MEDEPROS.

73

Relaes
Pr-condio
Ps-condio

RF16
Ter um coordenador logado no sistema
Uma escala foi cadastrada no sistema

Tabela 15. UC08 Definir check-list da avaliao


Descrio

Objetivo

Relaes
Pr-condio
Ps-condio

Cenrio Principal

Cenrio Alternativo 01

UC08. Definir check-list da avaliao


Permitir ao coordenador definir o check-list da avaliao.
Para importar um novo check-list, o coordenador dever
editar um template padro em planilha eletrnica, com
formato pr-definido, visando facilitar a criao de checklists extensos. Aps concluir a edio do check-list, o
coordenador da avaliao ir utilizar a funcionalidade
importar check-list para carregar as dados para o sistema.
O arquivo de planilha eletronica dever ser salvo em
formato de texto separado por tabulao. Caso
coordenador deseje extrair um check-list existente na base
de dados, poder utilizar a funcionalidade exportar checklist. Nesta atividade a importao poder ser feita de trs
maneiras diferentes: importar um novo check-list; adotar
um check-list j cadastrado; ou editar um j existente.
RF07, RF07.01, RF07.02, RF15, RNF06, RN07
Requisitos do produto de software gerado
Check-list de avaliao criado
Importar e gerar check-list
1. O coordenador seleciona a opo "importar checklist";
2. A ferramenta solicita o arquivo para importao;
3. O coordenador localiza e seleciona o arquivo para
importar;
4. A ferramenta exibe a mensagem "Confirma
importao do check-list?"
5. O coordenador confirma a importao;
6. O arquivo importado para a ferramenta;
7. A ferramenta exibe a mensagem "Importao realizada
com sucesso"
8. A ferramenta exibe o check-list importado
9. O coordenador seleciona a opo gerar check-list
10. A ferramenta apresenta a mensagem Check-list
gerado com sucesso
Definir check-list existente
1. O coordenador seleciona a opo "Selecionar check-list
existente"
74

Cenrio Alternativo 02

Cenrio Exceo

2. A ferramenta apresenta a lista de check-list


cadastrados no banco de dados
3. O coordenador seleciona o check-list desejado
4. A ferramenta exibe a mensagem "Confirma seleo do
check-list?"
5. O coordenador confirma a seleo
6. A ferramenta exibe a mensagem "Seleo realizada
com sucesso"
7. A ferramenta exibe o check-list selecionado
Exportar check-list existente no banco de dados
1. O coordenador seleciona a opo Exportar check-list
2. O sistema apresenta uma lista de check-list existentes
no banco de dados
3. O coordenador seleciona o check-list desejado
4. A ferramenta abre a caixa de seleo do caminho de
diretrio onde ser salvo o arquivo
5. O coordenador define o caminho e seleciona a opo
abrir
6. O coordenador seleciona a opo Exportar
7. A ferramenta apresenta a mensagem Confirma a
exportao do check-list?
8. O coordenador confirma a exportao
9. A ferramenta exibe a mensagem Arquivo exportado
com sucesso
Erro ao importar/exportar o arquivo
Se no passo 4 do cenrio principal ocorrer
algum erro:
4.1. o sistema apresenta a mensagem de erro: "Erro ao
importar, verifique o layout do arquivo selecionado";
4.2. O sistema cancela a importao e volta para o passo
2;
Se no passo 4 do cenrio alternativo 01,
ocorrer algum erro:
4.1. O sistema apresenta a mensagem de erro: "Erro:
arquivo no importado".
4.2. O sistema cancela a importao e volta para o passo
2;
Se no passo 5 do cenrio principal,
alternativo 01 o fornecedor cancelar a importao ou
seleo do arquivo:
5.1. O sistema cancela a importao e volta para o passo
2;
Se no passo 7 do cenrio alternativo 02, o
coordenador no confirmar a exportao do arquivo:
75

7.2. O Sistema cancela a exportao e retorna


ao passo 2.
Se no cenrio 9 do cenrio alternativo 02,
ocorrer algum erro na exportao:
9.1. O sistema apresenta a mensagem Erro:
arquivo no exportado;
9.2. O sistema volta ao passo 2.
Tabela 16. UC09 Cadastrar avaliador
Descrio

UC09. Cadastrar Avaliador

Objetivo
Relaes
Pr-condio
Ps-condio

Permitir ao coordenador incluir, alterar, excluir e consultar o


cadastro dos avaliadores. Os avaliadores tero acesso somente a
visualizao de seu prprio cadastro.
RF04
Um coordenador logado no sistema
Um avaliador foi cadastrado no sistema

Tabela 17. UC10 Gerar plano da avaliao


Descrio

UC10. Gerar plano da avaliao

Objetivo

Permitir o coordenador gerar o plano de avaliao do produto de


software, permitindo o incio da execuo da avaliao pelos avaliadores.

Relaes
Pr-condio
Ps-condio

RF08
Check-list gerado
Ter um um coordenador logado no sistema
Plano de avaliao criado e avaliao disponvel para o avaliador

Tabela 18. UC11 Avaliar o produto


Descrio

UC11. Avaliar o produto

Objetivo

Permitir os avaliadores executarem o a avaliao atravs do check-list de perguntas


definido pelo coordenador. Os avaliadores tero acesso a alterao das respostas, o
coordenador acesso apenas a visualizao e o fornecedor ter acesso restrito as
informaes geradas por este caso de uso.

Relaes
Prcondio

RF10, RN01
Questionrio para os avaliadores criado
Ter um avaliador logado no sistema

76

Pscondio

Resultado parcial criado


Avaliar o produto
1. O avaliador seleciona a opo Avaliar produto de software.

Cenrio
principal

2. O sistema apresenta o check-list de perguntas


3. O avaliador responde as perguntas
4. O avaliador seleciona a opo concluir avaliao
5. O sistema apresenta a mensagem: Avaliao concluda com sucesso
Erros
Se no passo 4 existir uma ou mais perguntas pendentes de resposta:

Cenrio
exceo

6.1. O sistema apresenta a mensagem de erro: Para concluir a avaliao


necessrio que todas as perguntas sejam respondidas.
6.2. O sistema retorna ao passo 2

Tabela 19. UC12 Gerar o relatrio parcial


Descrio

UC12. Gerar o relatrio parcial

Objetivo

Permitir aos avaliadores efetuar a consolidao dos resultados obtidos


atravs da execuo do check-list, obtendo uma nica resposta para cada
pergunta. O acesso para gerar o relatrio parcial ser exclusivamente dos
avaliadores, sendo que o cordenador e fornecedor no tero acesso a esta
funo.

Relaes
Pr-condio
Ps-condio

Cenrio Principal

RF11, RN02, RN06


Avaliao concluda por todos os avaliadores
Ter um avaliador logado no sistema
Relatrio parcial gerado
Gerar relatrio parcial
1. O avaliador seleciona a opo Gerar relatrio parcial.
2. O sistema apresenta os resultados parciais
3. Os avaliadores definem e selecionam uma nica resposta para as
perguntas
4. O avaliador seleciona a opo Concluir gerao do relatrio parcial
5. O sistema apresenta a mensagem Relatrio parcial gerado com
sucesso

77

Erros
Se no passo 4 existir uma ou mais perguntas que no foram consolidadas:

Cenrio exceo

1. O sistema apresenta a mensagem de erro: Para concluir o


relatrio parcial, todas as respostas devem estar consolidadas
Se no passo 1 o relatrio parcial j estiver sido disponibilizado ao
coordenador:
1. O sistema apresenta a mensagem de erro: Relatrio parcial da
avaliao j concludo e disponibilizado ao coordenador, no possvel
alterar.

Tabela 20. UC13 Gerar o relatrio final


Descrio

Objetivo

Relaes
Pr-condio
Ps-condio

UC13. Gerar o relatrio final


Permitir que o coordenador gere o relatrio final com base no relatrio
parcial gerado pelos avaliadores e que o fornecedor visualize o realtrio
final. Somente o coordenador da avaliao ter acesso para gerar o relatrio
final. Uma vez gerado o relatrio final, o fornecedor ter acesso para
visualizao do mesmo. A gerao do relatrio final consiste em avaliar o
relatrio parcial e, de acordo com os critrios do coordenador da avaliao,
ser encaminhado ou no para o fornecedor do produto de software. Neste
caso de uso o coordenador ir avaliar se os resultados esto de acordo com
os requisitos da avaliao, definidos na primeira etapa do processo e se o
resultados esto condizentes com o plano de avaliao.
RF12 , RF13, RN03, RN05, RN08
Relatrio parcial gerado
Ter um coordenador logado no sistema
Relatrio final gerado

78

APNDICE B DICIONRIO DE DADOS DO MODELO ER


Para melhor entendimento de como ser a estrutura do banco de dados, a Tabela 21
apresenta o dicionrio de dados do modelo entidade relacionamento do banco de dados.
Tabela 21. Dicionrio de dados do modelo ER
avaliador
Atributo
idavaliador
nome_aval
login_aval
senha_aval
sex_aval
email_aval
tel_aval
ender_aval
cidade_aval
uf_aval
cep_aval

Tipo
Tamanho Descrio
INT
chave primria
VARCHAR
45
nome
VARCHAR
15
login
VARCHAR
15
senha
INT
sexo
VARCHAR
45
email
VARCHAR
20
telefone
VARCHAR
60
endereo
VARCHAR
45
cidade
VARCHAR
20
estado
VARCHAR
9
cep

avalplan
Atributo
idavaliador
idplano

Tipo
INT
INT

Tamanho Descrio
cheve estrageira com a tabela avaliador
chave estrangeira com a tabela plano

check_categoria
Atributo
idcheck_categoria
idcheck_subcategoria
idchecklist
desc_categoria

Tipo
Tamanho Descrio
INT
chave primria
INT
chave da sub-categoria
INT
chave estrangeira com tabela checklist
VARCHAR
45
descrio da categoria

checklist
Atributo
idchecklist
nome_checklist

Tipo
INT
VACHAR

Tamanho Descrio
chave primria
45
nome do check-list

consolidacao
Atributo
idconsolidacao
idcheck_categoria
positivo_categoria
negativo_categoria
obs_categoria

Tipo
Tamanho Descrio
INT
chave primria
INT
chave estrangeira com a tabela check_categoria
VARCHAR
255
comentrio positivo da categoria avaliada
VARCHAR
255
comentrio negativo da categoria avaliada
VARCHAR
255
observao da categoria

79

anexo_cagegoria
idplano

BLOB
INT

anexo da categoria
chave estrangeira com a tabela plano

coordenador
Atributo
idcoordenador
nome_coord
login_coord
senha_coord
sex_coord
email_coord
tel_coord
ender_coord
cidade_coord
uf_coord
cep_coord

Tipo
Tamanho Descrio
INT
chave primria
VARCHAR
45
nome
VARCHAR
15
login
VARCHAR
45
senha
INT
sexo
VARCHAR
45
email
VARCHAR
20
telefone
VARCHAR
60
endereo
VARCHAR
45
cidade
VARCHAR
20
estado
VARCHAR
9
cep

escala
Atributo
idescala
chave_escala
ind_escala
desc_escala

Tipo
Tamanho Descrio
INT
chave primria
VARCHAR
2
chave que indica a escala
VARCHAR
45
indicao
VARCHAR
45
descrio

fornecedor
Atributo
idfornecedor
nome_for
resp_for
login_for
senha_for
sex_for
email_for
tel_for
ender_for
cidade_fr
uf_for
cep_for

Tipo
Tamanho Descrio
INT
chave primria
VARCHAR
45
nome
VARCHAR
45
reponsvel
VARCHAR
15
login
VARCHAR
15
senha
INT
sexo
VARCHAR
45
email
VARCHAR
20
telefone
VARCHAR
60
endereo
VARCHAR
45
cidade
VARCHAR
20
estado
VARCHAR
9
cep

grupo_resposta
Atributo
idquestao
idescala

Tipo
INT
INT

Tamanho Descrio
chave estrangeira com a tabela questao
chave estrangeira com a tabela escala

plano
Atributo
idplano

Tipo
INT

Tamanho Descrio
chave primria

80

idchecklist
idcoordenador
dt_inicio
dt_fim

INT
INT
DATE
DATE

chave estrangeira com a tabela chacklist


chave estrangeira com a tabela coordenador
data incio
data fim

produto
Atributo
idproduto
idfornecedor
idplano
nome_prod
ver_prod
desc_prd
desc_prod_anexo
req_hard_prod
req_soft_prod
docusr_prod
docusr_prod_anexo
interface_prod
soft_inter_prod
proposito_prod
escopo_prod
requisito_prod

Tipo
Tamanho Descrio
INT
chave primria
INT
chave estrangeira com a tabela fornecedor
INT
chave estrangeira com a tabela plano
VARCHAR
45
nome do produto
VARCHAR
45
verso do produto
VARCHAR
45
descrio do produto
BLOB
anexo da descrio do produto
VARCHAR
45
requisitos de hardware
VARCHAR
45
requisitos de software
VARCHAR
45
documentao do usurio
BLOB
anexo da documentao do usurio
INT
interface com outros software
VARCHAR
45
software de interface
VARCHAR
255
proposito da avaliao
VARCHAR
255
escopo da avaliao
VARCHAR
255
requisito da avaliao

questao
Atributo
idquestao
idcheck_categoria
desc_questao

Tipo
Tamanho Descrio
INT
chave primria
INT
chave estrangeira com a tabela check_categoria
VARCHAR
45
descrio da questo

resposta
Atributo
idresposta
questao_idquestao
avalplan_idavalplan
reposta_avaliador
resposta_consolidacao
anexo_resposta
comentario_resposta

Tipo
Tamanho Descrio
INT
chave primria
INT
chave estrangeira da tabela questao
INT
chave estrangeira da tabela plano
VARCHAR
2
respota do avaliador
VARCHAR
2
resposta da consolidao
BLOB
anexo da resposta
VARCHAR
255
comentrio da resposta

81

APNDICE C TELAS DO SISTEMA


Algumas telas do sistemas foram adcionadas ao apndice por serrem consideradas menos
relevantes ao texto explicativo das telas.

Figura 32. Gerenciar Coordenador

Figura 33. Cadastro de avaliador

82

Figura 34. Cadastro de fornecedor

Figura 35. Gerenciar check-list

83

Figura 36. Acompanhar avaliao

84

APNDICE D MODELO E LAYOUT DO CHECKLIST DE


AVALIAO PARA IMPORTAO
A figura 36 demonstra o modelo e layout de importao do arquivo de texto para a base de
dados da ferramenta de apoio. A primeira coluna representa a numerao sequencial dos
componentes, atributos e questes do checklist. A segunda coluna representa a descrio e a terceira
coluna identifica a chave da escala atribuda a questo, com esta coluna que sero definidas as
possibilidades de respostas aos avaliadores ao executar a avaliao.

Figura 37. Modelo e layout do checklist de avaliao

85

APNDICE E CHECKLIST DE AVALIAO DO PRODUTO DE


SOFTWARE OLQR ONLINE QUICK REPORT
O checklist de avaliao que consta neste apndice foi utilizado para avaliao do produto de
software OLQR Online Quick Report.
1 - Interface
1.1 - Aplicabilidade
1.1.1 - A interface orienta o usurio nos passos a serem executados para a realizao de uma
determinada tarefa?
( ) Muitos
( ) Poucos
( ) Nenhum
1.2 - Aspectos visuais
1.2.1 - As telas apresentam somente informaes necessrias e utilizveis, sensveis ao
contexto?
( ) Muitos
( ) Poucos
( ) Nenhum
1.2.2 - As telas apresentam contrastes e cores, facilitando a leitura?
( ) Muitos
( ) Poucos
( ) Nenhum
1.2.3 - As telas exibem as mensagens com bom aspecto visual, utilizando, com moderao,
negrito, itlico e sublinhado?
1.3 - Funcionalidade
1.3.1 - A interface mantm uma padronizao propria em relao a configurao de janelas?
( ) Sim
( ) No
1.3.2 - A interface mantem uma padronizao prpria em relao a formatao de cones?
( ) Sim
( ) No
1.4 - Usabilidade
1.4.1 - A interface apresenta erros gramaticais?
( ) Sim
( ) No
1.4.2 - A interface apresenta erros ortogrficos?
( ) Sim
( ) No
2 - Software
2.1 - Acurcia
2.1.1 - As funes verificadas no software esto todas implementadas corretamente?
( ) Todos
( ) Alguns
( ) Nenhum
2.1.2 - As funes verificadas no software geram resultados corretos ou conforme o
esperado?
( ) Todos
( ) Alguns
( ) Nenhum
2.2 - Segurana de acesso
2.2.1 - O software impede a utilizao de funes no autorizadas?
( ) Sim
( ) No
2.3 - Ocorrncia a falhas
2.3.1 - O software apresentou falhas durante a execuo ?
( ) Sim
( ) No

86

APNDICE F QUESTIONRIO DE AVALIAO DA


FERRAMENTA DE APOIO PARA OS AVALIADORES

QUESTIONRIO DE AVALIAO DE SOFTWARE


data __/__/____
01
02
03
04
05

No concordo veemente
No concordo
Indiferente
Concordo
Concordo veemente
1. As funcionalidades do software esto apresentadas de forma clara e de fcil entendimento.
01 02 03 04 05
2. As funcionalidades do software so suficientes e adequadas.
01

02

03

04

05

04

05

3. A performance do software satisfatria.


01

02

03

4. Os cones e botes esto dispostos adequadamente na tela, isto , facilitam a utilizao do


software.
01

02

03

04

05

5. Faa um comentrio geral sobre o software apresentando critcas e/ou sugestes.


________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________
________________________________________________________________________________

87

APNDICE G RELATRIO FINAL DE AVALIAO DO


PRODUTO DE SOFTWARE OLQR

88

89

90

91