Qualidade de Software:

Vises de Produto e Processo de Software

Alfredo N. Tsukumo, Claudete M. Rgo, Clenio F. Salviano, Glaucia F. Azevedo,
Luciano K. Meneghetti, Mrcia C. C. Costa, Mario Bento de Carvalho, Regina M. T. Colombo
e-mail : {alfredo,claudete,clenio,glaucia,lucci,costa,carvalho,regina}@ic.cti.br
ATAQS - rea de Tecnologia para Avaliao de Qualidade de Software
CTI - Fundao Centro Tecnolgico para Informtica
Rodovia SP 65 km 143,6 - CEP 13 089-500 - Campinas - SP

Resumo
A demanda por qualidade tem motivado a comunidade de software para o desenvolvimento de
modelos para qualidade de software. Estes modelos esto orientados por duas vises: viso de
processo e viso de produto. A viso de processo trata da avaliao e melhoria dos processos
utilizados para o ciclo de vida do software. A viso de produto trata da avaliao de um produto
de software, para verificao de sua qualidade. Este artigo introduz conceitos de qualidade de
software e descreve os principais modelos nestas duas vises.

Palavras-Chave
Qualidade de Software, Qualidade de Processo, Qualidade de Produto, ISO 9000-3, ISO/IEC
12207-1, SW-CMM, SPICE, Srie ISO/IEC 14598, Srie ISO/IEC 9126, ISO/IEC 12119.

1. Introduo
A Qualidade hoje o grande motivador em todas as reas de atividade humana. Todos querem
fornecer e receber produtos e servios de Qualidade. Mas, o que Qualidade?
Qualidade... a gente sabe o que , e, ao mesmo tempo, no sabe. Isso contraditrio.
Mas algumas coisas so melhores que outras, ou seja, tm mais qualidade. Porm, se
a gente tenta definir qualidade, isolando-a das coisas que a possuem, ento puf - j no
h mais o que falar. (Robert Pirsig em Zen e a arte da manuteno de motocicletas).
Embora possamos concordar com esta afirmao, ao desenvolvermos nossas atividades
precisamos de uma base de entendimento universal. Os diversos modelos e Normas j
editados ou em desenvolvimento procuram suprir esta necessidade. Este artigo descreve um
panorama geral e linhas para a atuao com base nessas Normas e modelos.
So apresentados modelos para a avaliao de software dentro das vises complementares de
processo e produto. A avaliao de processo tratada pelo modelo de referncia SPICE
(Software Process Improvement and Capability Determination) [SPI95] [SPI95a], modelo SWCMM (Capability Maturity Model) [PAU93], Norma ISO/IEC 12207 [ISO12207-1] e srie de
Normas ISO 9000 [ISO9000]. A avaliao de produto objeto da srie de Normas ISO/IEC
9126, 14598 e 12119.

2. Qualidade
A Norma ISO 8402 [ISO8402] define Qualidade como a totalidade de caractersticas de uma
entidade que lhe confere a capacidade de satisfazer s necessidades explcitas e implcitas".
Necessidades explcitas so aquelas expressas na definio de requisitos propostos pelo
produtor. Esses requisitos definem as condies em que o produto deve ser utilizado, seus
objetivos, funes e o desempenho esperado.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

As necessidades implcitas so aquelas que, embora no expressas nos documentos do

produtor, so necessrias para o usurio. Esto englobadas nesta classe tanto requisitos que
no precisam ser declarados por serem bvios (ex: a caneta escreve) como aqueles
requisitos que no so percebidos como necessrios no momento em que o produto foi
desenvolvido, mas que pela gravidade de suas conseqncias devem ser atendidos (ex.
mesmo em condies no previstas, de erro ou m operao, um sistema de administrao
hospitalar no pode provocar a morte de pacientes).
Kano et al [KANO84] classificam os requisitos de acordo com duas dimenses, conforme
ilustrado no diagrama da Figura 1 em que "atendimento ao requisito" colocado em um eixo e
o "sentimento de satisfao" no outro. Segundo essa viso, os requisitos de qualidade so
classificados como:

necessrios, se o no atendimento gera insatisfao e o atendimento gera

indiferena. Por exemplo, a no ocorrncia de defeitos num automvel nos primeiros
6 meses de uso ( o mnimo que se espera de um automvel novo).
normais, se h insatisfao pelo no atendimento e satisfao pelo atendimento.
Por exemplo, a economia, nvel de rudo e o desempenho de um automvel.
atrativos, se provocam um sentimento de satisfao quando atendidos mas de
indiferena se no for atendido. Por exemplo, ar condicionado, direo hidrulica,
air bag em um automvel.
Deve-se notar que a aplicao desta classificao dinmica, sofrendo variaes conforme o
amadurecimento do mercado. Assim, o ar condicionado e a direo hidrulica j esto se
tornando requisitos normais no mercado brasileiro e j so requisitos necessrios na Europa ou
nos EUA. No mercado de software, tanto a velocidade de amadurecimento do pblico como a
de introduo de inovaes tecnolgicas so muito maiores.
A anlise destes requisitos segundo esse critrio muito til para qualquer empresa que
trabalhe em um mercado competitivo.
sentimento de satisfao

satisfao (gosta)

requisito de qualidade
atrativo
requisito atendido

requisito no atendido

atendimento ao requisito
requisito de qualidade
Normal
requisito de qualidade
necessrio

insatisfao (no gosta)

Figura 1 - Requisitos da Qualidade

3. Engenharia, Qualidade de Processo e Produto

A Engenharia pode ser vista como uma confluncia de prticas artesanais, comerciais e
cientficas [SHA90]. Num primeiro momento, essas vertentes visam codificar o processo de
gerao de um produto. Em geral, apesar da preocupao com a qualidade estar subjacente ao
desenvolvimento das tcnicas de produo, a necessidade da avaliao e julgamento da
qualidade do produto s explicitada em fases posteriores, quando os mtodos para gerao
do produto j esto consolidados.
O Controle da Qualidade surge ento, como uma necessidade. De incio, so feitas verificaes
esparsas e no sistemticas; em seguida, adotam-se tcnicas e critrios bem definidos,
Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So
Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

podendo, em alguns casos, chegar-se verificao de 100% dos produtos para eliminao
daqueles produzidos com defeito, impedindo que eles cheguem ao usurio. Certifica-se a
qualidade do produto, a um custo elevadssimo, seja pelo trabalho de verificao envolvido, seja
pelo desperdcio representado pela deteco e eliminao das peas defeituosas.
Como alternativa, procura-se melhorar o processo de produo, para se adquirir maior
confiana na qualidade do produto final. Adota-se o Controle Estatstico de Processo (CEP),
para identificar variaes no processo de forma a corrigir desvios.
No passo seguinte, adota-se a noo de um Sistema da Qualidade, envolvendo toda a
Empresa no esforo pela Qualidade (a srie de Normas ISO 9000 se insere neste passo). A
seguir amplia-se ainda mais o alcance do gerenciamento da qualidade, preconizando a
necessidade de se fazer um projeto voltado para a Qualidade e se considerar a satisfao de
todos os agentes envolvidos: o cliente (produto ou servio), o acionista (resultado financeiro), os
colaboradores (emprego, crescimento profissional) e a comunidade [FEI91]. Adota-se a viso
de que a Qualidade se obtm principalmente durante o projeto e concepo do produto,
fazendo-o mais robusto, ou seja, menos sujeito a introduo de defeitos no processo de
manufatura e menos passvel de falhas conforme as condies ambientais e forma de uso. A
Figura 2 mostra a evoluo da proporo da aplicao de inspeo, atuao no processo e no
projeto neste sculo.

Inspeo
Processo

Projeto de
Processo e
Produto

Figura 2 - Evoluo da aplicao de mtodos para a Qualidade com o passar do tempo

A Figura 3 mostra a evoluo dos conceitos da Qualidade ao longo dos anos.

Produto Processo Sistema Pessoas Custo Sociedade Cliente

Ps Prod Produo Empresa Educao Projeto
Inspeo

1900

1910

CEP

1920

1930

Procedimentos

1940

Comporta- Otimimento
zao

1950

1960

1970

Projeto
Projeto
Robusto

1980

Concepo
Eng. Simultnea / QFD

1990

2000

Figura 3 - Evoluo dos conceitos da Qualidade

Como em outras disciplinas de Engenharia, a Engenharia de Software tem como objetivo a

melhoria da qualidade do seu produto, com propostas de modelos de desenvolvimento,
mtodos e tcnicas para aplicao nas diversas fases de desenvolvimento do software. A
avaliao da qualidade de software, nas duas vises (processo e produto), se insere nesse
esforo.
Como na produo material, no cabe a dvida quanto a se avaliar e julgar processo ou
produto. As duas abordagens so necessrias e complementares. A viso de processos de
software propicia uma estrutura para a harmonizao das vrias disciplinas da Engenharia de
Software, englobando no apenas as atividades de desenvolvimento mas todas as atividades
Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So
Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

necessrias para a sua produo, incluindo avaliao, como pode ser visto nas sees a
seguir.

4. Qualidade de Processo de Software

A qualidade de software largamente determinada pela qualidade dos processos utilizados
para o desenvolvimento. Deste modo, a melhoria da qualidade de software obtida pela
melhoria da qualidade dos processos. Esta viso orientou a elaborao de modelos de
definio, avaliao e melhoria de processos de software. Os modelos mais significativos esto
apresentados nos subitens a seguir. Tambm apresentado um quadro comparativo entre
eles.
4.1 ISO 9000-3
A ISO 9000-3 um guia de aplicao da ISO 9001 [NBR19001] para o desenvolvimento,
fornecimento e manuteno de software. A Norma ISO 9001 faz parte da srie de normas ISO
9000, voltadas para a gesto e garantia da qualidade. Estas normas especificam os requisitos
mnimos para que as empresas possam assegurar a qualidade de seus produtos e servios,
no definindo modelos ou impondo sistemas de qualidade a serem implementados nas
organizaes. As empresas definem seus prprios modelos de gesto da qualidade,
dependendo do seu tipo de negcio e suas caractersticas.
A ISO 9001 aplicvel a empresas em geral que atuam em projeto, desenvolvimento,
produo, instalao e assistncia tcnica. Como esses documentos da Srie ISO 9000 so
genricos, foi necessria a elaborao de um documento complementar onde fossem
abordados alguns aspectos importantes e especficos de software. Em junho de 1993 foi criada
a Norma ISO 9000-3 com diretrizes para aplicao da ISO 9001 ao desenvolvimento,
fornecimento e manuteno de software. Esta norma se espelha nos itens da ISO 9001 fazendo
a necessria adaptao. Para cada item da ISO 9001 existe um correspondente na ISO 9000-3
que o detalha e o adequa ao software.
As diretrizes propostas na ISO 9000-3 cobrem questes como o entendimento comum entre as
partes (contratante e contratado) de requisitos funcionais e o uso de metodologias consistentes
para o desenvolvimento de software e gerenciamento de projeto como um todo, da concepo
at a manuteno. dividida em trs partes principais:
Estrutura: descreve aspectos organizacionais, relacionados ao sistema de qualidade. So
detalhadas as responsabilidades e aes relacionadas qualidade que devem ser tomadas
tanto pelo fornecedor como pelo comprador. Os pontos abordados so: responsabilidades da
administrao, sistema de qualidade, auditorias internas do sistema de qualidade e ao
corretiva.
Atividades do ciclo de vida: descreve as atividades de desenvolvimento de software. A
Norma define que o desenvolvimento de software deve ser feito segundo um determinado
modelo de ciclo de vida, e as atividades relacionadas qualidade devem ser planejadas e
implementadas de acordo com a natureza deste modelo. Independentemente do modelo de
ciclo de vida estabelecido pela organizao, a Norma define que as atividades do ciclo de vida
devem ser agrupadas em nove categorias: anlise crtica do contrato; especificao dos
requisitos do comprador; planejamento do desenvolvimento; planejamento da qualidade;
projeto e implementao; ensaios e validao; aceitao; cpia, entrega e instalao; e
manuteno.
Atividades de suporte: descreve as atividades que apoiam as atividades do ciclo de vida de
desenvolvimento. Esto organizadas em nove tens: gesto de configurao; controle de
documentos; registros da qualidade, medio; regras, prticas e convenes; ferramentas e
tcnicas; aquisio; produto de software includo; e treinamento.
importante salientar que a ISO 9001 somente indica o controle da no conformidade de um
produto e recomenda aes corretivas e preventivas. A melhoria contnua do processo no
abordada por ela tal como abordada explicitamente no modelo SW-CMM ou em outros
[COA94].

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

A procura pela certificao da srie ISO 9000 um dos grandes motivadores do atual
movimento em relao qualidade em todas as reas de atividades econmicas, incluindo o
software. Ela influenciou praticamente todas iniciativas em qualidade de software. Em particular,
o TickIT [TIC92] desenvolvido no Reino Unido, que prov um esquema uniforme para estender
a certificao ao campo do software, baseado na ISO 9001 e ISO 9000-3 [ISO9000-3].
4.2 ISO/IEC 12207-1
Esta Norma comeou a ser elaborada em junho de 1989, no grupo de trabalho ISO/IEC
JTC1/SC7/WG7 (Comit de Engenharia de Software) e foi aprovada em agosto de 1995. Ela
estabelece os processos, atividades e tarefas a serem aplicados durante a aquisio,
fornecimento, desenvolvimento, operao e manuteno de software. A Norma apresenta uma
definio abrangente em relao aos processos, e orienta a adaptao para sua utilizao nos
projetos de software implementados numa organizao.
A Norma define dezessete processos do ciclo de vida de software e os organiza em trs
classes: processos fundamentais, processos de apoio e processos organizacionais. Cada
classe contm os processos definidos e os possveis usurios, como apresentado na Figura 4.
A importncia desta Norma o estabelecimento de uma estrutura de classificao de
processos normalizando a terminologia.

Processos fundamentais
Processo de Aquisio

Viso de
Contrato
Cliente, fornecedor

Processo de Fornecimento
Processo de Operao

Viso
Operacional
Operador, usurio

Processo de
Desenvolvimento

Processo de
Manuteno
Processos de Apoio
Documentao
Gerncia de configurao
Garantia da qualidade
Verificao

Validao
Reviso
Auditoria
Resoluo de problema

Viso de
Engenharia

Equipe de desenvolvimento
Equipe de manuteno

Viso da Equipe
de Apoio

Equipe de Apoio

Processos Organizacionais
Administrao
Melhoria

Infra-estrutura
Treinamento

Figura 4 - Viso Geral dos Processos - ISO/IEC 12207-1

4.3 SEI SW-CMM

O modelo Capability Maturity Model (SW-CMM) prope a avaliao da capacidade e
maturidade de uma organizao e indica diretrizes para a melhoria. Foi desenvolvida pelo
Software Engineering Institute (SEI) da Carnegie Mellon University, atendendo a clientes como
o Department of Defense (DoD) dos EUA. Divulgado a partir de 1991, tornou-se um dos
modelos de maior prestgio.
Neste modelo, as organizaes de software so enquadradas em um dos cinco nveis de
maturidade definidos. O Quadro 1 [PAU95] mostra as caractersticas da organizao e as reas
chaves de processo necessrias para que ela seja classificada em cada um dos nveis,
conforme a verso 1.1 do SW-CMM. Essa estrutura em nveis do SW-CMM est baseada nos
princpios de qualidade de produto propostos por Walter Shewart, W. Edwards Deming, Joseph
Juran e Philip Crosby.
O modelo SW-CMM teve tal repercusso, que diversos outros se baseiam diretamente nele,
como o caso do Bootstrap e do Trillium [TRI94] e influenciou fortemente outros como o
SPICE.
Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So
Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

Quadro1 - Nveis de maturidade e reas chave de processo - SW-CMM verso 1.1

NVEIS E CARACTERSTICAS

REAS CHAVES DE PROCESSO

Nvel 5 - Otimizado
Melhoria contnua do processo possibilitada pela
realimentao quantitativa do processo e conduzida a partir
de idias e tecnologias inovativas.

Preveno de defeitos
Gerenciamento de mudanas tecnolgicas
Gerenciamento de mudanas de processo

Nvel 4 - Gerenciado
So efetuadas medies detalhadas do processo de software
e qualidade do produto. Tanto o processo como o produto so
entendidos e controlados quantitativamente.

Gerenciamento quantitivo do processo

Gerenciamento da Qualidade de Software

Nvel 3 - Definido
O processo de software em relao tanto s atividades de
gerenciamento, como de engenharia, so documentadas,
padronizadas e integradas em processos padro para a
organizao. Todos os projetos usam uma verso aprovada e
adaptada do processo padro de software da organizao
para o desenvolvimento e manuteno

Foco no processo da organizao

Definio do processo da organizao
Programa de Treinamento
Engenharia de produto de software
Gerenciamento integrado do software
Coordenao entre grupos
Revises

Nvel 2 - Repetitivo
Processos bsicos de gerenciamento de projeto so
estabelecidos para controlar custos, cronogramas e
funcionalidade. A disciplina necessria de processo permite
repetir sucessos anteriores em projetos de aplicao similar.

Gerenciamento de requisitos
Planejamento de projeto de software
Acompanhamento de projeto de software
Gerenciamento de subcontratos
Qualidade assegurada de software
Gerenciamento de Configurao

Nvel 1 - Inicial
O processo de software caracterizado como ad hoc,
ocasionalmente at catico. Poucos processos definidos.
Sucesso depende dos esforos individuais e herosmo.

4.4 SPICE (Software Process Improvement and Capability Determination)

Em junho de 1991, o comit de Engenharia de Software da ISO (International Standards
Organization) aprovou a realizao de estudos para analisar as necessidades e os requisitos de
um padro para avaliao do processo de software.
Como resultado desse estudo, chegou-se concluso que havia um consenso internacional
sobre a necessidade e requisitos para um padro de avaliao de processo, e a importncia de
se adotar uma forma de desenvolvimento em que os resultados pudessem ser utilizados o mais
breve possvel, garantindo que o padro elaborado atendesse completamente aos seus
usurios.
Firmou-se ento, um compromisso internacional de iniciar um projeto com uma equipe com
dedicao exclusiva, coordenado por quatro centros tcnicos de desenvolvimento: Inglaterra,
Austrlia, EUA e Canad.
Dentro dessa viso, em 1993 foi lanado o projeto SPICE, com o objetivo de gerar normas para
avaliao de processos, visando a melhoria contnua do processo e a determinao da sua
capacitao. O modelo de referncia do SPICE na verdade um framework para avaliao de
processos de software que harmoniza os diversos modelos nos quais ele se baseia, como: SWCMM, Trillium, Software Technology Diagnostic (STD) e Bootstrap. O objetivo que cada um
destes modelos, e outros que venham a ser criados, possam ser definidos como modelos
compatveis com este framework, possibilitando que os resultados de avaliaes, segundo cada
um destes modelos, possam ser comparados. O resultado do projeto est previsto para ser
transformado em norma a partir de 1998, com o nome de norma ISO/IEC 15504.
O SPICE pode ser utilizado por organizaes envolvidas em planejar, gerenciar, monitorar,
controlar e melhorar a aquisio, fornecimento, desenvolvimento, operao, evoluo e suporte
de software.
Dentro da viso do SPICE (Figura 5), a avaliao de processos de software tem como
propsito:
entender o estado dos processos de uma organizao para a sua melhoria;

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

 determinar a adequao dos processos de uma organizao para um requisito

particular ou uma classe de requisitos;
determinar a adequao dos processos de uma outra organizao para um
determinado contrato ou para uma classe de contratos.

Processo
identifica
mudanas no

examinado
pela

identifica capacidade
e riscos do

Avaliao do
Processo
Melhoria do
Processo

leva

leva
motiva

Capacitao
do processo

Figura 5 - Avaliao de Processo de Software - SPICE

Dentro do contexto de melhoria de processos, a avaliao significa a caracterizao das

prticas correntes de uma organizao, unidade organizacional ou projeto em termos da
capacidade dos processos selecionados. A anlise dos resultados feita em relao s
necessidades de negcio da organizao, identificando os aspectos positivos e negativos, e os
riscos associados aos processos. Isto leva a determinar se os processos esto atingindo
efetivamente seus objetivos e identificar causas da baixa qualidade, alto custo ou tempo
excessivo, indicando a priorizao na melhoria dos processos.
O SPICE estabelece um Modelo de Referncia de processos e define um conjunto universal de
processos que so fundamentais para uma boa engenharia de software, cobrindo as melhores
prticas. A estrutura desse modelo apresentada no Quadro 2.
Quadro 2 - Modelo de Referncia de Processos do SPICE
CATEGORIAS DE
SIGLA
PROCESSOS
PROCESSO
CUS.1
Adquirir software
Cliente-Fornecedor
CUS.2
Gerenciar necessidades do cliente
(Customer-Supplier)
CUS.3
Fornecer software
CUS.4
Operar o software
CUS.5
Prover servio ao cliente
ENG.1
Desenvolver requisitos e projeto do sistema
ENG.2
Desenvolver requisitos de software
Engenharia
ENG.3
Desenvolver projeto do software
ENG.4
Implementar o projeto do software
ENG.5
Integrar e testar o software
ENG.6
Iintegrar e testar o sistema
ENG.7
Manter o sistema e o software
SUP.1
Desenvolver documentao
SUP.2
Desempenhar a gerncia de configurao
Apoio (Support)
SUP.3
Executar a garantia da qualidade
SUP.4
Executar a verificao dos produtos de trabalho
SUP.5
Executar a validao dos produtos de trabalho
SUP.6
Executar revises conjuntas
SUP.7
Executar auditorias
SUP.8
Executar resoluo do problema
MAN.1
Gerenciar o projeto
Gerncia
MAN.2
Gerenciar a qualidade
(Management)
MAN.3
Gerenciar riscos
MAN.4
Gerenciar subcontratantes
ORG.1
Construir o negcio
ORG.2
Definir o processo
Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So
Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

Organizao

ORG.3
ORG.4
ORG.5

Melhorar o processo
Prover recursos treinados
Prover infra-estrutura organizacional

A determinao da capacidade dos processos de uma organizao feita atravs da

comparao das capacidades de suas prticas contra o modelo para gerenciamento de
processos que engloba atividades. Essas atividades so estruturadas de modo a proporcionar
um modelo lgico do processo de software, identificando prticas que permitem o
gerenciamento e melhoria de qualquer parte do processo ou do processo como um todo.
No Modelo de Referncia do SPICE, so definidos ainda seis nveis de capacitao conforme o
Quadro 3. Na avaliao de uma organizao, so selecionados os processos relevantes e para
cada um deles atribudo um perfil composto pela porcentagem de adequao a cada um dos
nveis de capacitao.
Quadro 3 - Nveis de Capacitao
Nvel 0

Processo
incompleto

o processo no est implementado

o processo falha na tentativa de atingir os seus objetivos

Nvel 1

Processo
executado

o processo implementado atinge o seu objetivo definido

Nvel 2

Processo
gerenciado

o processo executado entrega produtos de trabalho de definida

qualidade dentro de cronogramas e recursos definidos

Nvel 3

Processo
estabelecido

o processo gerenciado executado usando um processo definido

baseado em bons princpios de engenharia de software

Nvel 4

Processo
previsvel

o processo estabelecido executado consistentemente dentro de

limites definidos de controle para atingir seus objetivos

Nvel 5

Processo
otimizado

o processo previsvel otimiza o seu desempenho para atender s

necessidades de negcio atuais e futuras, e atinge repetibilidade em
atender seus objetivos definidos de negcios

Atualmente o projeto SPICE est em fase de experimentao (empirical trials), com objetivo de
validar e revisar o modelo conforme os resultados destes experimentos. Esta fase iniciou-se em
1995 e tem seu trmino previsto para 1997.
Este projeto interessante pelo seu direcionamento e flexibilidade. Est disponvel para que as
organizaes o utilizem conforme suas necessidades e planos de negcios, medindo a
capacitao de cada um de seus processos com o objetivo de promover melhorias contnuas
nos mesmos. Deste modo, obtm-se uma avaliao mais detalhada do estado da organizao,
permitindo a comparao de resultados de avaliaes por outros modelos compatveis.
4.5 Comparao entre os Modelos Apresentados
O Quadro 4 descreve uma viso conjunta dos principais aspectos dos modelos apresentados.
Nesse Quadro, o aspecto Abordagem caracteriza resumidamente como e sobre o que cada
modelo atua para atingir seu objetivo. Organizaes Alvo caracteriza a que tipo/porte de
organizao melhor se aplica o modelo; Definio de Processos quantifica o
desmembramento e a classificao de processos; Flexibilidade indica a possibilidade de
adaptao dos aspectos definidos pelo mtodo. Os nomes dos demais aspectos do Quadro so
auto explicativos e dispensam comentrios.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

Quadro 4 - Comparao entre os modelos apresentados

Aspectos
abordados

ISO 9000-3

ISO/IEC

SW-CMM

SPICE

12207-1
Estabelecer uma
terminologia e um
entendimento comum
para os processos
entre todos os
envolvidos com
software.

Objetivo

Certificar a organizao
de acordo com padres
estabelecidos em situaes de contrato de
fornecimento de
software.

Abordagem

Definio dos
Verificao de conformidade de processos a processos para
padres documentados. aquisio, fornecimento,
desenvolvimento,
operao e
manuteno de
software.

Determinar a capacitao da
organizao e apoiar a sua
evoluo de acordo com os
nveis estabelecidos

Conhecer e avaliar os
processos da organizao, determinar a capacitao e promover a
melhoria.

Avaliao dos processos e

enquadramento da
organizao em um dos nveis
de maturidade.

Avaliao dos
processos da
organizao em relao
a nveis de
capacitao.

Organizaes em
geral

Organizaes que necessitam Organizaes em geral

de comprovao formal de sua
capacidade

Estabelece 17
processos,
organizados em 3
categorias

Estabelece 18 reas de
processos organizados em 5
nveis crescentes de
maturidade.

Estabelece 29
processos organizados
em 5 categorias

Flexibilidade No admite adaptao

aspectos
nos aspectos nos
abordados.
definidos
pelo modelo

Classificao de
processos pode ser
utilizada conforme os
objetivos da
organizao.

Nveis e reas chave de

processo so a base do
modelo e no podem ser
alterados.

Permite a definio de
perfis de processo e
prticas de acordo com
os objetivos da
organizao.

Instrumento Lista de Verificao

de Avaliao

No se aplica

Questionrio e entrevistas

Fornece orientaes
para definio dos
instrumentos.

Organizaes Organizaes que

necessitam de uma
Alvo
certificao.
Definio de
Processos

No estabelece processos, estabelece atividades a serem cumpridas,

com viso de estrutura,
ciclo de vida e suporte.

Inspirao e
Influncia

Normas militares ameri- TQM, PDCA

canas, canadenses,
Sistemas de qualidade
do Reino Unido.

Princpios de Shewart,
Deming, Juran, Crosby.

TQM, PDCA, SW-CMM,

STD, Trillium, Malcolm
Baldrige, Bootstrap.

Aspectos
Positivos

Norma Internacional;

Norma Internacional;

Difuso extensa;

Estabelecimento de diretrizes
para a melhoria contnua.

Definio de uma
Difuso extensa nos EUA.
taxonomia para
processos til para
qualquer organizao.

Norma Internacional em
elaborao;

Reconhecimento do
valor da certificao.

Limitaes

Risco de se colocar a
Certificao como
objetivo principal.
Ausncia de apoio
melhoria contnua. Falta
abordagem de produto.

Apenas uma definio Pouca considerao

diversidade das organizaes.
de taxonomia de
processos.
Dificuldade de aplicao em
pequenas organizaes.
Falta abordagem de produto.

Expanso e flexibilizao dos modelos

citados.
Devido grande
quantidade de
informaes, exige
treinamento para sua
aplicao
Falta abordagem de
produto.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

5. Qualidade de Produto de Software

A qualidade de um produto de software resultante das atividades realizadas no processo de
desenvolvimento do mesmo. Avaliar a qualidade de um produto de software verificar, atravs
de tcnicas e atividades operacionais o quanto os requisitos so atendidos. Tais requisitos, de
uma maneira geral, so a expresso das necessidades, explicitados em termos quantitativos ou
qualitativos, e tm por objetivo definir as caractersticas de um software, a fim de permitir o
exame de seu atendimento.
Um exame sistemtico exige um processo de avaliao, que seja responsvel por fornecer
passos a serem seguidos por quem for avaliar a qualidade do produto de software. Um
processo de avaliao para esse exame sistemtico pode ser encontrado na Srie ISO/IEC
14598. A Norma ISO/IEC 14598-1 prope um processo geral, que adaptado para cada uma
das trs vises oferecidas nas partes 3, 4 e 5 (desenvolvedores, compradores e avaliadores).
Aborda-se de forma resumida o processo de avaliao proposto pela ISO/IEC 14598-5
[ISO14598-5], direcionado aos avaliadores. Nesse processo, h uma fase de especificao do
modelo de qualidade, cuja referncia a Norma ISO/IEC 9126-1 (caractersticas de qualidade)
[ISO9126-1].
Alm desse processo de avaliao referente qualidade de Produtos de Software, existe outra
Norma referente a Pacotes de Software, Norma ISO/IEC 12119 [ISO12119]. Esta ltima, tem
por objetivo estabelecer os requisitos para pacotes de software, bem como fornecer instrues
de como testar tal pacote em relao aos requisitos estabelecidos.
5.1 Estgio Atual das Normas ISO/IEC
Das Normas abordadas nessa seo, vrias encontram-se em evoluo e, antes de apresentlas, importante entender que muitas delas, por estarem em estgios de elaborao, devem
ser encaradas enquanto sugestes. No quadro a seguir, so apresentados as Normas e seus
estgios, alm de outras informaes importantes.
Quadro 5: Normas ISO/IEC e seus estgios atuais
NORMA
TTULO
ESTGIO
ISO/IEC
ATUAL *
Information Technology - Software quality characteristics and metrics
Part 1: Quality characteristics
CD
9126-1
Part 2: External metrics
WD
9126-2
Part 3: Internal metrics
WD
9126-3
Information Technology - Software product evaluation
DIS
14598-1 Part 1: General overview
CD
14598-2 Part 2: Planning and management
CD
14598-3 Part 3: Process for developers
CD
14598-4 Part 4: Process for acquirers
DIS
14598-5 Part 5: Process for evaluators
CD
14598-6 Part 6: Documentation of evaluation modules
Information Technology - Software packages
Quality requirements and testing
IS
12119
* Estgio das Normas ISO/IEC
#

ESTGIO DO
PROJETO

DOCUMENTO
ASSOCIADO

NOME (ingls)

NOME (portugus)

0
1
2
3
4

preliminary
proposal
preparatory
commitee
enquiry

PWI
NP
WD
CD
DIS / CDV

5
6

approval
publication

FDIS
ISO, IEC or ISO/IEC

Preliminary Work Item

New Work Item Proposal
Working Draft
Commitee Draft
Draft International Standards (ISO) or
Commitee Draft for Vote (IEC)
Final DIS
International Standard

Item de Trabalho Preliminar

Proposta de Novo Item de Trabalho
Rascunho de Trabalho
Rascunho do Comit
Rascunho de Padro Internacional (ISO) ou
Rascunho do Comit para Votao (IEC)
Rascunho de Padro Internacional Final
Padro Internacional

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

Essas Normas geradas pela ISO/IEC so traduzidas para a verso brasileira, atravs da ABNT
(Associao Brasileira de Normas Tcnicas), mesmo que no estejam em estgio de
publicao, muitas vezes assumindo cdigos diferentes (e.g. a Norma ISO/IEC 9126 foi
traduzida assumindo o cdigo NBR 13596). As Normas que se encontram em fase de
publicao, uma vez traduzidas, podem ser compradas por qualquer pessoa interessada.
Abaixo encontra-se a descrio das Normas usadas para avaliar a qualidade de produto de
software pela ATAQS. Haver uma breve descrio a respeito da Srie 14598, e sero
destacadas as Normas de processo de avaliadores, modelo de qualidade e pacotes de
software.
5.2 Srie ISO/IEC 14598
5.2.1 Viso Geral
Esta srie oferece uma viso geral dos processos de avaliao de produtos de software e
fornece guias e requisitos para avaliao. Pela Norma, podem existir trs situaes diferentes
para a avaliao da qualidade de produto, focando os processos para desenvolvedores,
compradores e avaliadores, respectivamente as partes 3, 4 e 5 dessa srie. O processo para
avaliadores ser mais aprofundado em funo de ser o mais voltado ao tipo de servio prestado
pela ATAQS, como ser visto na seo Aplicando as Normas.
A relao entre as Normas dessa srie pode ser entendida com a Figura 6. Cada processo de
avaliao (partes 3, 4 e 5) pode ser usado em conjunto com o suporte avaliao (partes 2 e 6)
[ISO14598-1] [ISO14598-2] [ISO14598-3] [ISO14598-4] [ISO14598-5] [ISO14598-6].

Suporte Avaliao
2. Planejamento e
Gerenciamento

6. Documentao
Mdulos de Avaliao

Processo de
Avaliao
3. Processo para
Desenvolvedores

4. Processo para
Compradores

5. Processo para
Desenvolvedores

Figura 6: Relacionamento dos processos de avaliao com o suporte avaliao

5.2.2 Norma ISO/IEC 14598-5

Essa Norma fornece requisitos e recomendaes para implementao prtica da avaliao de
produto de software. O processo de avaliao proposto pode ser usado para avaliar produtos j
existentes ou produtos intermedirios (em desenvolvimento). Pode ser utilizada por avaliadores
de laboratrio, fornecedores de software, compradores de software, usurios e entidades
certificadoras, cada qual com seu objetivo.
Em termos de caractersticas de qualidade, pode ser usada a ISO/IEC 9126. Entretanto, o
mensuramento direto dessas caractersticas no prtico. Nesse contexto, a utilizao da
experincia do engenheiro de software prevalece para a avaliao, o que pode reduzir a
objetividade da avaliao.
As caractersticas esperadas do Processo de Avaliao so:
Repetvel (a avaliao repetida de um mesmo produto, com mesma especificao
de avaliao, realizada pelo mesmo avaliador, deve produzir resultados que podem
ser aceitos como idnticos)
Reprodutvel (a avaliao do mesmo produto, com mesma especificao de
avaliao, realizada por um avaliador diferente, deve produzir resultados que podem
ser aceitos como idnticos)
Imparcial (a avaliao no deve ser influenciada frente a nenhum resultado
particular)

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

 Objetiva (os resultados da avaliao devem ser factuais, ou seja, no influenciados

pelos sentimentos ou opinies do avaliador)
O Processo de Avaliao proposto pela Norma inclui cinco atividades: anlise de requisitos da
avaliao, especificao da avaliao, projeto da avaliao, execuo da avaliao e concluso
da avaliao, como pode ser visto na Figura 7.
Requisitos do
Solicitante

Anlise dos
Requisitos
da Avaliao

Requisitos da
Avaliao

Especificao
da Avaliao
Descriao
do Produto

Especificao da
Avaliao pr-definida

Entradas do
Avaliador

Especificao da
Avaliao

Projeto da
Avaliao

Mtodos de
Avaliao
Ferramentas de Avaliao

Plano da
Avaliao
Registro de Aes
de Avaliao

Execuo da
Avaliao
Resumo dos
Resultados da Avaliao

Entradas do
Solicitante

Registros da
Avaliao

Rascunho do
Relatrio da
Avaliao

Relatrios de
Avaliao
Revisada

Concluso da
Avaliao

Componentes do
Produto

Figura 7: Processo de avaliao

5.2.3 Anlise de Requisitos da Avaliao

Nesta fase deve-se descrever os objetivos da avaliao. Vrios pontos de vista podem ser
considerados, dependendo dos diferentes usurios do produto, tais como comprador,
fornecedor, desenvolvedor e operador.
5.2.4 Especificao da Avaliao
Nesta fase deve-se definir o escopo da avaliao e as medidas a serem executadas no produto
submetido avaliao nos seus vrios componentes. O nvel de detalhes na especificao da
avaliao deveria ser tal que, na sua base, a avaliao seja repetvel e reprodutvel.
5.2.5 Projeto da Avaliao
Nesta fase deve-se documentar os procedimentos a serem usados pelo avaliador para executar
as medidas especificadas na fase anterior. O avaliador deve produzir um plano de avaliao,
que descreve os recursos necessrios para executar a avaliao especificada, assim como a
distribuio desses recursos nas vrias aes a serem executadas.
5.2.6 Execuo da Avaliao
Nesta fase deve-se obter resultados da execuo de aes para medir e verificar o produto de
software de acordo com os requisitos de avaliao, como especificado na especificao da
avaliao e como planejado no plano de avaliao. Ao executar essas aes, tem-se o
rascunho do relatrio de avaliao e os registros da avaliao.
5.2.7 Concluso da Avaliao
Nesta fase, deve-se revisar o relatrio da avaliao e disponibilizar os dados resultantes da
mesma.
5.3 Srie ISO/IEC 9126
Essa Srie subdivide-se em trs Normas e fornece caractersticas (parte 1) e mtricas (partes 2
e 3) para avaliao de software. Dessas, ser destacada a parte 1. As mtricas de qualidade
so baseadas nos atributos internos de software e comportamento externo do sistema de
computador. Esses tipo de mtricas so aplicveis ao se especificar requisitos de qualidade e
objetivos do projeto para produtos de software e produtos intermedirios, e no sero descritos
nesse artigo.
Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So
Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

5.4 Norma ISO/IEC 9126-1

Essa Norma fornece seis caractersticas subdivididas em subcaractersticas, que descrevem,
com um mnimo de sobreposio, a qualidade de software. Tais caractersticas so aplicveis
qualquer tipo de software. Essa parte est voltada para as pessoas relacionadas aquisio ,
desenvolvimento, uso, avaliao, suporte, manuteno ou auditoria de software.
Suas definies podem ser vistas no Quadro 6.
Quadro 6 - Caractersticas da Qualidade de Software segundo a ISO/IEC 9126-1
CARACTERSTICAS

DESCRIO

Funcionalidade

Evidencia que o conjunto de funes atendem s necessidades explcitas e

implcitas para a finalidade a que se destina o produto.

Confiabilidade

Evidencia que o desempenho se mantm ao longo do tempo e em condies

estabelecidas.

Usabilidade

Evidencia a facilidade para a utilizao do software.

Eficincia

Evidencia que os recursos e os tempos envolvidos so compatveis com o nvel

de desempenho requerido para o produto.

Manutenibilidade

Evidencia que h facilidade para correes, atualizaes e alteraes.

Portabilidade

Evidencia que possvel utilizar o produto em diversas plataformas com pequeno

esforo de adaptao.

Quadro 7 - Subcaractersticas da Qualidade de Software segundo a ISO/IEC 9126-1

CARACTERSTICAS SUBCARACTERSTICAS
DESCRIO
Presena de conjunto de funes e sua apropriao
Funcionalidade
Adequao
para as tarefas
Gerao de resultados ou efeitos corretos
Acurcia
Capacidade de interagir com outros sistemas
Interoperabildade
Estar de acordo com normas, convenes,
Conformidade
regulamentaes
Capacidade de evitar acesso no autorizado a
Segurana de Acesso
programas e dados
Confiabilidade

Maturidade
Tolerncia a Falhas
Recuperabilidade

Freqncia de falhas
Manter nvel de desempenho em caso de falha
Capacidade de se restabelecer e restaurar dados
aps falha

Usabilidade

Inteligibilidade
Apreensibilidade
Operacionalidade

Facilidade de entendimento dos conceitos utilizados

Facilidade de aprendizado.
Facilidade de operar e controlar a operao

Eficincia

Comportamento em
relao ao tempo
Comportamento em
relao a recursos

Tempo de resposta, de processamento

Analisabilidade

Facilidade de diagnosticar deficincias e causas de

falhas
Facilidade de modificao e remoo de defeitos
Ausncia de riscos de efeitos inesperados
Facilidade de ser testado

Manutenibilidade

Modificabilidade
Estabilidade
Testabilidade
Portabilidade

Adaptabilidade
Capacidade para ser
Instalado
Conformidade
Capacidade para
substituir

Quantidade de recursos utilizados

Capacidade de ser adaptado a ambientes diferentes

Facilidade de instalao
Acordo com padres ou convenes de portabilidade
Substituir outro software

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

5.5 Norma ISO/IEC 12119

Essa Norma aplicvel a pacotes de software, estabelecendo requisitos e instrues a respeito
de como testar um pacote de software em relao aos requisitos estabelecidos, como pode ser
visto na Figura 8. Trata de todos os componentes do produto disponveis aos usurios
(documentao, manual de instrues e guia para instalao), ou seja define pacotes de
software como o conjunto completo e documentado de programas fornecidos a diversos
usurios para uma aplicao ou funo genrica.

NORMA
12119

Requisitos
de Qualidade

Descrio do
Produto

Documentao

do Usurio

Instrues
para Teste

Programas
e Dados

Pr-requisitos
de Teste

Atividades de
Teste

Registros de
Teste

Relatrio de
Teste

Teste de
Acompanhamento

Figura 8: Estrutura da Norma ISO/IEC 12119

Esses requisitos compreendem: descrio do produto, documentao do usurio e programas

e dados, e so a parte importante [AND96] dessa Norma para a seo Aplicando as Normas.
A descrio do produto inclui as principais propriedades do pacote. um documento disponvel
ao usurio, independente da aquisio do produto, contendo indicaes mandatrias e
recomendveis. A documentao do usurio um documento que ser avaliado em relao
sua completude, correo, consistncia, inteligibilidade, apresentao e organizao. Os
programas e dados so os requisitos de programas e dados que devem estar descritos, caso
existam, para o funcionamento do produto.
5.6 Aplicando as Normas
O Processo de Avaliao de qualidade de produtos de software aplicado pela ATAQS
baseado na Norma ISO/IEC14598-5, cujo enfoque a definio de procedimentos para
avaliadores. O objetivo da avaliao geral a realizao da anlise do produto em relao s
caractersticas de qualidade e a verificao da presena de condies mnimas para
atendimento das necessidades do usurio final.
A anlise examina o produto como um todo, sendo realizada atravs de um Procedimento de
Avaliao, uma lista de verificao composta de questes, baseada nos critrios definidos na
Norma ISO/IEC 9126-1 e ISO/IEC 12119, em que se simulam as condies normais de
operao do produto e se emitem juzos sobre os atributos do produto em resposta a
questionrios [TSU95] [TSU95a] [TSU96].

6. Concluso
As duas vises de processo e produto so necessrias e complementares, pois se o processo
d uma expectativa de gerao de produtos melhores, no se tem, como decorrncia direta, a
garantia da qualidade do produto porque sempre h fatores imponderveis e imprevisveis que
escapam ao controle do processo de produo e que podem afetar o resultado final. Mais
ainda, sendo o desenvolvimento de software concentrado em atividades de projeto, est mais
sujeito a erros e fatores imponderveis.
Apesar de distintos, com tcnicas e mtodos especficos, h uma superposio e uma
confluncia entre esses dois enfoques. As duas vises objetivam garantir a qualidade do
software e ambas interferem no processo de desenvolvimento, realimentando-o com os
resultados obtidos.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

7. Referncias Bibliogrficas
[AND96]

Andrade, A.L.P.; Oliveira, A.; Capovilla, C.R.; Rgo, C.M.; Souza, E.P.; Martinez,
M.R.M.; Aguayo, M.T.V.; Jino, M. Aplicao da Norma ISO/IEC 12119 na
Avaliao da Qualidade de Produtos de Software, VII CITS, Curitiba, junho/1996

[COA94]

Coallier, F.;-"How ISO 9001 fits into de software world" - IEEE Software, Jan.1994

[FEI91]

Feigenbaum, A. V. "Total Quality Control". McGraw Hill, 1991.

[ISO12119]

ISO/IEC 12119, International Standard. Information Technology - Software

packages - Quality requirements and testing; Oct / 1994 (IS)

[ISO12207-1] ISO/IEC 12207-1, Software life-cycle process; ms / 1994 (DIS)

[ISO14598-1] ISO/IEC 14598-1, International Standard. Information Technology - Software
product evaluation - Part 1: General Overview; Oct / 1996 (DIS).
[ISO14598-2] ISO/IEC 14598-2, International Standard. Information Technology - Software
product evaluation - Part 2: Planning and Management; Dec/ 1996 (CD).
[ISO14598-3] ISO/IEC 14598-3, International Standard. Information Technology - Software
product evaluation - Part 3: Process for developers; Jul / 1996 (CD).
[ISO14598-4] ISO/IEC 14598-4, International Standard. Information Technology - Software
product evaluation - Part 4: Process for acquirers; Sep / 1996 (CD).
[ISO14598-5] ISO/IEC 14598-5, International Standard. Information Technology - Software
product evaluation - Part 5: Process for evaluators; May / 1996 (DIS).
[ISO14598-6] ISO/IEC 14598-6, International Standard. Information Technology - Software
product evaluation - Part 6: Evaluation modules; Aug / 1996 (CD).
[ISO8402]

ISO DIS 8402, Quality Vocabulary, 1994.

[ISO9000]

ISO 9000 - Normas de Gesto da Qualidade e Garantia da Qualidade - Diretrizes

para Seleo e Uso.

[NBR19001]

NBR19001, Sistemas da Qualidade - Modelo para Garantia da Qualidade em

Projetos / Desenvolvimento, Produo, Instalao e Assistncia Tcnica, Rio de
Janeiro, 1991

[ISO9000-3]

NBR ISO 9000-3, Normas de Gesto da Qualidade e Garantia da Qualidade Diretrizes para aplicao da NBR 19001 ao Desenvolvimento, Fornecimento e
Manuteno de Software, Rio de Janeiro, 1993.

[ISO9126-1]

ISO/IEC 9126-1, International Standard. Information Technology - Software quality

characteristics and metrics - Part 1: Quality characteristics and subcharacteristics; Jan / 1997 (CD).

[ISO9126-2]

ISO/IEC 9126-2, International Standard. Information Technology - Software quality

characteristics and metrics - Part 2: External metrics; Jan / 1997 (PDTR)

[ISO9126-3]

ISO/IEC 9126-3, International Standard. Information Technology - Software quality

characteristics and metrics - Part 3: Internal metrics; Oct / 1996.

[KANO84]

Kano, N., Seraku, N., Takahashi, F., Tsuji, S. - Attractive Quality and Must-Be
Quality (Jan.1984) - in TQM - Ten Elements for Implementation - Apostila de
Curso da Goal-QPC, 1991

[NBR9001]

NBR 9001, Associao Brasileira de Normas Tcnicas. Sistemas de qualidade Modelo para garantia da qualidade em projetos/desenvolvimento, produo,
instalao e assistncia tcnica", Rio de Janeiro, Brasil, 1990.

[NBR9003]

NBR 9003, Associao Brasileira de Normas Tcnicas. Diretrizes para a

aplicao da ISO 9001 ao desenvolvimento, fornecimento e manuteno de
software, Rio de Janeiro, Brasil, 1993.

[PAU93]

Paulk, M.C.; Curtis B.; Chrissis, M.B. - "Capability Maturity Model, Version 1.1" IEEE Software, Jul. 1993.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.

[PAU95]

Paulk, M.C. - How ISO 9001 compares with the CMM - IEEE Software,
Jan.1995.

[SHA90]

Shaw, M. Prospects for an Engineering Discipline of Software, IEEE Software,

p.15-24, Nov.1990.

[SPI95]

SPICE - Project Overview - acessvel em:

http://www.cit.gu.au/research/center/sqi/spice

[SPI95]

Rout, P. T; - "SPICE: A Framework for Software Process Assessment" - Software

Process - Improvement and Practice, Pilot Issue, pp 57-66, 1995.

[TIC92]

TickIt Project; "Guide to Software Quality System Construction and Certification

using EN29001", 1992.

[TRI94]

Bell Canada Inc.; "Trillium: Model for Telecom Product Development and Suport
Process Capability", release 3.0, Dec. 1994.

[TSU95]

Tsukumo, A.N.; Andrade, A.L.P.; Rgo, C.M.; Azevedo, G.F.; Jino, M.; Tutumi, R.;
Maintinguer, S.T.- Avaliao de Produto de Software: algumas questes
relevantes e a ISSO/IEC 9126 - Anais do Worshop de Qualidade de Software SBC - Recife outubro/1996

[TSU95a]

Tsukumo, A.N.; Capovilla, C.R.; Rgo, C.M., Jino, M.; Maldonado, J.C.; "ISO/IEC
9126 : An Experiment of Application on Brazilian Software Products". Proceedings
Second IEEE International Software Engineering Standards Symposium,
Montral, Quebec, Canada, 1995; pg. 184-190.

[TSU96]

Tsukumo, A.N.; Oliveira, A.; Rgo, C.M., Azevedo, G.F.; Maldonado, J.C.;
Aguayo, M.T.V.; Jino, M.; Tutumi, R. The Second Experiment of Application of
ISO/IEC 9126 Standards on Quality Evaluation of Brazilian Software Products,
Proceedings 6th International Conference on Software Quality, Ottawa, Canada,
1996; pg. 46-63.

Publicado na II Escola Regional de Informtica da Sociedade Brasileira de Computao Regional de So

Paulo - II ERI da SBC - Piracicaba,SP - Junho de 1997, pgs: 173 - 189.