Ugulino, W.; Pimentel, M.

Melhoria de processo através da avaliação

colaborativa. In: VI Simpósio Brasileiro de Sistemas de Informação
- IV Workshop de Gestão de Processos de Negócio, 16 a 18 de Junho de 2010,
Marabá - PA. Anais eletrônicos. 8p. CD-ROM. ISSN: 2177-885X.

Melhoria de processo através da avaliação colaborativa

Wallace Ugulino e Mariano Pimentel

Departamento de Informática Aplicada

Universidade Federal do Estado do Rio de Janeiro (UNIRIO)
Av. Pasteur, 458 – Urca – 22.290-240 – Rio de Janeiro – RJ – Brasil
{wallace.ugulino, pimentel}@uniriotec.br
Abstract. This article presents some results from an evaluation of the method
Cyclus to collaboration process improvement. Cyclus is based on
collaborative assessment of the process by its own participants. Two groups
assessed different instances of the same process. The grades given by
participants of both groups have the same distribution, which made possible to
infer that is possible to aggregate assessments of these two instances to
analyze the process. The grades given by each participant were analyzed and,
from the results, we found that are optimists, neutral, and pessimists assessors.
Despite these different profiles, we got that few participants are sufficient to
get a good estimation about the average grade of the process.
Resumo. Neste artigo são apresentados alguns resultados obtidos na
avaliação do método Cyclus para melhoria de processos de colaboração. Esse
método é baseado na avaliação colaborativa do processo pelos participantes.
Dois grupos avaliaram diferentes instâncias de um mesmo processo. As notas
atribuídas por cada grupo possuem a mesma distribuição. Assim, inferiu-se
que é possível agregar as avaliações das duas instâncias para analisar o
processo. Foram analisadas as notas atribuídas por cada participante e, dos
resultados, obteve-se que há participantes otimistas, neutros e pessimistas.
Apesar dos diferentes perfis, obteve-se que poucos participantes são
suficientes para obter uma boa estimativa da nota média do processo.

1. Introdução: métodos para melhoria de processo

Os sistemas para colaboração se tornaram populares nos últimos anos. Contudo, a
despeito da popularidade, ainda há dificuldade em projetar o trabalho em grupo para uso
destes sistemas de modo a aproveitar o potencial do meio computacional e também
adequar-se às suas limitações. Esse é um problema reconhecido na literatura tanto para
processos de trabalho em grupo (Kolfschoten et al., 2006) como para os processos de
aprendizagem colaborativa (Santoro et al., 2005).
Para obter bons processos de colaboração, nessa pesquisa foi elaborado o
método Cyclus: um método para melhoria de processos de colaboração. O Cyclus
(Ugulino & Pimentel, 2009) caracteriza-se por ser baseado na avaliação colaborativa
dos processos pelos participantes e por ter sido projetado para a melhoria de processos
de colaboração.
Para obter bons processos, podem ser usadas várias estratégias. Nessa pesquisa
foram comparadas 2 estratégias: melhoria de processo (iteração as is - to be) e
documentação de bons processos (obtenção do to be de forma não iterativa). Para cada
estratégia podem ser empregadas diversas abordagens. Para documentar bons processos,
por exemplo, é possível que os bons processos sejam elicitados e documentados a partir
de facilitadores experientes, como é feito na pesquisa “Engenharia de Colaboração”
(Briggs et al., 2001) (item “a” da Figura 1). Também é possível obter processos
relativamente melhores se o planejamento do trabalho for feito de forma colaborativa
(Santoro et al., 2005) (item “b”). Para a estratégia de melhoria de processos, também há
diversas abordagens. Por exemplo, é possível que um especialista em processos de
negócios analise o modelo do processo atual (as-is) e sugira melhorias a partir de
alguma técnica, como é feito na técnica de avaliação por habilitadores (Sharp &
McDermott, 2001) (item “c”). Também é possível inferir pontos de melhoria a partir de
dados obtidos sobre a execução de um processo, como é feito através dos métodos
PDCA (Shewhart, 1939, 1980) e Pesquisa-Ação (item “d”). O método Cyclus
caracteriza-se, enquanto especificação do PDCA para o contexto de colaboração, na
abordagem de melhoria a partir de dados.

Figura 1. Estratégias para obter bons processos

A especificação do Cyclus está na forma de obter insumos para a melhoria do
processo: o uso da avaliação colaborativa do processo pelos participantes. O Cyclus é
apresentado na Seção 2.
O Cyclus foi avaliado inicialmente através de um estudo de caso piloto (Ugulino
& Pimentel, 2009). Em função dos resultados, o método foi revisado. Para avaliar a
nova versão, um novo estudo de caso foi conduzido. O estudo de caso realizado é
descrito na Seção 3. Conclusão e trabalhos futuros são descritos na Seção 4.

2. Método Cyclus para melhoria de processos de colaboração

O método Cyclus é um método iterativo para a melhoria de processos de colaboração
através de modificações sucessivas em função das avaliações de instâncias dos
processos. O método é uma especificação do PDCA para processos de colaboração e é
composto das mesmas 4 etapas: Planejar, Fazer o trabalho (instanciar o processo),
Checar o trabalho realizado (obter avaliação da instância do processo) e Agir ao
modificar o processo em função da análise dos dados coletados (Ugulino, 2010). O
fluxo de tarefas do método Cyclus é esquematizado na Figura 2.

Figura 2. Cyclus é PDCA

Planejar: Nessa etapa é feito o planejamento do trabalho: criação de um projeto novo,
reuso de um projeto existente (sem modificações), ou derivação de um projeto existente
(com modificações). Um projeto é uma representação de um processo na forma textual.
Fazer: Nessa etapa, é executado o processo definido na etapa Planejar. O coordenador
usa o projeto registrado como guia para a organização dos participantes em papéis e
para orientação sobre as tarefas a serem executadas. Nessa etapa também é feito o
registro dos dados sobre a instância do processo: lista de participantes organizados nos
papéis do projeto, período da execução, e descrição textual de como ocorreu a dinâmica.
Checar: Nessa etapa, o coordenador convida os participantes do processo para avaliar a
instância do processo da qual participaram. Uma característica do Cyclus nessa etapa é a
adoção de uma escala de diferencial semântico (Osgood et al., 1957). A escala foi
desenvolvida no sistema Modus, construído para apoiar a aplicação do método Cyclus.
A avaliação de uma tarefa através da escala de diferencial semântico do Modus é
ilustrada na Figura 3.
A escala elaborada tem 5 valores. Adotam-se os adjetivos “Péssimo”, associado
ao valor 1 (à esquerda), e “Excelente”, associado ao valor 5 (à direita). Com essa escala,
o participante pode avaliar um item como Excelente ou indicar que há necessidade de
melhoria ao atribuir qualquer nota diferente de 5. No Cyclus, os participantes atribuem
uma nota para os seguintes itens da instância do processo: Tarefa (no geral), sistema
usado na tarefa, protocolo de interação, Atuação dos atores envolvidos, insumos
(artefatos de entrada) e produtos da tarefa (artefatos de saída). É possível enviar um
comentário por tarefa.
 Figura 3. Avaliação de uma tarefa no sistema Modus, implementação do Cyclus
Agir: Nessa etapa, o coordenador analisa as notas e comentários atribuídos pelos
participantes para uma instância de processo. Para a classificação dos itens avaliados, o
coordenador aplica o corte arbitrário ilustrado na Figura 4.

Figura 4. Corte arbitrário definido para o Cyclus para identificação de algo a

melhorar dada a nota média atribuída pelos avaliadores
Tarefas excelentes são as que obtiverem média de notas igual ou maior que 4,5.
As demais tarefas podem ser melhoradas. Essa classificação, além de se aplicar a
tarefas, é aplicada a qualquer outro item avaliado.
Como resultado dessa etapa, o coordenador registra um parecer sobre os itens
avaliados pelos demais participantes. Para fazer a análise e registrar o parecer, o
coordenador tem acesso às avaliações feitas por todos os participantes.

3. Avaliação: Estudo de Caso

Foi conduzido um estudo de caso (Yin, 2005) que contou com 56 participantes na
execução de 8 instâncias de processos, distribuídos em 4 contextos: “mestrandos” em
informática, “graduandos” em informática, “professores” da rede pública de ensino e
“analistas de sistemas” de uma empresa pública federal.
 Dos 56 participantes, 44 avaliaram através do sistema Modus (implementação do
Cyclus) (Ugulino et al., 2009) as instâncias de processo das quais participaram. Na
Figura 5 são ilustrados os contextos e instâncias de processo executadas.

Figura 5. Estudo realizado: casos múltiplos

A análise apresentada neste artigo é produto de um recorte dos dados da
pesquisa relativos a 2 instâncias de um mesmo processo: uma instância da qual
participaram 9 mestrandos e outra instância da qual participaram 9 graduandos. O
objetivo do recorte foi obter um processo que tenha sido avaliado pelo maior número de
participantes. O objetivo da análise realizada foi investigar: (1) a possibilidade de
analisar conjuntamente duas instâncias de um mesmo processo, (2) perfis de
avaliadores, e (3) a quantidade necessária de avaliadores para se obter uma boa
estimativa da nota média para um item avaliado no processo.
As notas atribuídas pelos participantes das instâncias do processo foram
analisadas estatisticamente. As notas atribuídas para cada instância possuem a mesma
distribuição. Contudo, as pessoas avaliam de maneira diferente e, por isso, foi preciso
investigar a partir de quantos avaliadores se obtém uma boa estimativa da nota média do
processo. Essas análises são apresentadas nas subseções seguintes.

3.1 É possível agregar as notas de dois grupos para analisar um processo

As notas atribuídas pelos participantes dos dois processos foram analisadas para
investigar se há diferença significativa entre as notas obtidas nos dois contextos. Uma
diferença significativa pode indicar que o que é bom para um contexto pode não ser
bom para outro e, assim, pode ser necessário restringir o uso dos resultados da avaliação
de processos no Cyclus para cada contexto, sem a possibilidade de generalizar
instâncias de diversos contextos em função do processo usado.
Para analisar se os conjuntos de notas obtidos em cada contexto têm uma
distribuição significativamente diferente ou aproximadamente igual, foi realizado o teste
estatístico de hipóteses não-paramétrico de Kolmogorov-Smirnov, com nível de
significância de 5% (Siegel & Castellan, 2006; XLStat, 2010). As amostras analisadas
são as notas obtidas em cada contexto para o mesmo processo, e as observações são
cada uma das notas coletadas. Ao aplicar o teste, obteve-se que a distribuição das duas
amostras é a mesma e, dessa forma, neste caso foi possível generalizar a análise das
duas instâncias para o processo usado.
3.2 Há participantes otimistas, neutros e pessimistas
Com o objetivo de investigar as atuações dos diferentes participantes na avaliação de
um mesmo processo, foi feita uma análise da freqüência das notas atribuídas por cada
participante. A semântica presente na escala do Cyclus foi usada para agrupar as notas
em classes, sendo obtidas 3 classes: notas 1 e 2 (“1 |—| 2”), nota 3 e notas 4 e 5
(“4|—|5)”. Os avaliadores cuja classe modal das notas atribuídas foi a classe 1 |—| 2
foram considerados Pessimistas (maioria das notas mais baixas que o ponto de
neutralidade). Os avaliadores cuja classe modal foi “3” foram considerados Neutros. Os
avaliadores cuja classe modal foi 4 |—| 5 foram considerados Otimistas (maioria das
notas acima do ponto de neutralidade). Na Tabela 1, são listados os avaliadores, a
freqüência relativa de cada classe e a classificação do avaliador em função da maior
freqüência. Cada avaliador atribuiu 10 notas para tarefas do processo.
Tabela 1. Freqüência relativa das notas atribuídas a uma tarefa e seus
elementos (Instâncias 3 e 4)

Freqüência relativa das notas atribuídas

Avaliador Perfil
1|-|2 3 4|-|5
Elisberto Magno 0% 0% 100%
Jânio Almeida 0% 0% 100%
Marcio Damasco 0% 0% 100%
Ricardo Page 0% 0% 100%
Caio Portes 0% 20% 80% Otimista
Sávio Pixar 0% 20% 80%
Vivian Abreu 0% 20% 80%
Heraldo Souza 0% 33% 67%
Hercílio Maranhão 0% 40% 60%
Tadeu Vilaça 20% 20% 60%
Horácio Leal 20% 80% 0%
Marcos Pentel 0% 80% 20% Neutro
Aline Lago 20% 60% 20%
Matias Andrade 0% 60% 40%
Wando Castro 100% 0% 0%
Elaine Castra 60% 0% 40%
Pessimista
Ubirajara 60% 20% 20%
Carmenita Bromeiro 50% 33% 17%

Através da análise da freqüência das notas atribuídas e da organização dos dados

em classes em função da semântica da escala, foi obtido que 10 avaliadores foram
classificados como Otimistas, 4 avaliadores classificados como Neutros e 4 avaliadores
classificados como Pessimistas. Através dos resultados dessa análise, é possível concluir
que as pessoas julgam de maneira diferente. Uma das características da avaliação
colaborativa é possibilitar diferentes olhares sobre o item avaliado, o que pode ser uma
vantagem para a identificação de algo a ser melhorado num processo. Por outro lado, é
preciso obter notas de mais de um avaliador, caso contrário pode-se obter uma visão
extrema da qualidade do processo.
3.3 Poucos participantes são suficientes para uma boa estimativa da nota média
Dado que os participantes julgam o mesmo processo de maneira diferente, foi realizada
uma análise combinatória das notas atribuídas ao processo pelos participantes. O
objetivo foi investigar a partir de quantos avaliadores é possível obter uma boa
estimativa da nota média de um item do processo avaliado. O resultado da análise é
ilustrado na Figura 6.
25%

20%

Com
Com1010participantes
participantesobtém-se
obtém-se
15% uma
umaestimativa
estimativadadanota
notamédia
médiacom
com
5%
5%dedeerro
erropara
paramais
maisou
oupara
paramenos
menos

10%

5%

0%
0 5 10 15 n-participantes

Figura 6. Análise combinatória das notas atribuídas pelos avaliadores

Conforme ilustrado na Figura 6, a partir de 10 avaliadores é possível obter uma
nota média que possui uma diferença de 5% para mais ou para menos da média obtida a
partir das notas de todos os 18 avaliadores. Esse resultado permite concluir que bastam
poucos participantes para se obter uma avaliação bastante razoável sobre a instância do
processo.

4. Conclusão e Trabalhos Futuros

No presente artigo foi apresentado o método Cyclus. Uma avaliação foi realizada para
investigar o potencial e as limitações da avaliação colaborativa para a melhoria de
processos. Foi identificado que em alguns casos é possível reunir os dados de duas
instâncias realizadas em contextos diferentes. Foi identificado que os avaliadores
enxergam de maneira diferente o processo, o que é importante para gerar diferentes
visões sobre o processo e levantar diferentes oportunidades de melhoria. Apesar disso, a
ocorrência de perfis tão diferentes torna necessário investigar a partir de quantos
avaliadores se obtém uma boa estimativa da qualidade do processo. Foi realizada uma
análise combinatória e foi obtido que com poucos avaliadores já é possível obter boa
estimativa.
Como trabalho futuro identifica-se a necessidade de analisar o método em outros
contextos. Objetiva-se realizar mais investigações sobre a possibilidade de aplicação da
análise conjunta de várias instâncias do mesmo processo e da ocorrência de perfis de
avaliadores em outros contextos. Objetiva-se, também, elaborar o modelo matemático
sobre a qualidade da avaliação em função da quantidade de participantes.
Referências
Deming, W.E. (1993) The New Economics: For Industry, Government, Education, MIT
Center for Advanced Engineering Study, MA: Cambridge, 1993.
Kolfschoten, G. L., Briggs, R. O., De Vreede, G-J., Jacobs, P. H. M., Appelman, J. H.
(2006). A conceptual foundation of the thinkLet concept for Collaboration
Engineering. In: International Journal of Human-Computer Studies. vol. 64. Issue 7.
(2006) p.611–621. ISSN: 1071-5819.
Santoro, F.M., Borges, M.R.S., Santos, N. (2005) Learning to Plan the Collaborative
Design Process. In: Lecture Notes in Computer Science, Vol. 3168 (2005) p. 33-44.
Shewhart, W. A. (1939) Statistical Method: From the Viewpoint of Quality Control.
New York: Dover. ISBN 0-486-65232-7.
Shewhart, W. A. (1980) Economic Control of Quality of Manufactured Product: 50th
Anniversary Commemorative Issue. USA: Amer Society for Quality, 1980. ISBN
978-0873890762. (Originally published in 1931 by D. VAN NOSTRAND
COMPANY, Inc.)
Siegel, S., Castellan, N.J.Jr. Estatística não-paramétrica para ciências do
comportamento. trad. Sara Ianda Correa Carmona. 2. ed. Porto Alegre: Artmed,
2006. 448p. ISBN: 978-85-363-0729-9.
Ugulino, W., Nunes, R. R., Pimentel, M. (2009) Em Busca de Diferentes MODUS de
Realizar Dinâmicas Educacionais Colaborativas.WIE 2009 - XV Workshop sobre
Informática na Escola. Bento Gonçalves, RS, 2009.
Ugulino, W. Pimentel, M. (2009) Do AS-IS para o TO-BE: o método CYCLUS para a
melhoria de projetos de colaboração. Em Anais do III Workshop of Business Process
Management - WBPM, XIV Brazilian Symposium on Multimedia and the Web –
WebMedia 2009. CE, Fortaleza: SBC, 2009.
Ugulino, Wallace. (2010) Método Cyclus para a melhoria contínua de processos de
colaboração com o uso de TICs. UNIRIO, 2010. 81 páginas. Dissertação de
Mestrado. Departamento de Informática Aplicada, UNIRIO.
XLSTAT. Versão 2010. [S.l.]: Addinsoft Corporation, 2010, student license.
Disponível, sob licença, em: <http://www.xlstat.com/xlstat2010.zip>.
Yin, R. K. (2005). Estudo de Caso: planejamento e métodos. Tradução de Daniel
Grassi. 3a ed. ISBN: 85-363-0462-6. Porto Alegre: Bookman.