Ugulino, W. Pimentel, M.; Method Cyclus to collaboration process improvement.

In: VII
Brazilian Simposium of Collaborative Systems. 05-08, October, 2010. Brazil, MG, Belo Horizonte.

Method Cyclus to collaboration process improvement

Método Cyclus para melhoria de processos de colaboração

Wallace Ugulino
Mariano Pimentel
Departamento de Informática Aplicada - UNIRIO
Departamento de Informática Aplicada - UNIRIO
Universidade Federal do Estado do Rio de Janeiro
Universidade Federal do Estado do Rio de Janeiro
Rio de Janeiro, Brasil
Rio de Janeiro, Brasil
wallace.ugulino@uniriotec.br
pimentel@uniriotec.br

Abstract — This article presents the method Cyclus to
collaboration process improvement, based on collaborative
filtering and Action Research, and the Modus system,
developed to support Cyclus applying. The method was
developed along 2 years of research and was evaluated 2 times:
in a pilot case study, and in an explanatory case study. This
article communicates the results of the second study, the
explanatory. From the results, was possible to confirm the
research hypothesis investigated and was concluded that the
method has a potential to collaboration process improvement,
although the results are insufficient to say that is possible to
find a good process through this method. It is argued the need
to investigate if the Cyclus scale with 2, 3, or 4 values is more
suitable than the current scale, with 5 values. Preliminary
results give some clues that is possible to get a good
approximation of the real quality of a process from 10
assessors, at least, which will be investigated deeply in future
works.
desenvolvido no escopo dessa pesquisa para apoiar a
aplicação do método Cyclus.
As etapas Checar e Agir do método Cyclus foram
avaliadas através de um estudo de caso. O estudo de caso e
os resultados obtidos são descritos na Seção V. Conclusão e
trabalhos futuros são discutidos na Seção VI.
II. ESTRATÉGIAS PARA OBTENÇÃO DE BONS PROCESSOS
Para obter bons processos, podem ser usadas várias
estratégias. Nessa pesquisa são discutidas 2 estratégias:
melhoria de processo (iteração as is - to be) e documentação
de bons processos (obtenção do to be de forma não iterativa).
Na Figura 1 são ilustradas duas estratégias para obtenção de
bons processos.

Keywords-component: processo de colaboração; melhoria de

processo; PDCA; avaliação colaborativa;

I. INTRODUÇÃO
É difícil projetar boas dinâmicas de grupo. É preciso
saber a seqüência de tarefas, como organizar os participantes,
o tempo adequado para a execução de cada tarefa, etc. Ao
realizar dinâmicas com o apoio do computador objetiva-se
tirar proveito do potencial do meio computacional, mas
também é preciso levar em conta as limitações do meio.
Como muitas técnicas de grupo não foram originalmente
projetadas para serem aplicadas com apoio do computador,
não se prevê como tirar proveito do potencial e como
adequar-se às limitações do meio computacional. Esse é um
problema reconhecido na literatura tanto para o trabalho em
grupo [1] como para a aprendizagem colaborativa [2].
O método Cyclus é um método elaborado no contexto
dessa pesquisa com o objetivo de possibilitar a melhoria
contínua dos processos de colaboração. Com o Cyclus, por
exemplo, um professor registra o processo educacional que
vai realizar com os alunos e aplica o Cyclus com o objetivo
de melhorá-lo, até obter um processo suficientemente bom.
Para obter bons processos de colaboração é possível
adotar diversas estratégias. Na Seção II são relacionadas
duas estratégias e algumas abordagens de cada estratégia
para obtenção de bons processos. O fluxo de atividades dessa
pesquisa é descrito na Seção III. O Cyclus [3], proposto e
elaborado na presente pesquisa, é apresentado na Seção IV. Figura 1 Estratégias para obtenção de bons processos
Na Seção IV também é apresentado o sistema Modus [4],
 Para cada estratégia ilustrada na Figura 1, foram
relacionadas duas abordagens. A estratégia de melhoria de
processos é caracterizada por abordagens iterativas, que
partem do processo na sua forma atual (as is) para o processo
desejado (to be). Outra iteração “as is t to be” é iniciada até
que seja encontrado um processo suficientemente bom,
sendo o processo to be da última iteração considerado as is
na iteração atual. Para essa estratégia é possível destacar
duas abordagens: melhoria a partir da avaliação do processo
por especialistas, como no caso da técnica de avaliação por
habilitadores de Sharp & McDermott [5] (item “a”, Figura 1)
e a melhoria a partir de dados coletados da execução do
processo, como no caso dos métodos PDCA [6][7] e
Pesquisa-Ação [8] (item “b”, Figura 1).
As abordagens nas quais se empregam a estratégia de
documentar bons processos são caracterizadas pelo emprego
de alguma técnica para gerar a documentação de um bom
processo, sem haver iteração para melhorar um processo
atual. Uma das abordagens para documentar bons processos
é a abordagem da pesquisa Engenharia de Colaboração, na
qual bons processos para o trabalho em grupo com apoio dos
sistemas computacionais são elicitados a partir de
facilitadores experientes [1][9] (item “c” da Figura 1). Ainda
na estratégia de documentação de bons processos, é possível
obter processos relativamente melhores se o planejamento do
trabalho for feito de forma colaborativa [2] (item “d”, Figura
1).
O método Cyclus, proposto e elaborado no escopo da
presente pesquisa, é caracterizado pela abordagem de
melhoria a partir de dados, dado que é uma implementação
do PDCA para o contexto de processos de colaboração.
III. DESENVOLVIMENTO DA PESQUISA
O fluxo das atividades realizadas ao longo da pesquisa
apresentada nesse artigo, no qual se investigou o método
Cyclus, é modelado na Figura 2 na notação BPMN [10]. A
primeira versão elaborada (chamada pré-alfa) foi avaliada
num estudo de caso piloto e os resultados foram
comunicados em artigos [3] [11]. Os principais problemas
encontrados na versão pré-alfa do Cyclus foram: a
quantidade de valores da escala (usava uma escala de 0 a Figura 2 Fluxo de atividades da pesquisa para investigação do Cyclus
100) e a falta de um racional para a definição do corte
arbitrário para identificação de tarefas boas e tarefas a serem IV. MÉTODO CYCLUS E SISTEMA MODUS
melhoradas. O método Cyclus é um método iterativo para a melhoria
Em função dos resultados encontrados e dos comentários de processos de colaboração através de modificações
de avaliadores dos artigos, método e sistema foram revisados sucessivas em função das avaliações de dinâmicas realizadas
e foi gerada a versão alfa do método e do sistema. Na versão com um processo. O método é uma especificação do PDCA
alfa, uma nova escala foi desenvolvida, com menos valores e para processos de colaboração e é composto das mesmas 4
com a adoção do diferencial semântico de Osgood [12]. etapas: Planejar, Fazer o trabalho (realizar dinâmicas com
A versão alfa do método Cyclus é apresentada na um grupo), Checar o trabalho realizado (obter avaliação da
Seção IV. O estudo de caso explanatório realizado para dinâmica a partir dos participantes) e Agir ao modificar o
avaliar a versão alfa do Cyclus e do Modus é apresentado na processo em função da análise dos dados coletados [13]. O
Seção V, bem como os resultados obtidos dessa avaliação. fluxo de tarefas do método Cyclus é modelado na notação
BPMN [10] e apresentado na Figura 3.
 A. Cyclus: etapa Planejar
Nessa etapa é feito o planejamento do trabalho: criação
de um projeto novo, reuso de um projeto existente (sem
modificações), ou derivação de um projeto existente (com
modificações). Um projeto é uma representação de um
processo na forma textual.
B. Cyclus: etapa Fazer
Nessa etapa, é executado o processo definido na etapa
Planejar. O coordenador usa o projeto registrado como guia
para a organização dos participantes em papéis e para
orientação sobre as tarefas a serem executadas. Nessa etapa
também é feito o registro dos dados sobre a dinâmica
realizada: lista de participantes organizados nos papéis do
projeto, período da execução, e descrição textual de como
ocorreu a dinâmica.
C. Cyclus: etapa Checar
Nessa etapa, o coordenador convida os participantes para
avaliar a dinâmica da qual participaram. Uma característica
do Cyclus nessa etapa é a adoção de uma escala de
diferencial semântico [12]. A escala foi desenvolvida no
sistema Modus, construído para apoiar a aplicação do
método Cyclus.
A escala elaborada tem 5 valores. Adotam-se os adjetivos
“Péssimo”, associado ao valor 1 (à esquerda), e “Excelente”,
associado ao valor 5 (à direita). Com essa escala, o
participante pode avaliar um item como Excelente ou indicar
que há necessidade de melhoria ao atribuir qualquer nota
diferente de 5. No Cyclus, os participantes atribuem uma
nota para os seguintes itens de uma dinâmica realizada com
um processo: Tarefa (no geral), sistema usado na tarefa,
protocolo de interação, Atuação dos atores envolvidos,
insumos (artefatos de entrada) e produtos da tarefa (artefatos
de saída). É possível enviar um comentário por tarefa. A
avaliação de uma tarefa através da escala de diferencial
semântico do Modus é ilustrada na Figura 4.

Figura 3 Método Cyclus para melhoria de processos de colaboração

Figura 4 Avaliação de uma tarefa no sistema Modus, implementação do Cyclus

D. Cyclus: etapa Agir
Nessa etapa, o coordenador analisa as notas e
comentários atribuídos pelos participantes para a dinâmica
da qual participaram. Para a classificação dos itens avaliados,
o coordenador aplica o corte arbitrário ilustrado na Figura 5.
Figura 5 Corte arbitrário definido no Cyclus para identificação de algo a
melhorar dada a nota média atribuída pelos avaliadores
Tarefas excelentes são as que obtiverem média de notas
igual ou maior que 4,5 (pelo menos metade das notas
atribuídas foi 5, no pior caso). As demais tarefas podem ser
melhoradas. Essa classificação, além de se aplicar a tarefas, é
aplicada a qualquer outro item avaliado.
Como resultado dessa etapa, o coordenador registra um
parecer sobre os itens avaliados pelos demais participantes.
Para fazer a análise e registrar o parecer, o coordenador tem
acesso às avaliações feitas por todos os participantes.
E. Sistema Modus
O sistema Modus (http://comunicatec.uniriotec.br/modus)
foi desenvolvido para apoiar a aplicação do método Cyclus,
por exemplo, para coletar avaliação de tarefas (ilustrada
na Figura 4, pág. anterior). A tela inicial é ilustrada na Figura
6.
Figura 6 Tela inicial do sistema Modus
Na parte superior da tela inicial (Figura 6) há uma
representação iconográfica das 4 etapas iniciais do método
Cyclus. Na parte central são listadas as técnicas de grupo
recentemente registradas, e na parte final os projetos que
obtiveram nota média mais alta entre os projetos do catálogo.
V. AVALIAÇÃO: ESTUDO DE CASO EXPLANATÓRIO
Para avaliar o método Cyclus, foi conduzido um estudo
de caso explanatório [13], no qual foram avaliadas dinâmicas
de grupo com o sistema Modus. Objetivou-se avaliar se
através da aplicação do Cyclus é possível identificar algo a
ser melhorado num processo de colaboração. O escopo da
avaliação atual justifica-se no fato de que o método tem
potencial para melhoria de processos se, através da sua
aplicação, for possível identificar itens excelentes e itens a
serem melhorados num processo. O estudo de caso
explanatório realizado é ilustrado na Figura 7.
Figura 7 Estudo de caso realizado: casos múltiplos
A hipótese investigada é “Se o método Cyclus for usado,
então será possível identificar algo a melhorar num
processo”. A hipótese é confirmada se forem encontrados
itens que possam ser melhorados (tarefas ou elementos da
tarefa, como insumos, sistema usado, etc.) e também itens
excelentes. A identificação de itens a melhorar e também de
excelentes é necessária para a confirmação da hipótese, pois
se forem identificados apenas itens a serem melhorados ou
apenas itens excelentes, então é possível questionar se foi
possível diferenciá-los com o uso método.
O estudo realizado contou com a participação de 56
pessoas distribuídas entre as 8 dinâmicas realizadas [13].
Dos 56 participantes, 44 avaliaram no Modus as dinâmicas
das quais participaram. As notas atribuídas pelos
participantes das dinâmicas foram analisadas
estatisticamente. Para avaliar a hipótese usou-se estatística
descritiva (média) associada ao corte arbitrário, que foi
definido com base na escala de diferencial semântico. O
resultado da avaliação da hipótese é apresentado na
Subseção V.A. O uso da escala definida no Cyclus foi
desequilibrado, conforme análise apresentada na
Subseção V.B. Foram analisadas as distribuições das notas
atribuídas para duas dinâmicas de um mesmo processo.
Conforme discutido na Subseção V.C, as notas atribuídas
para cada dinâmica do processo possuem a mesma
distribuição. Contudo, as pessoas avaliam de maneira
diferente (Subseção V.D) e, por isso, foi preciso investigar a
partir de quantos avaliadores se obtém uma boa estimativa da consideradas excelentes. Não é necessariamente um
nota média do processo (Subseção V.E). problema o método ser rígido, entretanto o resultado
possibilita afirmar que, para os dados do estudo, não foi
A. Hipótese Confirmada: foi possível identificar tarefas possível alcançar um bom processo numa única iteração. Um
excelentes e tarefas a serem melhoradas trabalho futuro pode ser focalizado em investigar se é
Para avaliar a hipótese, assume-se como premissa que a possível alcançar um bom processo e, se for, qual a
tarefa ou o elemento podem ser melhorados se a média das quantidade média de iterações necessárias para obter um
notas for menor que 4,5 (conforme corte arbitrário definido bom processo, num dado contexto.
na Subseção IV.D). A hipótese foi confirmada, pois foi
possível identificar tarefas excelentes e tarefas a serem B. A quantidade de valores da escala do Cyclus pode não
melhoradas, conforme dados listados no exemplo da Tabela ser a mais adequada
I. Uma escala de diferencial semântico é considerada boa
para um contexto quando seus valores são usados de forma
Tabela I. LISTA DE TAREFAS DA DINÂMICA 7
equilibrada [12] (pág. 85). Com o objetivo de avaliar se
Dinâmica 7 (Curso de Construção de Projetos com uso de Wiki) houve uso equilibrado dos valores da escala, foi analisada a
Tarefas 1|-1,5 1,5|-2,5 2,5|-3,5 3,5|-4,5 4,5|-|5 freqüência das notas atribuídas pelos participantes. Foram
Encontro presencial 1 4,3 analisadas as notas atribuídas em cada contexto do estudo de
Postagem de Relatório 5,0 caso explanatório. Na Figura 9, são ilustradas as freqüências
Levantamento de problemas 3,8 relativas das notas atribuídas em cada contexto.
Discussão dos Problemas Lev. 3,8
Priorização dos Problemas 4,0
Definição do Problema 4,0
Divisão dos Grupos 4,7
Encontro Presencial 2 2,5
Produção do Projeto com Wiki 4,3
Resolução Dúvidas via Chat 3,0
Postagem Projeto no Moodle 3,0
Postagem do Projeto na Wiki 3,3
Encontro Presencial 3 4,5

Uma vez que a hipótese foi confirmada, é possível

afirmar que o método Cyclus tem potencial para melhoria de
processos. São necessárias mais avaliações do método, de
outras etapas e em outros contextos, e ainda não está claro
se, a partir do método, é possível chegar num bom processo.
Entretanto, os resultados até o momento possibilitam afirmar
o potencial do método e servem de motivação para a
continuidade da pesquisa.
Figura 8 O método Cyclus mostrou-se rígido para obter bons processos
Conforme ilustrado na Figura 8, o método Cyclus
mostrou-se rígido para alcançar bons processos, dado que
apenas 14% das tarefas dos 8 processos (52 tarefas) foram
Figura 9 Freqüência relativa das notas atribuídas em todos os contextos
Os valores 1 e 2 da escala foram os menos usados,
totalizando 9% das notas atribuídas. Em todas as análises
realizadas (notas por contexto, apenas notas para tarefas,
apenas notas para elementos de tarefas, etc.) foi encontrada
freqüência muito similar do uso de cada valor da escala.
A escala da versão alfa do método Cyclus (diferencial
semântico com 5 valores) é melhor que a escala usada na
versão pré-alfa, cujos resultados são comunicados em [3],
pois possibilitou a identificação de itens a serem melhorados
e itens excelentes. Contudo, dado o uso desequilibrado nessa
nova escala, em trabalhos futuros, planeja-se investigar se
uma escala com menos de 5 valores é mais adequada para a
avaliação colaborativa de processos feita no Cyclus.
C. É possível agregar as notas de duas dinâmicas para
analisar um processo
As notas atribuídas pelos participantes de duas dinâmicas
realizadas com o mesmo processo foram analisadas para
investigar se há diferença significativa entre as notas obtidas
nos dois contextos. Uma das dinâmicas foi realizada com um
grupo de “Mestrandos” e a outra com um grupo de
“Graduandos”. Apenas o grupo de participantes variou,
coordenadores e processo foram mantidos. Uma diferença
significativa pode indicar que o que é bom para um contexto
pode não ser bom para outro e, assim, pode ser necessário
restringir o uso dos resultados da avaliação de processos no
Cyclus para cada contexto, sem a possibilidade de
generalizar dinâmicas de contextos diferentes para o mesmo
processo.
Para analisar se os conjuntos de notas obtidos em cada
contexto têm uma distribuição significativamente diferente
ou aproximadamente igual, foi realizado o teste estatístico de
hipóteses não-paramétrico de Kolmogorov-Smirnov, com
nível de significância de 5% (Siegel & Castellan, 2006;
XLStat, 2010). As amostras analisadas são os conjuntos de
notas obtidas em cada contexto para o mesmo processo, e as
observações são cada uma das notas coletadas. Ao aplicar o
teste, obteve-se que a distribuição das duas amostras é a
mesma (Amostra 1, N=46; Amostra 2, N=48; p-valor
encontrado: 0,325) e, dessa forma, para esse caso foi possível
generalizar a análise das duas instâncias para o processo
usado.
D. Participantes avaliam de forma diferente: há otimistas,
neutros e pessimistas
Com o objetivo de investigar as atuações dos diferentes
participantes na avaliação de um mesmo processo, foi feita
uma análise da freqüência das notas atribuídas por cada
participante para uma mesma tarefa do mesmo processo.
Na Tabela II. , são listados os avaliadores, a freqüência
relativa de cada classe e a classificação do avaliador em
função da classe de maior freqüência das notas.
Tabela II. FREQÜÊNCIA RELATIVA DAS NOTAS ATRIBUÍDAS PARA A
TAREFA “GERAR IDÉIAS” (DINÂMICAS 3 E 4)
Avaliador  Freqüência relativa das notas atribuídas
Perfil  resultado da análise é ilustrado na Figura 10.
(pseudônimo) 
1|‐|2  3  4|‐|5 
Elisberto Magno 0% 0% 100%
A semântica presente na escala do Cyclus foi usada para
agrupar as notas dos participantes em classes, sendo obtidas
3 classes: notas 1 e 2 (“1 |—| 2”), nota 3 e notas 4 e 5 (“4|—
|5)”. Os avaliadores cuja classe modal das notas atribuídas
foi a classe 1 |—| 2 foram considerados Pessimistas (maioria
das notas mais baixas que o ponto de neutralidade). Os
avaliadores cuja classe modal foi “3” foram considerados
Neutros. Os avaliadores cuja classe modal foi 4 |—| 5 foram
considerados Otimistas (maioria das notas acima do ponto de
neutralidade).
Através da análise da freqüência das notas atribuídas e da
organização dos dados em classes em função da semântica
da escala, foi obtido que 10 avaliadores foram classificados
como Otimistas, 4 avaliadores classificados como Neutros e
4 avaliadores classificados como Pessimistas. Dos resultados
dessa análise, é possível concluir que as pessoas julgam de
maneira diferente e há extremos nesse julgamento. Uma das
características da avaliação colaborativa é possibilitar
diferentes olhares sobre o item avaliado, o que pode ser uma
vantagem para a identificação de algo a ser melhorado num
processo. Por outro lado, é preciso obter notas de mais de um
avaliador, caso contrário pode-se obter uma visão extrema da
qualidade do processo.
E. Para os dados desse estudo, poucos participantes são
suficientes para obter uma boa estimativa da nota média
Dado que os participantes julgam o mesmo processo de
maneira diferente, buscou-se investigar a partir de quantos
avaliadores se obtém uma boa estimativa da qualidade do
processo. Para isso, foi realizada uma análise combinatória
das notas atribuídas ao processo pelos participantes. O
25%

Jânio Almeida 0% 0% 100%

Marcio Damasco 0% 0% 100% 20%

Ricardo Page 0% 0% 100%

Caio Portes 0% 20% 80% Otimista 

15%
 
Sávio Pixar 0% 20% 80%

Vivian Abreu 0% 20% 80%

Heraldo Souza 0% 33% 67%

10%

Hercílio Maranhão 0% 40% 60%

Tadeu Vilaça 20% 20% 60% 5%

Horácio Leal 20% 80% 0%

Marcos Pentel 0% 80% 20% Neutro 

  0%
Aline Lago 20% 60% 20%
0 5 10 15
Matias Andrade 0% 60% 40%

Wando Castro 100% 0% 0% Figura 10 Análise combinatória das notas atribuídas pelos avaliadores
Elaine Castra 60% 0% 40%
Pessimista
Conforme ilustrado na Figura 10, a partir de 10
Ubirajara 60% 20% 20%
avaliadores é possível obter uma nota média que possui uma
Carmenita Bromeiro 50% 33% 17% diferença de 5% para mais ou para menos da média obtida a
partir das notas de todos os 18 avaliadores. Esse resultado
possibilita concluir que, para o contexto analisado, bastam
poucos participantes para se obter uma avaliação bastante
razoável sobre uma dinâmica.
VI. CONCLUSÃO E TRABALHOS FUTUROS
Nesse artigo foi apresentado o método Cyclus para a
melhoria de processos de colaboração. Os resultados
apresentados são da segunda avaliação do Cyclus e do
Modus, que foram revisados após a primeira avaliação.
A hipótese de pesquisa foi confirmada: foi possível
identificar tarefas excelentes e tarefas a serem melhoradas. O
uso do diferencial semântico na escala do Cyclus possibilitou
um racional para a identificação de itens excelentes e a
melhorar. Esse resultado dá indícios de que o método tem
potencial para melhoria de processos.
A escala de valores foi usada de forma desequilibrada.
Dado o uso desequilibrado, e a orientação obtida na
literatura [12] (pág. 85), é possível questionar se a
quantidade de valores da escala atual é a quantidade mais
adequada para a avaliação colaborativa de processos nos
contextos dessa pesquisa.
Para os dados do estudo realizado, foi possível
generalizar dinâmicas de 2 contextos diferentes para julgar a
qualidade de um único processo (mesma distribuição em
cada contexto). Contudo, é necessário realizar mais
investigações para obter mais dados sobre a possibilidade de
generalização de dinâmicas de um mesmo processo
realizadas em contextos diferentes.
Investigou-se o perfil dos avaliadores de uma tarefa e
obteve-se que os avaliadores julgam de forma diferente,
havendo extremos: avaliadores pessimistas e avaliadores
otimistas. Ao mesmo tempo em que a diversidade de
opiniões é vantajosa, essa característica torna questionável a
partir de quantos avaliadores se obtém uma estimativa boa da
qualidade do processo, com menor risco de obter uma
avaliação extrema (seja com média alta ou baixa).
Foi realizada uma análise combinatória sobre as notas
atribuídas para uma tarefa de um processo que teve 18
avaliadores. A partir da análise, obteve-se que, para os dados
desse estudo, é possível obter uma boa estimativa da nota
média de um processo (5% de erro para mais ou para menos)
se houver pelo menos 10 avaliadores no processo.
O uso do método Cyclus, por si só, possibilita ao
coordenador da dinâmica e aos participantes uma reflexão
sobre o seu processo de trabalho e sobre a colaboração no
processo. A sistemática do método para essa reflexão,
normalmente negligenciada, é também uma contribuição
dessa pesquisa, embora sejam necessárias mais avaliações do
método.
Como trabalho futuro, identifica-se a necessidade de
realizar mais avaliações do método Cyclus, em outros
contextos e de outras etapas do método, já que a investigação
desse artigo foi focalizada nas etapas “Checar” e “Agir”.
Objetiva-se também investigar variações da escala do Cyclus
com 4, 3 e 2 valores. Ainda como trabalho futuro, pretende-
se realizar mais estudos sobre a quantidade necessária de
avaliadores para estimar a qualidade de um processo.
REFERÊNCIAS
[1] Kolfschoten, G. L., Briggs, R. O., De Vreede, G-J., Jacobs, P. H. M.,
Appelman, J. H. (2006). A conceptual foundation of the thinkLet
concept for Collaboration Engineering. In: International Journal of
Human-Computer Studies. vol. 64. Issue 7. (2006) p.611–621. ISSN:
1071-5819.
[2] Santoro, F.M., Borges, M.R.S., Santos, N. (2005) Learning to Plan
the Collaborative Design Process. In: Lecture Notes in Computer
Science, Vol. 3168 (2005) p. 33-44.
[3] Ugulino, W. Pimentel, M. (2009a). Do AS-IS para o TO-BE: o
método CYCLUS para a melhoria de projetos de colaboração. In:
Anais do III Workshop on Business Process Management - WBPM,
XIV XV Simpósio Brasileiro de Sistemas Multimídia e Web
(WebMedia 2009), Fortaleza – CE. vol. 2. Porto Alegre, RS: SBC,
2009. ISSN: 2175-9650. 6p.
[4] Ugulino, W., Nunes, R. R., Pimentel, M. (2009a) Em Busca de
Diferentes MODUS de Realizar Dinâmicas Educacionais
Colaborativas. Em: XV Workshop Sobre Informática na Escola, 2009
(WIE 2009), Anais do XXIX Congresso da Sociedade Brasileira de
Computação (CSBC 2009), Bento Gonçalves, RS. Porto Alegre, RS:
SBC, 2009. ISSN: 2175-2761, p. 1545-1554.
[5] Sharp, A., McDermott, P. (2009) Workflow Modeling: Tools for
Process Improvement and Application Development. Norwood, MA:
Artech House. ISBN 978-1-59693-192-3.
[6] Shewhart, W. A. (1939) Statistical Method: From the Viewpoint of
Quality Control. New York: Dover. ISBN 0-486-65232-7.
[7] Shewhart, W. A. (1980) Economic Control of Quality of
Manufactured Product: 50th Anniversary Commemorative Issue.
USA: Amer Society for Quality, 1980. ISBN 978-0873890762.
(Originally published in 1931 by D. VAN NOSTRAND COMPANY,
Inc.)
[8] O'Brien, R. (2001). Um exame da abordagem metodológica da
pesquisa ação [An Overview of the Methodological Approach of
Action Research]. In Roberto Richardson (Ed.), Teoria e Prática da
Pesquisa Ação [Theory and Practice of Action Research]. João
Pessoa, Brazil: Universidade Federal da Paraíba. (English version)
Disponível em: <http://www.web.ca/~robrien/papers/arfinal.html>,
acesso em 16/02/2010.
[9] Briggs, R.O. De Vreede, G.-J., Nunamaker, J.F., Jr. Tobey, D. (2001).
ThinkLets: achieving predictable, repeatable patterns of group
interaction with group support systems (GSS). In: Proceedings of the
34th Hawaii International Conference on System Sciences, USA,
Hawaii: 2001.
[10] OMG. (2009) Business Process Modeling Notation BPMN. ver 1.2.
Disponível em: <http://www.omg.org/spec/BPMN/1.2>, acesso em
03/04/2010.
[11] Ugulino, W. Pimentel, M. (2009b) Templates para Colaboração:
Recomendações de Bons Projetos para a Realização do Trabalho em
Grupo. In: XX Simpósio Brasileiro de Informática na Educação
(SBIE 2009), 2009, Florianópolis - SC. Porto Alegre, RS: SBC, 2009.
ISSN 2176-4301. 10p.
[12] Osgood, C. E., SUCI, G. J., Perci, H. T. The Measurement of
Meaning. Urbana, Chicago and London: University of Illinois Press,
1957. p. 346. ISBN: 978-0252745393.
[13] Ugulino, Wallace. Método Cyclus para a melhoria contínua de
processos de colaboração com o uso de TICs. UNIRIO, 2010. 81
páginas. Dissertação de Mestrado. Departamento de Informática
Aplicada, UNIRIO.
[14] Yin, R. K. (2005). Estudo de Caso: planejamento e métodos.
Tradução de Daniel Grassi. 3a ed. ISBN: 85-363-0462-6. Porto
Alegre: Bookman.
[15] Siegel, S., Castellan, N.J.Jr. Estatística não-paramétrica para ciências
do comportamento. trad. Sara Ianda Correa Carmona. 2. ed. Porto
Alegre: Artmed, 2006. 448p. ISBN: 978-85-363-0729-9.
[16] XLSTAT. Versão 2010. [S.l.]: Addinsoft Corporation, 2010, student
license. Disponível, sob licença, em:
<http://www.xlstat.com/xlstat2010.zip