UNIVERSIDAD MAYOR DE SAN

SIMÓN
FACULTAD DE CIENCIAS Y
TECNOLOGÍA
CARRERA DE INGENIERÍA INFORMATICA

MONOGRAFÍA DEL DIPLOMADO EXPERTO EN DESARROLLO DE

APLICACIONES EMPRESARIALES

LAS MEJORES HERRAMIENTAS DE GESTIÓN DE

PRUEBAS Y SU CAPACIDAD DE INTEGRACIÓN

Elaborado por: Judith Delgadillo Rodriguez

Tutor: Lic. MSc. Valentin Laime Zapata
Fecha: Octubre de 2018

Cochabamba, Bolivia
2018
Dedico primeramente a Dios, que fue el que me permitió
culminar con éxito esta hermosa etapa de mi vida, etapa en la
cual pude entender y valorar cada una de las bendiciones con las
cuales él me rodea.

A mi familia, madre y hermanos: Francisca, Henry y Jhonny,

sobrinos: Darek y Jonathan, pilar y sostén fundamental en mi
vida, en especial a la memoria de mi hermano que en vida fue
gran ejemplo de persona y profesional.

A una personita especial que guardo en mi corazón la cual me

acompaño esta etapa importante en mi vida, y me impulsa a
seguir mejorando y cumpliendo metas.

Agradecer a mi casa de estudios Universidad Mayor de San

Simón y posteriormente a Digital Harbor Bolivia por haber
compartido sus conocimientos a lo largo de la preparación de mi
profesión.
 1. Contenido
Introducción ................................................................................................................................... 2

1 Generalidades ......................................................................................................................... 3

1.1 Antecedentes Generales .......................................................................................................... 3

1.2 Antecedentes Específicos ........................................................................................................ 4

2 Metodología............................................................................................................................. 4

3 Fases de Gestión de Pruebas .................................................................................................. 5

3.1 Planificación ....................................................................................................................... 5

3.1.1 Análisis de riesgo ............................................................................................................. 5

3.1.2 Estimación de Prueba ..................................................................................................... 6

3.1.3 Planificación de Prueba .................................................................................................. 6

3.1.4 Organización de Prueba.................................................................................................. 7

3.2 Ejecución ............................................................................................................................. 7

3.2.1 Monitoreo y Control de Prueba ...................................................................................... 7

3.2.2 Gestión de Problemas ...................................................................................................... 7

3.2.3 Informe de Prueba y Evaluación .................................................................................... 8

4 Tipos de Herramientas de Pruebas de Software .................................................................... 8

4.1 Herramientas de Automatización de Pruebas ................................................................... 8

4.2 Herramientas de Pruebas de Seguridad............................................................................. 9

4.3 Herramientas Pruebas móvil .............................................................................................. 9

4.4 Herramientas de Pruebas de Compatibilidad .................................................................... 9

4.5 Herramientas de Gestión de Pruebas ............................................................................... 10

5 Herramientas de gestión de pruebas con capacidad de integración................................... 10

5.1 qTest Manager by QASymphony ...................................................................................... 11

5.2 SmartBear QAComplete ................................................................................................... 14

5.3 Zephyr ................................................................................... ¡Error! Marcador no definido.

5.4 Squash Test Manager ....................................................................................................... 16

5.5 Test Link ............................................................................................................................ 19

5.6 PractiTest.- ........................................................................................................................ 20

5.7 TestRail .............................................................................................................................. 22

6 Comparativa de las diferentes herramientas de gestión de pruebas ................................... 28

6.1 Características ................................................................................................................... 28

6.2 Costos................................................................................................................................. 30

6.3 Reviews .............................................................................................................................. 31

7 Conclusiones ......................................................................................................................... 35

8 Bibliografía .............................................................................. ¡Error! Marcador no definido.

TABLA DE ILUSTRACIONES

Ilustración 1 Fases de Gestión de Pruebas ................................................................................................ 5

Ilustración 2 Interfaz Gráfica de la Herramienta qTest Manager by QASymphony ......................................... 11

Ilustración 3Herramientas con las que se integra qTest Manager by QASymphony ......................................... 13

Ilustración 4 Interfaz Grafica de la Herramienta SmartBear QAComplete .................................................... 14

Ilustración 5 Herramientas con la que se Integra SmartBear QAComplete .................................................... 16

Ilustración 6 Interfaz Grafica de la Herramienta Zephyr .............................. ¡Error! Marcador no definido.

Ilustración 7 Herramientas con las que se integra Zephyr ............................. ¡Error! Marcador no definido.

Ilustración 8 Interfaz Gráfica de la Herramienta Squash Test Manager ....................................................... 17

Ilustración 9 Herramientas con las que se integra Squash Test Manager ...................................................... 18

Ilustración 10 Interfaz Gráfica de la Herramienta TestLink ........................................................................ 19

Ilustración 11 Interfaz Gráfica de la Herramienta PractiTest ..................................................................... 20

Ilustración 12 Interfaz Gráfica de la Herramienta Testrail ......................................................................... 23

Ilustración 13 Herramientas con las que se integra TestRail ...................................................................... 25

Resumen

A lo largo de estos años, se ha visto un crecimiento importante de las aplicaciones de software, ya

que cada vez son más imprescindibles en la vida cotidiana, ya sea para el ámbito de
entretenimiento, como así también para el trabajo (portátiles, tablets, celulares, etc.). Por lo mismo
de su importancia es imprescindible que las aplicaciones puedan ofrecer el mejor servicio en el
mercado de lo contrario su caída es inminente. Es así que el control de calidad es una parte
fundamental en el proceso de desarrollo de una aplicación ya que esto garantizará un producto con
mejores cualidades, enfocado al objetivo final que tiene y con una reducción significativa de
errores.

Uno de los principales motivos por los que un proyecto empresarial puede llegar a fracasar, es
debido a la mala planificación inicial y de presupuesto de dicho proyecto. Actualmente existen
muchas herramientas que pueden ayudar a tener una mejor planificación y una mejor gestión de
pruebas. Considerando que los sistemas han ido creciendo en complejidad y tamaño, estas
herramientas pueden ayudar a tener una mejor planificación y gestión de las mismas.

Existe un gran número de herramientas de gestión de pruebas tanto de código abierto como de
paga, todas con diferentes características. En la actualidad muchas de ellas con capacidad de
integración que potencian más su rendimiento a la hora del proceso de la gestión de pruebas.

Por lo tanto, la presente monografía pretende hacer una investigación y un análisis de las diferentes
herramientas que podrían ayudar a tener una mejor gestión de pruebas, que englobe la mayor parte
de funciones y permita mejorar continuamente el proceso de control de calidad. Analizando de
manera principal la capacidad de integración de cada una.

1
Introducción
Según Swebook, prueba: “Es una actividad realizada para evaluar la calidad del producto y
mejorarla, identificando defectos y problemas” (Swebok). Prueba de software: “Es la verificación
dinámica del comportamiento de un programa contra el comportamiento esperado, usando un
conjunto finito de casos de prueba, seleccionados de manera adecuada”.

En los últimos años las aplicaciones crecieron en complejidad considerablemente, por lo tanto,
también se han incrementado las posibilidades de defectos (bugs), a simple vista pueden parecer
no tener significancia, pero en realidad pueden adquirir proporciones importantes en la
funcionalidad. Frente a esto, el reto de los profesionales de Software Testing (QA) es mejorar sus
procesos, metodologías, tecnologías y herramientas que les permitan automatizar tareas, ejecutar
ciclos de pruebas más rápidos y así reducir al mínimo las posibilidades de errores en el Software.

Siguiendo las fases de desarrollo de Software, muchas empresas tienen una tendencia a pensar que
el proceso de las pruebas de software se debe realizar en la última etapa, para consolidar la calidad
de su producto. Esa tendencia es un tanto errónea, ya que las pruebas tienen que estar alineadas al
proceso de desarrollo; es clave entonces afirmar que es importante realizar un proceso de pruebas
que incluya: “Revisión de los requerimientos, considerando que en la etapa de requerimientos se
pueden ahorrar mucho tiempo de trabajo más adelante, realización de análisis, identificación de
defectos, pruebas funcionales y no funcionales, pruebas dinámicas y estáticas, pruebas de
integración, informes del nivel de calidad, información para la toma de decisiones y sobre todo
planes de mejora continua”.

Si bien ejecutar las pruebas correctas y ejecutar las pruebas correctamente es posiblemente el
componente más crítico del proceso de prueba del software, esa efectividad no significa nada si
los evaluadores no pueden administrarlo correctamente. Como resultado, la administración de
pruebas es de suma importancia para las pruebas de software exitosas. La gestión de pruebas
siempre ha sido importante para mantener a los equipos de pruebas de software en el buen camino

2
y ayudarlos a ofrecer los mejores resultados posibles, y se ha vuelto aún más importante en los
últimos años.

Los ingenieros de control de calidad ahora tienen que administrar entornos más complejos y
completar las pruebas más eficientemente, por lo que la gestión de pruebas adecuada es una
necesidad absoluta y de mucha importancia.

El control de calidad de software es un área imprescindible y crítico para la validación de un

producto de software y en la actualidad es muy importante que tenga la capacidad de integración
ya que esto facilita el manejo y mantiene una gestión organizada de la misma. Actualmente existen
una variedad de herramientas para la gestión de pruebas.

En este documento de investigación se realizará un análisis de las diferentes herramientas que

puedan colaborar de manera eficiente al trabajo de control de calidad, sobre todo en la parte de
integración en ciertas etapas, que son de suma importancia en el proceso de desarrollo de software,
el resultado de esta monografía permitirá al lector tener una selección de herramientas que puedan
colaborar en el ámbito de la gestión de pruebas que más se adecue a sus necesidades.

1 Generalidades
1.1 Antecedentes Generales

Los sistemas de software hoy en día son parte importante e integral en nuestras actividades diarias;
como por ejemplo los teléfonos inteligentes, las tablets, las portátiles, etc. Se debe tener en cuenta
que los sistemas o aplicaciones son creadas, desarrolladas e implementadas por seres humanos y
por ende en cualquiera de sus etapas de creación se puede presentar una equivocación, al generarse
esa equivocación se puede llevar a un defecto, Si no se ha identificado ese defecto y la o las
aplicaciones se ejecutan, hay un alto riesgo de que la misma no haga lo que debería hacer o el
objeto para lo cual fue creada, es decir se genera un fallo o desperfecto. Aquí es donde las pruebas
de software forman un papel importante en las aplicaciones que usamos diariamente, son de suma
importancia incluso desde la etapa inicial del desarrollo de software. Después del dinero, las

3
personas y el equipo, ahora se considera la información como el cuarto recurso comercial (Moors,
1994), la falla de en la provisión de servicios electrónicos, fácilmente conducen a la pérdida de
ingresos, costosas medidas correctivas, por no mencionar el daño a la reputación de la empresa.
Las pruebas son un proveedor de información porque es una forma de medir la calidad de software,
las pruebas en consecuencia juegan un papel crucial.

1.2 Antecedentes Específicos

Cada vez es más reconocida la importancia de las pruebas, así también la gestión de pruebas
efectiva en proyectos, esta área ya forma parte esencial dentro de la organización y dentro de los
proyectos. La gestión de pruebas ayuda al desarrollo y al mantenimiento de las aplicaciones, así
también a que versiones posteriores contengan menos errores de diseño y de funcionalidad.
Anteriormente se realizaban las pruebas hasta que el desarrollo del sistema había concluido, no
tener una correcta documentación de las pruebas, no tener claro las acciones que se realizaron
puede llevar a una desorganización y confusión, y resolver los problemas que se presenten puede
ser más difícil de replicar cuando los desarrolladores requieran. Los requerimientos brindan más
información de las prioridades del cliente por los cual los ingenieros de control de calidad deben
tomar en cuenta especialmente estos. El tener una correcta gestión de pruebas ayudará saber los
riesgos y requisitos, por lo tanto, permitirá tomar medidas y decisiones correctas. (Iris Pinkster)
(Book: Successful Test Management: An Integral Approach).

2 Metodología
Para el presente trabajo se utilizarán los siguientes métodos de investigación:
 Método Bibliográfico, debido a que se realizara la lectura y compilación de libros
relacionados al tema de estudio.
 Método Analítico, debido a que se procederá a revisar y analizar ordenadamente
documentos relacionados al tema de estudio, para la redacción del presente trabajo.

4
3 Fases de Gestión de Pruebas
Describiremos brevemente el proceso de gestión de pruebas y descripción general de las fases
que conlleva. Podemos dividir en dos partes importantes en el proceso de Gestión de Pruebas:
Planificación y ejecución. Como se ve en la ilustración 1 la parte de la planificación incluye
el análisis de riesgo, estimación de pruebas, planificación de pruebas y organización de
pruebas. Y en la parte de ejecución: monitoreo y control de prueba, gestión de problemas e
informe de prueba y evaluación.

Ilustración 1 Fases de Gestión de Pruebas. Fuente: (Iris Pinkster)

3.1 Planificación
3.1.1 Análisis de riesgo
El riesgo es la pérdida potencial (un resultado indeseable, aunque no necesariamente)
resultante de una determinada acción o actividad. Tanto los riesgos del proyecto como del

5
 producto juegan papeles muy importantes dentro de un proyecto de prueba. Los riesgos del
proyecto son los que influyen en la ejecución del mismo. Y los riesgos de producto son
aquellos con los que la organización enfrentara si es que el sistema no funciona como se
desea.
El análisis de riesgos es el primer paso que se debe considerar antes de comenzar cualquier
proyecto. Dado que todos los proyectos pueden contener riesgos, la detección temprana del
riesgo y la identificación de su solución ayudarán al Test Manager a evitar pérdidas
potenciales en el futuro y ahorrar en el costo del proyecto.

3.1.2 Estimación de Prueba

Un estimado es un pronóstico o predicción. La estimación de la prueba determina
aproximadamente cuánto tardará una tarea en completarse. Estimar el esfuerzo para la
prueba es una de las tareas principales e importantes en la gestión de pruebas.
Beneficios de la estimación correcta:
- Las estimaciones correctas de pruebas conducen a una mejor planificación,
ejecución y monitoreo de las tareas bajo la atención de un gerente de pruebas.
- Permite una programación más precisa y ayuda a obtener resultados con más
confianza.

3.1.3 Planificación de Prueba

Un plan de prueba se puede definir como un documento que describe el alcance, el enfoque,
los recursos, planes y el cronograma de las actividades de prueba previstas. Un proyecto
puede fallar sin un plan de prueba completo. La planificación de pruebas es particularmente
importante en el desarrollo de sistemas de software grandes. En las pruebas de software,
un plan de prueba proporciona información de prueba detallada, que incluye:
- Estrategia de prueba
- Objetivo de prueba
- Criterios de salida
- Planeación de recursos

6
 - Entregables de prueba

3.1.4 Organización de Prueba

En términos generales, debe organizar un equipo de prueba efectivo. Se tiene que armar un
equipo capacitado para ejecutar el motor de prueba en constante crecimiento de manera
efectiva.

3.2 Ejecución
3.2.1 Monitoreo y Control de Prueba
Es el proceso de supervisión de todas las métricas necesarias para garantizar que el
proyecto se ejecute bien, a tiempo y no fuera de presupuesto. En el monitoreo se hace la
recopilación, registro de informes sobre la actividad del proyecto para que el Test manager
puede supervisar y realizar las siguientes actividades:
- Definir el objetivo del proyecto o el estándar de rendimiento del proyecto.
- Observar el rendimiento del proyecto y compare las expectativas de
rendimiento reales y planificadas.
- Registrar e informar cualquier problema detectado que ocurra con el proyecto
El control de pruebas es un proceso de uso de datos de la actividad de monitoreo para llevar
el rendimiento real al rendimiento planificado.

3.2.2 Gestión de Problemas

Como se mencionó al principio de los temas, todos los proyectos pueden tener un riesgo
potencial. Cuando ocurre el riesgo, se convierte en un problema. En el ciclo de vida de
cualquier proyecto, siempre surgirán problemas. Por ejemplo:
- La compañía reduce el presupuesto de su proyecto.
- Su equipo de proyecto carece de las habilidades para completar el proyecto.
- El cronograma del proyecto es demasiado ajustado para que su equipo termine
el proyecto en la fecha límite.
Riesgo que debe evitarse durante la prueba:
7
 - Falta la fecha límite
- Superar el presupuesto del proyecto
- Perder la confianza del cliente
Cuando surgen estos problemas, es importante estar preparados para enfrentarlos, ya que
estos pueden afectar el resultado del proyecto.

3.2.3 Informe de Prueba y Evaluación

Cuando el proyecto culmina es importante hacer un retrospectivo de todo lo que se realizó. El
propósito de los informes de evaluación de prueba es poder ver datos reales de lo esperado
con la situación real y tomar medidas a futuro.

4 Tipos de Herramientas de Pruebas de Software

Actualmente contamos con un número creciente de herramientas para probar un software, y
todas ellas enfocadas a diferentes categorías. A continuación, daremos un vistazo general de
diferentes herramientas en algunas categorías identificadas.

4.1 Herramientas de Automatización de Pruebas

En los últimos años la automatización de pruebas, se ha convertido en un factor crucial
debido a que los sistemas han crecido de gran manera en tamaño y complejidad. Estas
herramientas pueden ser de gran ayuda con equipo limitado de testers, ayuda a mejorar los
tiempos y la cobertura del sistema, así también pueden ser de gran ayuda en pruebas
complejas donde se necesita acceder a la parte interna del sistema, como por ejemplo la base
de datos.
Actualmente existen variedad de herramientas de automatización mencionamos algunos, por
ejemplo: Katalon Studio, HP Unified Functional Testing (UFT), IBM Rational Functional
Tester, Tricentis Tosca Testsuite, Worksoft Certify, TestPlant eggPlant Functional, Ranorex
IBM Rational Test Workbench, y otros más.

8
4.2 Herramientas de Pruebas de Seguridad
Las herramientas de prueba de seguridad generalmente se crean en torno a una plataforma y
/ o tecnología en particular. Hay poca presión de fuente abierta para las pruebas de seguridad,
por lo que estas suelen ser herramientas costosas y especializadas que incluyen servicios
pesados. Algunas herramientas para pruebas de seguridad: HP Fortify On Demand,
Veracode, IBM Application Security APPScan, y otros.

4.3 Herramientas Pruebas móvil

Las pruebas móviles se han vuelto cada vez más críticas a medida que el uso de dispositivos
móviles se vuelve omnipresente. Dada la variedad de tipos de aplicaciones (nativo, híbrido,
web móvil) y sistemas operativos, probar aplicaciones móviles puede resultar difícil. Las
herramientas de prueba móvil utilizan marcos de prueba automatizados para ayudar a
simplificar este proceso.
Algunas herramientas: Keynote DeviceAnywhere, TestPlant eggPlant Mobile, Appium,
Selendroid, ios-driver, etc.

4.4 Herramientas de Pruebas de Compatibilidad

Las pruebas de compatibilidad son las pruebas que se realizarán en un software o aplicación
determinado y que comprobarán que tu desarrollo es compatible con todos los navegadores
de Internet y todos los sistemas operativos del mercado o que tú creas convenientes. Estas
pruebas son realmente importantes para que el producto llegue a todos los usuarios que
deberían de llegar y que todo el mundo pueda utilizarlo con lo que disponga en su equipo
informático. Las pruebas de compatibilidad proporcionan un valor basado en pruebas
móviles y web eficaces entre navegadores. Las pruebas de compatibilidad son simples de
realizar manualmente, pero consumen tiempo, pueden ser costosas y propensas a los riesgos.
Las herramientas técnicas automatizadas pueden aportar eficiencia a este proceso.
Algunas herramientas: Browsera, Browserling, etc.

9
4.5 Herramientas de Gestión de Pruebas
Las herramientas de gestión de pruebas son aquellas que se utilizan para gestionar la
información relativa a los “casos de prueba”, normalmente los funcionales, para planificar
actividades de testing, para gestionar los informes resultantes después de pasar dichos test,
etc.
Estas herramientas colaboran a organizar la planificación y tener un seguimiento desde el
origen hasta el final del proyecto como así también permiten una mejor toma de decisiones
a futuro, como por ejemplo, identificar la fase de mayor criticidad y de mayor cuidado para
proyectos posteriores.

4.5.1 Características importantes de las Herramientas de Gestión de Pruebas

El término "Test Manager" abarca muchas fases y tareas que hacemos como testers, por la
complejidad y el tamaño de los sistemas actuales es necesario tomar la ayuda de un software
de administración de pruebas los más completo y eficiente posible para realizar esta variedad
de tareas. Las cuales pueden incluir diferentes actividades:
- Crear y mantener los artefactos de prueba específicos para cada lanzamiento
(requisitos, casos de prueba, etc.)
- Establecer la trazabilidad y el alcance de las pruebas.
- Soporte de ejecución de prueba: creación de conjunto de pruebas, captura de
estado de ejecución de prueba, etc.
- Generación de informes para el análisis.
- Seguimiento de errores.
El proceso de administración de pruebas involucra el conjunto de tareas / actividades que
se mencionaron anteriormente. Este proceso es esencial para asegurarse de que todo el
esfuerzo de prueba sea exitoso.

5 Herramientas de gestión de pruebas con capacidad de integración

10
 A continuación, mencionaremos algunas herramientas de administración de pruebas a
considerar incluyendo toda la información que se pueda recabar para tener el mayor
conocimiento sobre sus características importantes.

5.1 qTest Manager by QASymphony

Es una herramienta que permite organizar e informar sobre todas las actividades de prueba
a través de una interfaz rápida y fácil de usar. También se integra con diferentes
herramientas. qTest ha demostrado que cada paso del proceso de control de calidad es más
rápido, simple y eficiente. Incluye Gestionar requisitos, Repositorio de casos de prueba,
Ejecución de prueba, Seguimiento de defectos, Informes e Integración.

Ilustración 2 Interfaz Gráfica de la Herramienta qTest Manager by QASymphony

Fuente: (qTest Manager by QASymphony )

11
 Características

 Interfaz amigable

 Permite Centralizar y Organizar Casos de Prueba de forma rápida y eficiente.

- Centralizar y almacenar casos de prueba manuales, exploratorios y automáticos
- Importar fácilmente casos de prueba de Excel u otra herramienta de
administración de casos de prueba.
- Crear múltiples versiones de casos de prueba para facilitar su reutilización
- Compartir repositorios de casos de prueba en proyectos, lanzamientos y sprints.

 Permite administrar sus pruebas y rastrear ejecuciones en todos los proyectos al:
- Construir y reutilizar suites de ejecución.
- Iniciar las pruebas de automatización.
- Capturar el historial de ejecución de prueba detallado.
- Generar configuraciones y parámetros específicos de ejecución de prueba.

 Proporciona a los equipos informes en tiempo real y análisis de pruebas que ayudan
a proporcionar un mayor nivel de visibilidad en sus procesos de prueba. Informes
en tiempo real y análisis de prueba.

 Permite personalizar proyectos, se pueden clonar o copiar para configuraciones

rápidas, permite control de perfiles de usuario.

 Permite producir fácilmente informes simples o complejos. Puede visualizar

informes en cada etapa de la gestión de pruebas: Informes de Calidad, informes de
cobertura e informes de velocidad.
 Integración
qTest fue diseñado para integrarse con diferentes herramientas. La integración puede
ayudar a impulsar la eficiencia en el proceso de la gestión de pruebas.

12
Ilustración 3Herramientas con las que se integra qTest Manager by QASymphony. Fuente: (qTest
Manager by QASymphony )

 Integración con Jira, Rally o VersionOne, el cual ofrece obtener una solución completa
que le permite administrar requisitos, defectos y más en múltiples sistemas
simultáneamente.

 Integración con herramientas de automatización de código abierto y comerciales,

también puede crear su propia integración a través de la API qtest. Herramientas con
las que se integra: Bamboo, eggPlant, Cucumber, qTest APIs, Jenkins y Selenium. Las
integraciones entre qTest y los marcos de automatización de pruebas que usan las API
abiertas y SDK propias de qTest generan eficiencia para el equipo de pruebas.
- Integración inmediata con TestNG, Junit, Cucumber for JAVA para crear,
programar e informar los resultados de la ejecución posterior.

13
 - qTest se conecta a las populares herramientas de integración continua como
Jenkins y Bamboo para analizar los resultados de ejecución de prueba de cada
compilación
- Las API de servicio web RESTful proporcionan acceso a objetos qTest a través
de solicitudes y respuestas JSON
- SDK personalizados de automatización para Java y .NET.

(qTest Manager by QASymphony )

5.2 SmartBear QAComplete

Proporciona visibilidad del proceso de prueba con capacidades para administrar, organizar
e informar sobre pruebas. QAComplete es una herramienta de administración de pruebas
potente y flexible que ayuda a los usuarios a administrar fácilmente los requisitos, las
pruebas y los defectos, todo en un solo lugar.

Ilustración 4 Interfaz Gráfica de la Herramienta SmartBear QAComplete.

Fuente: (SmartBear QAComplete)

14
 Características

 Permite trabajar con diferentes metodologías: Waterfall, Agile o DevOps, por lo

cual es flexible a la forma en que trabaja.

 Permite administrar, organizar e informar pruebas manuales y automáticas una al

lado de la otra en una ubicación central. Puede crear fácilmente cualquier jerarquía
para sus proyectos, incluidos lanzamientos, sprints y compilaciones. Su equipo
puede vincular casos de prueba con requisitos, tareas y defectos para una
trazabilidad completa. Al vincular elementos también obtiene una visibilidad
completa de los requisitos que se cumplieron, las pruebas que se pasaron y los
defectos que deben ser gestionados.

 Permite el seguimiento de los eventos y las actividades mediante notificaciones, la

asignación y propiedad de todos los cambios, sobre todo las transiciones de flujo
de trabajo.

 SmartBear QAComplete ofrece plantillas listas para usar u opciones de flujo de

trabajo personalizado, registro de defectos, la capacidad de rastrear pruebas a
historias de usuarios y reutilización en todo el ciclo de prueba.
(SmartBear QAComplete)
 Integración

 Sincronización bidireccional en tiempo real con Jira. Cualquier cambio realizado

en QACompleto o Jira se refleja automáticamente en las historias de usuarios,
tareas, defectos o incluso en tipos de problemas personalizados en otras
herramientas.

 Integración con Selenium TestNG.

 A través de la alianza con TaskTop y Go2Group proporciona muchas integraciones:

Bugzilla, Rally, ServiceNow, MicroFocus,TFS, Custom Apss, Salesforce, Jama,
IBM RAtional, Version One.

15
 Ilustración 5 Herramientas con la que se Integra SmartBear QAComplete. Fuente: (SmartBear
QAComplete)

5.3 Squash Test Manager

Squash TM es el administrador del repositorio de pruebas del paquete de código abierto de
Squash. Permite gestionar los requisitos, los escenarios de prueba y las campañas de
ejecución, en un contexto nativo de múltiples proyectos.

16
 Ilustración 6 Interfaz Gráfica de la Herramienta Squash Test Manager Fuente: (Squah Test
Managment)

 Características:

 Gestión de repositorio de prueba:

- Repositorio multi-proyecto. - Cada usuario puede acceder a todos los proyectos
sobre los que tiene los derechos.
- Repositorio entre proyectos. - Un proyecto determinado puede hacer referencia
a los elementos de uno o más proyectos de terceros (caso de prueba, requisitos).
- Organización del repositorio en versiones de aplicaciones / hitos.

17
  Gestión de Requisitos. - Requisitos definidos con sus diferentes características
(descripción criticidad, categoría, etc.), registro de cambios, asociación de pasos de
prueba a los requisitos.

 Edición de Informes. - Seguimiento del progreso de las campañas, cobertura

funcional, informes de calificación.

 Administración. - Usuarios y privilegios, gestión de proyectos, gestión de

bugtruckers, gestión de campos personalizados, gestión de versiones.
o Trabajo Colaborativo. - gestión de acceso concurrente, intercambio de datos
entre proyectos.

 Ergonomía y Agarre. - Interfaz intuitiva, asociación de archivos adjuntos, editor de

texto que permite el formato avanzado.

 Integración:

 Para la gestión de errores, Squash TM interactúa de forma nativa con: Mantis Bug
Tracker, Redmine, Jira, Bugzilla.

Ilustración 7 Herramientas con las que se integra Squash Test Manager Fuente: (Squah Test
Managment)

 Squash Test Automation (herramienta de código abierto para la automatización de

pruebas funcionales y la industrialización de sus ejecuciones. Compatible con
varios PLC de código abierto (ejemplo de Selenium), permite administrar las
pruebas automatizadas de aplicaciones web, servicios web y lotes.).
(Squah Test Managment)

18
5.4 Test Link
Es una herramienta de gestión de pruebas basado en la web. La plataforma ofrece soporte
para casos de prueba, suites de prueba, planes de prueba, proyectos de prueba y
administración de usuarios, así como varios informes y estadísticas.

Ilustración 8 Interfaz Gráfica de la Herramienta TestLink Fuente: (TestLink)

 Características

 Funciones y gestión de usuarios.

 Agrupación de casos de prueba en especificaciones de prueba.

 Planes de prueba.

 Requisitos con control de versiones y revisión.

 Soporte para probar diferentes versiones del software.

 Informes, gráficos y monitores.

 Personalización de la interfaz de usuario utilizando plantillas Smarty.

 Integración

19
  Integración con LDAP.

 Integración con otro software utilizando una API proporcionada.

 Integración del sistema de seguimiento de errores: Mantis , JIRA , Bugzilla , FogBugz

, Redmine , y otros.
(TestLink)
5.5 PractiTest
Es una herramienta integral de gestión de pruebas fácil de usar, ágil y de control de calidad
de SaaS. Usando sus filtros únicos y personalizables, puede organizar eficientemente sus
requisitos, crear y ejecutar pruebas, rastrear errores y generar informes.
Su API puede garantizar una mayor personalización para sus necesidades de proceso.
No es de código abierto, pero también es bastante asequible. Puede beneficiarse de su apoyo
metodológico humano a lo largo de su uso.

Ilustración 9 Interfaz Gráfica de la Herramienta PractiTest. Fuente: (Practitest)

20
 Características:

 Organización de requerimientos, vinculación de los requerimientos con las pruebas,

para mejor visibilidad del estado del proyecto.

 Gestión de Pruebas, creación y organización de pruebas, en base a sprints, ciclos,

etc.

 Campos Personalizados, capacidad de personalizar los campos de cada módulo:

Requisitos, Biblioteca de pruebas, Conjuntos de prueba, Instancias y Problemas
para que se ajusten a su proceso.

 Seguimiento de errores, registro y administración.

 Pruebas exploratorias, seguimiento de la tendencia de prueba intuitiva utilizando la

función de prueba exploratoria.

 Filtros inteligentes, organización de pruebas, problemas y requisitos en función de

diferentes criterios simultáneamente: componentes, versiones, tipos o cualquier
otro criterio que elija.

 Generación de informes y la exportación de las mismas para ser procesada.

 Personalización de proyectos, campos, permisos de usuarios.

 Gestión de Tiempo, seguimiento de la duración de las pruebas, para tomar

estimaciones. Recopilación de información sobre el tiempo promedio que toma una
prueba para ejecutarse.

 Integración

 Solución de gestión de prueba de extremo a extremo para integración bidireccional

con JIRA Cloud y JIRA Server.

 La integración con Pivotal Tracker, brinda solución de administración de pruebas,

que mejora la funcionalidad avanzada de gestión de proyectos ágil de Pivotal
Tracker.

 Integración con Redmine, permite una gestión de procesos de desarrollo y una

solución integral de control de calidad de extremo a extremo.

 Integración con Bugzilla estándar, una vez que haga clic en el enlace Fallo y
problema en una ejecución de prueba, se abrirá un nuevo formulario de error en

21
 Bugzilla, con todos los datos (pasos y resultados reales) ya ingresados previamente
dentro de Bugzilla.

 Integración con otras herramientas de seguimiento de errores: YouTrack,

FogBugz, GitHub, GitLab, Trac, Mantis, Assembla, Lighthouse.

 Otros: Integración Slack, SVN Integración, Soporte Automatizado de Integración

de Pruebas, Integración Zapier, Integración Jenkins.
(Practitest)

5.6 TestRail
Software integral de administración de casos de prueba basado en la web para administrar,
rastrear y organizar de manera eficiente sus esfuerzos de prueba de software. TestRail le
ayuda a administrar y rastrear sus esfuerzos de prueba de software y a organizar el
departamento de control de calidad. Su interfaz de usuario intuitiva basada en la web facilita
la creación de casos de prueba, la administración de ejecuciones de prueba y la coordinación
de todo el proceso de prueba.
Rastrea y sigue fácilmente el estado de las pruebas individuales, los hitos y los proyectos
con paneles e informes de actividad. Obtiene información en tiempo real sobre el progreso
de sus pruebas y aumente la productividad con listas de tareas personalizadas, filtros y
notificaciones por correo electrónico.

22
 Ilustración 10 Interfaz Gráfica de la Herramienta Testrail. Fuente: (TestRail)

Características:

 Gestión de Pruebas Moderna:

- Todo en un solo lugar: permite administrar, organizar y realizar un seguimiento
de todos sus esfuerzos de prueba en un lugar central.
- Basado en la Web: acceda fácilmente a TestRail con todo su equipo, tanto en
su servidor como en el nuestro.
- Interfaz moderna: pruebas con una interfaz de usuario agradable y altamente
productiva.

 Resultados de la Prueba de seguimiento:

- Iniciar ejecuciones de prueba: comience fácilmente las ejecuciones de prueba y
seleccione casos de prueba basados en filtros potentes.
- Registra resultados: ejecuta pruebas y registra los resultados.

23
 - Filtrar y agrupar: céntrarse en los resultados que importan y agrupar, filtrar y
clasificar los resultados de manera eficiente.
- TestRail permite archivar completamente sus pruebas y proyectos al finalizar.
Las pruebas archivadas están protegidas de modificaciones y le permiten
auditar y revisar los resultados anteriores con confianza.

 Métricas e informes procesables en tiempo real incorporados:

- Genera informes resumidos detallados para proyectos, hitos, planes y
ejecuciones.
- Lleva un registro de los cambios en los casos de prueba, la actividad del caso y
las pruebas recién agregadas.
- Informes de trazabilidad y cobertura de requerimientos, pruebas y defectos.
- Informes de progreso precisos: estimar, seguir y pronosticar fácilmente las
fechas de finalización, el esfuerzo restante y las pruebas verificadas.
 Integración

 Una de las mejores integraciones es con JIRA (incluida la nube) y docenas de otras
herramientas. Se integra fácilmente con cualquier edición y versión de JIRA. Es
posible crear los resultados de las pruebas a los problemas y crear informes de errores
de JIRA desde TestRail.

 Integración con muchos rastreadores y diferentes programas:

24
 Ilustración 11 Herramientas con las que se integra TestRail. Fuente: (TestRail)

 Automatización de pruebas y API REST. – Integración de pruebas automatizadas y

envío de resultados de las pruebas con la potente API REST de TestRail o usando la
API para automatizar muchas áreas de la aplicación. Ya sea que se esté utilizando
herramientas populares como Selenium, marcos de prueba de unidades o sistemas de
integración continua (CI) como Jenkins: TestRail se puede integrar con casi
cualquier herramienta.

 Inicio de sesión único e integraciones de aplicaciones personalizadas. TestRail

también se integra con su infraestructura como Active Directory, LDAP o cualquier
sistema de autenticación personalizado para el inicio de sesión único.
(TestRail)

25
 6 Comparativa de las diferentes herramientas de gestión de pruebas
6.1 Características
Se realizara una evaluación sobre las diferentes características de las herramientas de gestión de pruebas que se mencionó
anteriormente, de tal forma poder ver si cumplen con algunas de las más importantes.

CARACTERÍSTICAS QTEST SMARTBEAR SQUASH TESTLINK PRACTITEST TESTRAIL

MANAGER QACOMPLETE TEST
MANAGER

Gestión de Requisitos
    
Manejo de Casos de
     
Prueba
Soporte Pruebas Manuales
     
Soporte Pruebas
    
Automatizadas
Seguimiento de Bugs
     
Generación de Informes
     

28
Integración con - Jira, Rally o -Jira. -Mantis, Bug - Mantis, Jira, -Jira -Jira
VersionOne. -Selenium Tracker, Bugzilla, -Selenium -FozBugz,
-Bamboo, TestNG. Redmine, Jira, FogBugz, -Pivotal, redmine,
eggPlant, -Bugzilla, Rally, Bugzilla. Redmine, y Redmine, bugzilla.
Cucumber, ServiceNow, -Squash Test otros. Bugzilla, -Axosoft
qTest APIs, MicroFocus,TF Automation. -Jenkins YouTrack, -Github, TFS
Jenkins y S, Custom Apss, FogBugz, -Geminis, Faro
Selenium. Salesforce, GitHub, -Vault Pro
-TestNG, Junit, Jama, IBM GitLab, Trac,
-Reunion
Cucumber for RAtional, Mantis,
-Mantis,
JAVA. Version One. Lighthouse.
Assembla,
- Slack, SVN
Ratreador
Zapier,
Pivotal,
Jenkins.
BugTracker.ne
t, Trac,
BitBucket,
YouTrack,
Estudio Visual,
etc.

29
 6.2 Costos
CARACTERÍSTICAS QTEST SMARTBEAR SQUASH TESTLINK PRACTITEST TESTRAIL
MANAGER QACOMPLETE TEST
MANAGER

Software de Pago/ Software de Software de Software libre, Software Software de Software de

Software Libre. Pago. qTest no Pago: Desde de código Libre, de pago: Desde pago: $ 30 /
proporciona 719$. abierto. código 35$, 45$ mes por
públicamente abierto. completo. Por usuario(nube).
la información usuario y mes. Servidor: $ 290
de precios para / año
este producto. por usuario o
Para tener menos.
información
detallada se
debe enviar una
solicitud de
precios.

30
6.3 Reviews
Herramienta Reviews Positivos Reviews Negativos Puntuación
- Fácil e intuitiva. - Licencia Bastante costosa. 4.5
- Aumento de Productividad. - Un producto grande por lo que es difícil
- Organización de casos de Prueba. reorganizar.

- Capacidad de integración con Jira para fines - A veces toma tiempo para acceder a las
de seguimiento. áreas funcionales deseadas.

- Utilidad de la herramienta de informes en la - Informes limitados en su configuración.

QTEST MANAGER gráfica del progreso del proyecto. - La adición de los campos de marcado en la
- La administración de versiones, requisitos, pantalla de creación de casos de prueba
casos de prueba y resultados de prueba sea realmente ralentiza el tiempo que lleva
muy fácil. completar un caso de prueba.

- Equipo de soporte es impresionante. - Difícil configurar todas las tecnologías con

- Facilita la navegación entre los casos de las que se integra.

prueba y la posibilidad de mantenerlos todos
en un solo repositorio.
- Fácil de usar.
- Los informes son excelentes: la capacidad de
generar informes en dimensiones.

31
SMARTBEAR - Muy adecuado para la gestión de requisitos, - No es adecuado para la gestión de proyectos 4.0
QACOMPLETE creación de conjuntos de pruebas y gestión de / tareas.
defectos. - Hay demasiados niveles de seguridad.
- Puedo extraer informes y datos para las - Problemas de rendimiento.
métricas de diferentes proyectos y períodos de
tiempo.
- Capacidad para gestionar pruebas, requisitos
y defectos de forma centralizada, vincularlos
entre sí y proporcionar una visión más amplia.
SQUASH TEST - Enfocado a multiproyecto. - Performance es malo a media que los 4.0
MANAGER - Es fácil de usar. proyectos van creciendo

- Código abierto. - La generación de reportes de documentos

- Integración con jira (Desde requerimiento). docx. es muy lento debería generarlo en

- Integración con Jenkins. formato .pdf.

- Servidor TA (Automatización).
- Cuadro de mando.
- Dashboard de control.
TESTLINK - Es fácil de usar, todos pueden usarlo con un - El diseño y la ergonomía es de la vieja 4.1
poco de entrenamiento. escuela, no muy atractivo.
- Es una herramienta muy útil para comenzar - Muy lento navegar por todo el software.
en el campo del control de calidad.

32
 - Código abierto y facilidad de uso. - El equilibrio de carga y los gráficos no son
lo suficientemente buenos para entender.
PRACTITEST - Funciones avanzadas, gran soporte - La administración de usuarios no existe 4.1
metodológico y técnico. realmente en el nivel de la Cuenta.
- El soporte es increíblemente rápido y - En muchas secciones encuentro PractiTest
profesional. un poco limitado.
- Fácil de usar, flexible.
- No encontrará ninguna otra herramienta de
gestión de pruebas que sea tan fácil de usar,
ejecutar, tan asequible y que tenga un Equipo
de Soporte que esté en su propia liga, es decir,
el Equipo de Soporte de PractiTest.
- Gran herramienta para la gestión de casos de
prueba y para reportar resultados
TESTRAIL - TestRail se ha integrado perfectamente con - Con toda la flexibilidad y las 4.2
nuestras otras plataformas corporativas, personalizaciones, se pierden algunas
específicamente Jira y Slack. características simples de calidad de vida.
Fácil de configurar y utilizar. Flexible. De - Los informes y la configuración
confianza. inicialmente no son muy intuitivos
- Me gusta la interfaz de usuario y lo fácil que
es usarla. También me gusta mucho cómo se

33
integra con Jira y otras herramientas de gestión
de proyectos. He utilizado varias herramientas
diferentes de gestión de casos de prueba y creo
que esta es la mejor con diferencia.
- "TestRail es fácil de usar, pero también es
fácil de personalizar para adaptarse a las
necesidades y procesos de mi equipo".

34
7 Conclusiones
Tomando en cuenta la información obtenida por el proceso de investigación que se hizo, las
características evaluadas en la tabla comparativa que se realizó, y el número limitado de muestra
que se tomó (ya que existen variedad de herramientas), se destaca bastante las diferentes
características que cada una tiene, las cuales proporcionan una importante colaboración en el
proceso de gestión de pruebas, destacando se sobremanera su capacidad de integración con
diferentes herramientas. De las herramientas open source se destaca Squash Test Manager ya que
proporciona muchas funcionalidades a la hora de hacer la gestión de pruebas, entre ellas: Gestión
de requisitos, manejo de casos de prueba, soporte de pruebas manuales, soporte de pruebas
automatizadas, seguimiento de bugs y generación de informes. Por lo cual tiene un gran alcance
en todo el ciclo o proceso que debe llevarse a cabo, que va desde la parte de integración con los
requerimientos del proyecto hasta los reportes que ayudaran a tener una mejor visión general de
cómo ha sido el proceso de su ejecución y gestión, así también poder analizar los resultados, es
una herramienta de código abierto por lo que puede adecuarse a las necesidades particulares de
cada proyecto y empresa, ya que se puede aportar características específicas a la herramienta.

Pero esto depende del enfoque que el usuario tenga, en el caso de proyectos más grandes quizás
esta herramienta ya pierde performance y es necesario optar por otra herramienta de paga que
proporcionara más estabilidad y respuesta al nivel del proyecto que enfrenta, si bien tiene costo
esto puede compensar a la hora de obtener resultados favorables evitando perdidas en factor tiempo
y económico, orientado a proyectos más grandes y viendo las características que ofrece sobre todo
en la parte integración que abarca un mayor alcance de la gestión de pruebas, se recomendaría la
herramienta Test Rail, ya que posee mayor capacidad de integración con múltiples herramientas
en comparativa con otras y tomando en cuenta la aceptación que tiene con los usuarios que han
tenido la oportunidad de manejarlo.

35
 8. BIBLIOGRAFÍA
Iris Pinkster, B. v. (s.f.). Successful Test Management: An Integral Approach.
Practitest. (s.f.). Obtenido de https://www.practitest.com/
qTest Manager by QASymphony . (s.f.). Obtenido de https://www.qasymphony.com/software-
testing-tools/qtest-manager/test-case-management/
SmartBear QAComplete. (s.f.). Obtenido de https://qacomplete.com/
Squah Test Managment. (s.f.). Obtenido de https://www.squashtest.org/fr/decouvrir-squash-
tm/contenu-statique/outils-et-fonctionnalites/squash-tm-test-management
Swebok. (s.f.). https://www.computer.org/web/swebok/v3. Obtenido de Guide to the Software
Engineering Body of Knowledge Swebok: https://www.computer.org/web/swebok/v3
TestLink. (s.f.). Obtenido de http://testlink.org/
TestRail. (s.f.). Obtenido de TestRail:
https://www.gurock.com/testrail?utm_source=adwords&utm_medium=cpc&utm_campai
gn=asia_afr_ams_en_generic&utm_content=testlink&gclid=Cj0KCQjwxvbdBRC0ARIs
AKmec9ar-BRasiRogOpnk9JbB-3SXjI5GMwZXVKDNVUszIKy0lJ0tC-
pU_QaAsJhEALw_wcB
Zephyr. (s.f.). Obtenido de https://www.getzephyr.com/

36