Curso de Posgrado

Universidad Nacional de San Luis / La Rioja / Catamarca

Ingeniera Web: Marco de

Medicin y Evaluacin de Calidad
Contenidos
Parte IV
Dr. Luis Olsina
Metodologa WebQEM
Fases, Modelos y Herram. GIDIS_Web, Dpto. de Informtica,
Mtodo Heurstico Facultad de Ingeniera, UNLPam
Conclusiones E-mail olsinal@ing.unlpam.edu.ar
2007 GIDIS_Web
 Esquema

Una Metodologa de Inspeccin:

WebQEM
Otro Mtodo: Mtodo Heurstico
Conclusiones
 Taxonoma de Mtodos de Evaluacin
Clase de Mtodo
-- Testing
-- Inspeccin
-- Consulta, ...
Tipo de Mtodo
-- Anlisis de Log Files
Taxonoma -- Evaluacin Heurstica
de Mtodos de -- Evaluacin de Caractersticas, ...
Evaluacin Tipo de Automatizacin Fase
-- Manual -- Requerimientos
-- Semi-Automtico -- Captura
-- Automtico -- Anlisis
-- Recomendaciones
Nivel de Esfuerzo
-- Fcil de Usar, Aprender
-- Efectivo, Preciso
-- Rango de Aplicabilidad
 Ejemplo de Mtodo de Evaluacin
Clase de Mtodo
-- Inspeccin

Tipo de Mtodo
-- Evaluacin de Caractersticas
WebQEM y atributos

Tipo de Automatizacin Fase

-- Manual -- Anlisis
-- Automtico -- Recomendaciones

Nivel de Esfuerzo
-- Medianamente Fcil de Usar
-- Efectivo
 Motivaciones

No haba una Metodologa Cuantitativa

ampliamente reconocida para la evaluacin de
WebApps, en el tipo de Mtodos de Inspeccin
por Caractersticas.
Al menos hasta 1998 - WebQEM
(2000) WebQUAL, 2QCV2Q ...

Los procesos de Evaluacin y Medicin para que

sean efectivos requieren no slo soporte
metodolgico sino tambin tecnolgico.
 Problemtica en la Evaluacin

La Evaluacin de la Calidad, est basada en

modelos y mtricas de calidad, o est librada
a la intuicin y subjetividad de los
evaluadores?

Los procedimientos de valoracin de atributos

y caractersticas, estn centrados en modelos
de agregacin y mtodos cuantitativos de
clculo, o en modelos cualitativos?
 Problemtica en la Evaluacin

Las decisiones fundamentales de la evaluacin estn

centradas y dirigidas por el juicio de expertos, o por el
juicio de los usuarios?

El ente a valorar, puede ser considerado simple o

complejo, desde el punto de vista de la evaluacin?

Cules son los componentes objetivos y subjetivos

en el proceso de evaluacin? Los subjetivos pueden
ser minimizados?
 Propuesta de WebQEM

Evaluar y Comparar la Calidad de Artefactos Web

ms o menos complejos

Basada en Modelos y Mtricas de calidad

Modelo de Calidad ISO (modelo mixto)
Cuantificar atributos directos e indirectos

Basada en modelos de Agregacin de Atributos y

Caractersticas
Modelo de clculo meramente aditivo
Modelo de clculo multi-atributo no lineal
 Propuesta de WebQEM

Centrada en el juicio de evaluadores expertos en el

dominio

Permita Trazabilidad en el proceso de evaluacin

Favorezca seguimiento y justificacin de resultados

Propuesta de Metodologa Integral, Sistemtica y

Cuantitativa centrada en principios de IS
para evaluar la Calidad de Aplicaciones Web

Si no sabemos dnde estamos parados un mapa no ayuda

Evaluar, para realizar recomendaciones
 Propuesta de WebQEM: Fases
Si no sabemos dnde estamos parados un mapa no ayuda

Definicin de los Requerimientos de Calidad

Metas de Evaluacin
Perfil de Usuario (gerente, desarrollador, visitante)
Definicin de Requisitos No-funcionales
Evaluacin Elemental
Considerando etapas de Diseo e Implementacin
Evaluacin Parcial/Global
Considerando etapas de Diseo e Implementacin
Conclusin de la Evaluacin
Considerando Recomendaciones
 Fases de WebQEM
Planificacin y Programacin de la Evaluacin

Seleccin
del A1 X1 F(X1) IE1 Evaluacin y
Dominio Comparacin
del Arbol de Requerimientos

Funcin de Criterio Elemental

Satisfactory
Web-S1
100 %
Caractersticas y Atributos

Preferencias Elementales
Atributos Cuantificables
100 %
Web-S2 Web-S2
Web-Sn
Modelo Web-Sn
IG-Si

Unsatisfactory Marginal
Metas de
50% Scoring 50%
(LSP) Web-S1
Punto de Vista
del Usuario
0
0

Ranking Final de los

An Xn F(Xn) IEn
Artefactos Web
Definicin y Especificacin Evaluacin Elemental: Evaluacin Global:
de Requerimientos Definicin e Implementacin Definicin e Implementacin

Anlisis de Resultados, Conclusiones y Documentacin

 Non-functional Requirements Elementary Evaluation Partial/Global Evaluation
Web Audience's Needs Contextual
Decision
ISO/IEC 9126-1 Quality Models Criteria
or own-defined Web Quality Models

Requirements
Quality Requirements Specification
Definition

Web Product

the Evaluation
Evaluation
Descriptions Goal Elementary Global Indicator
Metric Definition

Design of
Indicator Definition Definition

Metric Elementary Global

Specification Indicator Indicator
Specification Specification

the Evaluation
Measure

Execution of
Web Product
Measurement Value
Components
Implementation
Indicator
Elementary Indicator Value
Implementation
Global Indicator
Implementation

Final
Results

Recommendations
Documentation / Conclusion of the Evaluation
 El Modelo de Calidad ISO 9126-1

Characteristics Software
Quality

Functionality Reliability Usability Efficiency Maintainability Portability

Suitability Maturity Understandability Time behaviour Analysability Adaptability

Accuracy Fault Tolerance Learnability Resource Changeability Instalability
Interoperability Recoverability Operability utilization Stability Co-existence
Security Compliance Attactiveness Compliance Testeability Replaceability
Compliance Compliance Compliance Compliance

Subcharacteristics
 Usabilidad

Usability : The capability of the software product to be understood,

learned, used and attractive to the user, when used under specified
conditions
Comparacin de Subcaractersticas

ISO 9126 IEEE 1061 Modelo de Calidad para la Web

Ttulo: Usabilidad Ttulo: Usabilidad Ttulo: Usabilidad
Tipo: Caracterstica Tipo: Caracterstica Tipo: Caracterstica
Sub-caracterstica/s: Sub-caracterstica/s: Sub-caracterstica/s:
Comprensibilidad Comprensibilidad Comprensibilidad (Global del Sitio)
Facilidad de Aprender Facilidad de Aprender Mecanismo de Ayuda y Retroalimentacin
Operabilidad Operabilidad Aspectos de Interfaces
Grado de Atraccin Nivel de Comunicacin Aspectos Estticos y de Estilo
 Caractersticas y Subcaractersticas

Usabilidad
Comprensin Global del Sitio
Ayuda y Retroalimentacin
Aspectos de Interface
Aspectos Estticos
Funcionalidad
Bsqueda y Recuperacin
Navegacin y Exploracin
Funciones y Contenido Especficos del Dominio (E-commerce,
Museos, Universidades ...)
Confiabilidad
Enlaces
Pginas
Compatibilidad de Navegadores
Eficiencia
Performance
Accesibilidad
 Caractersticas y Atributos
Usabilidad
Comprensin Global del Sitio
Esquema de Organizacin Global
Tabla de Contenidos
Mapa del Sitio
Indices (Alfabticos, Temticos, Hbridos ...)
Visita Guiada (convencional y/o virtual)
Mapa de Imagen
Aspectos de Interfaces y Estticos
Permanencia y Estabilidad en la Presentacin de los Controles
Principales
Controles Directos
Controles Indirectos
Estabilidad
Mantenimiento del Color de los Enlaces
 Caractersticas y Atributos

Confiabilidad
Enlaces
Enlaces Rotos
Enlaces Invlidos
Enlaces no Implementados
Pginas
Pginas Muertas
Pginas bajo Construccin
Errores de Ortografia
 Atributos y Mtricas

Porcentaje de Enlaces Rotos de un Sitio

CantidadEnlacesRotos Internos + CantidadEnlacesRotos Externos

PorcentajeEnlacesRot os = 100
CantidadTotalEnlaces

Porcentaje de Presencia de la propiedad ALT.

CantidadImgenesALT
PorcentajePresenciaA LT = 100
CantidadTotalImgenes
 Evaluacin Elemental Panorama

A1 X1 F(X1) EQ1

Criteria Function Definition

Elementary Preferences
100 %
Measurable Attributes

50%

An Xn F(Xn) EQn

Elementary Evaluation:
Design and Implementation
 Mtrica Web y Criterio Elemental

Mtrica
Porcentaje de Enlaces Rotos

X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio
Indicador de Calidad Elemental

IE = 1 (or 100%) si X = 0;
IE = 0 (or 0%) si X >= X max ;
otherwise IE = (X max X) / X max si 0 < X < X max

donde X max es algn umbral superior acordado, tal como 0.03

 Preferencias de Calidad Elemental
Caso de Estudio de E-bookstore
Amazon Barnes & Noble Cspide Daz de Santos Borders
1. Usability
1.2.3.1 100 100 100 0 100
1.2.3.2 100 100 80 80 100
2. Functionality
2.1.1.1 100 100 100 0 100
2.1.1.2 100 100 100 100 70
2.3.1.1.1 100 100 40 24 70
2.3.1.1.2.1 100 100 50 50 0
2.3.1.1.2.2 42 42 12 12 21
2.3.1.2.1 0 0 0 0 0
2.3.2.1.1.1.1 100 100 100 100 100
2.3.2.1.1.1.2 100 70 0 0 40
2.3.2.1.1.1.3 100 100 100 100 100
2.3.2.1.1.2 100 0 0 0 100
2.3.2.1.1.3.1 100 100 100 0 100
2.3.2.1.1.3.2 100 100 100 0 0
3. Reliability
3.1.1.1 98.4 97.45 99.83 60.07 76.34
4. Efficiency
4.1.1 100 77.75 100 99.75 99.70
 Evaluacin Global Panorama

EQ1 Ranking Process

Sat isfact ory

100 %

(Aditive or LSP Model)

Aggregation Process W eb-S2

GQ-Si

Unsat isfact ory Marginal

50% W eb-S1

W eb-Sn
0

Global Quality
EQn
Preferences
Global Evaluation:
Design and Implementation
 Evaluacin Global Modelos de Puntaje

Modelo de Puntaje Aditivo (T.Gilb)

Indicador Global = (Peso componente x Indicator elemental)
IG/P = P1 IE1+ ....+ Pn IEn

Modelo de Puntaje Lgico Multi-criterio (LSP)

(Weighted Power Mean Model - J. Dujmovic)
IG/P (r) = (P1 IE r1 + P2 IE r 2+ ... + Pm IE r m) 1/ r
Simultaneidad (y lgico)
Reemplazabilidad (o lgico)
Neutralidad
 Evaluacin Parcial: Modelo Aditivo

2.3 Specific Functionality and Contents for E-learning

...
2.3.3.1 Virtual Learning Environment Features (for a WbIS) <.0.35> (?)
2.3.3.2 Synchronous Communication and Collaboration Resources <0.40> (44.63)
2.3.3.1.1 Class Session Palette <0.20> (60.00)
2.3.3.1.2 Participation/Collaboration Mechanisms <0.25> (62.50)
2.3.3.1.2.1 Hand Raising <0.25> (0)
2.3.3.1.2.2 Class Member List <0.20> (100)
2.3.3.1.2.3 Synchronized Web Navigation <0.15> (100)
2.3.3.1.2.4 Assistant Instructor Participation <0.20> (50)
2.3.3.1.2.5 Workgroup Facility <0.25> (70)
2.3.3.1.3 Synchronous Resources. <0.25> (68.00)
2.3.3.1.3.1 Streaming Slides <0.20> (0)
2.3.3.1.3.2 Streaming Video <0.20> (100)
2.3.3.1.3.3 Shared Applications (e.g., Whiteboard) <0.20> (50)
2.3.3.1.3.4 Audio/Video Conference <0.20> (90)
2.3.3.1.3.5 Chat <0.20> (100)
2.3.3.1.4 Virtual Lab <0.30> (0.00)

2.3.3.1.3 = 0.20 * 0 + 0.20 * 100 + 0.20 * 50 + 0.20 * 90 + 0.20 * 100 = 68 %

 Modelos de Estructuracin y Puntaje

Lmites del Modelo de Agregacin Meramente Aditivo

Nmero limitado de componentes para la evaluacin. peso promedio

de cada componente es 1/n (o 100/n %).

Imposibilidad de modelar requerimientos obligatorios.

Imposibilidad de modelar requerimientos simultneos.

Imposibilidad de modelar requerimientos suficientes.

Malgasto en el esfuerzo de la evaluacin.

Modelo LSP con 17 Operadores Lgicos
Modelo LSP - Mecanismo de Agregacin

0.3
1
Usabilidad

2
Funcionalidad
0.3 Preferencia
C-+
Global
3
0.2
Confiabilidad

4
Eficiencia
0.2
 Actividades en el Proceso de Agregacin

Seleccin del tipo de relacin lgica entre elementos y/o

componentes: es decir, cabe preguntarse: es la relacin entre las entradas con
una polarizacin lgica conjuntiva, disyuntiva o neutra?

Seleccin del tipo de funcin conforme a la relacin de

entradas entre elementos y/o componentes: es decir, la cuestin
bsica a considerar consiste en decidir es la relacin de entradas simtrica o
asimtrica?

Seleccin del operador conforme al nivel de intensidad de

la polarizacin lgica
Seleccin de la importancia relativa de cada entrada
conforme a los requerimientos (esto es, la seleccin de los pesos)
 Preferencias de Calidad Global

Characteristic and Sub-characteristics Amazon B&N Cspide Daz Stos Borders

1. Usability 76.16 82.62 75.93 56.09 72.87
2. Functionality 83.15 80.12 61.69 28.64 61.45
2.1 Searching and Retrieving Issues 100 100 91 42.67 72.06
2.2 Navigation and Browsing Issues 70.71 69.85 73.25 64.12 51.95
2.3 Domain Specific Functionality and Content 81.99 76.53 45.81 14.42 61.55
2.3.1 Product Information 63.72 42.20 40.64 10.20 15.98
2.3.2 Purchase Features 91.76 84.84 67.72 17.11 81.92
2.3.3 Customer Features 100 85 20 28.08 65
2.3.4 Store Features 100 96.80 71.20 33.60 93.57
2.3.5 Promotion Policies 60 100 40 0 100
3. Reliability 99.44 99.11 90.97 78.51 91.66
4. Efficiency 96.88 74.54 90.17 86.01 90.90
Global Quality Preference 86.81 82.95 75.52 50.37 74.86
 Consideraciones Finales

Los desarrollos Web tienen cada vez ms complejidad

aadida y estn creciendo rpidamente
Orientacin a Documentacin y a Funcionalidad de
Aplicacin
Sin embargo, las prcticas recientes para desarrollos Web han
sido mas bien ad-hoc
Y el aseguramiento y el control de la calidad han sido, por lo
general, procesos poco tenidos en cuenta.
Urge un cambio de paradigma para minimizar la crisis en la Web

Web QEM realiza un aporte ingenieril mediante el uso de un

enfoque disciplinado y cuantitativo que se adecua a la
evaluacin, comparacin, anlisis y recomendaciones de la
calidad Web
 Consideraciones Finales

Describimos las fases y actividades principales y los

procedimientos para realizarlas.

Fase de Definicin y Especificacin de los

Requerimientos de Calidad
Determinacin de Metas y Perfil de Usuario

Seleccin del Modelo de Calidad

Modelo fijo de Calidad
Defina su propio modelo
Modelo mixto de Calidad

Especificacin del Arbol de Requerimientos

Arbol de Requerimientos reusable para Dominios Web
 Consideraciones Finales

Fase de Diseo e Implementacin de la Evaluacin

Elemental

Criterios de Evaluacin para cada Atributo Cuantificable

Valores y Rangos
Tipos de Criterios de Preferencia Elemental

Marco Descriptivo (Plantillas) de Caractersticas y Atributos

Favorece la creacin de documentos hiperenlazados
Modelo de Trazabilidad

Recoleccin de datos Manual y Automtico

Website_MA
 Consideraciones Finales

Fase de Diseo e Implementacin de la Evaluacin

Global

Seleccin de un Modelo Cuantitativo que permita derivar y calcular

Subcaractersticas y Caractersticas de ms alto nivel

Modelo meramente aditivo, lineal

Modelo no-lineal multiatributo, LSP
Fortalezas y Debilidades

Clculo Automtico
WebQEM_Tool
 Consideraciones Finales

Fase de Anlisis de Resultados y Recomendaciones

Web-site QEM permite Comprender

El estado del arte de Sitios Web Operativos
Subcaractersticas y Atributos Ausentes
Problemas de Diseo (Interface, Navegacin, Contenido, Performance,
Funcionalidad ...)
Requerimientos Pobremente Implementados
Especificar y Controlar Requerimientos de Calidad para Nuevos
Proyectos

Web-site QEM permite realizar Recomendaciones para Mejorar

la Calidad de Productos Web
 Referencias

Olsina L., 2000, Metodologa Cuantitativa para la

Evaluacin y Comparacin de Calidad de Sitios Web,
Tesis doctoral defendida en Abril del 2000, Facultad de
Ciencias Exactas, UNLP, La Plata.

Olsina L., Papa, M.F., Souto, M.E., Rossi, G.; 2001,

Providing Automated Support for the Web Quality
Evaluation Methodology, Proceed. of the Fourth
Workshop on Web Engineering, at the 10th
International WWW Conference, Hong Kong, pp 1-11.
 Referencias

Olsina L., Rossi G., 2002, Measuring Web Application

Quality with WebQEM, IEEE Multimedia, Vol. 9, N 4,
pp. 20-29.

Olsina, L.; Lafuente, G.J; Rossi, G.; 2000, E-commerce

Site Evaluation: a Case Study, LNCS of Springer-
Verlag; 1st International Conference on Electronic
Commerce and Web Technology, London, UK.
 Esquema

Una Metodologa de Inspeccin:

WebQEM
Otro Mtodo: Mtodo Heurstico
Conclusiones
 El Mtodo de Evaluacin Heurstica
Clase de Mtodo
-- Inspeccin

Tipo de Mtodo
-- Basada en Guas Heursticas
Evaluacin
Heurstica
Tipo de Automatizacin Fase
-- Manual -- Anlisis
-- Automtico -- Recomendaciones

Nivel de Esfuerzo
-- Fcil de Usar
-- Efectivo en Costos
-- Impreciso
 Mtodo de Evaluacin Heurstica

En Evaluacin Heurstica uno o ms

evaluadores (expertos en el dominio) evalan
independientemente un sitio Web, usando una
Lista de Heursticas.
Heursticas en el sentido de guas venidas de
expertos
Principios, Rule of Thumbs (Reglas Prcticas)
Evaluacin Heurstica, es la tarea de estimar el
estado de Usabilidad al aplicar RP establecidas y
derivar un puntaje para el sitio basado en cuan
prximo se cumplimentan los requerimientos
establecidos (J. Nielsen).
 Mtodo de Evaluacin Heurstica

En Evaluacin Heurstica el resultado del

proceso de evaluacin es tpicamente una lista
de posibles problemas de Usabilidad; esto es,
violaciones RoT.

Los evaluadores luego de evaluar

independientemente el sitio Web, determinan y
asocian grados de severidad para cada potencial
problema de Usabilidad.
 Mtodo de Evaluacin Heurstica

Evaluacin Heurstica es el mtodo de

inspeccin ms informal aunque efectivo en
costos.

Con frecuencia, con RoT contradictorias!!!

Es un mtodo rpido de aplicar, barato, fcil de

usar.
 Guas Heursticas

Heursticas para el atributo Texto de Pgina

Users prefer pages with more content as opposed to breaking
content over multiple pages (Landesman and Schroeder 2000).
Keep text short; use 50% less text than in print publications
(Nielsen 2000).
Break text up into smaller units on multiple pages (Flanders 1998;
Nielsen 2000).

Heursticas para el atributo Ttulo de Pgina

Use no more than 64 characters (Berners-Lee 1995).
Use 2-6 words (40-60 characters) (Flanders 1998).
Use different page titles for each page (Nielsen 2000).
 Guas Heursticas

Heursticas para el atributo Longitud del Texto del

Enlace
Use 2-4 words in text links (Nielsen 2000).
Use links with 7-12 useful" words (Sawyer and
Schroeder 2000).

Heursticas para el atributo Banner de Propaganda

Ads afect the user experience; integrate ads with
content (Klee and Schroeder 2000).
Usability dictates that ads should be eliminated
(Nielsen 2000).
Ads increase credibility (Kim and Fogg 1999).
 Guas Heursticas (segun Tate et al)
An Advocacy Web Page is one sponsored by an organization attempting
to influence public opinion (that is, one trying to sell ideas). URL
frequently ends in .org.

Criterion #1: AUTHORITY

1. Is it clear what organization is responsible for the contents of the
page?
2. Is there a link to a page describing the goals of the organization?
3. Is there a way of verifying the legitimacy of this organization?
That is, is there a phone number or postal address to contact for
more information? (Simply an email address is not enough.)
4. Is it clear whether this is a page from the national or local chapter
of the organization?
5. Is there a statement giving the organization's name as copyright
holder?
 Guas Heursticas (segun Tate et al)

Criterion #2: ACCURACY

1. Are the sources for any factual information clearly listed so

they can be verified in another source? (If not, the page
may still be useful to you as an example of the ideas of the
organization, but it is not useful as a source of factual
information).
2. Is the information free of grammatical, spelling, and
typographical errors? (These kinds of errors not only
indicate a lack of quality control, but can actually produce
inaccuracies in information.)
 Guas Heursticas (segun Tate et al)

Criterion #3: OBJECTIVITY

1. Are the organization's biases clearly stated?
2. If there is any advertising on the page, is it clearly
differentiated from the informational content?

Criterion #4: CURRENCY

1. Are there dates on the page to indicate:
a. When the page was written?
b. When the page was first placed on the Web?
c. When the page was last revised?
2. Are there any other indications that the material is kept
current?
 Guas Heursticas (segun Tate et al)

Criterion #5: COVERAGE

1. Is there an indication that the page has been
completed, and is not still under construction?
2. Is it clear what topics the page intends to address?
3. Does the page succeed in addressing these topics, or
has something significant been left out?
4. Is the point of view of the organization presented in a
clear manner with its arguments well supported?

http://www2.widener.edu/Wolfgram-Memorial-
Library/webevaluation/advoc.htm
 Referencias

Alexander, J.; Tate, M., 1999, Web Wisdom: How to

Evaluate and Create Information Quality on the Web,
Lawrence Erlbaum Pub., 1999.

Nielsen, J., Molich, R; Snyder, C; Farrel, S; 2001, E-

Commerce User Experience, Nielsen Norman Group.
 Esquema

Una Metodologa de Inspeccin:

WebQEM
Otro Mtodo: Mtodo Heurstico
Conclusiones
 Conclusiones
Web Engineering is concerned with the establishment
and use of sound scientific, engineering and
management principles and disciplined and systematic
approaches to the successful development, control,
deployment and maintenance of high quality WebApps
within budgetary constraints

Debemos seleccionar los mtodos y prcticas

apropiadas en el momento adecuado con el fin de
Asegurar la Calidad de WebApps

One size does not fit all needs and preferences however, we
ought to use some of them!