ISO 13528:2015

GENERALIDADES: MÉTODOS ESTADÍSTICOS PARA UTILIZAR

EN PROGRAMAS DE ENSAYOS DE APTITUD MEDIANTE
COMPARACIONES INTERLABORATORIOS

Julio de 2017
Introducción
Propositos de participación en ensayos de aptitud
 Evaluación del
desempeño
Propositos

Según la ISO/IEC 17043:2010 los Educación de los

Establecimiento de
eficacia y comparabilidad
programas de ensayos de aptitud laboratorios participantes de métodos de ensayo o
medición
tienen los siguientes objetivos.
Propósitos de un
Ensayo de Aptitud

El diseño estadístico y las técnicas

analíticas aplicadas deben ser
Identificación de Validación de quejas
apropiadas para los propósitos problemas en el
laboratorio
relacionadas con
incertidumbre
establecidos.
 Fundamentos para la evaluación del desempeño
En la mayoría de los Programas de Ensayo de Aptitud el proceso de evaluación del desempeño
de los participantes inicia con…

La determinación de la Se prosigue con la

desviación del
participante con respecto
a un valor asignado
Por ultimo, se decide si la
comparación de esa
desviación es causa de
desviación con respecto
preocupación o no
a un criterio

De aquí radica la importancia de la determinación del valor asignado y de la selección del criterio
de comparación.

Nota: la determinación del valor asignado y la selección del criterio de evaluación

independientemente de los resultados de los participantes ofrece ventajas
 Relación con la norma ISO/IEC 17043:2010
En la siguiente tabla se presentan algunos de los numerales de la ISO 13528:2015
que apoyan la implementación de la norma ISO/IEC 17043:2010

ISO/IEC 17043:2010 ISO 13528:2015

4.7.1.1 Validación de software y equipo de

0.5 Software de ordenador
procesamiento de datos

4.4.4 Diseño estadístico 5. Directrices para el diseño estadístico

4.4.3 Homogeneidad y estabilidad (validación de los 6.1 Homogeneidad y estabilidad de los ítems de
ítems de ensayo de aptitud) ensayo de aptitud

6.2 Consideraciones para diferentes métodos

4.5 Elección del método o procedimiento
de medición

7. Determinación del valor asignado y su

4.4.5 Valores asignados
incertidumbre estándar
Validación de Software y Experiencia Estadística

Debido a que la mayor parte de los software empleados en programas de ensayos de

aptitud corresponden a hojas de cálculo se recomienda comprobar la exactitud de los
cálculos realizados en dichas hojas. Por ejemplo la serie de documentos del NPL
(National Physical Laboratory – Reino Unido) “Software Support for Metrology”,
especialmente las guías No. 1 y 7, presentan lineamientos para realizar dicha validación.
Cabe anotar que no existe una guía o norma aceptada internacionalmente para la
validación de software

En relación con la experiencia estadística, ni la norma ISO 13528:2015 ni la ISO/IEC

17043:2010 presentan “especificaciones sobre cual es la experiencia necesaria”. Por lo
general, es necesario contar con una persona con experiencia técnica en otras áreas pero
que este familiarizado con los conceptos estadísticos básicos.
Conceptos
A continuación se presentan algunos conceptos
relacionados con estadística y ensayos de aptitud
Terminos y definiciones

• Valor que se atribuye • Medida de dispersión • Valor medido de la • Valor extremo del
a una propiedad utilizada en la magnitud menos un error de medición con
particular de un ítem evaluación de valor de referencia respecto a un valor
de ensayo de aptitud resultados de ensayo de referencia
de aptitud conocido, dado en
especificaciones o
regulaciones
Desviación
estándar para la Error máximo
Valor asignado Error de medición
evaluación de permisible
aptitud

Nota: a medida que se avanza en la presentación se darán otros conceptos

Principios generales
Propositos de participación en ensayos de aptitud
Requisitos generales para los métodos estadísticos

• Base teórica confiable,

Validez
• Desempeño conocido,
estadística
• Suposiciones demostrables.

Software
validado de Métodos Ajustados Coherencia con los objetivos
forma estadísticos al propósito establecidos en el programa
adecuada

Secuencia de
procedimientos
Descritos para el manejo de
para los
datos
participantes
Modelo básico

𝜀𝑖 ∼ 𝑁(0, 𝜎 2 )
Resultado del
participante

𝑥𝑖 = 𝜇 + 𝜀𝑖 Error de
medición
𝜇 ≈ valor asignado

Valor
verdadero del 𝜎 ≈ Criterio de comparación
mensurando
 Enfoques generales para la evaluación del desempeño

Para la evaluación del desempeño se tienen tres enfoques:

Por comparación con

criterios derivados
externamente
Por comparación con
otros participantes
Por comparación con
la incertidumbre de
medida declarada
Directrices para el
diseño estadístico
Métodos para determinar el valor asignado y su
incertidumbre de medición estándar asociada
 Consideraciones sobre el diseño estadístico

Se debe considerar la
naturaleza de los datos:
cuantitativos o cualitativos
Se deben considerar
metodologías para el
Suposiciones estadísticas
tratamiento de datos
de los datos: normalidad
atípicos o distribuciones de
(unimodalidad y simetría)
probabilidad distintas a la
normal

El número de participantes Un informe técnico de

puede afectar la IUPAC/CITAC recomienda
confiabilidad de los mínimo 20 participantes,
estimados del valor sin embargo, también se
asignado y su debe tener en cuenta otros
incertidumbre de medición aspectos
Directrices para la
revisión de los ítems
Prueba de homogeneidad y estabilidad
 Consideraciones sobre el diseño estadístico

Se debe evaluar la No siempre es necesario

homogeneidad y evaluar la homogeneidad y
En ensayos de aptitud
estabilidad de tal forma estabilidad, se puede
para calibración se debe
que no se afecten los emplear una metodología
evaluar la estabilidad
resultados del ensayo de que garantice que no
aptitud afectan los resultados

En algunos casos es
Se deben eliminar la
necesario tratar datos
equivocaciones obvias
atípicos para determinar el
antes de realizar cualquier
valor asignado y su
procedimiento estadístico
incertidumbre de medición
Valores asignados
Métodos para determinar el valor asignado y su
incertidumbre de medición estándar asociada
Modelo

𝑥𝑝𝑡 = 𝑥𝑐ℎ𝑎𝑟 + 𝛿ℎ𝑜𝑚 + 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝛿𝑠𝑡𝑎𝑏

Valor asignado Valor asignado Corrección Corrección Corrección
al mensurando al mensurando debida a la no debida al debida a la
homogeneidad transporte inestabilidad

Nota 1: se asume que 𝛿ℎ𝑜𝑚 , 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝛿𝑠𝑡𝑎𝑏 son iguales a cero (0).
Incertidumbre de medición
2
𝑢(𝑥𝑝𝑡 ) = 𝑢𝑐ℎ𝑎𝑟 + 𝑢2 𝛿ℎ𝑜𝑚 + 𝑢2 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝑢2 𝛿𝑠𝑡𝑎𝑏

Incertidumbre Incertidumbre Incertidumbre Incertidumbre Incertidumbre

asociada al asociada a la debida a la no debida al debida a la
valor asignado caracterización homogeneidad transporte inestabilidad
al mensurando (ensayo/calibración)

Nota: sino se puede determinar 𝑢 𝛿ℎ𝑜𝑚 , 𝑢 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝑢 𝛿𝑠𝑡𝑎𝑏 se debe demostrar “que los procedimientos
utilizados para reunir, producir, embalar y distribuir los ítems del ensayo de aptitud son suficientes para el
propósito del ensayo de aptitud” (ver numeral 4.4.3.6 de la norma ISO/IEC 17043:2010).
Formulación

Ítem de ensayo Métodos estadísticos Aplicaciones

•Mezcla de materiales en •𝑥𝑝𝑡 y 𝑈 𝑥𝑝𝑡 se •Muestras adicionadas

proporciones determinan empleando (sipiked simples),
especificadas, las proporciones de
•Adición de una sustancia material
a un material base, •Volumétrico,
•Gravimétrico
(precipitación
volatización).
 Material de Referencia Certificado (MRC)

Primero veamos algunas definiciones importantes:

Material de Referencia (MR): Material suficientemente homogéneo y estable con

respecto a una o más propiedades especificadas, sobre el cual se ha establecido
que se ajusta a su uso previsto en un proceso de medición.

Material de Referencia Certificado (MRC): Material de Referencia (MR)

caracterizado por un proceso metrológicamente valido para una o mas propiedades
especificadas, acompañado de un certificado de MR que presenta el valor de la
propiedad especificada, su incertidumbre asociada y una declaración de la
trazabilidad metrológica.

Ahora veamos algunos ejemplos:

Ejemplo de MRC
Se presenta algunos apartados del certificado MR de un fertilizante triturado “Certified Reference
Material Fertilizer A High-analysis Compound Fertilizer”:
Demostración de
homogeneidad
Valor de la propiedad
Incertidumbre de
especificada
medición asociada

Declaración sobre
Trazabilidad

Tomado de
http://www.famic.go.jp/ffis/fert/obj/mihon_13ae.pdf
Determinación del valor asignado

Siguiendo la siguiente notación:

𝑋𝑀𝑅𝐶 = Valor de la propiedad especificada y,

𝑈 𝑋𝑀𝑅𝐶 = Incertidumbre expandida asociada a 𝑋𝑀𝑅𝐶 ,

Entonces el valor asignado y su incertidumbre de medición asociada son:

𝑥𝑝𝑡 = 𝑥𝑀𝑅𝐶
𝑈 𝑥𝑝𝑡 = 𝑈 𝑥𝑀𝑅𝐶
Ventajas y desventajas
Ventajas:
• Costoso proporcionar a cada
participante una unidad de MRC,
• Se puede comprometer la
conmutabilidad de los ítems de
ensayo (no coinciden los MRC con
los MR empleados rutinariamente por
los participantes),
• Existe la posibilidad que los
participantes conozcan el ítem de
ensayo y, por tanto, saber cual es el
valor asignado y su incertidumbre.
Desventajas:
• No se deben realizar estudios de
homogeneidad y estabilidad,
• El proveedor del MRC asegura
trazabilidad metrológica,
• El valor asignado y su incertidumbre
de medición estándar se obtienen
independientemente de los
resultados de los participantes.
 Resultados de un laboratorio
Antes de iniciar: Recordemos que “la obtención del valor asignado independiente de los
resultados de los participantes presenta ventajas” por eso se espera que el
“laboratorio” empleado para obtener el valor asignado 𝑥𝑝𝑡 y su incertidumbre de medición
𝑢 𝑥𝑝𝑡 “NO SEA UNO DE LOS PARTICIPANTES” del ensayo de aptitud.

¿Cuándo se debe emplear?

1 Si existe un laboratorio que pueda aplicar un método de referencia conmutable a los

métodos empleados por el resto de laboratorios y con capacidades de medición
adecuadas,

2 Si la adquisición de MRC presenta inconvenientes que hacen imposible su uso en el

programa,

3 Si el número de participantes o cualquier otra situación imposibilitan emplear los

resultados de los participantes
Determinación del valor asignado

Cuando el Programa de Ensayos de Aptitud es secuencial (calibraciones), el valor asignado

𝑥𝑝𝑡 se puede determinar de la siguiente forma:

1 El promedio de los resultados de varias calibraciones realizadas durante la ronda y la

incertidumbre de la caracterización 𝑢𝑐ℎ𝑎𝑟 puede ser igual a la incertidumbre máxima o a la
combinación de las incertidumbres estimadas durante la ronda.

2 Los resultados de la calibración realizada antes de iniciar la ronda del ensayo de aptitud

Nota: se debe comprobar que los resultados del valor asignado son compatibles
metrológicamente en cada periodo de calibración (diferencia entre resultados inferior a dos
veces la incertidumbre de esta diferencia).
Método estadístico

Si el Programa de Ensayos de Aptitud es simultaneo (ensayos) y se dispone de un MRC

con las mismas características del MR empleado en el programa, el valor asignado 𝑥𝑝𝑡 se
puede determinar de la siguiente forma:

1 Realizar una serie de mediciones en ítems de ensayo y el MRC empleando el mismo

método,
2 Determinar el promedio de las diferencias entre el promedio para el ítem de ensayo y el
MRC 𝑑,
3 El valor asignado será: 𝑥𝑝𝑡 = 𝑋𝑀𝑅𝐶 + 𝑑

4 Incertidumbre de medición: 𝑢𝑐ℎ𝑎𝑟 =

2
𝑢𝑀𝑅𝐶 + 𝑢𝑑2
Ventajas y desventajas
Ventajas: Desventajas:

• No se deben realizar estudios de • En algunos casos es imposible disponer de

homogeneidad y estabilidad a los MR, un MRC con características semejantes a las
• Se puede asegurar la trazabilidad del MR empleado en el programa,
metrológica del MR a través del MRC, • Puede ser costoso o no disponer de
• El valor asignado y su incertidumbre de laboratorios que realicen mediciones
medición estándar se obtienen empleando el método de referencia
independientemente de los resultados de los solicitado en el programa.
participantes.
Consenso de laboratorios expertos
Se espera que los “Laboratorios expertos” sean externos al grupo de laboratorios participantes para
que la determinación del valor asignado y su incertidumbre sean independientes de los participantes.

¿Cómo se realiza?

1 Se preparan los ítems de ensayo para distribuir entre los participantes

2 Se seleccionan aleatoriamente algunos de los ítems

3 Un grupo de laboratorios expertos lo analizan empleando un protocolo en el que se especifica las

cantidades de ítems de ensayo de aptitud, replicados y cualquier otra condición pertinente.
Determinación del valor asignado
Para determinar el valor asignado y su incertidumbre de medición se tienen en cuenta los siguientes
puntos de vista:
1 Si los laboratorios expertos reportan un resultado único sin incertidumbres de medición se debe
aplicar la metodología de Consenso por laboratorios participantes,
2 Si los laboratorios expertos reportan mas de un resultado sin incertidumbres se debe establecer un
método alternativo para determinar el valor asignado y su incertidumbre de medición (como el
método Q/Hampel),

3 Si los laboratorios expertos reportan incertidumbres de medición con los resultados la estimación
del valor por consenso se constituye un problema complejo se han sugerido algunas soluciones
como el promedio ponderado o promedios no ponderados, entre otros (ver CCQM Guidance Note:
Estimation of a Consensus KCRV and Associated Degrees of Equivalence. Version 10. Bureau International des Poids et Mesures,
Paris (2013)).
Ventajas y desventajas
Ventajas: Desventajas:

• El valor asignado y su incertidumbre de • Se deben realizar estudios de homogeneidad

medición estándar se obtienen y estabilidad a los MR,
independientemente de los resultados de los • Se debe evaluar la trazabilidad metrológica
participantes. del MR a través del MRC,
• En algunos casos es complejo la estimación
del valor asignado y su incertidumbre de
medición,
• Se debe contar con suficientes recursos para
disponer de laboratorios expertos que
realicen las mediciones.
Consenso de laboratorios participantes
El valor asignado y su incertidumbre de medición se estima a partir de los resultados reportados por los
participantes (o un subgrupo confiable de participantes) empleado en una ronda de programa de ensayo
de aptitud.

Algunas recomendaciones
1 Emplear los métodos establecidos en el Anexo C de la norma,

2 Tener en cuenta el número de participantes y la presencia de valores atípicos para la aplicación de

estos métodos. La mayor parte de los métodos funcionan adecuadamente con mínimo 12
participantes

3 Se pueden emplear otras metodologías siempre y cuando cuenten con una base estadística solida.
Determinación del valor asignado
A continuación se presenta la forma de estimación del valor asignado y su incertidumbre de medición
asociada:

𝑥𝑝𝑡 = 𝑥 ∗

Donde 𝑥 ∗ representa el promedio robusto obtenido con cualquiera de los algoritmos dados en el
Anexo C.2, C.3 y C.5 de la norma ISO 13528:2015.

𝑠∗
𝑢 𝑥𝑝𝑡 = 1.25 ×
𝑝

Donde 𝑠 ∗ representa la desviación estándar robusta de los resultados reportados por los participantes.
Ventajas y desventajas
Ventajas: Desventajas:

• No se requieren mediciones adicionales para • Puede no existir acuerdo entre los

obtener el valor asignado, participantes,
• El enfoque puede ser especialmente útil con • Puede existir sesgo debido al uso general de
un mensurando normalizado, metodología defectuosa o en los métodos
• El promedio robusto incluye cualquier sesgo que se emplean para determinar el valor
debido a la inestabilidad por el transporte en asignado,
el ítem de ensayo, • Se deben realizar estudios de homogeneidad
• La incertidumbre incluye cualquier y/o estabilidad,
variabilidad debida a la inestabilidad del • Se debe evaluar la trazabilidad metrológica,
transporte. • El valor asignado y su incertidumbre de
medición estándar NO se obtienen
independientemente de los resultados de los
participantes.
Trazabilidad
Para garantizar la trazabilidad del valor asignado se podría emplear un grupo
de laboratorios participantes sobre los que se tiene información completa de los
patrones de calibración (fuente de trazabilidad igual) y tienen control de otras
condiciones de método pertinentes.
Comparación con un valor de referencia independiente
Se determina la diferencia entre el valor asignado y un valor de referencia independiente:

𝑥𝑑𝑖𝑓𝑓 = 𝑥𝑟𝑒𝑓 − 𝑥𝑝𝑡

Y su incertidumbre de medición

𝑢𝑑𝑖𝑓𝑓 = 𝑢2 𝑥𝑟𝑒𝑓 + 𝑢2 𝑥𝑝𝑡

Si 𝑥𝑑𝑖𝑓𝑓 ≤ 2𝑢𝑑𝑖𝑓𝑓 entonces pueden existir sesgo debido al método de medición de referencia o
debido al método de estimación del valor asignado, o la trazabilidad metrológica del valor asignado
no es la misma que la del valor de referencia.
Criterios para la
evaluación del desempeño
Selección y determinación de criterios de
comparación del error de medición del participante
Conceptos básicos
La diferencia entre el resultado de un participante 𝑥𝑖 y del valor asignado 𝑥𝑝𝑡 se compara
con un valor máximo permitido para esta diferencia. Este valor máximo permitido puede
ser:

Desviación estándar para la evaluación de aptitud: Medida de la dispersión utilizada

en la evaluación de resultados de ensayos de aptitud. Simbolizada por 𝜎𝑝𝑡 .

Error máximo permitido: Valor extremo del error de medición, con respecto a un valor
de cantidad de referencia conocido, permitido por especificaciones o regulaciones para
una medición determinada, un instrumento de medición o sistema de medición.
Simbolizado por 𝛿𝐸

Como alternativa, se puede comparar dicha referencia con la incertidumbre combinada

del participante y del valor asignado.
Métodos para determinar el criterio de evaluación
Método
Por percepción de expertos
Por experiencia de rondas previas
Mediante el uso de un modelo
general
Calculo Fuente
Obtenido de documentos. Por lo general 𝛿𝐸 se Autoridad reglamentaria, organismos de
obtiene de esa forma. acreditación, expertos
Por ejemplo modelos de regresión lineal simple: Rondas de ensayos de aptitud anteriores
𝜎𝑝𝑡 = 𝛽0 + 𝛽1 𝑥𝑝𝑡
Algoritmo S
Modelo general para reproducibilidad del método Se basa en información de estudios
como la Curva de Horwitz colaborativos realizados en un periodo
extenso.
Métodos para determinar el criterio de evaluación
Método Calculo Fuente

Uso de las desviaciones estándar Se basa en información de estudios

de reproducibilidad y repetibilidad
de estudios colaborativos
anteriores
De datos obtenidos de la misma
ronda
𝜎𝑅 = 𝜎𝑅2 − 𝜎𝑟2 (1 − 1 𝑚) colaborativos realizados en un periodo
Donde 𝑚 = número de mediciones replicadas por extenso.
participante en la ronda
Algoritmo A, Método Q/Hampel, Mediana/nIQR Resultados obtenidos en la misma ronda
(MADe), 𝑥/𝑠

Nota: El ultimo método presenta más desventajas que ventajas por lo que no se recomienda su
aplicación a menos que sea absolutamente necesario.
Estadísticas de
desempeño
Determinación de los indicadores de desempeño y
su interpretación
Límitación de la incertidumbre de medición

Se debe cumplir el siguiente criterio:

𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡 o 𝑢 𝑥𝑝𝑡 ≤ 0.1𝛿𝐸

Sino se cumple este criterio se debe:

• Determinar el valor asignado y su incertidumbre de medición con otra metodología,

• Emplear indicadores de desempeño que incluyan la incertidumbre del valor asignado en
su interpretación (𝑧´, 𝜁 y 𝐸𝑛 ).
• Informar a los participantes que 𝑢(𝑥𝑝𝑡 ) no es despreciable.
• Si es necesario determinar valores asignados por cada método de medición.
Estadísticas de desempeño

Indicador Fórmula Criterio

Estimados de la desviación 𝐷𝑖 = 𝑥𝑖 − 𝑥𝑝𝑡 Satisfactorio: 𝐷𝑖 < 𝛿𝐸

No satisfactorio: 𝐷𝑖 ≥ 𝛿𝐸
𝐷𝑖 % = 100 𝑥𝑖 − 𝑥𝑝𝑡 𝑥𝑝𝑡 %

Porcentaje de desviación 𝑃𝐴𝑖 = 𝐷𝑖 𝛿𝐸 × 100% Satisfactorio: 𝑃𝐴𝑖 < 100%

permitida No satisfactorio: 𝑃𝐴𝑖 ≥ 100%
Indicador z 𝑥𝑖 − 𝑥𝑝𝑡 Aceptable: 𝑧 < 2.0
𝑧𝑖 =
𝜎𝑝𝑡 Señal de advertencia: 2.0 ≤ 𝑧 < 3.0
Inaceptable: 𝑧 ≥ 3.0
Estadísticas de desempeño

Método Calculo Fuente

Indicadores 𝑧´ 𝑥𝑖 − 𝑥𝑝𝑡 Aceptable: 𝑧´ < 2.0

𝑧𝑖′ =
2 Señal de advertencia: 2.0 ≤ 𝑧´ < 3.0
𝜎𝑝𝑡 + 𝑢2 𝑥𝑝𝑡
Inaceptable: 𝑧´ ≥ 3.0

Indicadores zeta (𝜁) 𝑥𝑖 − 𝑥𝑝𝑡 Aceptable: 𝜁 < 2.0

𝜁𝑖 =
Señal de advertencia: 2.0 ≤ 𝜁 < 3.0
𝑢2 𝑥𝑖 + 𝑢2 𝑥𝑝𝑡
Inaceptable: 𝜁 ≥ 3.0
Indicadores 𝐸𝑛 𝑥𝑖 − 𝑥𝑝𝑡 Satisfactorio: 𝐸𝑛 < 1.0
𝐸𝑛 𝑖 =
No satisfactorio: 𝐸𝑛 ≤ 1.0
𝑈2 𝑥𝑖 + 𝑈2 𝑥𝑝𝑡
Evaluación de la incertidumbre de los participantes

Si se cumple el criterio de la diapositiva 42 (𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡 ) entonces existe una alta

probabilidad de que:

𝑢 𝑥𝑖 ≥ 𝑢 𝑥𝑝𝑡

Adicionalmente, si se puede determinar la desviación estándar robusta para la evaluación

de aptitud existe alta probabilidad de que:

𝑢 𝑥𝑖 ≤ 1.5𝑠 ∗

Sin embargo, sino se cumplen estos criterios no se puede invalidar la incertidumbre de

medición del participante.
Métodos gráficos para los
indicadores de desempeño
Gráficas para la presentación de los indicadores
de desempeño
Gráficas para presentar indicadores

Entre las gráficas principales se tienen:

• Histograma de resultados o indicadores de desempeño,

• Gráficas de densidad de Kernel,
• Gráficas de barras de indicadores de desempeño
normalizado,
• Gráfica de Youden.
Histograma
Histograma
Histograma
Gracias