Vous êtes sur la page 1sur 13
VALIDACIÓN III PRECISIÓN • Fuentes de variabilidad • Cálculo de la precisión usando ANOVA • Muestreo:
VALIDACIÓN III
PRECISIÓN
• Fuentes de variabilidad
• Cálculo de la precisión usando ANOVA
• Muestreo: Un desafío pendiente
Taller 6
NATIONAL FOOD
Leonardo Merino
Science Department-Swedish National Food Agency
Santiago de Chile, Julio 2012
ADMINISTRATION
Ciencia y Arte (una diferencia) En cualquier ciencia, y en química analìtica quizás más que en
Ciencia y Arte
(una diferencia)
En cualquier ciencia, y en química analìtica quizás más que en otras
ciencias, siempre se tiene la necesidad de demostrar que los resultados
obtenidos fueron y son reproducibles. Sin la evidencia de
reproducibilidad no se puede afirmar categoricamente que lo que hacemos
es Ciencia; si no más bien algún tipo de Arte, en el cual lo producido es
único y sobre el cual nadie tiene expectativas de reproducibilidad
American Laboratory, (November, 2000)
NATIONAL FOOD
ADMINISTRATION
PRECISIÓN Una medida de la semejanza entre los resultados obtenidos de la repetida aplicación del mismo
PRECISIÓN
Una medida de la semejanza entre los resultados obtenidos de la
repetida aplicación del mismo método analítico bajo las mismas
condiciones.
La precisión es caracterizada por:
• Desviación estándar (s)
• Desviación estándar relativa (rsd, CV)
• Repetibilidad (s r ) y reproducibilidad (s Rw )
• Desviación estándar de la media (s M )
La precisión es la expresión cualitativa del error aleatorio y no tiene
nada que ver con la proximidad del resultados al “valor verdadero”.
La precisión normalmente es dependiente de la concentración del analito
(heterocedástica) y de la matriz.
NATIONAL FOOD
ADMINISTRATION
La precisión y las condiciones experimentales Aumento  Entre laboratorios Entre-grupos Dentro-grupos (dentro laboratorio) El mismo
La precisión y las condiciones experimentales
Aumento 
Entre
laboratorios
Entre-grupos
Dentro-grupos
(dentro laboratorio)
El mismo
(el mismo analista, dia,
instrumento)
extracto
r
R
R w
Repetibilidad
del instrumento
Repetibilidad
Precisión intermedia
Reproducibilidad
En general cuando más varían las condiciones experimentales de aplicación de un
método es menor la precisión obtenida (aumenta la desviación estándar)
NATIONAL FOOD
ADMINISTRATION
La independencia de las repeticiones asegura la representatividad del cálculo de la precisión Porción de A
La independencia de las repeticiones asegura la
representatividad del cálculo de la precisión
Porción de
A
ensayo-
Muestra de
(extracto)
ensayo
B
Muestra de
Medición
laboratorio
C
A – precisión de solamente la medición
B – precisión de la extracción y medición
C – precisión del método completo
NATIONAL FOOD
ADMINISTRATION
¿Cuántos análisis deben ser efectuados? /s 5 4 Intervalo de confianza de la relación de la
¿Cuántos análisis deben ser efectuados?
/s
5
4
Intervalo de confianza de la relación de la
desviación estándar poblacional y muestral
3
2
1
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
34
36
38
40
Número de determinaciones (n)
El diagrama muestra la manera en que la desviación estándar de la población varía
con respecto a la desviación estándar de la muestra. En general se puede
comprobar que cuanto más determinaciones son realizadas, la relación de ambas
desviaciones estándares se acerca a la unidad.
NATIONAL FOOD
ADMINISTRATION
0
Calculando la precisión – Combinando datos (Pooling Data) • Es una solución práctica para obtener un
Calculando la precisión – Combinando datos
(Pooling Data)
• Es una solución práctica para obtener un grupo
representativo de resultados cuando no es posible
obtenerlos en una única jornada de trabajo.
• Varios grupos pequeños de datos (provenientes de
diferentes analistas o laboratorios) pueden ser combinados
siempre que ellos hayan sido obtenidos bajo condiciones de
repetibilidad.
NATIONAL FOOD
ADMINISTRATION
Repetibilidad – Datos combinados Un analista efectúa analisis triplicado, bajo condiciones de repetibilidad, en cuatro dias
Repetibilidad – Datos combinados
Un analista efectúa analisis triplicado, bajo condiciones de repetibilidad, en cuatro dias diferentes.
105
100
95
90
Día1
Día2
Día3
Día4
Use ANOVA para comprobar significancia estadística entre los grupos
Si no hay significancia:
Si hay significancia:
• Calcule s r directamente de las
tablas de ANOVA.
• Considerar todos los resultados
como un solo grupo.
La desviación estándar de
repetibilidad s r es dada por la
desviación estándar de todos los
resultados.
• El número de grados de libertad es:
S r =  MS d , dentro-grupos
• El número de grados de libertad es:
p(n-1)
pn-1
NATIONAL FOOD
ADMINISTRATION
Nota: Si el tamaño de los grupos son similares, aun con diferencias entre varianzas
de 9 veces, los resultados de ANOVA siguen siendo confiables
Analito conc.
Tabla de ANOVA Fuente de Suma de cuadrados Grados de libertad ( ) cuadrado medio variación
Tabla de ANOVA
Fuente de
Suma de
cuadrados
Grados de
libertad ( )
cuadrado medio
variación
(SS)
(MS)
Entre-grupos SS e
Dentro-grupos SS d
Total SS t
SS
=
SS t - SS e
e
e
e
SS d =   i s i ²
MS e =
MS d =
d
SS t =  t s t ²
 = p -1
 d = p (n-1)
 t = p n-1
SS e /
SS d /
-
2
2
2
s d ² =
MS d
s e ² = (MS e - MS d ) / n
s t
=
s e
+ s d
Usa los cálculos de ANOVA para obtener la variación de los resultados
entre-grupos y dentro-grupos.
Conociendo los cuadrados medios y su relación con las desviaciones
estándares, se calcula la repetibilidad y reproducibilidad intermedia.
NATIONAL FOOD
ADMINISTRATION
• Repetibilidad – Desviación estándar dentro de grupos s MSd d  Los grados de libertad
• Repetibilidad – Desviación estándar dentro de grupos
s
MSd
d 
Los grados de libertad asociados con el cálculo de S d es p(n-1)
La precisión dentro-grupos (S d ,) nos puede servir para medir la
diferencia de concentracion entre dos o más muestras de laboratorio
en una misma lote de análisis.
NATIONAL FOOD
ADMINISTRATION
Reproducibilidad – Desviación estándar entre grupos MS  MS e d s  e n Donde
Reproducibilidad – Desviación estándar entre grupos
MS
MS
e
d
s
e
n
Donde n es el número de resultados dentro de cada grupo
Los grados de libertad asociados con el cálculo de S e es p-1
La precisión entre-grupos, calculada por S e , según el diseño
experimental de validación propuesto, puede interpretarse como una
medida de la variación de las diferentes curvas de calibración entre
cada lote, (y eventualmente otros factores no controlados durante el
estudio de validación).
NATIONAL FOOD
ADMINISTRATION
Precisión intermedia ² S t =  S entre ² + S dentro S t =
Precisión intermedia
²
S t =  S entre ² + S dentro
S t = S Rw
Observe que:
Si los grupos de datos son obtenidos por un laboratorio en diferentes dias,
diferentes analistas o instrumentos; S t representa la precisión intermedia del
laboratorio (S Rw ).
Si los diferentes grupos fueron obtenidos de diferentes laboratorios; S t representa
la desviación estándar de reproducibilidad del método (R).
NATIONAL FOOD
La precisión intermedia del laboratorio (s Rw = u Rw ) es una de los dos
fuentes principales incluídas en el cálculo de la incertidumbre combinada
de la medición (u c ).
ADMINISTRATION
Muestreo: Un gran desafío pendiente! Micotoxinas en maíz ¿Donde? ¿como? ¿que? ¿cuanto? NATIONAL FOOD ADMINISTRATION
Muestreo: Un gran desafío pendiente!
Micotoxinas en maíz
¿Donde? ¿como?
¿que? ¿cuanto?
NATIONAL FOOD
ADMINISTRATION
Muestreo • Muestreo es el procedimiento para tomar o constituir una muestra (Codex, CAC/GL 50-2004). •
Muestreo
Muestreo es el procedimiento para tomar o constituir una
muestra (Codex, CAC/GL 50-2004).
Muestreo es el proceso de seleccionar, de alguna manera,
una porción o parte de un material que represente o de
información acerca del total del material (Prichard E.-VAM).
Un procedimiento definido por el cual se toma una parte de
una substancia, material o un producto para proveer una
muestra representativa del total, para el ensayo o la
calibración (ISO /IEC 17025)
NATIONAL FOOD
ADMINISTRATION
Muestreo: Un gran desafío pendiente!  2 total =  2 sample +  2 analysis
Muestreo: Un gran desafío pendiente!
 2 total =  2 sample +  2 analysis
 2 total
 2 sam
 2 an
incertidumbre total del ”valor verdadero”
incertidumbre del muestreo
incertidumbre del análisis químico
< 34.0 %
34.5
- 36.0 %
36.0
- 37.5 %
37.5
- 39.0 %
Fig. Perfil de la humedad en un cilindro de queso
NATIONAL FOOD
ADMINISTRATION
Lab No. Humedad (g/100g) 2 60.1 Precisión analítica – 4 59.4 5 59.2 Análisis de Humedad
Lab No.
Humedad (g/100g)
2
60.1
Precisión analítica –
4
59.4
5
59.2
Análisis de Humedad
6
59.5
7
59.6
8
59.6
Proficiency testing N-27
10
58.1
11
59.3
12
59.3
13
61.3
Moisture (g/100g)
14
55.3
n
15
59.9
31
16
59.0
59.2
17
59.3
Media
18
59.3
SD
0.47
19
59.4
21
59.1
RSD%
0.79
22
59.8
23
59.1
24
58.5
25
59.4
26
59.1
27
59.8
 an «  sam
28
59.2
29
58.3
30
58.7
31
59.3
La incertidumbre del muestreo es el
34
59.0
35
58.5
problema!
37
59.2
NATIONAL FOOD
39
59.6
ADMINISTRATION
Relación entre la incertidumbre analítica, incertidumbre del muestreo e incertidumbre total 2  an  t
Relación entre la incertidumbre analítica, incertidumbre del
muestreo e incertidumbre total
2
 an
 t = √ an 2 +  sam
Si  an
es igual a 0.3  sam ,
0.1
1.01
sam
sam
 t aumenta en 5%
0.3
1.05
sam
sam
0.5
1.12
sam
sam
Si  an
es igual
a 0.5  sam ,
0.7
1.22
 t aumenta en 12%
sam
sam
1.0
1.41
sam
sam
Si  an
es igual
a  sam ,
2.0
2.24
sam
sam
 t aumenta en 41%
3.0  sam
3.16
sam
Un criterio que puede justificar la necesidad de mejorar
la incertidumbre analítica es cuando:
 an > 0.5  sam
NATIONAL FOOD
ADMINISTRATION
Una experiencia (NFA) 1 2 3 4 5 6 7 NATIONAL FOOD ADMINISTRATION 1.- Remesa 2.-
Una experiencia (NFA)
1
2
3
4
5
6
7
NATIONAL FOOD
ADMINISTRATION
1.- Remesa 2.- Lote; 3.-Incrementos-Muestra primaria; 4.- Agregado-Muestra compuesta;
5.- Submuestra-Muestra secundaria; 6.-Muestra de laboratorio; 7.-Muestra de análisis
”Guerra avisada no mata gente” Refrán popular El muestreo y la incertidumbre del muestreo son asuntos
”Guerra avisada no mata gente”
Refrán popular
El muestreo y la incertidumbre del muestreo son asuntos técnicos que
tienen que ser tomados muy seriamente por el químico analítico.
La incertidumbre del muestreo debe ser un asunto de mucho interes
para el químico analítico experimentado, quien no será considerado
como un profesional competente si simplemente proporciona un
resultado de una medición sin implicarse en los aspectos más amplios
de su trabajo.
Michael Thompson (2004). Accred Qual Assur 9:425- 426
NATIONAL FOOD
ADMINISTRATION
Taller 6 • Cálcular la precisión usando ANOVA Referencias •Method validation Course 0072. LGC limited. London,
Taller 6
• Cálcular la precisión usando ANOVA
Referencias
•Method validation Course 0072. LGC limited. London, 2002
• Wilson, A.L. “The Performance Characteristics of Analytical Methods-IV (1974) Talanta 21,
1109-1121
• Intralaboratory Analytical Method Validation Training Course. AOAC International, 1999
• Miller & Miller. Estadística y Quimiometría para Química Analítica. Prentice Hall. 4ta Ed. 2000
• Krull, Ira (2001). American Laboratory. Janaury/February
• Codex CAC/GL 50-2004. Directrices generales sobre muestreo
•Thompson, M. (1999). Sampling: the uncertainty that dares not speak its name. J. environ. Monit
NATIONAL FOOD
ADMINISTRATION
Ejercicio 1: Cálculo de la precisión usando ANOVA Un estudio fue realizado para evaluar la precisión
Ejercicio 1: Cálculo de la precisión usando ANOVA
Un estudio fue realizado para evaluar la precisión de un método analítico
para determinar arsenico en agua potable. Se eligió una muestra estable y
homogénea para la ejecución del estudio. Un analista en un laboratorio
efectuó los análisis en cinco días diferentes (p = 5 grupos). Se efectuaron
análisis triplicados en cada grupo (n = 3).
Los resultados son presentados en la Tabla 1.
Preguntas
a.
¿Existe una diferencia significativa entre los grupos de resultados
obtenidos en diferentes días?
b.
¿Cuál es la desviación estándar de repetibilidad del método?
c.
¿Cuántos grados de libertad tiene S r ?
d.
¿Cuál es la precisión intermedia del método?
NATIONAL FOOD
ADMINISTRATION
Ejercicio 1 a. ¿Existe una diferencia significativa entre los grupos de resultados producidos en los diferentes
Ejercicio 1
a. ¿Existe una diferencia significativa entre los grupos de resultados producidos en
los diferentes días?
Se obtiene la Tabla de ANOVA
Fuente de
Suma de
Grados de
Cuadrado Medio
F=MS e /
MS d
p-value
F 0.05
variación
Entre-grupos SS e
Dentro-grupos SS d
Total SS t
Cuadrados (SS)
Libertad ()
(MS)
F obs
F crit
0.489
4 MS
=
0.1222
9.07
3.48 0.0023
e
0.135
10
MS d =
0.0135
0.623
14
Se compara el F obs = 9.07 y el F crit = 3.48
El F obs > F crit , hay diferencia significativa entre grupos
NATIONAL FOOD
ADMINISTRATION
Ejercicio 1 b. ¿Cuál es la desviación estándar de repetibilidad del método? s MSd d 
Ejercicio 1
b. ¿Cuál es la desviación estándar de repetibilidad del método?
s
MSd
d 
s
0.0135  0.116
d
La desviación estándar de repetibilidad, S r es 0.116
NATIONAL FOOD
ADMINISTRATION
Ejercicio 1 c. ¿Cuántos grados de libertad tiene S r ? Aplicar la fórmula de ANOVA
Ejercicio 1
c. ¿Cuántos grados de libertad tiene S r ?
Aplicar la fórmula de ANOVA
 d = p(n-1) = 5*(3-1) = 10
d. ¿Cuál es la precisión intermedia del método?
MS
MS
0.122  0.013
e
d
s
s 
e
e
n
3
²
S t ² = S entre ² + S dentro
S t ²= 0.036+ 0.013 = 0.050
NATIONAL FOOD
S t = 0.223
ADMINISTRATION
Taller – Ejercicio 1 Comparación de Procedimientos (Excel y hoja de aplicación) NATIONAL FOOD ADMINISTRATION
Taller – Ejercicio 1
Comparación de Procedimientos (Excel y hoja de aplicación)
NATIONAL FOOD
ADMINISTRATION