Vous êtes sur la page 1sur 6

Investigación, teoría y método

Evaluación de pruebas diagnósticas.


Estudios de concordancia
Bautista G.*, Tamayo MC.**

E l estudio de concordancia mide la extensión en que los resultados produ-


cidos por dos técnicas diferentes son iguales entre si, es decir, la extensión
en la que una de las técnicas podría servir como sustituta de la otra cuando
se utilizan en el mismo sujeto de forma simultánea, esto último, con el fin de
asegurar que las diferencias encontradas sean inherentes a las técnicas o
instrumentos evaluados y no a cambios propios del sujeto. Ej. Cuando medi-
mos la frecuencia cardiaca de un individuo, esta podría variar si la tomamos
antes o después de realizar alguna actividad física cardiovascular y esta a su
vez puede comportarse diferente cuando se mide en el mismo momento
pero en sujetos diferentes.

Tiene como objetivo, establecer el grado de comparación entre los resulta-


dos de dos pruebas diagnósticas o instrumentos de medición y así determi-
nar si las dos pruebas o instrumentos producen resultados lo suficientemen-
te comparables que los haga intercambiables. El propósito de realizar este
tipo de estudios responde por un lado, a la necesidad clínica de aplicar exá-
menes diagnósticos menos costosos e invasivos con alta exactitud y por
otro lado a la necesidad de soportar la validez interna de los estudios cientí-
ficos la cual depende de que las mediciones que se realicen representen en
realidad las variables que se están evaluando.

Existen dos tipos de estudio de concordancia:

• Estudios de conformidad cuando se comparan las medidas de una


*
Bc UIS Mcs Microbiología. Especia- técnica nueva con las obtenidas de un patrón de oro claramente identi-
lista en Estadística. Universidad Na- ficado como por ejemplo la sonda periodontal manual para el diagnós-
cional de Colombia. Unidad de Inves-
tigación. Facultad de Odontología. tico de enfermedad periodontal.
Universidad El Bosque.
**
Od. Periodoncista PUJ. Unidad de In- • Estudios de consistencia, se usan para comparar los resultados de dos
vestigación. Facultad de Odontolo-
gía. Universidad El Bosque. Miembro técnicas entre si cuando no existe un patrón de oro reconocido y nin-
Institucional FSFB. guna de las dos se asume como la «correcta».
Investigación: teoría y método

La concordancia entre las resultados evitar variaciones debidas a nocimiento, presencia de algu-
obtenidos de dos instrumentos o téc- cambios propios del sujeto eva- na incapacidad física, falta de
nicas se dan en términos de preci- luado y lo suficientemente lar- concentración en el momento
sión que elimina el error debido al gos que permitan la existencia de realizar las mediciones, em-
azar incrementando el potencial del de fluctuaciones debidas al azar. pleo de palabras confusas o am-
método de estudio para la detección • Coherencia interna: mide el biguas durante la realización de
de errores y exactitud que elimina grado de correlación entre dos entrevistas, etc. Ej. Variabilidad
el error debido al sesgo e influye so- variables que miden la misma en la presión ejercida sobre una
bre la validez externa e interna de característica. Esta evaluación se sonda periodontal durante exa-
un estudio porque permite determi- hace generalmente para validar men clínico.
nar el grado en que los resultados cuestionarios y encuestas que • VARIABILIDAD DEBIDA AL INDIVIDUO O
observados en la muestra estudiada presentan varias preguntas para MUESTRA OBSERVADA: se refiere ala
pueden ser extrapolados a un univer- evaluar la misma variable. variabilidad biológica de los su-
so o población general. La precisión • Coherencia Inter. - examinado- jetos que se estudian Ej. ciclos
y exactitud son conceptos que de- res: (Calibración Inter.- exami- circadianos, estado anímico del
ben ir juntos y deben lograrse en un nadores) Determina la concor- sujeto estudiado, alteración físi-
instrumento de medición o en una dancia entre las mediciones a ca de la muestra por cambios de
prueba diagnóstica ya que indican ciego realizadas por dos o mas presión o temperatura, etc. ej.
su validez. observadores obtenidas de la Cambios dimensionales de las
misma muestra. Se sugiere que impresiones en alginato por
para esta calibración se utilicen cambios de temperatura am-
Precisión varias muestras que contengan biental.
todas las características posibles • VARIABILIDAD DEBIDA AL INSTRUMENTO:
Se define como el grado en que una a ser evaluadas. hace referencia a las variaciones
variable tiene valores similares cuan- • Coherencia intra- examinador inherentes al instrumento y a su
do se mide varias veces. Entre más (Calibración Intra-examinado- funcionamiento que se pueden
precisa es una medición, dado un res): Mide concordancia entre originar en alteraciones de tipo
tamaño de muestra determinado, ma- las mediciones a ciego realiza- ambiental como ruidos de fon-
yor es el poder estadístico para esti- das por el mismo observador do, humedad, temperatura, de-
mar los valores medios y comprobar obtenidas de la misma muestra formaciones del instrumento
la hipótesis. a diferentes tiempos. Se sugiere etc. Ej. cuando se realizan medi-
que para esta calibración se rea- ciones de color dental visual sin
La precisión mide la Coherencia en- licen un numero de mediciones estandarizar la intensidad y di-
tre resultados de mediciones empa- impares a partir de tres con un rección de la luz.
rejadas en los siguientes casos: intervalo de tiempo suficiente
que permita eliminar el sesgo de Para lograr aumentar la precisión de
• Coherencia examen– reexa- memoria. las medidas se debe reducir el error
men (Calibración de instru- aleatorio tratando de contrarrestar la
mentos): En estudios experi- La precisión se ve afectada por erro- variabilidad debida al observador, al
mentales la precisión de las me- res de tipo aleatorio, entre mayor es individuo y al instrumento, usando
diciones de experimentos repe- el error, menos precisa es la medi- las siguientes estrategias.
tidos aumenta la validez de los ción. Es así que cuando realizamos
resultados. Cuando se trata de las mediciones puede haber tres • Estandarizar los métodos de
determinar la precisión de una fuentes de error: medición estableciendo con
prueba diagnóstica se aplica en claridad y por escrito en el pro-
el mismo sujeto o en la misma • VARIABILIDAD DEBIDA AL OBSERVADOR tocolo las definiciones operati-
muestra a intervalos de tiempo QUE REALIZA LAS MEDICIONES, ya sea vas o el manual de instrucciones
lo suficientemente cortos para por falta de entrenamiento, co- que indique claramente como

UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA 75


Investigación: teoría y método

preparar la muestra o el sujeto, Exactitud te o inconsciente en la percep-


que indique los parámetros y ción o registro de la medición
condiciones para tomar las me- Es el grado que una variable repre- por parte del observador. Esto
diciones, cómo anotar los resul- senta lo que intenta representar. La ocurre cuando el observador es
tados de las mediciones, etc. Esta exactitud de las mediciones puede el mismo investigador y por el
estrategia disminuye la variabi- establecerse mediante la compara- interés de comprobar su hipó-
lidad debida al observador y al ción de estas con técnicas de referen- tesis tiende a supravalorar o in-
individuo. cia o patrones de oro que se saben fravalorar los resultados de un
• Entrenar y calibrar a los exa- exactas. fenómeno estudiado, o tiende a
minadores intra e ínter exami- hacer una búsqueda exhaustiva
nador, comprobando que tie- En la exactitud existen tres fuentes de una variable que sabe podría
nen el conocimiento y el domi- de error sistemático o de sesgo: estar relacionada con el fenóme-
nio de las técnicas especificadas • SESGO DEBIDO AL INDIVIDUO: Es una no evaluado.
en el manual de instrucciones distorsión constante de la medi- • SESGO DEBIDO AL INSTRUMENTO: Cuan-
para la toma de mediciones, esta ción debida al individuo que se do se usan instrumentos inapro-
estrategia disminuye la variabi- esta observando generando una piados para medir una variable,
lidad debida al observador me- alteración importante en el fe- como por ejemplo, usar una es-
jorando la coherencia de las téc- nómeno observado. Esto puede cala de memoria para evaluar in-
nicas de medición. suceder por que el individuo de teligencia, o cuando el instru-
• Calibración de los instrumen- manera consciente o incons- mento se encuentra con defi-
tos, validación de encuestas y de ciente, al saberse evaluado pue- ciencias de funcionamiento.
ser necesario automatizarlos pa- de alterar su comportamiento,
ra que se disminuya la variabili- sus hábitos, o sus respuestas Las estrategias para lograr la exacti-
dad debida al observador y al ante una encuesta, lo que se co- tud incluyen las mismas cuatro es-
instrumento. noce como Efecto Hawthorne. trategias para alcanzar la precisión
• Cerciorarse de la coherencia de También las ideas preconcebi- además de las siguientes:
los resultados realizando medi- das o información anterior so-
ciones repetidas, para identificar bre el tema investigado podría • Realización de mediciones ocul-
las posibles fuentes de error lo generar una percepción altera- tas, en las cuales el individuo no
cual reduce de manera conside- da en el individuo con respecto sea consciente de estar siendo
rable la variabilidad debida a los al fenómeno estudiado. evaluado para eliminar la posibi-
tres elementos: observador, ins- • SESGO DEBIDO AL OBSERVADOR: Es la lidad de sesgue conscientemen-
trumento e individuo. distorsión constante, conscien- te la variable, por tanto esta es-
trategia disminuye el sesgo
debido al individuo.
• Realización de mediciones a
doble ciego de tal manera que
ni el individuo estudiado ni el
observador sepan cual es el gru-
po de estudio y cual es el grupo
control . Esto disminuye el sesgo
debido al observador y al indi-
viduo.
• Calibración periódica de los ins-
trumentos con un patrón de oro
y selección adecuada de los ins-
trumentos con respecto las va-
Gráfica 1. Relación de precisión y exactitud. riables que van a ser evaluadas,

76 REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 2005


Investigación: teoría y método

con el fin de eliminar el sesgo Po=(a+d)/N Kw = 1-(qo´/qe´)


debido al instrumento.
Pe=((r1c1+r2c2)/(N*N) Cuando se trabajan datos cuantita-
tivos, en algunas investigaciones se
Pruebas estadísticas El valor del índice kappa de Cohen observa que el coeficiente de co-
es 0 si la proporción observada de rrelación de Pearson es una me-
para evaluar concordancia es igual a la propor- dida usada para investigar la concor-
concordancia ción esperada de concordancia debi- dancia, sin embargo, teniendo en
da al azar. 1 si la concordancia espe- cuenta que ésta es una estadística de
Las pruebas estadísticas utilizadas rada es perfecta. Menor de 0 si la con- correlación que refleja la tendencia
para evaluar la concordancia depen- cordancia observada es menor que entre los resultados de dos métodos
den del tipo de escala en la cual los la concordancia esperada debida al y no la concordancia porque no tie-
datos bajo consideración son expre- azar. ne en cuenta el sesgo sitemático, su
sados. La investigación de la concor- utilización no es adecuada. Para este
dancia entre dos variables, métodos Para su valoración Landis y Koch tipo de datos la concordancia se eva-
o procesos requiere: (1977) propusieron la siguiente lúa utilizando:
escala:
• que las dos variables sean expre- El coeficiente de correlación
sadas en el mismo tipo de escala. Valor de k Magnitud de intraclase = CCI tiene en cuenta
• que las dos variables contengan la concordancia lo anterior y combina correlación
el mismo número de categorías. Menor de 0 Pobre con diferencia de medias.
0-0.20 Escasa
A continuación se presentan los ín- Para la situación más simple de con-
dices de concordancia utilizados en 0.21-0.40 Leve cordancia entre dos métodos u ob-
estudios de conformidad y consis- 0.41-0.60 Moderada servadores, el coeficiente de corre-
tencia, de acuerdo al tipo de datos 0.61-0.80 Sustancial lación intraclase se define como:
tomados en consideración.
0.81-1.00 Casi perfecta
CCI = A2+B2-C2/A2+B2+D2-C2/n
En datos medidos en escala no-
minal, la evaluación de consisten- En muchas situaciones, el índice de donde,A es la desviación estándar del
cia se lleva a cabo utilizando: kappa puede servir como un índice método u observador A, B es la des-
de conformidad y de consistencia. viación estándar del método u obser-
• el porcentaje de concordan-
vador B, C es la desviación estándar
cia o de acuerdos definido
Para datos medidos en escala de las diferencias de los métodos A
por: (a+d/N)*100. Sin embargo,
ordinal, la evaluación de consisten- y B, D es la diferencia promedio de
al no tener en cuenta la cantidad
cia y conformidad se lleva a cabo uti- los dos métodos y n es el número de
de acuerdos esperados por el
lizando: pacientes.
azar éste proceso tiene una limi-
tación lo que hace poco reco-
• el Kappa Ponderado: en éste En estudios de mayor complejidad
mendada su utilización.
se asignan pesos o ponderacio- se puede estimar el CCI asumiendo
• el Kappa de Cohen definido
nes, basándose en la magnitud que los pacientes son evaluados por
por:
de las discordancias observadas. n clínicos. Si este es el caso, se deben
K=Po-Pe/1-Pe Se define de manera similar al plantear modelos matemáticos que
kappa no ponderado pero debi- permitan evaluar la confiabilidad de
donde: Po es la proporción observa- do a que es más fácil de calcular las medidas tomadas. En estos casos
da de concordancia y Pe es la propor- basándose en la proporción de la estimación del CCI se logra utili-
ción esperada de concordancia de- desacuerdos que de acuerdos, zando estimadores obtenidos por la
bida al azar, definidos por: es definido por: técnica de Análisis de Varianza

UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA 77


Investigación: teoría y método

(ANOVA). El lector que desee profun- Donde: r = coeficiente de correla- WCV = MSW1/2/X
dizar en estos aspectos puede remi- ción de Pearson
tirse a Shoukri M., Pause CA, (1999) A = desviación estándar Donde MSW es el cuadrado medio
y Shoukri M.M, (2004). del método A del error tomado del ANOVA
B = desviación estándar X es el promedio de las mediciones.
El CCI varía entre -1 y +1. Los valores del método B
cercanos a 1 reflejan incremento de C = desviación estándar Según sus autores, entre más peque-
la concordancia entre observadores de las diferencias del ño sea el WCV mejor es la reproduci-
o entre métodos. método A y B bilidad de las medidas. Se recomien-
D = diferencia promedio da su utilización, cuando se desee
Sin embargo esta medida (CCI) tiene
de los dos métodos. comparar la reproducibilidad de dos
sus limitantes tales como que asume
métodos o evaluadores que estén
que los métodos evaluados provie-
Este coeficiente tiene un rango de – evaluando muestras independientes
nen de una muestra al azar de una
1 a +1. Cualquier desviación de la y se observe que el promedio de las
población de métodos y aún cuando
línea de perfecta concordancia pro- medidas tomadas por el primer mé-
queramos comparar dos métodos
duce valores para este coeficiente todo difiere sustancialmente del se-
específicos, asume que el error de
inferiores a 1, por lo cual se dice que gundo método.
medición es similar en los dos méto-
valores cercanos a 1 reflejan incre-
dos, además depende de los sujetos
mento de la concordancia entre ob- Con base en lo anterior se puede
estudiados; si la variabilidad entre los
servadores o entre métodos. resumir que:
sujetos es muy poca, el coeficiente
de correlación intraclase va a ser
• Los métodos estadísticos más uti-
bajo, independiente de que los mé-
todos tengan concordancia o no.
El coeficiente de variación lizados para determinar la exac-
dentro de sujetos titud y la precisión para datos
medidos en escalas cuantita-
Coeficiente de correlación Como se mencionó anteriormente, tivas son: el coeficiente de corre-
el CCI depende de la variación entre lación-intraclase y el coeficiente
y concordancia (CCC) de correlación- concordancia.La
sujetos lo cual causa problemas al
Esta estadística determina que tanto comparar los resultados de diferen- precisión o reproducibilidad pue-
se desvían los datos obtenidos por tes estudios.Tratando de solucionar de medirse además utilizando el
los dos métodos de la línea de perfec- este problema, Quan y Shih (1996) coeficiente de variación dentro
ta concordancia (línea de 45 grados plantearon como una alternativa de de sujetos. Para datos en medidos
que se inicia en 0). Este coeficiente el Coeficiente de variación entre en escala nominal dicotómica
se define como: sujetos (Within-subject coefficient el Kappa de Cohen y para aque-
of variation:WCV), el cual es definido llos medidos en escala ordinal el
CCC= (2*r*A*B)/ (A2+B2+D2) por: Kappa ponderado.

Referencias
• Cepeda SM, Pérez A. Estudios de Concordancia. Métodos para determinar la intercambiabilidad entre diferentes siste-
mas de medición en la práctica clínica. Capitulo 17 .Pág. 287 – 301 Editorial. CEJA
• Kramer M and Feinstein AR. 1981. Clinical Biostatistics.The biostatistics of concordance. Clin. Pharmacol.Ther. 29: 111 - 123
• Hulley SB and Cummings SR. Planificación de las mediciones: precisión y exactitud. Capitulo 4. Diseño de la Investigación
Clínica. Capitulo 4. Págs. 35 – 46.
• Landis, J.R and Koch G.G (1977).The measurement of observer agreement for categorical data. Biometrics, 33, 159-174.

78 REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 2005


Investigación: teoría y método

• Quan, H. and Shih. W.J. 1996. Assessing reproducibility by the within- subject coefficient of variation with random effects
models. Biometrics, 52, 1196-1203.
• Ruiz A. 2000. Introducción a los diseños de investigación en medicina clínica. Pág. 129 – 131 Editorial. CEJA
• Shoukri, M.M. and Pause, C.A. 1999. Statistical methods for health sciences. Segunda edición. CRC Pres.
• Shoukri, M.M. 2004. Measures of Interobserver agreement. Primera edición. CRC Press.

UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA 79