Cap.22 - Supervision - 12-06-15docx PDF

Programa Ampliado de Inmunizaciones PAI- Colombia
TABLA DE CONTENIDO
22. SUPERVISIN, SEGUIMIENTO Y EVALUACIN DEL PAI ......................................................... 2

22.1. Supervisin .................................................................................................................. 2
22.2. Seguimiento o monitoreo ........................................................................................... 4
22.2.1. Monitoreo de la Informacin .............................................................................. 4
22.2.2. Monitoreo de indicadores ................................................................................... 4
22.2.3. Instrumentos para el monitoreo de cobertura ................................................... 7
22.3. Evaluacin ................................................................................................................. 11
22.3.1. Tipos de evaluacin ........................................................................................... 12
22.3.2. Evaluacin de la cobertura de vacunacin........................................................ 14
22.3.3. Otros indicadores para la evaluacin ................................................................ 16
LISTA DE TABLAS
Tabla 1. Ejemplo de algunos indicadores para evaluacin de componentes del plan de accin
del PAI........................................................................................................................................ 16
Tabla 2. Comparacin de la supervisin, seguimiento y evaluacin ........................................ 17
LISTA DE FIGURAS
Figura 1. Supervisin: mejora del desempeo............................................................................ 2
Figura 2. Caractersticas de un indicador .................................................................................... 5
Figura 3. Ejemplo de tablero de control de coberturas de vacunacin ...................................... 8
Figura 4. Cobertura de vacunacin en las entidades territoriales, con triple viral, en nios y
nias de un ao de edad. Colombia 2013 ................................................................................. 10
Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin
22. SUPERVISIN, SEGUIMIENTO Y EVALUACIN DEL PAI

La supervisin, el monitoreo y la evaluacin hacen parte fundamental del ciclo gerencial al permitir identificar
problemas, tomar medidas correctivas inmediatas y verificar resultados en pro del cumplimiento de los
objetivos del programa. Es un componente transversal que debe estar planeado y definido en el desarrollo de
todo el plan de accin y el cronograma de actividades. En l, deben participar tanto el talento humano del PAI,
de vigilancia en salud, las entidades y las redes de trabajo involucradas en la ejecucin del plan de accin, con el
fin de revisar el avance, reprogramar actividades conforme a los resultados obtenidos y tomar las decisiones
ms adecuadas.
22.1. Supervisin
Es un proceso de asesora contina, dirigida a fortalecer la capacidad tcnica del talento humano y mejorar el
1
rendimiento de las actividades, de manera tal que se logren los objetivos propuestos . Por tanto es importante
que esta actividad se encuentre descrita y planeada en los procedimientos especficos de vacunacin de la
entidad territorial y de la institucin de salud.
Figura 1. Supervisin: mejora del desempeo
Primero:
Medir el desempeo actual
Segundo:
Comparar el desempeo actual con las metas
Tercero:
Tomar medidas gerenciales
Fuente: Adaptacin. Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Op. Cit., p. 8.
El talento humano encargado de la supervisin debe:
Conocer el PAI, sus componentes y el plan de accin.

Conocer la informacin del rea geogrfica, de las estrategias y las tcticas de vacunacin.
Apoyar y fortalecer tcnicamente el talento humano que acompaa.
Ser un profesional con experiencia en PAI, con capacidad de escucha, observacin, anlisis,
inters por los temas y las soluciones de los problemas.
Tener conocimiento y capacidad para tomar decisiones y orientar acciones correctivas.
Motivar al personal de salud a travs de diferentes mecanismos, como notas de felicitacin por
un buen desempeo, comunicaciones a las autoridades de salud, palabras de apoyo y de
valoracin de su trabajo y, sobre todo, en insistirles en el papel que cumplen y el valor del mismo
2
para la comunidad.
Algunos de los aspectos esenciales valorados en la supervisin son:
Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Mdulo VI Supervisin, monitoreo y
Evaluacin. OPS/OMS. Washington. 2006. P. 8.
2
Ibd., p. 10
Organizacin del trabajo y del puesto de vacunacin.

Aplicacin de conocimientos tcnicos de vacunacin y vigilancia de EPV (ventajas, contraindicaciones,
precauciones, cuidados pos vacunacin), las actitudes y las prcticas del vacunador, el manejo del pblico,
la calidez en la atencin a las personas y la capacidad para interpretar el carn de vacunacin;
Disponibilidad, conservacin, transporte y distribucin de las vacunas;
Tcnica de administracin de las vacunas y cumplimiento de normas de vacunacin segura;
Evaluacin de la calidad del dato de los registros de dosis aplicadas e informacin de vacunacin en los
formatos estandarizados del PAI (registro diario, carn de vacunas, movimiento de biolgicos, etc.);
Manejo de residuos en vacunacin y red de fro;
Identificar reas crticas en el avance de coberturas;
Determinar grupos no vacunados y las razones para no vacunarse;
Verificar estrategias de comunicacin, como la informacin disponible de vacunacin en los consultorios o
en los alrededores del consultorio para la comunidad, lo relacionado con horarios de vacunacin, el
esquema del PAI, los mensajes que ilustran sobre los efectos prevenibles, ventajas y estmulo a solicitud de
las vacunas, entre otros;
Identificar oportunidades perdidas de vacunacin y los mecanismos establecidos para su disminucin;
Verificar los mecanismos de promocin y divulgacin de informacin utilizados en la institucin y su
pertinencia;
Ejecucin del Monitoreo Rpido de Cobertura;
Realizar intervenciones segn lo supervisado.
Este proceso contempla las siguientes acciones:
Establecer una gua o instrumento estandarizado, que permita observar e identificar los diferentes
componentes del programa y establecer recomendaciones;
Realizar el cronograma de supervisin que incluya fechas, lugares, actividades y responsables e
incorporarlo a la programacin diaria de actividades;
Garantizar la supervisin al 100% del talento humano que desarrolla las tcticas de vacunacin, en la
entidad territorial, EAPB e IPS;
Programar una periodicidad o frecuencia que permita un proceso continuo, lo cual depende de las
caractersticas del programa en la entidad territorial, EAPB o IPS, como la cantidad de talento humano, las
distancias de las reas geogrficas y de los sitios en donde se realiza la vacunacin, los tiempos de
traslados, el conocimiento y la experiencia previa de quien supervisa, etc;
Organizar y planear de acuerdo a las condiciones del talento humano a cargo. Es recomendable iniciar con
el talento humano que es nuevo en el proceso, que ha presentado bajo rendimiento y que se encuentra
ubicado en zonas de difcil acceso o de alto reto operativo;
En lo posible, supervisar al talento humano en ms de una tctica de vacunacin, para comparar fortalezas
y debilidades;
Contar con una gua de Monitoreo de Cobertura de Vacunacin y bsqueda activa;
Una vez se realiza la supervisin, el instrumento o gua se diligencia en duplicado, uno para el supervisor(a)
y el otro para el personal supervisado; se socializan los resultados con el talento humano participante, se
definen los compromisos o acciones de mejora y se monitorea el cumplimiento y avance de los mismos.
Una vez terminada la supervisin, se recomienda realizar el respectivo informe ejecutivo, el cual debe contener:
Datos generales
Situacin encontrada - Hallazgos
Actividades realizadas
Recomendaciones
Plan de mejora con compromisos tanto por el supervisor como por el personal supervisado.
22.2. Seguimiento o monitoreo

Es una herramienta de gestin para controlar el avance del programa, es un proceso que permite verificar
peridicamente y de manera sistemtica, uniforme y fiable, la informacin y resultados de acuerdo a lo
3
planificado , con el fin de identificar los logros y problemas, determinar la importancia, analizar las causas y
adoptar de manera inmediata las medidas de mejora pertinentes. A diferencia de la supervisin, el seguimiento
4
se efecta con el anlisis de la informacin enviada por los diferentes niveles, sin necesidad de ir al terreno .
22.2.1.
Monitoreo de la Informacin
La informacin es clave en la determinacin de resultados, por tanto su monitoreo es fundamental en:
Revisin de los registros y consolidados diarios, identificando posibles inconsistencias o errores y su

correccin inmediata.
Garantizar el ingreso y verificacin diaria de la informacin en el aplicativo nominal de PAI (Web o
desconectado) y su congruencia.
Verificar el cumplimiento de los procedimientos de entrega de registros y consolidados, periodicidad,
organizacin, disposicin y archivo de los mismos.
Es necesario asegurar, segn la realidad de las condiciones tecnolgicas (informtica y conectividad) de
cada entidad territorial e IPS, el equipamiento adecuado y el talento humano cualificado, que generen
informacin de calidad, que permita la identificacin de la poblacin no vacunada, inducir la demanda de
manera efectiva y hacer el seguimiento oportuno en vacunacin.
En esta identificacin la participacin de las EAPB es importante, algunas de ellas disponen de sistemas de
informacin propios, por tanto concertar acciones para compartir y complementar la informacin es
fundamental.
Coordinacin estrecha entre las brigadas de vacunacin extramural y los responsables de vacunacin de la
IPS ms cercanas, para potenciar las acciones de vacunacin y seguimiento de la poblacin. Un mecanismo
es disponer de sencillas bases de datos nominales en hojas de clculo, que permitan compartir la
informacin, hacer seguimiento, actualizar lo pertinente y devolver la informacin. A medida que mejora la
informtica aplicada a la logstica y la habilidad del talento humano en el manejo de las herramientas
computacionales, se facilita el trabajo; por tanto, hacer nfasis en el uso y disposicin de esta tecnologa es
fundamental.
22.2.2.
Monitoreo de indicadores
La realizacin de un seguimiento requiere la definicin de indicadores e instrumentos. Un indicador es una

medida resumen asociada a una actividad o proceso, que permite, por comparacin con los estndares, analizar
peridicamente las unidades de programacin, resultados e impacto. Debe responder a la medicin del
resultado que se desea obtener, debe ser definido operacionalmente de manera cuantitativa y cualitativa y,
5
generalmente, se expresan como una proporcin o una razn . Para establecer un indicador se deben conocer
las lneas de base y metas anuales a alcanzar.
3
Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Supervisin, monitoreo y
Evaluacin. Op. Cit., p. 19.
4
Ibd., p. 20
5
Ibd.
Un indicador adecuado debe ser .
Figura 2. Caractersticas de un indicador

Vlido, revela efectivamente los
cambios que se pretenden indicar
Costo de obtencin no debe
ser muy alto
Objetivo, permite obtener resultados similares

cuando lo utilizan diferentes personas en
distintas circunstancias y momentos
Verificable a partir de fuentes fiables

y accesibles a partir de los registros
establecidos en el programa
Sencillo en su interpretacin y en la
recoleccin de la informacin
Sensible, registra los cambios de la situacin

o de los fenmenos de que trata.
Especfico, concreto, pertinente en el
sentido en que debe evaluar el objeto de la
intervencin
Tipos de indicadores
7
Los indicadores pueden clasificarse en dos grupos, de acuerdo al momento de su aplicacin y al nivel evaluado ,
ver tabla 1.
Tabla 1. Tipo de indicadores
Indicadores
De acuerdo
al momento
de su
aplicacin
De acuerdo
al aspecto
evaluado
De estructura: base de la planeacin, son los indicadores ya estandarizados, de uso comn, cuyos anlisis involucran series
de tiempo.
De coyuntura: son las mediciones situacionales que por polticas, planes y metas sean propuestos por entidades
gubernamentales, para diferentes fines, entre ellos el seguimiento y evaluacin a actividades especficas de un plan de
desarrollo con el sello del programa y las polticas que proponga y realice el gobierno de turno.
De referencia: son del entorno demogrfico y socioeconmico general (indicadores de poblacin, macroeconmicos,
sociales, etc.)
De proceso: permiten evaluar la gestin realizada por la entidad territorial en torno a la vigilancia en salud pblica. Se
refieren a las actividades realizadas para alcanzar determinado resultado
De resultado: permiten medir los efectos inmediatos o a corto plazo generados por los productos de una poltica, programa
o proyecto, sobre la poblacin directamente afectada.
De impacto: se refieren al resultado final, producto de las acciones realizadas, permite medir los efectos a mediano y largo
plazo, generados por una poltica, programa o proyecto, sobre la poblacin en general. Los efectos medidos son aquellos
directamente atribuibles a dicha poltica, programa o proyecto especfico. Incluye efectos positivos y negativos, producidos
Ibd., pp. 20-21
Instituto Nacional de Salud. Manual de anlisis de indicadores para la vigilancia de eventos de inters en salud. Bogot. Colombia. 2012. P.
1-2
directa o indirectamente por una intervencin, sean estos intencionales o no.

8
Los indicadores se suelen expresar en medidas de:

Tasa: expresa la dinmica de un suceso en una poblacin a lo largo del tiempo. Las tasas tienen dos
caractersticas que las diferencian, el tiempo y un multiplicador, generalmente en base diez (1.000, 10.000
100.000) llamado base; se calcula para un determinado perodo de tiempo que debe incluirse al referirse
a la tasa y para un determinado grupo poblacional.
Proporcin: es el nmero de observaciones especficas de un grupo, dividido por el nmero total de
observaciones en el grupo, donde los datos del numerador estn incluidos en el denominador. Los
porcentajes son las proporciones ms frecuentemente usadas.
Razn: es el nmero de observaciones de un grupo con determinada caracterstica, dividido por el nmero
de observaciones de un grupo sin esa caracterstica, en donde los datos del numerador no estn contenidos
en el denominador. Las razones explican la relacin aritmtica entre dos eventos de una misma poblacin,
o el mismo evento en dos poblaciones diferentes.
9
Los indicadores utilizados en el PAI son: .

Tabla 2. Indicadores utilizados en el PAI
Indicador
Definicin
Indicador de
resultado.
Cobertura
por
biolgico
Acceso
Mide la proporcin
(en porcentaje) de
nios y nias que
han recibido las
vacunaciones
establecidas en el
esquema, (dosis de
polio, DPT,
pentavalente, etc.)
Es la proporcin de
nios y nias que
han sido captados
por el servicio de
vacunacin dentro y
fuera del
establecimiento en
relacin con la
poblacin total de
este grupo
Clculo
En poblacin menor de 1
ao:
(Nmero de dosis (1. o 2.
o 3.) del biolgico
determinado en < de 1
ao)/ (Nmero de
poblacin total < 1 ao) X
100.
Ejemplo: (Nmero de 3
dosis de polio en <1 ao) /
(Nmero de poblacin total
<1 ao) X 100
Interpretacin
En poblacin de 1 ao:
(Nmero de nios y nias
de 12 a 23 meses con una
dosis de SRP)/
de 12 a 23 meses) X 100
(Nmero de 1 dosis de
pentavalente (DPT1 o
Penta1) en < de 1 ao)/
< de 1 ao) X 100
Por encima del 95% la

cobertura es buena y la
proteccin adecuada. En
enfermedades en
eliminacin y/o erradicacin
el riesgo de epidemia es
menor.
Inferior a 95%, se deben
identificar las causas a fin de
abordarlas rpidamente.
Mayor a 100%, la poblacin
asignada es mayor y debe
ser ajustada o el registro de
las dosis aplicadas no es de
calidad.
Del 100%, indica acceso

adecuado y la posibilidad de
tener coberturas con
terceras dosis superiores al
90%.
Menor al 100%, disminuye la
posibilidad de llegar a
coberturas del 95% o ms,
por no acceso oportuno a la
poblacin, por tanto es
prioritario identificar las
Utilidad
Identificar la poblacin
infantil que han sido
vacunados(as) con dosis
completas de polio,
DPT/pentavalente, etc.
Establecer cuntos
nios y nias acceden o
llegan efectivamente a
los servicios de
vacunacin, y deben
completar esquemas de
vacunacin.
Verificar
denominadores
poblacionales
Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Supervisin, monitoreo y
Evaluacin. Op. Cit., pp. 5-6
9
Ibd., pp. 22-24
Indicador
Definicin
Clculo
Interpretacin
causas y las reas de alto
riesgo a fin de abordarlas
rpidamente.
Mayor al 100%, la poblacin
asignada debe ser revisada
para definir la poblacin
real, existe la posibilidad de:
o
poblacin
subestimada,
o
el registro de la edad
sea inadecuado
o
vacunacin a poblacin
no residente y adscrita
a otra entidad
territorial.
Utilidad
Tasa de
abandono o
de
desercin
(1dosis de pentavalente
terceras dosis de
pentavalente en < de 1
ao)/
(1 dosis de pentavalente
en < 1 ao) x 100
Indicador de
seguimiento
Mide la proporcin,
en porcentaje, de los
nios y nias que
han recibido todas
las vacunas del
esquema de
vacunacin
apropiadas para su
edad.
22.2.3.
Brinda informacin sobre:
Indicador de
resultado.
Esquema
completo
para la
edad
Entre 0 y 5% es aceptable,
seala un adecuado sistema
de seguimiento y la
posibilidad factible de
alcanzar una cobertura alta.
Por encima del 5%,
demuestra que hay
problemas en el servicio de
vacunacin y en la calidad de
la oferta. Se deben
investigar las causas y
corregirlas.
Menor de 0 indica
problemas en la calidad de la
informacin.
Saber cuntos nios y

nias y mujeres han
regresado al
establecimiento para
completar su esquema.
El seguimiento nominal
para completar el
esquema de
vacunacin.
Monitorear la calidad
de la oferta del servicio,
cuando la primera
experiencia es
adecuada las personas
generalmente retornan.
Monitorear la
informacin y
educacin que brindan
en el establecimiento
de salud en forma
permanente a la
comunidad.
(Nmero de nios y nias <

de 1 ao que han recibido
una dosis de BCG, 3 dosis
de antipolio y 3 dosis de
pentavalente)/
< de 1 ao) X 100
El porcentaje de proteccin contra

todas las enfermedades
prevenibles por vacunacin.
Existencia de oportunidades
perdidas y si el programa da
importancia a todas las vacunas.
Puede calcularse para los

nios y nias con esquema
completo a las diferentes
edades.
Si la cobertura de antipolio3 no es
igual a la de DPT3 pentavalente
3, debe ser debido a
oportunidades perdidas
Instrumentos para el monitoreo de cobertura
Grfico o tablero de control
El grfico de monitoreo o tablero de control es un instrumento de seguimiento del cumplimiento de cobertura,

til para:
Medir y evaluar a nivel operativo las metas mensuales.
Comparar los resultados en diferentes periodos o aos.
Monitorear cualquier tipo de vacuna y dosis aplicadas.
Mostrar al talento humano en salud y a los(as) lderes de la comunidad la situacin en la que se encuentra
10
su municipio o institucin .
En esta grfica o tablero se establece previamente el porcentaje mensual para el logro de la meta anual, para a
partir de all, monitorear el cumplimiento. El porcentaje mensual para el logro del 95% de cobertura anual
corresponde como mnimo al 7,92%, (es decir el 95% dividido entre 12 meses) por cada vacuna y el grupo de
edad respectivo. Cada mes se observa si est por debajo o por encima de la meta mensual. Con base a la
situacin encontrada y visualizada, se deben definir las acciones correctivas para cumplir con los objetivos
establecidos. Tambin es til para observar si hay similitud entre las terceras dosis y las primeras, si son
11
superiores a las primeras. Esta situacin sera un sntoma de problemas en el registro, que debe investigarse .
Procedimiento de registro
En el eje de las Y registrar el porcentaje de cobertura por lograr durante el ao, dividido en 12 espacios
(95% dividido en 12 meses), ver figura 3.
En el eje de las X registrar los meses del ao. Al final del mes de diciembre se debe haber alcanzado la meta
mnima del 95%. Por esta razn, se debe trazar una lnea vertical de diciembre hasta la altura del eje de las
Y.
Unir el punto cero, correspondiente a enero, con el punto de 95%, correspondiente al 31 de diciembre. Esta
lnea representa el cumplimiento total de la meta, mes a mes.
Registrar el porcentaje alcanzado mes por mes.
Para cada mes utilizar el porcentaje acumulado.
Trazar en el grfico una lnea punteada con estos porcentajes; esta lnea permite comparar los valores
obtenidos con la meta establecida y evaluar el porcentaje de cobertura.
Figura 3. Ejemplo de tablero de control de coberturas de vacunacin
10
11
Ibd., p. 25
Ibd., p. 26
Fuente: Presentacin de coberturas de vacunacin en poblacin de un ao, en una entidad territorial de Colombia 2012.
El porcentaje de cobertura se identifica con los siguientes colores (semforo) y se interpreta:

Ms de 100%
Entre 100% y 95%s

Cobertura til
Entre 94% y 90%

Entre 89% y 80%
Cobertura no til
Entre 79 y 50%
50%
Cobertura crtica
Esta semaforizacin se realiza por regiones, localidades, comunas, barrios o sectores en un municipio o por IPS.
Igualmente este tablero de control se puede realizar en forma de tabla, en donde se registra lo realizado mes a
mes, por todos los biolgicos, segn edad y los acumulados respectivos. Ver tabla 3.
Tabla 3. Ejemplo de tablero de control acumulado anual de coberturas en vacunacin
Poblacin
Menor de 1 ao
Biolgicos
Dosis
Antipolio
1a.
2a.
DPT
3a.
1a.
2a.
1 ao
Rotavirus
3a.
1as.
Dosis
# %
Mes
# % # % # % # % # % # %
Ene
Feb
Mar
Abr
May
Acumulado 0 0 0 0 0 0 0 0 0 0 0 0 0
Neumococo conjugada
2as.
Dosis
# %
Triple Fiebre Hepatitis

Viral amarilla
A
1as.
Dosis
# %
2as.
Dosis
# %
# %
# %
0 0
5 aos
U
%
Triple
viral
1er. R
Seguimiento de los municipios en riesgo

Los municipios en riesgo son aqullos que tienen mayores probabilidades de presentar casos de enfermedades
inmunoprevenibles. El riesgo est relacionado con:
Bajas coberturas de vacunacin en el municipio y, por consiguiente, alta acumulacin de individuos
susceptibles.
Deficiente sistema de vigilancia epidemiolgica o proximidad con reas de brote.
Otras medidas de riesgo son: municipios con altos ndices de pobreza y con alta densidad de poblacin,
poblacin migrante y poblacin indgena, entre otros.
El indicador corresponde a, ver tabla 4
Tabla 4. Indicador de porcentaje de municipios en riesgo
Definicin
Indicador: % de municipios en riesgo

Interpretacin
Clculo
Indicador de
resultado.
Mide el porcentaje
de municipios con
coberturas no
adecuadas en
vacunacin
(Nmero de municipios
con cobertura inferior
al 95%) / (Nmero
total de municipios) X
100
Mide
la
proporcin
(en
porcentaje) de municipios con
coberturas inferiores al 95% de
vacunacin y por tanto se
encuentran en riesgo de
presentar casos de EPV.
Depende de las metas operativas
programadas y el peso de la
poblacin de los municipios.
Utilidad
Conocer la distribucin de los municipios
segn el riesgo que tienen para
presentar casos de EPV.
Identificar los municipios con bajas
coberturas.
Identificar los municipios con mayor
nmero de individuos susceptibles.
Evaluar la equidad de los servicios de
vacunacin y de otros servicios.
Identificar las reas en riesgo para ser
intervenidas oportunamente y en forma
prioritaria
En el siguiente ejemplo, se identifican las coberturas municipales de vacunacin con la vacuna triple viral, en
poblacin de un ao.
Figura 4. Cobertura de vacunacin en las entidades territoriales, con triple viral, en nios y nias de un ao de
edad. Colombia 2013
10
Fuente: MSPS. Presentacin coberturas de vacunacin. Colombia 2013. Diapositiva N 7
Monitoreo Rpido de Coberturas de Vacunacin

El monitoreo rpido de cobertura de vacunacin MRC- es un instrumento que permite evaluar de manera gil
la situacin de vacunacin en un rea geogrfica determinada, en el captulo de microprogramacin est la
descripcin detallada.
22.3. Evaluacin
Es un conjunto de procedimientos que se utilizan en forma peridica, para analizar el desarrollo del programa y
obtener informacin sobre el cumplimiento y la validez de los objetivos, actividades, costos, resultados e
impacto.
Las caractersticas fundamentales son:
Es un juicio de valor y no simples mediciones; sustentado en el mtodo cientfico y en el anlisis de las
metodologas utilizadas.
Es peridica.
Utiliza metodologas diversas.
Los resultados son tiles para mantener, corregir o cambiar las diferentes acciones y componentes del
programa.
Propsitos de la evaluacin:
Determinar el grado de cumplimiento de los objetivos propuestos
11
Identificar las debilidades, amenazas, fortalezas y oportunidades

Determinar la eficiencia y la efectividad de las acciones implementadas
Proveer controles de calidad
Determinar la efectividad y la eficiencia de las diferentes estructuras gerenciales y de gestin
Posibilitar una visin crtica del talento humano que interviene en el programa
Incrementar la comunicacin y la coordinacin
22.3.1.
Tipos de evaluacin12
Existen diferentes tipos de evaluacin:

Evaluacin del proceso: relacionada con la verificacin de la gestin del programa, es decir, de los aspectos
de planificacin, ejecucin y financiamiento.
Evaluacin del resultado: es la verificacin del alcance de los objetivos especficos y metas, a travs de las
diferentes acciones establecidas en cada uno de los componentes del PAI en el plan de accin. Para ello se
analizan los aspectos de:
o Cumplimiento;
o Fortalezas y debilidades identificadas;
o Eficiencia y efectividad de las acciones implementadas y la gestin realizada;
o Grado de coordinacin y comunicacin desarrollada;
o Acciones de mejora realizadas;
o Resultados de encuestas en vacunacin, como fuente de la utilidad y efectividad del componente de
informacin, educacin y comunicacin en vacunacin.
Es el tipo de evaluacin ms utilizado en PAI, en el captulo de microprogramacin se ampla el contenido, as
como el mecanismo de sala situacional empleado para tal fin.
Evaluacin del impacto: se realiza para evaluar el impacto del programa en la salud pblica, los cambios
obtenidos y los resultados esperados, teniendo en cuenta las acciones del PAI.
Cuando se realizan las evaluaciones es importante:

Analizar todos los temas que se relacionan con el cumplimiento de las metas y los objetivos del PAI;
Intercambiar opiniones con las autoridades y los actores sociales sobre la influencia de las polticas en la
ejecucin de las acciones del PAI;
Profundizar en los aspectos sociales y econmicos, en la falta de equidad en los servicios, la existencia de
poblaciones marginadas y, sobre todo, en las polticas sectoriales y extra sectoriales que inciden en la
inmunizacin;
Hacer nfasis en los aspectos de la poltica de la reforma del Estado y del proceso de descentralizacin,
13
aspectos fundamentales que intervienen en forma directa en los resultados y el impacto del programa.
La OPS recomienda utilizar el modelo de evaluacin internacional e interdisciplinaria del PAI, ver tabla 5, que es
aplicable a todos los niveles y contiene todos los elementos necesarios para la evaluacin. La metodologa de la
evaluacin propuesta contiene acciones de:
Informar a los responsables del nivel correspondiente, a fin de que el cronograma y las personas que deben
dar apoyo se encuentren disponibles;
12
13
Ibd., pp. 36-37

Ibd., p. 37
12
Formar un equipo evaluador, con participacin de coordinadores PAI, epidemilogos, personal de las
organizaciones no gubernamentales, agencias de cooperacin y servicios privados, entre otros, con el fin de
aprovechar sus capacidades y experiencia;
Delegar la responsabilidad al equipo del distrito sede (municipio);
Ejecutar el proceso de evaluacin en una semana, de la cual, al menos el 70% del tiempo se debe dedicar al
trabajo de campo y el 30% a estandarizar la metodologa, el manejo de guas, de entrevistas, el anlisis de
la informacin epidemiolgica y la elaboracin del informe final con recomendaciones a utilizarse en el
plan.
Tabla 5. Modelo de Evaluacin PAI OPS

Componentes
Prioridad poltica
Programacin y
planificacin de
actividades
Organizacin y
coordinacin
Talento humano y
recursos de gestin y
financieros
Supervisin y
capacitacin
Sistemas de
informacin
Vigilancia
epidemiolgica
Aspectos a evaluar
Se menciona espontneamente al PAI entre las prioridades del nivel?
Est respaldada esta prioridad con recursos?
Existen resoluciones legales que la respalden?
Existen resoluciones legales o administrativas que garanticen los recursos?
Existen planes quinquenales y anuales del PAI?
Cul es el grado de cumplimiento de los mismos?
Estn claramente definidos las metas, objetivos y prioridades?
Es confiable la informacin?
Cul es la ubicacin del PAI
Cul es la estructura del PAI?
Es adecuada la estructura para cumplir sus metas y objetivos?
Hay coordinacin con otros programas de salud? Cules?
Hay coordinacin con otros sectores, tales como ONG, servicios privados, educacin u otros?
Hay comits de cooperacin internacional?
Hay un comit cientfico de inmunizaciones?
Estn documentadas las actividades de estos comits?
Cuenta el PAI con el equipo tcnico y de apoyo adecuados?
Son apropiados los recursos de logstica y de gestin (vacunas, jeringas, transporte, comunicacin,
viticos, otros)?
Existe un plan de supervisin?
Est documentado tcnicamente?
Existe un plan de capacitacin?
Est documentado tcnicamente?
Existen informes de capacitacin?
Existen informes de supervisin?
Se coordina con universidades (medicina y enfermera) y escuelas de enfermera?
Est el PAI incluido en sus programas de enseanza?
Hay informacin actualizada de las coberturas y vigilancia? A qu mes?
Se conoce la proporcin de los municipios en riesgo?
Hay un plan en ejecucin de intervencin en los municipios en riesgo? Comente los resultados.
Se ha evaluado la confiabilidad de la informacin?
Se ha evaluado la calidad del sistema?
Hay boletines mensuales del PAI?
Es adecuada la red de notificacin semanal?
Se verifica la calidad de la notificacin semanal? Cmo?
Se cumple con los indicadores de vigilancia de
Sarampin?
Poliomielitis?
Fiebre amarilla?
Ttanos neonatal?
Hay informacin actualizada de los casos y los resultados de laboratorio?
Se retroaliment al nivel local? Verifique.
Se han identificado las reas y las poblaciones en riesgo y el potencial epidmico para todas las
enfermedades? De cules? Hay un plan de accin al respecto?
13
Componentes
Aspectos a evaluar
Son conocidas estas reas de riesgo y sus planes de accin por el nivel local y por el nivel jerrquico?
Verifique.
Cadena de fro
Evaluacin e
investigacin
Comunicacin social
Satisfaccin de
usuarios
Hay inventario actualizado? Mapeado?

Hay un plan de mantenimiento, renovacin y extensin? Proyectos presentados? A quin?
Hay informes de supervisin?
Son adecuadas las condiciones del almacn de la entidad?
Existe un registro actualizado?
Aplique el formulario de supervisin del puesto de vacunacin en el componente de cadena de fro.
Se ha evaluado el PAI? Cuntas veces por ao?
Qu investigaciones operativas se han realizado? Ctelas; adjunte un ejemplar al informe.
Tiene informes de brotes de sarampin, ttanos neonatal, fiebre amarilla o de parlisis flcida aguda?
Hay un plan de comunicacin social adecuado a las caractersticas culturales locales?
Est financiado este plan? Por quin?
Se realiza comunicacin social durante todo el ao?
La comunidad apoy al PAI?
Qu piensa usted de las vacunas para la poblacin infantil?
Si lo vacunaron: tuvo que esperar mucho tiempo? Cunto? Qued satisfecho con la atencin
recibida? Recibi informacin sobre las vacunas? Le explicaron las reacciones esperadas que la
vacuna puede producir despus de su aplicacin?
Fuente: Adaptacin. Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Supervisin,
monitoreo y Evaluacin. Op. Cit., pp. 42-44
22.3.2.
Evaluacin de la cobertura de vacunacin14
Existen tres mtodos para evaluar la cobertura:

a)
Administrativa: segn lo registrado en el tem de monitoreo, en indicadores, la cobertura se calcula

utilizando los informes de los establecimientos. Se determina el nmero de dosis de vacunas aplicadas
para completar los esquemas por grupo de edad, y se divide por la poblacin total de dicho grupo de
edad. La cobertura se estima en trminos de porcentaje del total de la poblacin meta. Los datos estn
disponibles en el establecimiento y permite hacer seguimiento al programa en el nivel local.
El principal problema de este tipo de evaluacin es que los datos del numerador y del denominador
pueden ser incorrectos debido a errores de registro, a censos muy antiguos o a la migracin interna,
entre otros.
b).
14
Encuestas de muestreo por conglomerados: la OMS ha desarrollado una metodologa para realizar una
estimacin de las coberturas de vacunacin en la poblacin meta del PAI, consistente en tcnicas de
muestreo por conglomerados en las cuales se seleccionan 30 manzanas o conglomerados, es decir
grupos de poblacin que comparten ciertas caractersticas. Se determinan 30 y en cada uno se
seleccionan 7 personas de la poblacin del PAI, en las edades requeridas, en los cuales se evala su
estado de vacunacin.
Ibd., p. 38-40
14
Para determinar el nmero de personas a encuestar se asume el mayor tamao de muestra posible, que
se obtiene con una prevalencia (cobertura) de 0,50, es decir, el tamao de la muestra sera de 94
individuos (con un error esperado de 10%). Dado que se utiliza un muestreo que puede aumentar el
error, se amplifica 2 veces la muestra a 188 individuos, ms una posible prdida de 10%, el total sera de
207. Se asume que se requerira de 30 grupos para aproximarse a una distribucin normal, esto
significara siete (7) menores en cada uno de los treinta (30) grupos, es decir 30 x 7, para un tamao
estndar de la muestra de 210.
Teniendo en cuenta que cada municipio tiene unas condiciones especficas que guardan relacin con su
estructura poltico-administrativa, social, econmica, ambiental, cultural y de prestacin de servicios en
salud, se busca implementar una metodologa homognea para la vigilancia de las coberturas de
vacunacin, que sirva de instrumento de autoevaluacin y toma de decisiones en lo referente a la
vacunacin.
Revisin de actividades
Los resultados obtenidos en la evaluacin de coberturas de vacunacin deben ser analizados por el equipo de
vigilancia en salud pblica y la coordinacin del PAI y socializados a la Secretara de Salud Municipal, con el fin
de generar planes de mejoramiento en caso de ser necesario, en un tiempo no mayor a 15 das despus de
realizado.
Es necesario revisar las actividades que se han llevado a cabo en el programa permanente vacunacin en el rea
evaluada y las estrategias por medio de las cuales se han adelantado las actividades.
Debe hacerse un anlisis integral de la situacin del rea en la cual se revisen los factores que pueden estar
influyendo en el desempeo adecuado o inadecuado frente a las coberturas alcanzadas y verificadas.
Retroalimentacin
La evaluacin de las coberturas de vacunacin es un proceso cuyo propsito fundamental es hacer una
autoevaluacin del desempeo del PAI en el municipio; por lo tanto, no basta con establecer un cumplimiento
de las coberturas y un anlisis de los factores determinantes, si no se plantean planes de respuesta que
permitan modificar la situacin encontrada.
Si los resultados encontrados indican que no se han cumplido las metas, debe generarse un plan conjunto con
los actores del sistema que participan en la vacunacin con tareas concretas en un tiempo determinado y que,
desde luego, incluyan evaluaciones peridicas como una de las principales herramientas de seguimiento.
Si los resultados encontrados son positivos, es muy importante identificar las estrategias y actividades que se
han implementado y que han causado un impacto positivo en el logro de las metas. Esto permite estimular las
buenas prcticas y difundirlas como herramientas de apoyo en otros lugares que no hayan alcanzado buenos
resultados. El hecho de encontrar buenos resultados no significa que las actividades de seguimiento y
evaluacin no se sigan realizando; por el contrario, se debe generar un plan en el cual se estn realizando
verificaciones de campo en forma peridica de las coberturas de vacunacin
Todas las personas e instituciones que participan de las actividades del PAI deben ser continuamente
informadas de los avances en los planes establecidos, as como de todas las actividades que se adelanten en la
15
evaluacin de las coberturas de vacunacin. Estos procesos de retroalimentacin son parte fundamental de la
articulacin de los diferentes actores y del mantenimiento de los canales de comunicacin.
22.3.3.
Otros indicadores para la evaluacin
Para complementar la evaluacin del plan de accin POA, se relacionan los indicadores definidos por el MSPS, a
tenerse en cuenta para la valoracin de sus componentes, los cuales se definen y socializan en los lineamientos
nacionales, algunos ejemplos de ellos se observan en la tabla 5.
Tabla 1. Ejemplo de algunos indicadores para evaluacin de componentes del plan de accin del PAI
Componente plan de
accin
Meta anual
Nombre del indicador
Frmula
Socializar a 1102 municipios y a

20 corregimientos acerca de la
metodologa estandarizada de
seguimiento a cohortes de
nacidos vivos.
Porcentaje de municipios y
corregimientos con la
metodologa estandarizada de
seguimiento a cohortes de
nacidos vivos, socializada
Cuatro jornadas de vacunacin

realizadas
Porcentaje de jornadas de
vacunacin realizadas
Capacitacin
Dos capacitaciones PAI.
Porcentaje de capacitaciones
PAI realizadas
N de capacitaciones realizadas / Total

de capacitaciones programadas X 100
Cadena de fro
Dos inventarios de red de fro.
Porcentaje de inventarios de red

de fro realizados
N de inventarios de red de fro

realizados/ Nmero de inventarios de
red de fro programados X 100
Insumos
Una programacin mensual y

anual de vacunas e insumos PAI
por municipio y por
corregimiento
corregimientos con
programacin mensual y anual
de vacunas e insumos del PAI
realizadas
N de municipios y corregimientos con

programacin mensual y anual de
vacunas e insumos realizados/ total de
municipios y corregimientos X 100
Ejecucin - estrategias
operativas
Asistencia Tcnica
Sistema de informacin
Comunicacin
Vigilancia de EPV

socializacin de la metodologa
estandarizada de seguimiento a
cohortes de nacidos vivos/ Total de
N de jornadas de vacunacin
ejecutadas / Total de jornadas de
vacunacin programadas X 100
Dos asistencias tcnicas (AT) a

municipios, EAPB e IPS.
Porcentaje de asistencias
tcnicas por nivel de
competencia
Un informe mensual de dosis

aplicadas, enviado
oportunamente
Porcentaje de informes
mensuales de dosis aplicadas
enviados oportunamente
Dos auditoras de calidad del

dato al 100% de los municipios y
corregimientos.
corregimientos con dos
auditoras de la calidad del dato
Plan de IEC en PAI ejecutado
Porcentaje de cumplimiento de
ejecucin del plan de IEC
N de municipios con dos AT / Total de

municipios X 100
N de EAPB con dos AT / Total de EAPB
X 100
N de IPS con dos AT / Total de IPS X
100
N de informes mensuales de dosis
aplicadas enviados oportunamente /
Total de informes anual X 100
No. de municipios y corregimientos con
dos auditoras de calidad del dato /
Total de municipios y corregimientos X
100
N de planes IEC ejecutados / N de
planes IEC programados X 100
COVE mensual realizado.
Porcentaje de COVE mensual

realizados
N de COVE realizados / N de COVE

programados X 100
Porcentaje de municipios,
distritos y departamentos con
sala situacional PAI
implementada
Porcentaje de municipios con
plan de crisis elaborado y
actualizado
N de municipios , distritos y
departamentos con sala situacional
implementada / total de municipios X
100
N de municipios con plan de crisis
elaborado y actualizado / total de
municipios X 100
Sala situacional PAI

implementada en cada
municipio, distrito y
departamento.
Plan de crisis elaborado y
actualizado por cada municipio
16
Componente plan de
accin
Evaluacin
Meta anual
Tres evaluaciones de cobertura
de vacunacin por municipio y
corregimiento
Nombre del indicador

corregimientos con tres
evaluaciones de cobertura de
vacunacin realizados
Frmula
tres evaluaciones de cobertura de
vacunacin realizados / Total de
A continuacin, una sntesis comparativa entre supervisin, monitoreo y evaluacin. Ver tabla siguiente.
Tabla 2. Comparacin de la supervisin, seguimiento y evaluacin
Caractersticas
Marco
conceptual
Periodicidad
Supervisin
Proceso de enseanza/ aprendizaje del
talento humano
Capacitacin en servicio
Periodos cortos
Continua
Especfica
Seguimiento
Controla el avance del programa
Incluye procesos de
planificacin
Evaluacin
Anlisis que incluye un juicio de valor
sobre la totalidad del programa
Permanente
Peridica
Metodologa
En terreno
Presencial
Rendimiento del talento humano
Directo o indirecto
Anlisis de la informacin
Directa
Requiere mayor talento humano en el
proceso
Interna, externa o mixta
Aplicacin
Medidas correctivas en forma proactiva.

Solucin de problemas
Aumenta el rendimiento de las actividades
Proposicin de soluciones a
travs del uso permanente de la
informacin.
Vigilancia de los procesos
Evaluacin de resultados y
cumplimiento de metas y objetivos
Fuente: Organizacin Panamericana de la Salud Curso de Gerencia para el manejo efectivo del PAI. Mdulo VI Mdulo VI Supervisin,
monitoreo y Evaluacin. OPS/OMS. Washington. 2006. P. 41
17

Cap.22 - Supervision - 12-06-15docx PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cap.22 - Supervision - 12-06-15docx PDF

Transféré par

Droits d'auteur :

Formats disponibles

Programa Ampliado de Inmunizaciones PAI- Colombia

22. SUPERVISIN, SEGUIMIENTO Y EVALUACIN DEL PAI ......................................................... 2

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

22. SUPERVISIN, SEGUIMIENTO Y EVALUACIN DEL PAI

Medir el desempeo actual

Comparar el desempeo actual con las metas

Tomar medidas gerenciales

El talento humano encargado de la supervisin debe:

Conocer el PAI, sus componentes y el plan de accin.

Algunos de los aspectos esenciales valorados en la supervisin son:

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

Organizacin del trabajo y del puesto de vacunacin.

Este proceso contempla las siguientes acciones:

Programa Ampliado de Inmunizaciones PAI- Colombia

22.2. Seguimiento o monitoreo

La informacin es clave en la determinacin de resultados, por tanto su monitoreo es fundamental en:

Revisin de los registros y consolidados diarios, identificando posibles inconsistencias o errores y su

La realizacin de un seguimiento requiere la definicin de indicadores e instrumentos. Un indicador es una

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

Un indicador adecuado debe ser .

Figura 2. Caractersticas de un indicador

Objetivo, permite obtener resultados similares

Verificable a partir de fuentes fiables

Sensible, registra los cambios de la situacin

Ibd., pp. 20-21

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

directa o indirectamente por una intervencin, sean estos intencionales o no.

Los indicadores se suelen expresar en medidas de:

Los indicadores utilizados en el PAI son: .

Por encima del 95% la

Del 100%, indica acceso

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

Brinda informacin sobre:

Saber cuntos nios y

(Nmero de nios y nias <

El porcentaje de proteccin contra

Puede calcularse para los

Instrumentos para el monitoreo de cobertura

Grfico o tablero de control

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

El grfico de monitoreo o tablero de control es un instrumento de seguimiento del cumplimiento de cobertura,

Figura 3. Ejemplo de tablero de control de coberturas de vacunacin

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

El porcentaje de cobertura se identifica con los siguientes colores (semforo) y se interpreta:

Entre 100% y 95%s

Entre 94% y 90%

Triple Fiebre Hepatitis

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

Seguimiento de los municipios en riesgo

Indicador: % de municipios en riesgo

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin

Programa Ampliado de Inmunizaciones PAI- Colombia

Fuente: MSPS. Presentacin coberturas de vacunacin. Colombia 2013. Diapositiva N 7

Monitoreo Rpido de Coberturas de Vacunacin

Manual tcnico Administrativo del PAI | Capitulo 22 Supervisin