Vous êtes sur la page 1sur 30

ANLISIS DE LA SITUACIN

EVALUACIN DIAGNSTICA

LA PLANEACIN EN IMGENES
qu se tiene? vs. qu se quiere? qu problemas se detectan?

FORMULACIN DE OBJETIVOS

GENERACIN Y EVALUACIN DE ALTERNATIVAS

EVALUACIN DE ALTERNATIVAS

cul es la mejor opcin?

FORMULACIN DEL PLAN DE ACCIN

EVALUACIN DE SEGUIMIENTO Y CONTOL

cul es el avance real vs. avance programado? qu ajustes se requieren?

ANLISIS DE RESULTADOS

EVALUACIN DE RESULTADOS

qu se propuso? vs. qu se entrega?

ANLISIS DE IMPACTO

EVALUACIN DE IMPACTO

cules son los beneficios obtenidos vs. beneficios previstos?

MODELO CLSICO DE LA PLANEACIN Y TIPOS DE EVALUACIN

Arturo Fuentes Zenn

fuzenon@unam.mx

Con todo mi cario:

Arturo Fuentes Zenn Profesor de Carrera Departamento de Sistemas Divisin de Estudios de Posgrado Facultad de Ingeniera Universidad Nacional Autnoma de Mxico Mxico, D.F., C.P. 04510
Ninfa Karen Arturo Ninfa Anglica Elohn

Publicacin Electrnica: agosto de 2010


Santiago

En general, se reconoce que las imgenes constituyen un excelente medio para la representacin de las ideas y la comunicacin, dado que son fciles de entender y de recordar en forma intuitiva y natural; no obstante, advertimos que en la literatura de la planeacin, como en otros campos, no se les presta la debida importancia, ya que se tiende a privilegiar a la explicacin escrita. Esto se debe a la confluencia de diversos factores, que van desde la simple fuerza de la costumbre, hasta, quiz, algn criterio limitado acerca de la "calidad" o "propiedad" que debe observar un "buen trabajo"; cualquiera que sea la razn, el hecho es que se desperdicia un recurso de gran valor. As, entre otros aspectos, se ignora al lector que al examinar una obra con frecuencia dirige primero su atencin a las figuras que contiene, de la misma manera que se pasa por alto que muchos autores deben buena parte de su xito a la fuerza de algunas de las imgenes que han creado. A partir de este tipo de reflexiones es que se ha considerado de inters el desarrollar una forma de expresin en la que las figuras ocupen un lugar preferente; trabajo que no es fcil, pero que bien vale la pena si al final se cuenta con un material que resulte gil y ameno, pero sobre todo que favorezca la comprensin y que estimule la inventiva de quien lo consulte. Con este espritu nace la Serie de la Planeacin en Imgenes, que cuenta ya con seis ttulos.

1. 2.

INTRODUCCIN QU ES LA EVALUACIN?
2.1. 2.2. 2.3. 2.4. 2.5. 2.6. CONCEPTO DE EVALUACIN OBJETIVOS Y CRITERIOS CONSTRUCCIN DE INDICADORES INDICADORES CUANTITATIVOS Y OBJETIVOS METAS, ESTNDARES Y OTROS VALORES DE REFERENCIA MODELO CONCEPTUAL DE LA EVALUACIN

4 12
14 16 18 20 22 24

3.

TIPOS DE EVALUACIN
3.1. 3.2. 3.3. 3.4 UBICACIN DE LA EVALUACIN EN EL PROCESO DE PLANEACIN TIPOS DE EVALUACIN MODELO CIPP MODELO ESFUERZO-DESEMPEO

26
28 30 34 38

4.

TCNICAS DE EVALUACIN
4.1. 4.2. 4.3. 4.4. METODOLOGA PARA LA EVALUACIN DE LA METODOLOGA A LAS TCNICAS DE EVALUACIN TCNICAS PARA LA EVALUACIN TCNICAS PARA LA EVALUACIN DE ALTERNATIVAS

40
42 44 46 52

5.

EJEMPLOS DE APLICACIN (PENDIENTE DE ELABORACIN)

54

INTRODUCCIN (parte 1)

La evaluacin es una de las actividades de la planeacin ms extendidas, ya que se aplica en todo tipo de organizaciones a los ms variados asuntos y cosas, ya sea con un procedimiento un tanto informal o conforme a los dictados de un mtodo riguroso.
La evaluacin es una de las actividades de la planeacin ms extendidas

As, a travs de la evaluacin se cumple con tareas como las siguientes: examinar distintas alternativas para seleccionar la ms apropiada vigilar que un proyecto se conduzca conforme a lo establecido

Apoyar el diagnstico

juzgar los mritos de un programa en curso establecer prioridades de accin auditar los resultados e impacto de un proyecto
Auditar un rea

Mritos de un programa en curso

analizar el desempeo de una organizacin apoyar el diagnstico al identificar las principales deficiencias de un sistema

Establecer prioridades

marcar las ventajas de un producto etc. Lo anterior habla de la importancia de la evaluacin y de la amplitud de su campo de accin.

Monitorear proyectos

Seleccionar una alternativa

Marcar las ventajas de un producto

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

INTRODUCCIN (parte 2)

Pese a que en la evaluacin se cuenta con un amplio material de apoyo, el procedimiento a seguir no queda todo lo claro que se quisiera, entre otros por los siguientes motivos. la propia profusin de materiales y la diversidad de los mismos la amplitud del campo de aplicacin de la evaluacin el alto grado de complicacin de muchas de las propuestas las distintas clases de evaluacin que existen
ayudar a organizar el sentido comn para una mejor toma de decisiones,

La planeacin en lo general y la e va lu a ci n e n lo p a rticu la r, tienen como principal propsito

la carencia de una terminologa comn los muchos factores que se renen y entremezclan en la evaluacin (objetivos, criterios, atributos, metas, preferencias, valores de referencia, indicadores, etc.) No obstante, se tiene la conviccin de que sobre una estructura simple, dada por los conceptos ms bsicos de la evaluacin, as como por un conjunto de tcnicas de fcil manejo, es posible desarrollar un poderoso instrumento de trabajo, capaz de satisfacer los requerimientos comunes de las organizaciones. Por supuesto, siempre habr casos especiales en los que se requiera de instrumentos ms especficos o ms elaborados, pero lo que aqu se presenta no va en contra de ello ni limita su aplicacin, ms an, se estima que constituye un buen apoyo e incluso un buen punto de partida.

con propuestas claras, manejables y de valor prctico

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

INTRODUCCIN (parte 3)

10

De acuerdo con lo que se ha descrito, el objetivo de este trabajo queda en los siguientes trminos: Dar forma a una estructura bsica para conducir las tareas comunes de evaluacin en las organizaciones
Tipos de evaluacin

Modelo conceptual de la evaluacin

Tcnicas de anlisis

Para cumplir con este propsito, en el primer captulo se establece que es la evaluacin y se presentan los principales elementos que intervienen en esta actividad, con lo que se integra un modelo conceptual que ofrece una orientacin general. En el segundo captulo se estudia que tipos de evaluacin existen en funcin del lugar que ocupan en el proceso de planeacin, conforme a lo cual se identifican cinco clases: diagnstica, de alternativas, de seguimiento y control, de resultados y de impacto. En este captulo tambin se estudian los modelos de entrada-salida, que constituyen un valioso apoyo para la evaluacin integral de sistemas productivos y para el anlisis del desempeo de programas institucionales.

ESTRUCTURA BSICA PARA CONDUCIR LAS TAREAS DE EVALUACIN COMUNES EN LAS ORGANIZACIONES

Con base en los resultados de los captulos 1 y 2, en el captulo tres se articula un conjunto de tcnicas para conducir los trabajos de evaluacin en las organizaciones. Finalmente, en el captulo cuatro se ofrecen algunos ejemplos ilustrativos.

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

2.1. CONCEPTO DE EVALUACIN

14

El trmino valuar se aplica por lo general a cosas materiales con el siguiente sentido: valuar: sealar un precio

En tanto que la palabra evaluar tiene una interpretacin ms amplia:


SUJETO OBJETO

evaluar:

estimar, apreciar, calcular el valor de algo

COSA O ASUNTO

En la que ese algo puede ser material o inmaterial y su valor no necesariamente es monetario. A partir de estos apuntes y al hacer la separacin sujeto-objeto, la evaluacin puede ser entendida como: aquella actividad en la que un sujeto con base en ciertos criterios examina los atributos de un objeto, para formular un juicio sobre su valor. Sujeto: Criterios Objeto: responsable de la toma de decisiones, que cuenta o no con el apoyo de analistas puntos de vista con respecto a los cuales se examina y juzga al objeto aquello que se evala, en la figura se incluyen las palabras indeterminadas de cosa o asunto, para dar a entender que el objeto puede ser de cualquier naturaleza. cada una de las propiedades o cualidades del objeto opinin o dictamen que se emite sobre la condicin o desempeo del objeto, para as apoyar la toma de decisiones

CRITERIOS

ATRIBUTOS

JUICIO SOBRE LA CONDICIN O DESEMPEO DEL OBJETO

APOYO A LA TOMA DE DECISIONES

Atributos: Juicio:

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

2.2. OBJETIVOS Y CRITERIOS

16

En el campo de la planeacin es de uso comn poner las necesidades, propsitos o inquietudes que dan origen a la evaluacin en forma de objetivos, esto es, los objetivos de la decisin.
OBJETIVOS DE LA DECISIN SUJETO OBJETO

COSA O ASUNTO CRITERIOS ATRIBUTOS

Sin embargo, si para un problema de cierta complejidad se formula una lista con los objetivos que cubra los distintos aspectos de inters, sin duda que variar el alcance, grado de explicitez y detalle de la lista, adems de que habr repeticiones y omisiones, lo que pone a los objetivos lejos del nivel operativo que se requiere para el anlisis sistemtico de los atributos del objeto. Para tratar con esta dificultad se recomienda construir un rbol de objetivos, que constituye una herramienta simple y poderosa. Para dar forma al rbol se coloca en la parte alta el o los objetivos ms generales, para luego hacer su divisin en objetivos ms especficos y as continuar hasta alcanzar una precisin apropiada. Los subobjetivos colocados en los niveles inferiores (no necesariamente el ltimo) son los que se emplean para definir el conjunto de criterios con los que se examinar al objeto. Los criterios deben ser completos al cubrir los distintos aspectos de inters, comprensibles para el decisor y quienes intervengan en el proceso de evaluacin, no redundantes para evitar el doble conteo y en un mnimo nmero para concentrar la atencin en los aspectos de mayor relevancia. Como complemento a la definicin de los criterios, es til pensar en cules son las preferencias del decisor, esto es, qu tan importante es un criterio con respecto a los dems, lo que se expresa haciendo uso de factores de ponderacin o por medio de pesos relativos.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

PREFERENCIAS (PESO RELATIVO DE LOS CRITERIOS)

UNA IDEA SUPERFICIAL, BORROSA O PARCIAL DE LOS OBJETIVOS Y CRITERIOS DE LA DECISIN ES EL PEOR INICIO

2.3. CONSTRUCCIN DE INDICADORES

18

SUJETO

OBJETO

Una vez que se cuenta con los criterios con los que se va a juzgar al objeto, es necesario definir cmo se va a medir cada uno de ellos, para en otro momento recabar los datos requeridos y estar en posibilidad de establecer qu tan buena es la condicin del objeto o qu tan bueno es su desempeo. A esta representacin operativa de los criterios se le conoce como la construccin de indicadores, los cuales ocupan un lugar intermedio entre los criterios del sujeto y los atributos del objeto. Un indicador puede ser una variable o una funcin de varias variables; por ejemplo, el ritmo cardiaco y el ndice de masa corporal como indicadores de criterio salud. Este mismo ejemplo ilustra que par un mismo criterio puede haber ms de un indicador. Los datos provenientes de estadsticas, mediciones, clculos, conteos o de la observacin daran el valor del indicador. Para cada indicador se establece lo siguiente: Nombre del indicador

COSA O ASUNTO

CRITERIOS

ATRIBUTOS

INDICADORES

(cmo medir)

OBTENCIN DE LOS DATOS

Unidad de medida Si es el caso, forma de clculo Fuente de informacin Vale decir que en ocasiones es fcil y hasta obvio definir qu indicador es el apropiado para un criterio dado, pero igual esto se puede complicar un tanto o un mucho, lo importante es que se capture o refleje en forma apropiada el criterio bajo consideracin y que la obtencin de la informacin no sea muy difcil o costosa.

(mediciones, conteos, clculos u obsevaciones)

LA MEDICIN OCUPA UN LUGAR CENTRAL EN LA EVALUACIN

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

2.4. INDICADORES CUANTITATIVOS Y OBJETIVOS

20

Existe una marcada tendencia que favorece el uso de indicadores cuantitativos y objetivos, lo cual se comparte, pero no al extremo de excluir de la evaluacin a lo cualitativo o a lo subjetivo. Las variables cuantitativas se expresan en forma numrica y existe una escala de medicin natural, en tanto que las variables cualitativas se expresan en forma nominal (religin, educacin, color,...) u ordinal bueno, regular, malo,...; alto, medio, bajo,...) Para las variables cualitativas con frecuencia se hace una equivalencia numrica (bueno =10, regular =7,...; o se asigna en forma directa una calificacin (qu tan bueno...? = 10, 9, 8,...) Por la manera en que se obtiene la informacin se distingue entre indicadores objetivos y subjetivos. Los primeros se basan en medidas externas independientes del informante (mediciones, estadsticas, clculos,...), en tanto que en los indicadores subjetivos se refleja la opinin o percepcin de esa persona. Los indicadores cuantitativo-objetivos son preferibles dado que son de ms fcil manejo y son menos controversiales, pero existen distintas razones por las que no siempre es posible o conveniente su empleo, como sucede en los siguientes casos: a) cuando la informacin no est disponible, es costosa o su obtencin se complica, por lo que se opta por recabar la opinin de expertos b) cuando el lenguaje tcnico est fuera del alcance de los participantes, lo que les impide expresar sus preferencias e interpretar los resultados c) cuando el atributo de inters no tiene una naturaleza cuantitativa d) cuando resulta imprctico hacer un anlisis parte por parte; por ejemplo, para valorar a un proveedor se tendra que considerar precio, calidad, entregas a tiempo, etc., en cuyo caso se opta por una calificacin global expresada en forma ordinal o numrica.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

Ejemplo de indicadores en la compra de un auto

CUANTITATIVOS (en forma numrica) OBJETIVOS (basados en conteos, estadsticas, clculos, etc.) Rendimiento (km. /lt.) Precio (pesos) Costo del seguro (pesos)

CUANTITATIVOS
(en forma nominal u ordinal)

Color Aditamentos

SUBJETIVOS reflejan la opinin o percepcin del informante Precio de reventa * (pesos) Belleza Estado fsico

* si no est basado en
estadsticas

2.5. METAS, ESTNDARES Y OTROS VALORES DE REFERENCIA

22

SUJETO

OBJETO

Con los indicadores se establece lo que ser medido y la forma de medirlo, pero falta considerar los valores que sern empleados como base comparativa para juzgar los resultados obtenidos. Los valores de referencia ms comunes son los siguientes: Metas: qu valores son deseables o aceptables Estndares tcnicos: normas o especificaciones Valores histricos: que permiten juzgar sobre el mejoramiento o no de la variable de inters en el tiempo Valores relacionados: comparaciones con otros lugares u objetos similares (ej. media nacional, firmas equiparables, etc.) As, se puede marcar un lmite superior, uno inferior o ambos, tal que si los resultados obtenidos estn por arriba de un lmite superior o por abajo de uno inferior se concluye que la condicin o el desempeo es insatisfactorio Al hacer esta comparacin se puede emitir una calificacin ordinal o numrica, para expresar qu tan buena o qu tan mala es la condicin o desempeo del objeto. Cabe aadir que en algunos casos no se establece en forma expresa ningn valor de referencia, sino que en forma directa se asigna una calificacin que depende de la interpretacin del evaluador. En la evaluacin de alternativas se agregan a los valores de referencia las restricciones, que contemplan la disponibilidad de recursos y cualquier otra limitante fsica, tcnica o legal, para de esta manera juzgar qu alternativas son viables y cules no.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

COSA O ASUNTO

CRITERIOS

ATRIBUTOS

VALORES DE REFERENCIA
Metas o valores deseables Estndares tcnicos Valores histricos Valores relacionados (lugares u objetos similares) Restricciones (para la evaluacin de alternativas)

DATOS

VERSUS

sobre la condicin o desempeo del objeto (mediciones, conteos, clculos u observaciones)

COMPARACIN
CALIFICACIN

JUICIO

TODA EVALUACIN IMPLICA UNA COMPARACIN

2.6. MODELO CONCEPTUAL DE LA EVALUACIN

24

SUJETO OBJETIVOS

OBJETO

COSA O ASUNTO

Con los elementos que se han descrito a lo largo de este captulo se integra un modelo conceptual de la evaluacin, que brinda una orientacin sobre los distintos elementos que intervienen y como se relacionan. Para ilustrar este modelo suponga que se desea evaluar la calidad del servicio de una firma de paquetera.
Objetivo: mejorar la calidad del servicio (nico objetivo)
CRITERIOS:
ENTREGA DE PAQ. O PO RTUNI DAD DE TRATO AL CLIENTE SIN DAOS ENTREGA 0.6 0.2 0.2

CRITERIOS

ATRIBUTOS

INDICADORES (cmo medir)

PREFERENCIAS
(PESO RELATIVO)

INDICADORES
NOMBRE
R E C L A M O S P O R ENTREGAS A TIEMPO TRATO AL CLIENTE DAOS (2 DAS MXIMO) CALIFICACIN (EXC., PESOS PAGADOS PORCENTAJE DE POR DAOS ENTREGAS A TIEMPO BUENO, REGULAR O MALO) NUM. DE PAQ. ENTREG. A TIEMPO / TOTAL DE PAQUETES NOTA DE ENTREGA CONSULTA TELEF. AL CLIENTE

VALORES DE REFERENCIA metas, estndares, valores histricos, restricciones, otros

OBTENCIN DE DATOS

U. DE MEDIDA F O R M A CLCULO D E

F U E N T E D E OF. DE RECLAMOS INFORMACIN

PREFERENCIAS (peso relativo de los criterios)

COMPARACIN (datos- valores de referencia)

V A L O R E S HISTRICOS
(AO ANTERIOR)

2 M I L L O N E S D E EL PR O M ED I O F U E NO HAY DATOS PAGOS POR MES DEL 60% REDUCIR A LA MITAD E N T R E G A R A L 95% DE LOS CASOS L O S P A G O S P O R MENOS 90% DE LOS FAVORABLE (EXC. O RECLAMOS PAQ. A TIEMPO BUENA)

METAS DATOS DEL MES ANTERIOR COMPARACIN

CALIFICACIONES PARCIALES

1.9 MILLONES

75%

80% FAVORABLE

MUY POR ABAJO DE ABAJO DE LA META LA META

ABAJO DE LA META

CALIFICACIN GLOBAL JUICIO sobre la condicin o desempeo del objeto

CALIFICACIN CALIFICACIN GLOBAL

5 X 0.6 + 8 X 0.2 + 8 X 0.2 = 6.2

Juicio: la atencin al cliente es aceptable y la oportunidad de entrega ha mejorado, pero el pago por daos sigue siendo muy alto. Decisin: ofrecer como incentivo a los trabajadores la mitad de los ahorros que se tengan por reclamos y estudiar la causa de los retrasos para hacer los ajustes pertinentes
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

APOYO A LA TOMA DE DECISIONES

3.1. UBICACIN DE LA EVALUACIN EN EL PROCESO DE PLANEACIN

28

ANLISIS DE LA SITUACIN
EVALUACIN DIAGNSTICA

qu se tiene? vs. qu se quiere? qu problemas se detectan?

Dado que la evaluacin se emplea con distintos propsitos, ya sea para detectar y precisar las necesidades que se tienen, para elegir entre distintas opciones o para dar seguimiento a un proyecto en ejecucin, entre otras posibilidades, se provoca cierta confusin. Buena parte de esta confusin se aclara al examinar en qu momentos de la planeacin se hace uso de la evaluacin. Fuentes Zenn* presenta lo que se conoce como el modelo clsico de la planeacin, en el que se concibe al cambio como el fruto natural de un proceso para ganar conocimiento, en el que con algunos cambios menores se contemplan las siguientes etapas: Anlisis de la situacin qu se tiene? qu se quiere? cmo pasar de lo que se tiene a lo que se quiere? cmo organizar la ejecucin de los proyectos seleccionados? qu productos se propone entregar y qu beneficios se derivan de ello?

FORMULACIN DE OBJETIVOS

GENERACIN Y EVALUACIN DE ALTERNATIVAS

EVALUACIN DE ALTERNATIVAS

cul es la mejor opcin?

FORMULACIN DEL PLAN DE ACCIN

EVALUACIN DE SEGUIMIENTO Y CONTOL

cul es el avance real vs. avance programado? qu ajustes se requieren?

Formulacin de objetivos Generacin y ev. de alternativas Plan de accin

ANLISIS DE RESULTADOS

EVALUACIN DE RESULTADOS

qu se propuso? vs. qu se entrega?

Anlisis de resultados y de impacto

ANLISIS DE IMPACTO

EVALUACIN DE IMPACTO

cules son los beneficios obtenidos vs. beneficios previstos?

En este proceso se identifican cinco formas o tipos de evaluacin: diagnstica, de alternativas, de seguimiento y control, de resultados y de impacto.

*
MODELO CLSICO DE LA PLANEACIN Y TIPOS DE EVALUACIN

FUENTES Zenn, Arturo (2001) Enfoques de Planeacin: un sistema de metodologas, Serie la Planeacin en Imgenes, Divisin de Estudios de Posgrado, Facultad de Ingeniera, UNAM
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

3.2. TIPOS DE EVALUACIN (parte 1)


EVALUACIN DIAGNSTICA

30

CRITERIOS

ATRIBUTOS

INDICADORES

En la evaluacin diagnstica se realiza un anlisis sistemtico de las condiciones o desempeo de objeto, con el propsito de identificar las fallas que se tienen y su magnitud, para en un siguiente momento indagar sobre las causas de las fallas detectadas y las posibles soluciones, por lo que la evaluacin diagnstica constituye la base de un plan de mejora bien estructurado. De manera similar a un check-up mdico, se formula un listado de los criterios e indicadores de relevancia, para sobre esa base levantar los datos sobre el estado del objeto, que se comparan con lo los valores de referencia correspondientes (metas, valores deseados, estndares tcnicos, etc.) para identificar la deficiencias que se tienen.

QU SE QUIERE? metas, estndares u otros valores de referencia

QU SE TIENE? datos u observaciones

PROBLEMAS QUE SE DETECTAN Y SU MAGNITUD

EVALUACIN DE ALTERNATIVAS
alternativas CRITERIOS INDICADORES ATRIBUTOS datos y estimacin de los resultados asociados a cada alternativa

En la evaluacin de alternativas se tiene una doble tarea, en la primera se examina qu alternativas son viables en funcin de la disponibilidad de recursos y cualquier otra limitante fsica, tcnica o legal que se tenga, lo que lleva a desechar las opciones que no cumplen con estas restricciones. En algunos casos se agrega a las restricciones un nivel mnimo de aceptacin, de suerte que si alguna alternativa no cumple con ese mnimo tambin se desecha, sin que importe qu tan buena sea en otros sentidos (como sera una oferta de empleo con un salario muy bajo). El siguiente paso consiste en definir de entre las alternativas que quedan cul es la mejor, acorde con los objetivos y criterios que se hayan planteado.

Restricciones y Nivel mnimo de aceptacin

Anlisis de viabilidad y aceptabilidad de las alternativas


alternativas desechadas

alternativas que califican

Valores de referencia Preferencias Calificaciones

Anlisis para definir cul es la mejor opcin

ALTERNATIVA SELECCIONADA
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

TIPOS DE EVALUACIN (parte 2)

CONCEPTO Y FACETAS DE LA PLANEACIN

32 29

EVALUACIN DE SEGUIMIENTO Y CONTROL


proyectos o programas en ejecucin CRITERIOS avance programado RETRASOS especificaciones ATRIBUTOS avance real

Esta evaluacin se realiza durante la ejecucin de un proyecto o programa, para verificar si los avances que se tienen estn de acuerdo con lo programado y para revisar si los resultados parciales cumplen con las especificaciones establecidas, para en caso contrario hacer los ajustes pertinentes. Una ejecucin incompleta o defectuosa puede tener distintas causas, como una gestin ineficaz, falta de recursos, errores de diseo, cambios en el entorno, etc.
EVALUACIN DE RESULTADOS

resultados parciales

FALLAS

CRITERIOS RESULTADOS DESEADOS cantidad calidad costo eficiencia oportunidad

ATRIBUTOS RESULTADOS ALCANZADOS

Una vez que se ha completado un proyecto o al fin de un ciclo para un programa continuo, se realiza una comparacin de los resultados alcanzados con las metas y especificaciones que se hallan propuesto. Los criterios que se consideran son cantidad y calidad de los productos que se entregan o de los servicios que se prestan, as como el costo, eficiencia y oportunidad con que se realiza.
EVALUACIN DE IMPACTO

JUICIO SOBRE LOS RESULTADOS

CRITERIOS adecuacin conforme a las necesidades que se detectan Logro de un objetivo superior cobertura alcanzada, otros

ATRIBUTOS Beneficios derivados de la disposicin o uso de de los productos que se entregan o de los servicios que se prestan

Mientras que en la evaluacin de resultados se examina qu productos se entregan, en la evaluacin de impacto se hace una valoracin de los beneficios que se derivan de su uso o disposicin. En otras palabras, se valoran los cambios propiciados y por ese medio la contribucin que se hace a la satisfaccin de las necesidades del entorno o al logro de un objetivo superior. Por ejemplo, en un programa de apoyo a PYMES, en el nivel de resultados se examina cuntos crditos se otorgaron y la agilidad con la que se realiz, en tanto que en el nivel del impacto se valora cul es la cobertura, cuntos empleos se han generado, cul es el crecimiento de esas empresas, etc.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN DISEO DE LA ESTRATEGIA COMPETITIVA

JUICIO SOBRE EL IMPACTO

3.3. MODELO CIPP (parte 1)

34

CONTEXTO
NSUMOS (RECURSOS)

Existen distintos modelos en los que se hace una representacin completa del objeto de estudio, que favorecen el diseo de un sistema integral de indicadores para hacer una evaluacin completa. Tal es el caso del cuadro de mando en el campo de los negocios, el cuadro lgico para la planeacin de proyectos y el modelo PER (programa-estado-respuesta) que se emplea en el anlisis ambiental. Aqu se trata el modelo CIPP, en el que se visualiza al objeto formado por tres grandes bloques (input-process-product), que se ubican en un entorno (context), el cual es de gran inters ya que por este medio se puede representar cualquier conjunto de recursos y actividades que se organizan para cumplir con un propsito, como podra ser un proceso de manufactura, un programa de salud pblica, un servicio informtico y un sin fin de cosas ms.
IMPACTO O EFICACIA

PROCESO

PRODUCTOS

Este modelo permite disear un sistema de indicadores en el que se ponen a consideracin aspectos como los siguientes: Si los recursos disponibles son apropiados en cantidad y calidad Qu tan bien funcionan los procesos (tiempo de ciclo, defectos, etc.) Si se cumple en tiempo y forma con las metas de produccin Qu cambios se han logrado en el entorno y si la cobertura que se tiene es suficiente

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

MODELO CIPP (parte 2)

36

De acuerdo con la estructura del modelo CIPP, los elementos a considerar para el diseo de un sistema integral de indicadores son los siguientes: Insumos: recursos con los que se cuenta (equipo, instalaciones, materiales, personal, etc.), si su disponibilidad, cantidad y calidad es o no apropiada.
EFECTIVIDAD-COSTO

EFICIENCIA

EFECTIVIDAD

Proceso: es el mecanismo a travs del cual los insumos se transforman en productos, se examina su organizacin y funcionamiento. Productos: bienes que se entregan o servicios que se prestan Calidad: qu tan buenos son los bienes o servicios que se prestan, as como el nivel de satisfaccin de los beneficiarios. Contexto: es el medio en el que se tiene impacto, por lo que se miden los beneficios derivados de la disposicin o uso de los productos, as como la cobertura que se tiene, esto es, si son suficientes de acuerdo a las necesidades existentes o conforme a los objetivos propuestos. Eficiencia: se estudia la productividad de los recursos (relacin entre los productos obtenidos y los recursos empleados) Efectividad: indica en trminos relativos que impacto se tiene por unidad producida o por servicio prestado. Efectividad-costo: similar al anterior, pero ahora la relacin es entre el impacto que se tiene y los recurso empleados. Sobre esta base se diseara un sistema de indicadores, en el que lo genial no estara en contar con un gran nmero de mediciones, sino en identificar los aspectos clave para hacer una valoracin apropiada del objeto bajo estudio.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

INSUMOS (RECURSOS)

PROCESO

PRODUCTOS

BENEFICIOS Y COBERTURA

CONTEXTO CALIDAD

3.4. MODELO ESFUERZO DESEMPEO

38 CONCEPTO Y FACETAS DE LA PLANEACIN 29

El modelo esfuerzo-desempeo es una versin simplificada del modelo CIPP, que facilita la evaluacin. Esfuerzo: son los recursos que se ponen en juego para atender una necesidad. Por ejemplo, en un centro hospitalario se tomara en cuenta el nmero de camas o de doctores, programas de vacunacin, nmero de promocionales para la prevencin del cncer, etc. Desempeo: se mide el resultado del esfuerzo, como podra ser el nmero de pacientes atendidos, las operaciones realizadas, la cantidad de vacunas aplicadas o el nmero de personas a las que llegan los programas preventivos. Adecuacin del desempeo: se establece si el desempeo es satisfactorio de acuerdo a las necesidades detectadas o con respecto a los objetivos planteados Eficiencia: se mide la relacin esfuerzo- desempeo.

ENTORNO
ADECUACIN DEL DESEMPEO

ESFUERZO

PROCESO

DESEMPEO

EFICIENCIA

Un smil ilustrativo Esfuerzo: en el caso de un ave se juzga el vuelo por el tamao de las alas y por cuntas veces las bate, no por la distancia que recorre. Desempeo: se mide la distancia recorrida, no si llega a su destino Adecuacin del desempeo: para el ave se evaluara la distancia recorrida en funcin de la distancia por recorrer

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

4.1. METODOLOGA PARA LA EVALUACIN

42

FASE PREPARATORIA a) Qu se evala? b) Para qu? MARCO PARA LA EVALUACIN c) Criterios d) Preferencias e) Indicadores nombre unidad de medida mtodo de clculo fuente de informacin f) Valores de referencia metas normas o estndares tcnicos valores histricos otros valores de referencia g) Restricciones y nivel mnimo de aceptacin FASE OPERATIVA h) Obtencin de los datos i) Procesamiento de los datos j) Interpretacin de los resultados y formulacin de recomendaciones k) Elaboracin de reportes

Hasta el momento se ha tratado el tema de la evaluacin desde una perspectiva conceptual, por lo que es necesario llevar estas ideas al nivel procedimental y de las tcnicas, para dar una orientacin realmente efectiva en el terreno de las aplicaciones. En cuanto al procedimiento a seguir se identifican tres etapas:
FASE PREPARATORIA

Constituye la base y eje de la evaluacin, en la que se debe de dejar claros qu se evala y para qu a) objeto bajo examen: institucin, programa, proyecto, etc. b) propsito de la evaluacin: problemtica que da origen a la evaluacin, objetivos que se persiguen y resultados esperados
CONSTRUCCIN DEL MARCO PARA EL ANLISIS

Se establece el conjunto de elementos con los que se va a examinar al objeto. c) criterios: con qu criterios se va a juzgar al objeto d) preferencias: peso relativo de los criterios e) indicadores: cmo se va a medir o cualificar f) valores de referencia: que valores sern empleados como base comparativa para juzgar la condicin o desempeo del objeto g) restricciones y nivel mnimo de aceptacin: para juzgar la viabilidad o aceptabilidad de las alternativas
FASE OPERATIVA

Contempla la obtencin y procesamiento de la informacin requerida para evaluar al objeto h) obtencin de los datos i) procesamiento de los datos j) reportes de resultados k) interpretacin de los resultados y formulacin de recomendaciones
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

4.2. DE LA METODOLOGA A LAS TCNICAS DE EVALUACIN

44

Al poner a consideracin el procedimiento general que se ha descrito en el anterior apartado, bien puede calificarse como ordenado e inteligible, pero igual se le puede tachar de academicista o falto de practicidad, ya que est ms cerca de los conceptos que de la obtencin y manejo de los datos.
CONCEPTOS METODOLOGA
TC

APLICACIONES

Por ello, se puede ver a las tcnicas como un elemento de apoyo para dar una orientacin ms firme, como el eslabn necesario de la cadena
CONCEPTOS-METODOLOGA-TCNICAS-APLICACIONES.

CN I

CA S

ATAJOS TERICOS ADAPTACIONES PRCTICAS

AS NIC

Pero el desarrollo de las tcnicas no se limita a tender un puente o servir de auxilio a las metodologas, ya que en muchos casos se deben construir atajos a elaboraciones abstractas o en exceso complicadas, as como hacer adaptaciones prcticas para tomar en cuenta aspectos como la disponibilidad y tipo de informacin a manejar, relacin analista-decisor, profundidad y rigurosidad del anlisis que se exige, etc. As, entre atajos tericos y adaptaciones prcticas se abre un abanico de tcnicas susceptibles de ser empleadas, de las cuales se hace una seleccin atendiendo a su aplicabilidad, las cuales se presentan en el siguiente apartado.

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

4.3. TCNICAS PARA LA EVALUACIN (parte 1)

46

PROS

CONTRAS
CRITERIOS INDICADORES VALORES DE REFERENCIA DATOS
CALIFICACIONES

Este apartado contiene un conjunto de tcnicas de evaluacin que se distinguen por su aplicabilidad, las cuales se presentan en forma de tablillas para hacer su llenado y realizar el anlisis. Estas tablillas pueden ser empleadas para los siguientes tipos de evaluacin: diagnstica, de seguimiento y control, de resultados y de impacto, as como para la evaluacin integral de sistemas haciendo uso del modelo CIPP o del modelo esfuerzo-desempeo. Por lo que se refiere a las tablillas para la evaluacin de alternativas, estas se presentan por separado en el siguiente apartado, ya que se requiere de hacer algunos ajustes para examinar tanto la viabilidad las opciones, como su efectividad.

CRITERIOS O INDICADORES

CALIFICACIONES 1 2 3 4 5

OBSERVACIONES

CRITERIOS

INDICADORES

VALORES DE REFERENCIA

DATOS

OBSERVACIONES

RESTRICCIONES O NIVEL MNIMO DE ACEPTACIN

CONDICIONES FIJADAS
DATO

I
CUMPLE O NO CUMPLE

ALTERNATIVAS II
DATO
CUMPLE O NO CUMPLE

--DATO
CUMPLE O NO CUMPLE

ALTERNATIVA I PROS ALTERNATIVA II PROS ALTERNATIVA N PROS CONTRAS CONTRAS


CRITERIOS INDICADORES VALORES DE REFERENCIA

CONTRAS
DATOS

En cuanto a qu tablilla conviene emplear, en cada caso se hacen algunos comentarios que pueden servir de orientacin general, fuera de ello la nica recomendacin es que se tome la tablilla que se ajuste mejor a los propsitos y condiciones que se tengan.
--ALT. N

ALT. I

ALT. II

CRITERIOS

INDICADORES

PREFERENCIAS

VALORES DE REFERENCIA

ALTERNATIVA I
DATOS CALIF. CALIF.
PONDERADA

ALTERNATIVA II
DATOS CALIF. CALIF.
PONDERADA

---

CRITERIOS O INDICADORES

ALTERNATIVA I PREFERENCIAS CALIF. CALIF.


PONDERADA

ALTERNATIVA II CALIF. CALIF.


PONDERADA

ALTERNATIVA N --CALIF. CALIF.


PONDERADA

CALIF. GLOBAL

CALIF. GLOBAL

CALIF. GLOBAL

CALIF. GLOBAL

CALIF. GLOBAL

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

TCNICAS PARA LA EVALUACIN (parte 2)

48

TABLILLA 1. (PROS CONTRAS)


PROS CONTRAS

Paso 1. Definir qu se evala y para qu. Paso 2. Sin mayor prembulo, colocar en la parte izquierda qu aspectos se consideran favorables y en la parte derecha los desfavorables. Nota: Esta es la tcnica de evaluacin ms simple, se limita a ofrecer al decisor lo bueno y malo que se detecta, para que por si mismo haga un balance y formule un juicio.

TABLILLA 2. (CALIFICACIONES DIRECTAS) Paso 1. Definir qu se evala y para qu. Paso 2. Definir qu criterios y/o indicadores se emplearn para juzgar al objeto.
CRITERIOS O INDICADORES CALIFICACIONES 1 2 3 4 5 OBSERVACIONES

Paso 3. Se emite una calificacin por parte de un experto acerca de qu tan favorable o desfavorable es la condicin o desempeo del objeto, misma que se representa en una escala de 1 a 5 con una barra, aunque igual puede usarse otra escala numrica o una escala de carcter ordinal. Paso 4. En esta columna se anota cualquier comentario o aclaracin que se considere pertinente. Notas: La mayor ventaja de esta tcnica es la agilidad con la que se realiza la evaluacin, la brevedad del contenido y la facilidad para su interpretacin. Del otro lado, la validez de la tcnica est condicionada por la capacidad del experto y por la credibilidad que tenga su opinin, sin lo cual constituye un ejercicio intil.

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

TCNICAS PARA LA EVALUACIN (parte 3)

50

TABLILLA 3. (PAQUETE ESTRUCTURADO DE INFORMACIN) Paso 1. Definir qu se evala y para qu. Paso 2. Definir qu criterios se emplearn para juzgar al objeto.
CRITERIOS INDICADORES VALORES DE REFERENCIA DATOS
OBSERVACIONES

Paso 3. Para cada criterio estudiar qu indicador se va a usar Paso 4. Establecer los valores de referencia que sern empleados como base comparativa para juzgar al objeto. Paso 5. Recabar los datos sobre la condicin o desempeo del objeto (estadsticas, mediciones, conteos, clculos u observaciones). Paso 6. Cualquier opinin, interpretacin o juicio se coloca por separado en esta columna para no contaminar los hechos. Nota: En este caso el analista se limita a ofrecer un paquete estructurado de informacin, para que el decisor formule un juicio por si mismo.

TABLILLA 4. (PAQUETE ESTRUCTURADO DE INFORMACIN: Y CALIFICACIONES)


CRITERIOS INDICADORES VALORES DE REFERENCIA DATOS
CALIFICACIONES

Esta tablilla es muy similar a la tablilla 3, la diferencia es que la columna de observaciones es sustituida por una calificacin ordinal o numrica dada por un experto o por el propio analista. Nota: La credibilidad del experto (o del analista) no constituye un elemento crtico, pues se incluyen las bases sobre las que formula su juicio y por tanto las calificaciones son revisables.

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

4.4. TCNICAS PARA LA EVALUACIN DE ALTERNATIVAS (parte 1)

52

RESTRICCIONES O NIVEL MNIMO DE ACEPTACIN

CONDICIONES FIJADAS
DATO

I
CUMPLE O NO CUMPLE

ALTERNATIVAS II
DATO
CUMPLE O NO CUMPLE

--DATO
CUMPLE O NO CUMPLE

En la evaluacin de alternativas se tienen dos etapas de trabajo; la primera tiene como propsito verificar la viabilidad y aceptabilidad de las propuestas, para eliminar aquellas opciones que no cumplan con las condiciones exigidas, en tanto que en la segunda etapa se comparan las alternativas que quedan para determinar cul es la mejor. Para la primera etapa se construye una tablilla que involucra los siguientes pasos: Paso 1. Establecer el conjunto de alternativas a evaluar. Paso 2. Definir las restricciones a considerar y definir aquellos criterios para los que se exige un nivel mnimo de desempeo.

ALTERNATIVA II PROS ALTERNATIVA I ALTERNATIVA N PROS CONTRAS PROS CONTRAS CONTRAS

Paso 3. Establecer en forma numrica, ordinal o nominal las condiciones a cumplir. Paso 4. Para cada alternativa obtener los dato correspondientes y verificar si se cumple o no con las condiciones fijadas. En cuanto a la comparacin de las alternativas para identificar cul es la mejor, lo ms simple es extender las tablillas 1 y 3 para que el decisor por si mismo haga la comparacin y juzgue cul le conviene.

CRITERIOS

INDICADORES

VALORES DE REFERENCIA

DATOS

ALT. I

ALT. II

---

ALT. N

Ahora bien, el apoyo que brinda el analista al decisor puede ir ms all de la sola extensin de las tablas, al introducir en las tablas 2 o 4 las preferencias, esto es, el peso relativo de cada criterio, lo que permite asignar una calificacin global a cada alternativa

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

4.4. TCNICAS PARA LA EVALUACIN DE ALTERNATIVAS(parte 2)

52

CRITERIOS O INDICADORES

ALTERNATIVA I PREFERENCIAS CALIF. CALIF.


PONDERADA

ALTERNATIVA II CALIF. CALIF.


PONDERADA

ALTERNATIVA N --CALIF. CALIF.


PONDERADA

El apoyo que brinda el analista al decisor puede ir ms all de la sola extensin de las tablas, al introducir en las tablas 2 o 4 las preferencias, esto es, el peso relativo de cada criterio, lo que permite asignar una calificacin global a cada alternativa
CALIF. GLOBAL CALIF. GLOBAL CALIF. GLOBAL

CRITERIOS

INDICADORES

PREFERENCIAS

VALORES DE REFERENCIA

ALTERNATIVA I
DATOS CALIF. CALIF.
PONDERADA

ALTERNATIVA II
DATOS CALIF. CALIF.
PONDERADA

---

CALIF. GLOBAL

CALIF. GLOBAL

LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN

Vous aimerez peut-être aussi