Académique Documents
Professionnel Documents
Culture Documents
EVALUACIN DIAGNSTICA
LA PLANEACIN EN IMGENES
qu se tiene? vs. qu se quiere? qu problemas se detectan?
FORMULACIN DE OBJETIVOS
EVALUACIN DE ALTERNATIVAS
ANLISIS DE RESULTADOS
EVALUACIN DE RESULTADOS
ANLISIS DE IMPACTO
EVALUACIN DE IMPACTO
fuzenon@unam.mx
Arturo Fuentes Zenn Profesor de Carrera Departamento de Sistemas Divisin de Estudios de Posgrado Facultad de Ingeniera Universidad Nacional Autnoma de Mxico Mxico, D.F., C.P. 04510
Ninfa Karen Arturo Ninfa Anglica Elohn
En general, se reconoce que las imgenes constituyen un excelente medio para la representacin de las ideas y la comunicacin, dado que son fciles de entender y de recordar en forma intuitiva y natural; no obstante, advertimos que en la literatura de la planeacin, como en otros campos, no se les presta la debida importancia, ya que se tiende a privilegiar a la explicacin escrita. Esto se debe a la confluencia de diversos factores, que van desde la simple fuerza de la costumbre, hasta, quiz, algn criterio limitado acerca de la "calidad" o "propiedad" que debe observar un "buen trabajo"; cualquiera que sea la razn, el hecho es que se desperdicia un recurso de gran valor. As, entre otros aspectos, se ignora al lector que al examinar una obra con frecuencia dirige primero su atencin a las figuras que contiene, de la misma manera que se pasa por alto que muchos autores deben buena parte de su xito a la fuerza de algunas de las imgenes que han creado. A partir de este tipo de reflexiones es que se ha considerado de inters el desarrollar una forma de expresin en la que las figuras ocupen un lugar preferente; trabajo que no es fcil, pero que bien vale la pena si al final se cuenta con un material que resulte gil y ameno, pero sobre todo que favorezca la comprensin y que estimule la inventiva de quien lo consulte. Con este espritu nace la Serie de la Planeacin en Imgenes, que cuenta ya con seis ttulos.
1. 2.
INTRODUCCIN QU ES LA EVALUACIN?
2.1. 2.2. 2.3. 2.4. 2.5. 2.6. CONCEPTO DE EVALUACIN OBJETIVOS Y CRITERIOS CONSTRUCCIN DE INDICADORES INDICADORES CUANTITATIVOS Y OBJETIVOS METAS, ESTNDARES Y OTROS VALORES DE REFERENCIA MODELO CONCEPTUAL DE LA EVALUACIN
4 12
14 16 18 20 22 24
3.
TIPOS DE EVALUACIN
3.1. 3.2. 3.3. 3.4 UBICACIN DE LA EVALUACIN EN EL PROCESO DE PLANEACIN TIPOS DE EVALUACIN MODELO CIPP MODELO ESFUERZO-DESEMPEO
26
28 30 34 38
4.
TCNICAS DE EVALUACIN
4.1. 4.2. 4.3. 4.4. METODOLOGA PARA LA EVALUACIN DE LA METODOLOGA A LAS TCNICAS DE EVALUACIN TCNICAS PARA LA EVALUACIN TCNICAS PARA LA EVALUACIN DE ALTERNATIVAS
40
42 44 46 52
5.
54
INTRODUCCIN (parte 1)
La evaluacin es una de las actividades de la planeacin ms extendidas, ya que se aplica en todo tipo de organizaciones a los ms variados asuntos y cosas, ya sea con un procedimiento un tanto informal o conforme a los dictados de un mtodo riguroso.
La evaluacin es una de las actividades de la planeacin ms extendidas
As, a travs de la evaluacin se cumple con tareas como las siguientes: examinar distintas alternativas para seleccionar la ms apropiada vigilar que un proyecto se conduzca conforme a lo establecido
Apoyar el diagnstico
juzgar los mritos de un programa en curso establecer prioridades de accin auditar los resultados e impacto de un proyecto
Auditar un rea
analizar el desempeo de una organizacin apoyar el diagnstico al identificar las principales deficiencias de un sistema
Establecer prioridades
marcar las ventajas de un producto etc. Lo anterior habla de la importancia de la evaluacin y de la amplitud de su campo de accin.
Monitorear proyectos
INTRODUCCIN (parte 2)
Pese a que en la evaluacin se cuenta con un amplio material de apoyo, el procedimiento a seguir no queda todo lo claro que se quisiera, entre otros por los siguientes motivos. la propia profusin de materiales y la diversidad de los mismos la amplitud del campo de aplicacin de la evaluacin el alto grado de complicacin de muchas de las propuestas las distintas clases de evaluacin que existen
ayudar a organizar el sentido comn para una mejor toma de decisiones,
la carencia de una terminologa comn los muchos factores que se renen y entremezclan en la evaluacin (objetivos, criterios, atributos, metas, preferencias, valores de referencia, indicadores, etc.) No obstante, se tiene la conviccin de que sobre una estructura simple, dada por los conceptos ms bsicos de la evaluacin, as como por un conjunto de tcnicas de fcil manejo, es posible desarrollar un poderoso instrumento de trabajo, capaz de satisfacer los requerimientos comunes de las organizaciones. Por supuesto, siempre habr casos especiales en los que se requiera de instrumentos ms especficos o ms elaborados, pero lo que aqu se presenta no va en contra de ello ni limita su aplicacin, ms an, se estima que constituye un buen apoyo e incluso un buen punto de partida.
INTRODUCCIN (parte 3)
10
De acuerdo con lo que se ha descrito, el objetivo de este trabajo queda en los siguientes trminos: Dar forma a una estructura bsica para conducir las tareas comunes de evaluacin en las organizaciones
Tipos de evaluacin
Tcnicas de anlisis
Para cumplir con este propsito, en el primer captulo se establece que es la evaluacin y se presentan los principales elementos que intervienen en esta actividad, con lo que se integra un modelo conceptual que ofrece una orientacin general. En el segundo captulo se estudia que tipos de evaluacin existen en funcin del lugar que ocupan en el proceso de planeacin, conforme a lo cual se identifican cinco clases: diagnstica, de alternativas, de seguimiento y control, de resultados y de impacto. En este captulo tambin se estudian los modelos de entrada-salida, que constituyen un valioso apoyo para la evaluacin integral de sistemas productivos y para el anlisis del desempeo de programas institucionales.
ESTRUCTURA BSICA PARA CONDUCIR LAS TAREAS DE EVALUACIN COMUNES EN LAS ORGANIZACIONES
Con base en los resultados de los captulos 1 y 2, en el captulo tres se articula un conjunto de tcnicas para conducir los trabajos de evaluacin en las organizaciones. Finalmente, en el captulo cuatro se ofrecen algunos ejemplos ilustrativos.
14
El trmino valuar se aplica por lo general a cosas materiales con el siguiente sentido: valuar: sealar un precio
evaluar:
COSA O ASUNTO
En la que ese algo puede ser material o inmaterial y su valor no necesariamente es monetario. A partir de estos apuntes y al hacer la separacin sujeto-objeto, la evaluacin puede ser entendida como: aquella actividad en la que un sujeto con base en ciertos criterios examina los atributos de un objeto, para formular un juicio sobre su valor. Sujeto: Criterios Objeto: responsable de la toma de decisiones, que cuenta o no con el apoyo de analistas puntos de vista con respecto a los cuales se examina y juzga al objeto aquello que se evala, en la figura se incluyen las palabras indeterminadas de cosa o asunto, para dar a entender que el objeto puede ser de cualquier naturaleza. cada una de las propiedades o cualidades del objeto opinin o dictamen que se emite sobre la condicin o desempeo del objeto, para as apoyar la toma de decisiones
CRITERIOS
ATRIBUTOS
Atributos: Juicio:
16
En el campo de la planeacin es de uso comn poner las necesidades, propsitos o inquietudes que dan origen a la evaluacin en forma de objetivos, esto es, los objetivos de la decisin.
OBJETIVOS DE LA DECISIN SUJETO OBJETO
Sin embargo, si para un problema de cierta complejidad se formula una lista con los objetivos que cubra los distintos aspectos de inters, sin duda que variar el alcance, grado de explicitez y detalle de la lista, adems de que habr repeticiones y omisiones, lo que pone a los objetivos lejos del nivel operativo que se requiere para el anlisis sistemtico de los atributos del objeto. Para tratar con esta dificultad se recomienda construir un rbol de objetivos, que constituye una herramienta simple y poderosa. Para dar forma al rbol se coloca en la parte alta el o los objetivos ms generales, para luego hacer su divisin en objetivos ms especficos y as continuar hasta alcanzar una precisin apropiada. Los subobjetivos colocados en los niveles inferiores (no necesariamente el ltimo) son los que se emplean para definir el conjunto de criterios con los que se examinar al objeto. Los criterios deben ser completos al cubrir los distintos aspectos de inters, comprensibles para el decisor y quienes intervengan en el proceso de evaluacin, no redundantes para evitar el doble conteo y en un mnimo nmero para concentrar la atencin en los aspectos de mayor relevancia. Como complemento a la definicin de los criterios, es til pensar en cules son las preferencias del decisor, esto es, qu tan importante es un criterio con respecto a los dems, lo que se expresa haciendo uso de factores de ponderacin o por medio de pesos relativos.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
UNA IDEA SUPERFICIAL, BORROSA O PARCIAL DE LOS OBJETIVOS Y CRITERIOS DE LA DECISIN ES EL PEOR INICIO
18
SUJETO
OBJETO
Una vez que se cuenta con los criterios con los que se va a juzgar al objeto, es necesario definir cmo se va a medir cada uno de ellos, para en otro momento recabar los datos requeridos y estar en posibilidad de establecer qu tan buena es la condicin del objeto o qu tan bueno es su desempeo. A esta representacin operativa de los criterios se le conoce como la construccin de indicadores, los cuales ocupan un lugar intermedio entre los criterios del sujeto y los atributos del objeto. Un indicador puede ser una variable o una funcin de varias variables; por ejemplo, el ritmo cardiaco y el ndice de masa corporal como indicadores de criterio salud. Este mismo ejemplo ilustra que par un mismo criterio puede haber ms de un indicador. Los datos provenientes de estadsticas, mediciones, clculos, conteos o de la observacin daran el valor del indicador. Para cada indicador se establece lo siguiente: Nombre del indicador
COSA O ASUNTO
CRITERIOS
ATRIBUTOS
INDICADORES
(cmo medir)
Unidad de medida Si es el caso, forma de clculo Fuente de informacin Vale decir que en ocasiones es fcil y hasta obvio definir qu indicador es el apropiado para un criterio dado, pero igual esto se puede complicar un tanto o un mucho, lo importante es que se capture o refleje en forma apropiada el criterio bajo consideracin y que la obtencin de la informacin no sea muy difcil o costosa.
20
Existe una marcada tendencia que favorece el uso de indicadores cuantitativos y objetivos, lo cual se comparte, pero no al extremo de excluir de la evaluacin a lo cualitativo o a lo subjetivo. Las variables cuantitativas se expresan en forma numrica y existe una escala de medicin natural, en tanto que las variables cualitativas se expresan en forma nominal (religin, educacin, color,...) u ordinal bueno, regular, malo,...; alto, medio, bajo,...) Para las variables cualitativas con frecuencia se hace una equivalencia numrica (bueno =10, regular =7,...; o se asigna en forma directa una calificacin (qu tan bueno...? = 10, 9, 8,...) Por la manera en que se obtiene la informacin se distingue entre indicadores objetivos y subjetivos. Los primeros se basan en medidas externas independientes del informante (mediciones, estadsticas, clculos,...), en tanto que en los indicadores subjetivos se refleja la opinin o percepcin de esa persona. Los indicadores cuantitativo-objetivos son preferibles dado que son de ms fcil manejo y son menos controversiales, pero existen distintas razones por las que no siempre es posible o conveniente su empleo, como sucede en los siguientes casos: a) cuando la informacin no est disponible, es costosa o su obtencin se complica, por lo que se opta por recabar la opinin de expertos b) cuando el lenguaje tcnico est fuera del alcance de los participantes, lo que les impide expresar sus preferencias e interpretar los resultados c) cuando el atributo de inters no tiene una naturaleza cuantitativa d) cuando resulta imprctico hacer un anlisis parte por parte; por ejemplo, para valorar a un proveedor se tendra que considerar precio, calidad, entregas a tiempo, etc., en cuyo caso se opta por una calificacin global expresada en forma ordinal o numrica.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
CUANTITATIVOS (en forma numrica) OBJETIVOS (basados en conteos, estadsticas, clculos, etc.) Rendimiento (km. /lt.) Precio (pesos) Costo del seguro (pesos)
CUANTITATIVOS
(en forma nominal u ordinal)
Color Aditamentos
SUBJETIVOS reflejan la opinin o percepcin del informante Precio de reventa * (pesos) Belleza Estado fsico
* si no est basado en
estadsticas
22
SUJETO
OBJETO
Con los indicadores se establece lo que ser medido y la forma de medirlo, pero falta considerar los valores que sern empleados como base comparativa para juzgar los resultados obtenidos. Los valores de referencia ms comunes son los siguientes: Metas: qu valores son deseables o aceptables Estndares tcnicos: normas o especificaciones Valores histricos: que permiten juzgar sobre el mejoramiento o no de la variable de inters en el tiempo Valores relacionados: comparaciones con otros lugares u objetos similares (ej. media nacional, firmas equiparables, etc.) As, se puede marcar un lmite superior, uno inferior o ambos, tal que si los resultados obtenidos estn por arriba de un lmite superior o por abajo de uno inferior se concluye que la condicin o el desempeo es insatisfactorio Al hacer esta comparacin se puede emitir una calificacin ordinal o numrica, para expresar qu tan buena o qu tan mala es la condicin o desempeo del objeto. Cabe aadir que en algunos casos no se establece en forma expresa ningn valor de referencia, sino que en forma directa se asigna una calificacin que depende de la interpretacin del evaluador. En la evaluacin de alternativas se agregan a los valores de referencia las restricciones, que contemplan la disponibilidad de recursos y cualquier otra limitante fsica, tcnica o legal, para de esta manera juzgar qu alternativas son viables y cules no.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
COSA O ASUNTO
CRITERIOS
ATRIBUTOS
VALORES DE REFERENCIA
Metas o valores deseables Estndares tcnicos Valores histricos Valores relacionados (lugares u objetos similares) Restricciones (para la evaluacin de alternativas)
DATOS
VERSUS
COMPARACIN
CALIFICACIN
JUICIO
24
SUJETO OBJETIVOS
OBJETO
COSA O ASUNTO
Con los elementos que se han descrito a lo largo de este captulo se integra un modelo conceptual de la evaluacin, que brinda una orientacin sobre los distintos elementos que intervienen y como se relacionan. Para ilustrar este modelo suponga que se desea evaluar la calidad del servicio de una firma de paquetera.
Objetivo: mejorar la calidad del servicio (nico objetivo)
CRITERIOS:
ENTREGA DE PAQ. O PO RTUNI DAD DE TRATO AL CLIENTE SIN DAOS ENTREGA 0.6 0.2 0.2
CRITERIOS
ATRIBUTOS
PREFERENCIAS
(PESO RELATIVO)
INDICADORES
NOMBRE
R E C L A M O S P O R ENTREGAS A TIEMPO TRATO AL CLIENTE DAOS (2 DAS MXIMO) CALIFICACIN (EXC., PESOS PAGADOS PORCENTAJE DE POR DAOS ENTREGAS A TIEMPO BUENO, REGULAR O MALO) NUM. DE PAQ. ENTREG. A TIEMPO / TOTAL DE PAQUETES NOTA DE ENTREGA CONSULTA TELEF. AL CLIENTE
OBTENCIN DE DATOS
U. DE MEDIDA F O R M A CLCULO D E
V A L O R E S HISTRICOS
(AO ANTERIOR)
2 M I L L O N E S D E EL PR O M ED I O F U E NO HAY DATOS PAGOS POR MES DEL 60% REDUCIR A LA MITAD E N T R E G A R A L 95% DE LOS CASOS L O S P A G O S P O R MENOS 90% DE LOS FAVORABLE (EXC. O RECLAMOS PAQ. A TIEMPO BUENA)
CALIFICACIONES PARCIALES
1.9 MILLONES
75%
80% FAVORABLE
ABAJO DE LA META
Juicio: la atencin al cliente es aceptable y la oportunidad de entrega ha mejorado, pero el pago por daos sigue siendo muy alto. Decisin: ofrecer como incentivo a los trabajadores la mitad de los ahorros que se tengan por reclamos y estudiar la causa de los retrasos para hacer los ajustes pertinentes
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
28
ANLISIS DE LA SITUACIN
EVALUACIN DIAGNSTICA
Dado que la evaluacin se emplea con distintos propsitos, ya sea para detectar y precisar las necesidades que se tienen, para elegir entre distintas opciones o para dar seguimiento a un proyecto en ejecucin, entre otras posibilidades, se provoca cierta confusin. Buena parte de esta confusin se aclara al examinar en qu momentos de la planeacin se hace uso de la evaluacin. Fuentes Zenn* presenta lo que se conoce como el modelo clsico de la planeacin, en el que se concibe al cambio como el fruto natural de un proceso para ganar conocimiento, en el que con algunos cambios menores se contemplan las siguientes etapas: Anlisis de la situacin qu se tiene? qu se quiere? cmo pasar de lo que se tiene a lo que se quiere? cmo organizar la ejecucin de los proyectos seleccionados? qu productos se propone entregar y qu beneficios se derivan de ello?
FORMULACIN DE OBJETIVOS
EVALUACIN DE ALTERNATIVAS
ANLISIS DE RESULTADOS
EVALUACIN DE RESULTADOS
ANLISIS DE IMPACTO
EVALUACIN DE IMPACTO
En este proceso se identifican cinco formas o tipos de evaluacin: diagnstica, de alternativas, de seguimiento y control, de resultados y de impacto.
*
MODELO CLSICO DE LA PLANEACIN Y TIPOS DE EVALUACIN
FUENTES Zenn, Arturo (2001) Enfoques de Planeacin: un sistema de metodologas, Serie la Planeacin en Imgenes, Divisin de Estudios de Posgrado, Facultad de Ingeniera, UNAM
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
30
CRITERIOS
ATRIBUTOS
INDICADORES
En la evaluacin diagnstica se realiza un anlisis sistemtico de las condiciones o desempeo de objeto, con el propsito de identificar las fallas que se tienen y su magnitud, para en un siguiente momento indagar sobre las causas de las fallas detectadas y las posibles soluciones, por lo que la evaluacin diagnstica constituye la base de un plan de mejora bien estructurado. De manera similar a un check-up mdico, se formula un listado de los criterios e indicadores de relevancia, para sobre esa base levantar los datos sobre el estado del objeto, que se comparan con lo los valores de referencia correspondientes (metas, valores deseados, estndares tcnicos, etc.) para identificar la deficiencias que se tienen.
EVALUACIN DE ALTERNATIVAS
alternativas CRITERIOS INDICADORES ATRIBUTOS datos y estimacin de los resultados asociados a cada alternativa
En la evaluacin de alternativas se tiene una doble tarea, en la primera se examina qu alternativas son viables en funcin de la disponibilidad de recursos y cualquier otra limitante fsica, tcnica o legal que se tenga, lo que lleva a desechar las opciones que no cumplen con estas restricciones. En algunos casos se agrega a las restricciones un nivel mnimo de aceptacin, de suerte que si alguna alternativa no cumple con ese mnimo tambin se desecha, sin que importe qu tan buena sea en otros sentidos (como sera una oferta de empleo con un salario muy bajo). El siguiente paso consiste en definir de entre las alternativas que quedan cul es la mejor, acorde con los objetivos y criterios que se hayan planteado.
ALTERNATIVA SELECCIONADA
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
32 29
Esta evaluacin se realiza durante la ejecucin de un proyecto o programa, para verificar si los avances que se tienen estn de acuerdo con lo programado y para revisar si los resultados parciales cumplen con las especificaciones establecidas, para en caso contrario hacer los ajustes pertinentes. Una ejecucin incompleta o defectuosa puede tener distintas causas, como una gestin ineficaz, falta de recursos, errores de diseo, cambios en el entorno, etc.
EVALUACIN DE RESULTADOS
resultados parciales
FALLAS
Una vez que se ha completado un proyecto o al fin de un ciclo para un programa continuo, se realiza una comparacin de los resultados alcanzados con las metas y especificaciones que se hallan propuesto. Los criterios que se consideran son cantidad y calidad de los productos que se entregan o de los servicios que se prestan, as como el costo, eficiencia y oportunidad con que se realiza.
EVALUACIN DE IMPACTO
CRITERIOS adecuacin conforme a las necesidades que se detectan Logro de un objetivo superior cobertura alcanzada, otros
ATRIBUTOS Beneficios derivados de la disposicin o uso de de los productos que se entregan o de los servicios que se prestan
Mientras que en la evaluacin de resultados se examina qu productos se entregan, en la evaluacin de impacto se hace una valoracin de los beneficios que se derivan de su uso o disposicin. En otras palabras, se valoran los cambios propiciados y por ese medio la contribucin que se hace a la satisfaccin de las necesidades del entorno o al logro de un objetivo superior. Por ejemplo, en un programa de apoyo a PYMES, en el nivel de resultados se examina cuntos crditos se otorgaron y la agilidad con la que se realiz, en tanto que en el nivel del impacto se valora cul es la cobertura, cuntos empleos se han generado, cul es el crecimiento de esas empresas, etc.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN DISEO DE LA ESTRATEGIA COMPETITIVA
34
CONTEXTO
NSUMOS (RECURSOS)
Existen distintos modelos en los que se hace una representacin completa del objeto de estudio, que favorecen el diseo de un sistema integral de indicadores para hacer una evaluacin completa. Tal es el caso del cuadro de mando en el campo de los negocios, el cuadro lgico para la planeacin de proyectos y el modelo PER (programa-estado-respuesta) que se emplea en el anlisis ambiental. Aqu se trata el modelo CIPP, en el que se visualiza al objeto formado por tres grandes bloques (input-process-product), que se ubican en un entorno (context), el cual es de gran inters ya que por este medio se puede representar cualquier conjunto de recursos y actividades que se organizan para cumplir con un propsito, como podra ser un proceso de manufactura, un programa de salud pblica, un servicio informtico y un sin fin de cosas ms.
IMPACTO O EFICACIA
PROCESO
PRODUCTOS
Este modelo permite disear un sistema de indicadores en el que se ponen a consideracin aspectos como los siguientes: Si los recursos disponibles son apropiados en cantidad y calidad Qu tan bien funcionan los procesos (tiempo de ciclo, defectos, etc.) Si se cumple en tiempo y forma con las metas de produccin Qu cambios se han logrado en el entorno y si la cobertura que se tiene es suficiente
36
De acuerdo con la estructura del modelo CIPP, los elementos a considerar para el diseo de un sistema integral de indicadores son los siguientes: Insumos: recursos con los que se cuenta (equipo, instalaciones, materiales, personal, etc.), si su disponibilidad, cantidad y calidad es o no apropiada.
EFECTIVIDAD-COSTO
EFICIENCIA
EFECTIVIDAD
Proceso: es el mecanismo a travs del cual los insumos se transforman en productos, se examina su organizacin y funcionamiento. Productos: bienes que se entregan o servicios que se prestan Calidad: qu tan buenos son los bienes o servicios que se prestan, as como el nivel de satisfaccin de los beneficiarios. Contexto: es el medio en el que se tiene impacto, por lo que se miden los beneficios derivados de la disposicin o uso de los productos, as como la cobertura que se tiene, esto es, si son suficientes de acuerdo a las necesidades existentes o conforme a los objetivos propuestos. Eficiencia: se estudia la productividad de los recursos (relacin entre los productos obtenidos y los recursos empleados) Efectividad: indica en trminos relativos que impacto se tiene por unidad producida o por servicio prestado. Efectividad-costo: similar al anterior, pero ahora la relacin es entre el impacto que se tiene y los recurso empleados. Sobre esta base se diseara un sistema de indicadores, en el que lo genial no estara en contar con un gran nmero de mediciones, sino en identificar los aspectos clave para hacer una valoracin apropiada del objeto bajo estudio.
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
INSUMOS (RECURSOS)
PROCESO
PRODUCTOS
BENEFICIOS Y COBERTURA
CONTEXTO CALIDAD
El modelo esfuerzo-desempeo es una versin simplificada del modelo CIPP, que facilita la evaluacin. Esfuerzo: son los recursos que se ponen en juego para atender una necesidad. Por ejemplo, en un centro hospitalario se tomara en cuenta el nmero de camas o de doctores, programas de vacunacin, nmero de promocionales para la prevencin del cncer, etc. Desempeo: se mide el resultado del esfuerzo, como podra ser el nmero de pacientes atendidos, las operaciones realizadas, la cantidad de vacunas aplicadas o el nmero de personas a las que llegan los programas preventivos. Adecuacin del desempeo: se establece si el desempeo es satisfactorio de acuerdo a las necesidades detectadas o con respecto a los objetivos planteados Eficiencia: se mide la relacin esfuerzo- desempeo.
ENTORNO
ADECUACIN DEL DESEMPEO
ESFUERZO
PROCESO
DESEMPEO
EFICIENCIA
Un smil ilustrativo Esfuerzo: en el caso de un ave se juzga el vuelo por el tamao de las alas y por cuntas veces las bate, no por la distancia que recorre. Desempeo: se mide la distancia recorrida, no si llega a su destino Adecuacin del desempeo: para el ave se evaluara la distancia recorrida en funcin de la distancia por recorrer
42
FASE PREPARATORIA a) Qu se evala? b) Para qu? MARCO PARA LA EVALUACIN c) Criterios d) Preferencias e) Indicadores nombre unidad de medida mtodo de clculo fuente de informacin f) Valores de referencia metas normas o estndares tcnicos valores histricos otros valores de referencia g) Restricciones y nivel mnimo de aceptacin FASE OPERATIVA h) Obtencin de los datos i) Procesamiento de los datos j) Interpretacin de los resultados y formulacin de recomendaciones k) Elaboracin de reportes
Hasta el momento se ha tratado el tema de la evaluacin desde una perspectiva conceptual, por lo que es necesario llevar estas ideas al nivel procedimental y de las tcnicas, para dar una orientacin realmente efectiva en el terreno de las aplicaciones. En cuanto al procedimiento a seguir se identifican tres etapas:
FASE PREPARATORIA
Constituye la base y eje de la evaluacin, en la que se debe de dejar claros qu se evala y para qu a) objeto bajo examen: institucin, programa, proyecto, etc. b) propsito de la evaluacin: problemtica que da origen a la evaluacin, objetivos que se persiguen y resultados esperados
CONSTRUCCIN DEL MARCO PARA EL ANLISIS
Se establece el conjunto de elementos con los que se va a examinar al objeto. c) criterios: con qu criterios se va a juzgar al objeto d) preferencias: peso relativo de los criterios e) indicadores: cmo se va a medir o cualificar f) valores de referencia: que valores sern empleados como base comparativa para juzgar la condicin o desempeo del objeto g) restricciones y nivel mnimo de aceptacin: para juzgar la viabilidad o aceptabilidad de las alternativas
FASE OPERATIVA
Contempla la obtencin y procesamiento de la informacin requerida para evaluar al objeto h) obtencin de los datos i) procesamiento de los datos j) reportes de resultados k) interpretacin de los resultados y formulacin de recomendaciones
LA PLANEACIN EN IMGENES CONCEPTO Y TCNICAS DE EVALUACIN
44
Al poner a consideracin el procedimiento general que se ha descrito en el anterior apartado, bien puede calificarse como ordenado e inteligible, pero igual se le puede tachar de academicista o falto de practicidad, ya que est ms cerca de los conceptos que de la obtencin y manejo de los datos.
CONCEPTOS METODOLOGA
TC
APLICACIONES
Por ello, se puede ver a las tcnicas como un elemento de apoyo para dar una orientacin ms firme, como el eslabn necesario de la cadena
CONCEPTOS-METODOLOGA-TCNICAS-APLICACIONES.
CN I
CA S
AS NIC
Pero el desarrollo de las tcnicas no se limita a tender un puente o servir de auxilio a las metodologas, ya que en muchos casos se deben construir atajos a elaboraciones abstractas o en exceso complicadas, as como hacer adaptaciones prcticas para tomar en cuenta aspectos como la disponibilidad y tipo de informacin a manejar, relacin analista-decisor, profundidad y rigurosidad del anlisis que se exige, etc. As, entre atajos tericos y adaptaciones prcticas se abre un abanico de tcnicas susceptibles de ser empleadas, de las cuales se hace una seleccin atendiendo a su aplicabilidad, las cuales se presentan en el siguiente apartado.
46
PROS
CONTRAS
CRITERIOS INDICADORES VALORES DE REFERENCIA DATOS
CALIFICACIONES
Este apartado contiene un conjunto de tcnicas de evaluacin que se distinguen por su aplicabilidad, las cuales se presentan en forma de tablillas para hacer su llenado y realizar el anlisis. Estas tablillas pueden ser empleadas para los siguientes tipos de evaluacin: diagnstica, de seguimiento y control, de resultados y de impacto, as como para la evaluacin integral de sistemas haciendo uso del modelo CIPP o del modelo esfuerzo-desempeo. Por lo que se refiere a las tablillas para la evaluacin de alternativas, estas se presentan por separado en el siguiente apartado, ya que se requiere de hacer algunos ajustes para examinar tanto la viabilidad las opciones, como su efectividad.
CRITERIOS O INDICADORES
CALIFICACIONES 1 2 3 4 5
OBSERVACIONES
CRITERIOS
INDICADORES
VALORES DE REFERENCIA
DATOS
OBSERVACIONES
CONDICIONES FIJADAS
DATO
I
CUMPLE O NO CUMPLE
ALTERNATIVAS II
DATO
CUMPLE O NO CUMPLE
--DATO
CUMPLE O NO CUMPLE
CONTRAS
DATOS
En cuanto a qu tablilla conviene emplear, en cada caso se hacen algunos comentarios que pueden servir de orientacin general, fuera de ello la nica recomendacin es que se tome la tablilla que se ajuste mejor a los propsitos y condiciones que se tengan.
--ALT. N
ALT. I
ALT. II
CRITERIOS
INDICADORES
PREFERENCIAS
VALORES DE REFERENCIA
ALTERNATIVA I
DATOS CALIF. CALIF.
PONDERADA
ALTERNATIVA II
DATOS CALIF. CALIF.
PONDERADA
---
CRITERIOS O INDICADORES
CALIF. GLOBAL
CALIF. GLOBAL
CALIF. GLOBAL
CALIF. GLOBAL
CALIF. GLOBAL
48
Paso 1. Definir qu se evala y para qu. Paso 2. Sin mayor prembulo, colocar en la parte izquierda qu aspectos se consideran favorables y en la parte derecha los desfavorables. Nota: Esta es la tcnica de evaluacin ms simple, se limita a ofrecer al decisor lo bueno y malo que se detecta, para que por si mismo haga un balance y formule un juicio.
TABLILLA 2. (CALIFICACIONES DIRECTAS) Paso 1. Definir qu se evala y para qu. Paso 2. Definir qu criterios y/o indicadores se emplearn para juzgar al objeto.
CRITERIOS O INDICADORES CALIFICACIONES 1 2 3 4 5 OBSERVACIONES
Paso 3. Se emite una calificacin por parte de un experto acerca de qu tan favorable o desfavorable es la condicin o desempeo del objeto, misma que se representa en una escala de 1 a 5 con una barra, aunque igual puede usarse otra escala numrica o una escala de carcter ordinal. Paso 4. En esta columna se anota cualquier comentario o aclaracin que se considere pertinente. Notas: La mayor ventaja de esta tcnica es la agilidad con la que se realiza la evaluacin, la brevedad del contenido y la facilidad para su interpretacin. Del otro lado, la validez de la tcnica est condicionada por la capacidad del experto y por la credibilidad que tenga su opinin, sin lo cual constituye un ejercicio intil.
50
TABLILLA 3. (PAQUETE ESTRUCTURADO DE INFORMACIN) Paso 1. Definir qu se evala y para qu. Paso 2. Definir qu criterios se emplearn para juzgar al objeto.
CRITERIOS INDICADORES VALORES DE REFERENCIA DATOS
OBSERVACIONES
Paso 3. Para cada criterio estudiar qu indicador se va a usar Paso 4. Establecer los valores de referencia que sern empleados como base comparativa para juzgar al objeto. Paso 5. Recabar los datos sobre la condicin o desempeo del objeto (estadsticas, mediciones, conteos, clculos u observaciones). Paso 6. Cualquier opinin, interpretacin o juicio se coloca por separado en esta columna para no contaminar los hechos. Nota: En este caso el analista se limita a ofrecer un paquete estructurado de informacin, para que el decisor formule un juicio por si mismo.
Esta tablilla es muy similar a la tablilla 3, la diferencia es que la columna de observaciones es sustituida por una calificacin ordinal o numrica dada por un experto o por el propio analista. Nota: La credibilidad del experto (o del analista) no constituye un elemento crtico, pues se incluyen las bases sobre las que formula su juicio y por tanto las calificaciones son revisables.
52
CONDICIONES FIJADAS
DATO
I
CUMPLE O NO CUMPLE
ALTERNATIVAS II
DATO
CUMPLE O NO CUMPLE
--DATO
CUMPLE O NO CUMPLE
En la evaluacin de alternativas se tienen dos etapas de trabajo; la primera tiene como propsito verificar la viabilidad y aceptabilidad de las propuestas, para eliminar aquellas opciones que no cumplan con las condiciones exigidas, en tanto que en la segunda etapa se comparan las alternativas que quedan para determinar cul es la mejor. Para la primera etapa se construye una tablilla que involucra los siguientes pasos: Paso 1. Establecer el conjunto de alternativas a evaluar. Paso 2. Definir las restricciones a considerar y definir aquellos criterios para los que se exige un nivel mnimo de desempeo.
Paso 3. Establecer en forma numrica, ordinal o nominal las condiciones a cumplir. Paso 4. Para cada alternativa obtener los dato correspondientes y verificar si se cumple o no con las condiciones fijadas. En cuanto a la comparacin de las alternativas para identificar cul es la mejor, lo ms simple es extender las tablillas 1 y 3 para que el decisor por si mismo haga la comparacin y juzgue cul le conviene.
CRITERIOS
INDICADORES
VALORES DE REFERENCIA
DATOS
ALT. I
ALT. II
---
ALT. N
Ahora bien, el apoyo que brinda el analista al decisor puede ir ms all de la sola extensin de las tablas, al introducir en las tablas 2 o 4 las preferencias, esto es, el peso relativo de cada criterio, lo que permite asignar una calificacin global a cada alternativa
52
CRITERIOS O INDICADORES
El apoyo que brinda el analista al decisor puede ir ms all de la sola extensin de las tablas, al introducir en las tablas 2 o 4 las preferencias, esto es, el peso relativo de cada criterio, lo que permite asignar una calificacin global a cada alternativa
CALIF. GLOBAL CALIF. GLOBAL CALIF. GLOBAL
CRITERIOS
INDICADORES
PREFERENCIAS
VALORES DE REFERENCIA
ALTERNATIVA I
DATOS CALIF. CALIF.
PONDERADA
ALTERNATIVA II
DATOS CALIF. CALIF.
PONDERADA
---
CALIF. GLOBAL
CALIF. GLOBAL