mircoles, 14 de mayo de 2008

Evaluacin de proyectos I
Para seleccionar el mejor proyecto alternativo, es necesario tener manejo, no slo de criterios econmicos y financieros. Al ser este el caso de proyectos sociales en educacin, es importante apelar a la metodologa de costo efectividad como medida de evaluacin social. Por lo tanto es necesario tener manejo prctico las herramientas conceptuales y tcnicas para la evaluacin econmica y social de proyectos de inversin y/o innovacin. Este proceso comprende la evaluacin econmica a precios de mercado, la estimacin de los costos sociales y la evaluacin social que incluye la aplicacin de la metodologa costo efectividad. Evaluacin Entre los problemas detectados en la transformacin de la gestin educativa a nivel latinoamericano, esta la ausencia de evaluacin de los resultados. Hoy que el proyecto educativo institucional se constituye en la base para el cambio en el paradigma organizacional en la escuela, es necesario plantearnos instrumentos de evaluacin que sirvan para retroalimentar los procesos de planificacin en los diferentes niveles del sistema educativo. La escasez de recursos es una primera dificultad que hay que enfrentar, es por esa razn que antes de efectuar una inversin en insumos educativos para la escuela, se debe tener una medida de evaluacin que nos permita mejorar la eficiencia de la inversin educacional. Las organizaciones cuyo objetivo es producir bienes y servicios, es decir, las empresas, antes de realizar alguna inversin, ya sea para aumento de capital de trabajo o ampliacin de su capacidad instalada, efectan evaluaciones econmicas y financieras con el propsito de obtener recursos del sistema bancario y financiero. En este caso la evaluacin ex ante les permite determinar rentabilidad y beneficios futuros, y en consecuencia la oportunidad y la pertinencia de una inversin. Una organizacin con objetivos y contenido social como es la institucin educativa es difcilmente evaluable en trminos de su producto econmico, en tanto que este debera ser un aumento de la productividad debido a mayores conocimientos, aptitudes y habilidades adquiridas durante el proceso de enseanza y aprendizaje. A pesar de lo anterior, existen metodologas que sirven para determinar la factibilidad de una inversin en educacin, estas pueden ser: la tasa interna de retorno, la razn beneficio-costo y el anlisis costo efectividad. Evaluacin econmica a precios de mercado La evaluacin econmica a precios de mercado permite determinar cul es el beneficio para la institucin educativa de llevar a cabo cada proyecto alternativo, en moneda de actual y a precios de mercado. Para tal efecto, se deber construir el flujo de costos y beneficios a precios de mercado de cada proyecto alternativo. a) El flujo de beneficios generados por el proyecto a precios de mercado Hay que considerar que los beneficios de la inversin en educacin pueden ser: a) Beneficios sociales directos medidos por el incremento de los ingresos debido a un mayor nivel de educacin formal. O sea el incremento de la produccin obtenida por la sociedad. b) Beneficios sociales indirectos medidos por el incremento de los ingresos de personas distintas de las que recibieron educacin formal; y por ltimo, c) Beneficios privados directos expresados en el aumento de sueldos y salarios. Adems de lo anterior, existen beneficios de la educacin que no pueden ser mensurables, menos an, en unidades monetarias como son: los efectos sociales y polticos debido al

incremento de la escolaridad. Los beneficios a precios de mercado del proyecto estn referidos a los ingresos propios que ste puede generar. Los ingresos propios son aquellos provenientes del aporte de las familias beneficiarias del proyecto. Para ello ser necesario considerar la demanda efectiva proyectada para cada alternativa. En el caso de las instituciones educativas con financiamiento pblico, fundamentalmente en el rea rural, este aporte es mnimo, aunque en algunos casos existe un aporte de los padres y/o las APAFAs para financiar determinadas actividades.

La institucin educativa Libertador San Martn, para el desarrollo del proyecto Caracoles Fuente de Progreso, considera un aporte anual de los padres de familia de S/. 1 (un nuevo sol). b) El flujo de costos y beneficios a precios de mercado El flujo de costos y beneficios a precios de mercado consiste en restar de los beneficios generados por el proyecto, la suma de los flujos de costos de preinversin, inversin y liquidacin, y de operacin. El Valor Actual Neto a precios de mercado (VANP) El Valor Actual Neto a precios de mercado (VANP) es una medida de la rentabilidad del proyecto de inversin pblica, que permite estimar cul es el beneficio o el costo que representa cada proyecto alternativo para la institucin ejecutora, financieramente y a precios de mercado. El VANP se estima sobre la base de los flujos de costos y beneficios a precios de mercado antes elaborados.

Clculo del Valor Actual Neto a Precios de Mercado Para el clculo del valor actual de los beneficios menos los costos de cada proyecto alternativo, hay que desarrollar la siguiente frmula:

Por los resultados se concluye que, los proyectos alternativos no presentan rentabilidad econmica, en la medida que ambos observan valores negativos. Estimacin de los costos sociales Para poder evaluar socialmente los proyectos alternativos formulados hasta el momento, se convertirn los flujos de costos y beneficios a precios de mercado, en flujos de costos netos valorizados a precios sociales, utilizando para ello los factores de correccin respectivos. El flujo de costos sociales totales y su valor actual (VACST)

El flujo de costos sociales totales se construye corrigiendo el flujo de costos a precios de mercado para que reflejen sus valores sociales, utilizando para ello los factores de correccin(1). Puede resultar til, si el flujo incluye muchos tipos de bienes y servicios, clasificar los rubros considerando los factores de correccin. As, por ejemplo, se podran considerar cuatro tipos de rubros: insumos de origen nacional (con excepcin de los combustibles), combustibles, insumos de origen importado y mano de obra(2). Sobre la base de este flujo, se estima el valor actual de los costos sociales totales, que representa el valor en soles de hoy del conjunto de costos sociales totales que involucra cada una de las alternativas definidas a lo largo de su horizonte de ejecucin, considerando el valor social del dinero en el tiempo, expresado a travs del costo de oportunidad social del capital. El flujo de costos sociales netos y su valor actual (VACSN) El flujo de costos sociales netos se construye deduciendo del flujo de costos sociales totales, el valor social de los beneficios calculados en el paso (que seran costos negativos). As como en el paso anterior, sobre la base de este flujo, se estima el valor actual de los costos sociales netos (VACSN), que representa el valor en soles de hoy del conjunto de costos sociales netos que involucra cada una de las alternativa definidas a lo largo de su horizonte de ejecucin, considerando el valor social del dinero en el tiempo, expresado a travs del costo de oportunidad social del capital.

Clculo del Valor Actual del Flujo de Costos Sociales Netos

Para el clculo del valor actual de los costos sociales netos de cada proyecto alternativo, hay que desarrollar la siguiente frmula:

Por los resultados se concluye que los proyectos alternativos costos adecuados, en la medida que ambos observan valores positivos. Evaluacin social: anlisis costo - efectividad El anlisis de costo efectividad de un proyecto educativo mide la eficiencia interna del mismo y se calcula comparando los costos con el rendimiento. La evaluacin de costo efectividad de un programa tiene como finalidad establecer relaciones entre los resultados o beneficios no-monetarios con los costos monetarios" (Briones: 1987). Se define tambin como la habilidad para alcanzar los objetivos de un proyecto a un costo razonable. Un proyecto costo-efectivo deber generar beneficios (al grupo meta) que sean mayores a la inversin total de la organizacin que la asiste. En el caso de asistencia en desarrollo, estos beneficios pueden a menudo ser difciles de medir y monitorear. Asimismo, desarrollar un proyecto costo-efectivo no es lo mismo que desarrollar un proyecto a un mnimo costo. El reducir los costos de un proyecto no necesariamente significa alcanzar un proyecto altamente costo-efectivo, especialmente si el marco de tiempo para el anlisis es corto (Dichter: 1989). Cuando no es posible la cuantificacin de la efectividad de una estrategia se expresa en trminos de sus resultados fsicos o psicolgicos en lugar de su valor monetario. Esto es, los valores monetarios de los insumos de costo se relacionan con la efectividad que tiene un programa en producir un impacto en particular. Cuando la efectividad de los programas en lograr una meta especfica (en vez de valores monetarios), se liga a los costos, el enfoque se considera mas bien un anlisis de costo-efectividad nos permite examinar los costos alternativos para lograr tipos particulares de resultados, pero no podemos comparar directamente los costos en los beneficios (Levin. citado en Briones: 1987)". Por lo dicho anteriormente es necesario tener una medida exacta tanto de los costos como de la efectividad del proyecto.

Medicin de la efectividad cuantitativa de un proyecto educacional Para este caso definimos como efectividad el logro de los objetivos formulados o implcitos que debe tener todo proyecto educativo, independientemente de la magnitud y naturaleza del mismo. Para el caso se puede tomar como indicador de efectividad a los ndices de eficiencia interna. Por ese motivo hay que dividir la eficiencia interna en dos campos, la referida a los resultados del ejercicio educativo anual; y la referida la situacin del alumno entre un ejercicio y el siguiente. La evaluacin del comportamiento hasta la graduacin en el nivel educativo respectivo, corresponde al anlisis de la cohorte. La eficiencia interna del ejercicio educativo anual mide el comportamiento de la poblacin educativa en trminos de resultados del ejercicio educativo anual (abril a marzo del ao siguiente). Permite el anlisis en trminos de rendimiento. Las variables a considerar son la matrcula y el nmero de aprobados, desaprobados y retirados. A partir de estas variables expresadas en indicadores podemos interpretar la efectividad del sistema en trminos de logro y prdida. Asimismo, estas variables pueden ser trabajadas en todas las reas de influencia: nacional, regional y local. La eficiencia interna interanual mide el comportamiento de la poblacin educativa desde la ptica de su rendimiento y de su permanencia en el sistema entre un ejercicio educativo y el siguiente. Sirve de insumo para el anlisis dinmico de la cohorte (xito, permanencia, retraso, y alejamiento del alumno del sistema educativo). Las variables a considerar son la matrcula as como el nmero de promovido, repetidores y desertores, de las cuales es posible determinar el grado de xito o retraso escolar. Estas variables deben ser trabajadas preferentemente a nivel nacional. Para su tratamiento en reas de influencia menores, hay que considerar en el modelo el fenmeno (o variable) migracin, pues en zonas de alta emigracin se puede equivocadamente aumentar la desercin y consiguientemente subestimar la desercin en zonas de alta inmigracin neta. Medicin de la efectividad cualitativa de un proyecto educacional Otra forma de medir la efectividad de un proyecto educativo (nacional, regional, local o por institucin educativa), es a travs de la aplicacin de una prueba para medir los logros de los alumnos en lo que se refiere a objetivos de aprendizaje (rendimiento), y en otros casos, medicin de sus habilidades para el aprendizaje. En algunos pases de Amrica Latina se aplican pruebas estandarizadas dentro de las actividades que regularmente realizan los Ministerios de Educacin. Si asumimos al rendimiento de los alumnos como indicador de producto, podemos decir que ste depende de las variables de contexto, de insumo y de proceso. Es decir, el rendimiento de los alumnos es la variable dependiente y las variables independientes pueden ser atribuidas al contexto; a los insumos que se utilizan en la escuela; y, a los procesos que se dan al interior de la misma. Por lo tanto puede ser explicada de la siguiente manera:

El modelo propuesto explica que cualquier variacin en el rendimiento de los alumnos (producto) puede ser atribuida a la intervencin en la escuela. En este caso puede ser a la dotacin de materiales educativos (insumos); a la aplicacin de una nueva metodologa (procesos); o a un programa de desayunos escolares (contexto). Para la medir la intervencin de nuestro proyecto educativo podemos elaborar un diseo experimental con un grupo de control y mediciones antes y despus en las variables independiente y dependiente. Para tal efecto se constituyen al azar dos grupos, uno el experimental y el otro de control. Luego de constituidos los grupos se procede da loa siguiente manera: a) Se hace en ambos grupos una medicin "antes" (o medicin pre-test). b) Se aplica la variable independiente (o variable experimental denominada tambin de tratamiento) en el grupo experimental y no en el grupo de control. c) Se hacen mediciones despus (post test) en ambos grupos. d) Se comparan las diferencias "antes-despus" en ambos grupos. Si la diferencia del grupo experimental es significativamente mayor que la diferencia en el grupo de control quiere decir que el tratamiento experimental tiene un efecto en la variable dependiente. Los pasos anteriores pueden resumirse en el siguiente cuadro:

Las "O" indican mediciones; la X, la aplicacin del tratamiento experimental y las "d" las diferencias en las mediciones "antes - despus". De lo anterior podemos decir que, una medida de efectividad de nuestro proyecto educativo institucional es el logro de los objetivos del mismo, medidos a travs de la metodologa expuesta, en otras palabras, de la lectura de las mediciones "antes - despus" podemos evaluar la efectividad o la no efectividad del mismo. Por lo tanto la "d" puede ser interpretada como un ndice de efectividad. La institucin educativa Libertador San Martn, para el desarrollo del proyecto Caracoles Fuente de Progreso, considera como indicador de efectividad, en primer trmino, al nmero de beneficiarios (estudiantes) de los proyectos alternativos en el horizonte de evaluacin del proyecto. En segunda instancia se plantean (2) hiptesis de mejora en el rendimiento acadmico de los estudiantes: a) Para la alternativa 1: un incremento porcentual de 15% en los resultados de la evaluacin aprendizajes bsicos (lgico matemtica y comunicacin integral). b) Para la alternativa 2: un incremento porcentual de 17% en los resultados de la evaluacin aprendizajes bsicos (lgico matemtica y comunicacin integral). Indicadores de costo efectividad El indicador de costo efectividad tiene como propsito determinar, entre un conjunto de alternativas, cual es el proyecto ms eficiente para lograr un determinado resultado Una de las formas de hallar un indicador de eficiencia es dividiendo los logros obtenidos (ndice de efectividad) entre los costos de la siguiente forma:

La otra forma es hallar los costos por unidad de logro, dividiendo los costos del proyecto entre el ndice de efectividad; de

la siguiente manera: El primer cociente nos permite medir la eficiencia relativa del proyecto. Cuanto mayor sea el cociente ms eficiente es el mismo. El segundo indicador nos muestra el costo de cada unidad de logro, lo cual nos permitir hacer comparaciones entre diferentes proyectos y determinar entre s al "menos costoso". Cuanto menor es este indicador "ms eficiente es el proyecto". Otro indicador de eficiencia del proyecto resulta de la relacin entre el costo del proyecto y el costo sistmico, que en este caso es el gasto educativo pblico segn nivel o modalidad a la cual este referido. Este indicador se obtiene de la siguiente forma:

Este ratio nos explica en cuanto aumentara el costo unitario pblico la aplicacin del proyecto. Cuanto ms pequeo sea este ndice ms eficiente ser el proyecto. Como hemos visto, los indicadores de costo - efectividad nos dan como resultado un beneficio nico. Con ms de un camino se llega a una misma meta (por ejemplo: una unidad de rendimiento producida por un grupo de alumnos). Y en ese sentido el beneficio puede ser expresado en cualquier unidad (ejemplo: unidades de rendimiento). El propsito de este mtodo es hallar la forma ms barata y eficiente de hacer algo (ejemplo: encontrar la forma menos costosa y ms eficiente de producir una unidad de rendimiento). Para evaluar el proyecto Caracoles Fuente de Progreso, el indicador de costo efectividad se calcula comparando el valor actual neto de los costos sociales versus el indicador de efectividad. Tal como se muestra a continuacin: Como podemos observar, en funcin de la metas de atencin, el proyecto alternativo 1 presenta un indicador de efectividad de S/. 2.1 (nuevos soles por unidad de logro), de la misma forma, el proyecto alternativo 2 observa S/. 0.3 (nuevos soles por unidad de logro). Por otro lado, en relacin a la mejora de los aprendizajes, el proyecto alternativo 1 presenta un indicador de efectividad de S/. 337 (nuevos soles por unidad de rendimiento), de la misma forma, el proyecto alternativo 2 observa S/. 43 (nuevos soles por unidad de rendimiento).

Conveniencia de realizar un anlisis de costo efectividad Si nos sujetamos al objetivo general del proyecto educacional, que es el mejoramiento de la calidad de la educacin que se imparte en las escuelas, mediante la inversin en insumos, incorporacin de nuevas metodologas de enseanza y aprendizaje, as como el apoyo nutricional y de salud, veramos que ste se ajusta a las necesidades de un producto educativo especfico (rendimiento) que se da al interior del sistema educativo, objetivo que no podramos ligar a la eficiencia externa del sistema medida por su rentabilidad econmica. Esto unido a las objeciones respecto del anlisis costo-beneficio(3), nos dan luces suficientes para elegir como ms apropiado y pertinente un anlisis de costo- efectividad. Un indicador de eficiencia interna tal, contribuira a mejorar las estrategias de asignacin de recursos al interior de la institucin educativa, y a su vez, intensificara las actividades de recojo de informacin, en la perspectiva de ir creando bases de datos que nos permitan realizar evaluaciones ms exhaustivas. Lo anterior no invalida la posibilidad de hacer un anlisis de eficiencia externa de manera complementaria, tomando en cuenta las objeciones a esta tipo de anlisis, y buscando formas creativas para el clculo de los beneficios econmicos, considerando no slo los ingresos por trabajo o mayor productividad (beneficios directos), sino tambin, beneficios econmicos indirectos, por ejemplo: ahorro en costos por alumno, en salud y alimentacin, y dems externalidades. Citas
(1) Los factores de correccin: la valoracin de mercado de los costos no es igual a la social debido a una serie de elementos que se pueden clasificar en dos grandes grupos: Impuestos directos (impuesto a la renta), que no se considerarn como costos adicionales del proyecto, dado que si bien es una salida de dinero para la respectiva institucin, es tambin un beneficio para el Estado, por lo que su efecto social final es nulo. Distorsiones en la valoracin de mercado de los bienes y servicios, que hacen que sea distinta a la valoracin social. Entre dichas distorsiones se encuentran los impuestos indirectos. Con el fin de corregir estas distorsiones, se estiman los factores de correccin de los bienes y servicios a considerar, de manera tal que el producto del costo a precios de mercado y el factor de correccin arroje su respectivo costo social. Gua para la Identificacin, Formulacin y Evaluacin Social de Proyectos de Inversin Pblica del Sector Educacin a Nivel de Perfil. Ministerio de Economa y Finanzas. (2) Tipos de bienes y factores de correccin: Factor de correccin de bienes de origen nacional: debe incluir los efectos en la recaudacin de impuestos y las diferencias en las valoraciones sociales y de mercado (sin impuestos) de los bienes. Sin embargo, y a menos que haya evidencia especfica de lo contrario, se sugiere asumir que no existen tales diferencias. Factor de correccin de bienes de origen importado: se sugiere considerar que, generalmente, el uso de insumos importados por parte del proyecto incrementa la importacin total de bienes en la economa y, por tanto, la recaudacin por aranceles. Factor de correccin de la mano de obra: se sugiere considerar que aquella que ser utilizada en el proyecto que se evala no se encontraba antes empleada, por lo que el costo social no debera incorporar los impuestos indirectos, dado que stos aumentan la recaudacin, beneficiando al Estado. Gua para la Identificacin, Formulacin y Evaluacin Social de Proyectos de Inversin Pblica del Sector Educacin a Nivel de Perfil. Ministerio de Economa y Finanzas. (3) Algunas objeciones al anlisis costo - beneficio se derivan de los supuestos sobre los cuales se basa como: Las diferencias de ingresos de las personas de la misma edad corresponden a diferencias en sus niveles de educacin formal. Esto es cierto, en tanto las imperfecciones en el mercado de trabajo no permiten, por la segmentacin de los mismos (diferentes remuneraciones en cada uno de los segmentos), una relacin funcional directa entre educacin e ingresos. Las diferencias en los ingresos reflejan las diferencias en la productividad, ellas pueden asumirse como beneficios sociales derivados de la educacin. Esto es slo una aproximacin en un mercado de trabajo imperfecto y con desempleo. El clculo de la tasa interna de retorno supone el pleno empleo de los trabajadores educados. Como es evidente este supuesto no se ajusta a nuestra realidad, a pesar que la metodologa se corrige ajustando el ingreso-edad-nivel educativo con las tasas de empleo. El clculo de la tasa social de retorno slo considera los beneficios econmicos directos de la educacin. Como vemos, los beneficios no econmicos e indirectos de la educacin estn al margen. Este anlisis no permite calcular las externalidades de la educacin. Adems, cabe aadir que los datos referentes a los perfiles ingreso - edad son transversales. Conocer la evolucin de estos indicadores a travs del tiempo requiere esfuerzo adicional para su clculo, en la medida que no existen datos en forma de series histricas. El anlisis costo - beneficio no nos dice nada acerca de cunto debemos invertir. Asimismo, el individuo no siempre acta racionalmente ya que la educacin no puede ser vista como un bien de consumo cualquiera, existen motivaciones de tipo cultural que atraen a la poblacin hacia la escuela. Se supone cierta libre eleccin en cuanto estudiar o no, ante lo cual nos preguntamos hasta qu grado para los ms pobres existe esta eleccin? Las muestras son diferentes: los costos se generan en el sistema educativo (escuela, universidad e instituto superior); mientras que los beneficios (sueldos y salarios) se dan en el mercado de trabajo y en el universo de la empresa.

10