Indicadores de desempeo en el sector pblico

Andrs Ricardo Schuschny Planificacin Estratgica Mgister en Gestin Pblica Universidad de Santiago de Chile 2007

En Dios nosotros confiamos, todos los dems tienen que traer datos. Edward Demming

Aspectos conceptuales
Por qu evaluar el desempeo? Beneficios
1.
2. 3.

Apoya el proceso de planificacin y formulacin de polticas. Posibilita la deteccin de reas-procesos problema. Aumenta los niveles de transparencia.

1. 2. 3.

Dificultades
Existe ambigedad en los objetivos que tienen que cumplir los organismos. Puede haber escasa precisin acerca de quienes deben responder por los resultados. Pueden no se establecerse las consecuencas del buen o mal desempeo.

Aspectos conceptuales
Cuando se instaura un sistema de Indicadores de Evaluacin de Desempeo es importante:
Definir el mbito de evaluacin (el universo de la institucin y las reas a las que se dirige) El proceso de evaluacin sea claramente comunicado (fechas, mandatos, procedimientos, informes, etc.) Detallar la metodologa, los sistemas de informacin a ser desarrollados y la modalidad de uso y difusin de la evaluacin hacia los actores.

Definicin de indicador
Un indicador de desempeo es una medida que describe cuan bien se estn desarrollando los objetivos de un plan, programa o proyecto. Los indicadores tienen dos objetivos: Funcin descriptiva: aporte de informacin sobre el estado real de una actuacin o programa. Funcin valorativa: aade a lo anterior un juicio de valor basado en antecedentes objetivos.

Ej.: # de estudiantes que reciben becas.

Ej.: # de becas entregadas / # alumnos carenciados.

Indicadores: Comentario
La calidad y utilidad de un indicador (en tanto instrumento de medicin de las variables asociadas al cumplimiento de objetivos) se determinan por la claridad y relevancia de las metas asociadas a l. Un requisito previo es el establecimiento previo de los objetivos y metas: lo que ser medido. Su medicin entrega un valor de comparacin el cual est referido a alguna meta asociada. El indicador debe orientarse a medir aspectos clave, lo que implica tener claridad de propsitos.

Indicadores: Tipologas I
Indicadores que entreguen informacin de los resultados desde el punto de vista de la actuacin pblica en la generacin de productos:
Insumos (cuntos recursos invertimos?Cunto personal trabaj en el proceso?Cunto dinero se dispone?) Procesos o actividades (Con qu rapidez se hace?Cunto cuesta?cunto se demora?) Productos (Cuntas unidades se generan? Cuntos clientes a atendieron?) Resultados (Cmo estn cambiando las condiciones en las que estamos invirtiendo?) Inmediatos, Intermedios y de impacto final

Indicadores: Tipologas II
Indicadores desde el punto de vista de dichas actuaciones en la dimensin de la eficiencia, eficacia, calidad y economa:
Economa Eficiencia Eficacia

Costo

Recursos

Productos

Resultados

Economa: cun adecuadamente son administrados los recursos usados. Eficiencia: cul es la productividad de los recursos utilizados. Eficacia: cul es el grado de cumplimiento de los objetivos, # de beneficiarios, # de usuarios, etc. Calidad: cun oportunos y accesibles son los bs/servicios utilizados.

Nivel de servicio

Utilizacin/ satisfaccin

Poblacin objetivo

Indicadores de Economa
El concepto se refiere a la manera en que se hace uso de los recursos financieros en pos del cumplimiento de los objetivos. Ejemplos:
Aumento de costos por errores en contratos Ahorros realizados en contratos por uso de sistemas informticos % recursos privados obtenidos / recursos totales % de recuperacin del costo de los servicios prestados Ingresos por ventas de servicios / gasto total

Indicadores de Eficiencia
El concepto se refiere a la relacin entre la produccin de algo y el uso de sus insumos. Producir el mximo dados los insumos o usar el mnimo de insumos para producir algo. Indicadores clsicos: los costos unitarios, los costos medios, la productividad parcial (media). Ejemplos:
Costo medio de los beneficios entregados Costo medio de las acciones de recaudacin # de fiscalizaciones / # de fiscalizadores Costo total del programa / total de beneficiarios # unidades inspeccionadas / # de operarios

Indicadores de Eficacia
El concepto se refiere al grado de cumplimientos de los objetivos estratgicos planteados. Involucra:
Cobertura: es la expresin numrica del grado en que las actividades son capaces de satisfacer la demanda. El porcentaje de cobertura de un servicio se lo compara con el mximo potencial. Se expresa en trminos geogrficos, o de universo potencial. Focalizacin: Se relaciona con la precisin con que las prestaciones estn llegando a la poblacin objetivo (filtraciones de demanda por errores de inclusin o exclusin). Capacidad de cubrir la demanda actual Resultado final

Indicadores de Eficacia

Ejemplos:
% de pre-escolares matriculados en programas de extensin horaria cuyas madres trabajan respecto del total de preescolares matriculados # Desempleados capacitados / Total de desempleados inscriptos en el Sistema de Reconversin Laboral % de proyectos ganados en fondos concursables externos % de edificios pblicos accesibles para discapacitados # de beneficiarios / Universo de beneficiados % de beneficiarios que desertan del programa # de fiscalizacin / Universo a fiscalizar % de reincidencia de infractores / Universo de infractores % Mediaciones existosas / Mediaciones realizadas % delitos aclarados / delitos denunciados

Indicadores de Calidad
El concepto se refiere a la capacidad especfica de la institucin para responder rpida y directa a las necesidades de sus usuarios.
Oportunidad
% de respuestas dentro de plazos acordados
% de reportes entregados en tiempo y forma

Accesibilidad
# de localidades cubiertas con atencin

Percepcion de los usuarios

% de aprobacin excelente en los talleres realizados

Precisin
% de contratos terminados por errores realizados
# de fallas reales / fallas programadas % contratos con uno o ms errores

# de horas % de usuarios funciona el satisfechos con el servicio de servicio atencin al pblico # de usuarios satisfechos / total

# de % de la poblacin intervenciones con con necesidades atraso/# total especiales

Integracin de los Indicadores

Conviene recurrir a cuadros de mando integrales en los que se satisfagan todas las dimensiones explcitamente:
mbitos de control Dimensin en la generacin del producto Dimensin de desempeo Economa Eficiencia Eficacia Calidad Insumos Procesos o actividades Productos Resultados

Construccin de Indicadores
Etapas en la construccin de sistemas de indicadores:
1. 2. 3. 4. 5. 6. 7. 8. 9. Identificar y/o revisar productos y objetivos Identificar las dimensiones y mbitos de desempeo. Establecer responsabilidades organizacionales Establecer referentes de comparacin Construir frmulas o algoritmos Recopilar la informacin necesario Validar los criterios tcnicos Analizar los resultados obtenidos Comunicar e informar los resultados

1. Identificacin de productos y objetivos

Preguntas clave: Est identificada la misin, los productos y usuarios? Estn claros los objetivos que se debe lograr? Estn estos alineados con las prioridades estratgicas de la organizacin? Los objetivos estn expresados en metas mensurables?

2. Identificar las medidas de desempeo

Pregunta clave: qu se mide? Ello depender de: El tipo de metas que se monitorean Las prioridades de informacin tanto para fines externos como internos Las prioridades de evaluacin Los recursos disponibles (ej. Sondeos de opinin, encuestas, focus groups, mediciones tcnicas especiales, etc.)

3. Establecer responsabilidades
Segn el tipo de tareas que desarrolla, los centros de responsabilidad: Tienen productos claramente asignables? Tienen objetivos traducidos en metas concretas? Cuenta con la autoridad y atribuciones para tomar decisiones necesarias para el logro de las metas Tienen recursos (humanos, materiales y financieros)?

4. Establecer referentes (benchmarking)

a) Sobre lo planeado o presupuestado b) Respecto de otras instituciones comparables. c) Respecto de los resultados histricos (perspectiva temporal) La frecuencia de la medicin depende de:
i. El tipo de indicador (estratgicos, de gestin u operativo) ii. Los usos del mismo (externos o internos) iii. Los costos asociados a su medicin

5. Construir frmulas o algoritmos

Esta fase se realiza cuando se tenga claridad de qu dimensiones se evaluar, sobre qu producto y en cumplimiento a qu objetivos se mide. Razones o ratios entre dos variables (Eficiencia: insumos/productos, Economa: costos/producto) Promedios simples Promedios ponderados Sistemas de clasificacin (clustering analysis, data mining, etc.)

6. Recopilar la informacin necesaria

Tipos de informacin: Contable-financiera (relativa a costos de la produccin, ingresos, gastos, activos, etc.) Informacin operacional (niveles de produccin, estadsticas operativas km constuidos, alumnos matriculados, contratos firmados, etc.) Informacin sobre resultados o impactos (a veces requieren estudios especiales, como sondeos de opinin, focus groups, etc. )

7. Validacin del indicador

Criterios de validacin: Pertinencia (debe referirse a los productos/procesos esenciales) Relevancia (respecto a sus objetivos) Homogeneidad (sistema de unidades) Independencia (no condicionado por factores externos) Costo Confiabilidad Simplicidad y comprensividad No redundancia Focalizado en reas controlables Participacin (involucrar a los actores relevantes)

8. Anlisis de los resultados

Este permite: Revisar las metas que fueron definidas, estableciendo si stas fueron o no realistas. Priorizar la asignacin de recursos hacia determinados productos o programas. Justificar la asignacin de mayores recursos. Abandonar o fortalecer programas.

9. Comunicar e informar
La comunicacin tiene que estar focalizada en los aspectos claves y con mensajes simples, directos y demostrables. El contenido debe ser, en lo posible, educativo. Los informes deben entregarse con cierta periodicidad. Debe detallar el anlisis de las desviaciones, justificando sus causas, repercusiones y responsabilidades.

Requisitos de los indicadores

Deben estar identificados con nombre claro y auto-explicativo. Tener un objetivo claro y que lo cuantifique. Tener un responsable de su medicin / recopilacin (metadatos) Debe especificarse su frecuencia de medicin. Deben especificarse las fuentes consultadas.

Dificultades en la construccin de indicadores de desempeo

Dbil formulacin de los objetivos estratgicos y desagregacin de la metas. Quin se hace cargo de generarlos? Cmo ponderar los resultados? Cmo medir aquello que depende de condiciones externas? Cmo medir lo que depende del largo plazo? Cmo conseguir los datos necesarios? No se cuenta con una unidad a cargo de la generacin de la informacin. Pocas capacidades tcnicas, recursos para desarrollos y dbil compromiso institucional. El ejercicio se torna una carga burocrtica para los funcionarios que no vislumbran su utilidad. Tendencia a medirlo todo (catstrofe de confunsin)

Para evaluar un sistema de medicin hay que preguntarse:

Provee informacin para alcanzar objetivos estratgicos? Da un retrato del progreso y la probabilidad de lograr los objetivos estratgicos de largo plazo? Identifica las causa centrales de las barreras al logro? Establecen prioridades en las necesidades de mejora? Guan en la determinacin de las acciones requeridas para lograr los objetivos? Alnea los procesos y tareas con el valor que estos crean? Son fciles de usar? Involucra a todos los miembros de la organizacin?

Cambio de paradigma
Se est yendo de:
Medir el proceso y gerenciar los resultados (Aproximacin de la accin correctiva e inspeccin)

A:
Manejar el proceso y medir los resultados (Aproximacin preventiva)

Principales categoras en las mtricas no financieras

Mejoras de Productividad

Mejoras de calidad

Medidas primarias para la mejora de procesos

Ahorro de tiempos

Ahorro de costos

Dos premisas fundamentales

Las medidas efectivas deben ser una parte integral de todo proceso de gestin Lo que midas es lo que obtienes (What you measure is what you get)
Kaplan, R. S y Norton, D. P. Harvard Business Review, enero-febro, 1992