GUA

DE IMPLEMENTACIN

Gua para la evaluacin de los resultados de la educacin financiera

J. Sebstad M. Cohen K. Stack

Washington, D.C. 2006

GUA PARA LA EVALUACIN DE LOS RESULTADOS DE LA EDUCACIN FINANCIERA

1. INTRODUCCIN
La educacin financiera imparte los conocimientos, habilidades y actitudes que se requieren para adoptar buenas prcticas de administracin del dinero con respecto a los ingresos, gastos, ahorros, prstamos e inversin. Los participantes de la capacitacin en educacin financiera mejoran sus oportunidades con la informacin y las herramientas recibidas para tomar mejores decisiones financieras, avanzar hacia sus metas financieras y mejorar su bienestar econmico. El presente documento sirve como gua para la evaluacin de los resultados de los programas de educacin financiera. Se remite a los cinco mdulos educativos genricos desarrollados por el Proyecto Educacin Financiera para los Pobres: Presupuesto, Ahorros, Administracin de la Deuda, Servicios Bancarios y Negociaciones Financieras.

2. POR

QU MIDEN LOS RESULTADOS?

La evaluacin de los resultados constituye una herramienta importante para comprender el alcance con el que el programa de educacin financiera est logrando los objetivos a nivel de los clientes y a nivel institucional. Los resultados pueden servir para: 1. Ayudar a los diseadores de la capacitacin, capacitadores y gerentes de programa a mejorar el contenido y la implementacin de la educacin financiera, adaptarlo a las necesidades de grupos meta especficos y mantener los programas dentro de una perspectiva de compromiso ante los participantes; 2. Mejorar la eficacia e impacto de los programas identificando las mejores prcticas para promover el aprendizaje financiero entre grupos especficos de personas; y 3. Justificar el respaldo de los programas de educacin financiera.

1
Microfinance Opportunities Citigroup Foundation Freedom from Hunger

Gua para la evaluacin de los resultados de la educacin financiera

3. ENFOQUE

GENERAL PARA LA EVALUACIN DE RESULTADOS

La Figura 1 ilustra la relacin entre los programas de educacin financiera, el aprendizaje financiero y el bienestar financiero de los participantes y de las instituciones microfinancieras. Ofrece un marco de trabajo simple para la definicin de variables e indicadores para la evaluacin de los resultados.

FIGURA 1: MARCO

DE TRABAJO PARA LA EVALUACIN DE LOS RESULTADOS DE LA EDUCACIN FINANCIERA

Aprendizaje financiero RESULTADOS
Mejoras en los conocimientos, habilidades y actitudes sobre temas financieros Cambios en los comportamientos financieros de los clientes que mejoran los resultados financieros

INSUMOS

PRODUCTOS

Bienestar financiero RESULTADOS

A nivel del cliente:
mejores prcticas de ahorro mejor administracin del dinero uso eficaz de los servicios

Educacin financiera

Calidad de la capacitacin Nmero de participantes Caractersticas de los participantes

bancarios
negociaciones financieras

exitosas
planificacin financiera anticipada

A nivel institucional:
mejor desempeo financiero mejor capacidad de respuesta a

las necesidades de servicios financieros de los pobres

Insumos
En el rea de insumos, la educacin financiera incluye la prestacin de programas de capacitacin, seminarios, campaas y otros tipos de eventos educativos para los clientes del sector microfinanciero y otros grupos de la poblacin pobre. Las diferentes caractersticas de la educacin financiera condicionarn los resultados debiendo ser documentados mediante una evaluacin de resultados. El diseo de la educacin financiera en trminos de su contenido y sistema de implementacin afectar los resultados. Los temas desarrollados y los objetivos de las sesiones educativas influenciarn el alcance de los resultados. El momento, el lugar y la manera en que se presten los servicios de educacin financiera a los clientes tienen igualmente implicancias importantes en cuanto a su eficacia. La programacin y duracin de la capacitacin pueden tener un efecto en cuanto a quines participan y en cuanto a la cantidad de contenido que puede ser desarrollado. Si la prestacin de los servicios educativos se realiza en un centro formal de capacitacin o en un banco, dentro de la comunidad o en una escuela afecta igualmente el alcance y eficacia de los servicios. Si la prestacin involucra una capacitacin tradicional en una sala de clases o a travs de

3. ENFOQUE GENERAL PARA LA EVALUACIN DE RESULTADOS

videos, folletos, programas interactivos de computacin u otros medios puede igualmente marcar una diferencia en el logro de resultados positivos. La calidad de la capacitacin y de la facilitacin de los eventos educativos tendr un efecto en lo que se aprende y finalmente, en los resultados. El uso eficaz de los principios de la educacin de adultos es un factor crtico en trminos de calidad. El nivel de exposicin de los clientes a la educacin financiera, o cunta capacitacin en educacin financiera recibe un cliente puede afectar significativamente los resultados. Un nico mensaje promocional, un seminario de un da, un taller de capacitacin de una semana, o incurso de un ao tendrn un efecto directo en los resultados que de manera realista se puede esperar alcanzar.

Productos
Gua para la evaluacin de los resultados
3 El nmero de participantes que asisten a los programas de educacin financiera afectar su sostenibilidad global as como la escala de impacto. Asimismo, las caractersticas de los participantes, tales como su edad, sexo, instruccin, estado laboral, lugar de residencia o nivel de pobreza influenciarn sus experiencias de aprendizaje sobre temas financieros, sus comportamientos financieros actuales y el alcance de las mejoras logradas. El nmero y caractersticas relevantes de los clientes, que reflejen los segmentos del mercado, deben considerarse en una evaluacin de los resultados.

Resultados
El aprendizaje financiero se puede definir como los conocimientos de conceptos financieros bsicos, habilidades y actitudes necesarias para traducir estos conocimientos en mejores comportamientos financieros. El primer nivel de cambio se da en los conocimientos, habilidades y actitudes. Idealmente, las mejoras alcanzadas en los conocimientos, habilidades y actitudes sobre temas financieros debieran contribuir a cambios en los comportamientos financieros o la manera en que las personas actan y responden a situaciones o eventos. Un ejemplo de cambio en el comportamiento podra ser el cambio de un comportamiento financiero reactivo a un comportamiento proactivo mediante el uso de un plan de gastos para administrar el dinero. Otros ejemplos podran ser reducir los gastos innecesarios, abrir una cuenta de ahorros o ahorrar regularmente. El aprendizaje financiero, a su vez, debiera contribuir al logro de un mejor bienestar financiero. A nivel del cliente, el bienestar financiero puede implicar el logro de una meta financiera especfica como por ejemplo alcanzar una meta de ahorros, administrar las deudas o comprar un bien. Podra implicar asimismo tener ms control sobre las finanzas mediante la planificacin financiera, el uso eficaz de los servicios bancarios o la culminacin de negociaciones financieras exitosas. El bienestar financiero puede implicar tambin la reduccin de las presiones financieras o el logro de mayores satisfacciones financierasun sentido de control financiero y bienestar financiero. Esto est conectado con la estabilidad financierauna percepcin o expectativa de que las finanzas son las mismas o mejores que antes. A nivel institucional, el bienestar financiero se refleja a travs de los indicadores del desempeo financiero de la IMF (crecimiento de la cartera, tasas de pago, sostenibilidad operacional y financiera), y la rentabilidad (retorno sobre los activos

Gua para la evaluacin de los resultados de la educacin financiera

y el patrimonio). Puede tomar cierto tiempo para que se produzcan estos cambios, dependiendo del nmero de clientes que reciben la capacitacin en educacin financiera, la intensidad de su participacin en la IMF y la eficacia de la educacin financiera para promover los cambios de comportamiento. El desarrollo de un mejor aprendizaje financiero entre los pobres y otros grupos de la poblacin que no tienen acceso a servicios bancarios establece las bases para incrementar el uso que stos hagan de los servicios financieros ofrecidos por los proveedores formales. La mayor interaccin entre los pobres y las instituciones financieras puede conducir al desarrollo de productos y servicios ms eficaces en cuento a su capacidad de respuesta a las necesidades y oportunidades de los pobres.

Los conocimientos de los conceptos financieros pueden abarcar la comprensin del propsito de un presupuesto, los elementos de un plan de ahorros, los trminos y condiciones de un prstamo o la diferencia entre los diferentes tipos de instituciones financieras. Las habilidades para traducir este conocimiento en comportamientos pueden abarcar el control de los gastos, la elaboracin de un plan de gastos, abrir una cuenta bancaria, calcular una tasa de inters u obtener informacin sobre los productos y servicios ofrecidos por una institucin financiera particular. Las actitudes que respaldan los cambios de comportamiento pueden abarcar la motivacin para avanzar hacia el logro de una meta financiera, el compromiso de mantener y cumplir un plan de gastos, la disciplina para ahorrar regularmente o la confianza en s mismo para hacer preguntas en un banco.

4. PREGUNTAS

QUE GUAN EL DISEO DE UNA EVALUACIN DE LOS RESULTADOS

A quin se evaluar?
Una pregunta importante para el diseo de una evaluacin de resultados es A quines se incluir en la muestra del estudio? Este estudio puede abarcar solamente a los participantes del programa o puede abarcar tambin un grupo de control si existen razones suficientes para medir la diferencia en los cambios que se pueden atribuir al programa de educacin financiera. El estudio puede abarcar a todos los participantes del programa o una sub-muestra de participantes. La seleccin de la muestra puede ser completamente aleatoria, o estratificada por edad, gnero, nivel de pobreza u otras caractersticas que se estime puedan estar correlacionadas con los resultados. En la mayora de los casos, la seleccin aleatoria de una muestra de 80 a 100 participantes del programa debiera producir resultados satisfactorios para la evaluacin. Si el nmero total de participantes es menos de 100 y no existen recursos suficientes, 4

4. PREGUNTAS QUE GUAN EL DISEO DE UNA EVALUACIN DE LOS RESULTADOS

entonces se debe incluir a todos en la evaluacin. La evaluacin debe incluir a 30 participantes como mnimo. Los grupos de control conformados por personas con caractersticas similares pero que no participan en el programa de capacitacin en educacin financiera permiten la comparacin de los cambios en las personas que recibieron educacin financiera con los cambios de las que no recibieron educacin financiera. Sin embargo, esto requiere una metodologa ms compleja para la seleccin de la muestra y el anlisis de datos. Si el propsito de la evaluacin es probar que la educacin financiera resulta en un nmero especfico de cambios y generalizar los resultados ms all de la muestra del estudio, entonces se justifica el costo adicional asociado a la inclusin de un grupo de control. Sin embargo, si el propsito de la evaluacin es bsicamente medir cambios antes y despus de la capacitacin entre los participantes con el fin de mejorar el diseo y prestacin de los servicios e identificar buenas prcticas, en este caso no es esencial incluir un grupo de control.

A quines estn dirigidos los resultados?

Existen diferentes grupos con diferentes intereses en los resultados de una evaluacin de la educacin financiera. Los capacitadores y diseadores estarn interesados en conocer el grado de eficacia de las sesiones educativas en su contribucin al mejoramiento de los conocimientos, habilidades, actitudes as como los comportamientos financieros de los participantes. Es probable que su preocupacin sea conocer qu sesiones estn teniendo buenos resultados, qu sesiones no estn teniendo buenos resultados y cmo se puede mejorar el contenido e implementacin de la capacitacin. Las instituciones y otras partes interesadas en promover la educacin financiera pueden tener inters en conocer qu temas y actividades educativas logran el mejor efecto en los resultados para justificar futuras inversiones y determinar mtodos eficaces y eficientes para ampliar o repetir el programa. Los proveedores de servicios microfinancieros pueden mostrar preocupacin por conocer cules sern los efectos del incremento en los ahorros, una mejor administracin de la deuda o el uso ms eficaz de los servicios bancariosfactores que tienen una implicancia directa en el desempeo de su institucin. Los clientes por su parte tendrn inters en conocer los beneficios potenciales de la educacin financiera para decidir si participan o no en el programa de capacitacin.

Es importante identificar adecuadamente los grupos a los que estar dirigida la evaluacin as como sus intereses o preocupaciones para desarrollar preguntas relevantes para la evaluacin, identificar las variables que se incluirn en el estudio y diseminar los resultados.

Quin realizar la evaluacin de los resultados?

La evaluacin puede ser realizada por las personas directamente involucradas en el programa de educacin financiera o por consultores externos. Existe una serie de ventajas y desventajas que se debe considerar al decidir si la evaluacin estar a cargo de personal interno o de consultores externos. Las personas directamente involucradas

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

en la implementacin de la capacitacin tienen la ventaja de conocer el diseo, a los participantes y sus experiencias. Sin embargo, su grado de objetividad puede ser menor y por otro lado probablemente no cuenten con la capacidad tcnica para la recopilacin de datos y la interpretacin de los resultados, lo cual puede afectar la utilidad y credibilidad del trabajo. Los expertos o consultores contratados para este fin pueden mostrar mayor objetividad. Sin embargo, necesitarn tiempo para llegar a conocer el programa. Al mismo tiempo, esta opcin puede ser ms costosa. Si el objetivo de la evaluacin es mejorar el diseo del programa o monitorear los resultados del programa de manera continua, es probable que una evaluacin interna sea lo ms prctico y que produzca una relacin costo-beneficio ms positiva. Si el objetivo es generar informacin que se usar para la toma de decisiones sobre inversiones futuras en la educacin financiera, contratar los servicios de consultora puede resultar en una evaluacin ms objetiva y mejorar su credibilidad.

Cundo se llevarn a cabo las actividades de la evaluacin?

Algunos resultados de la evaluacin de la educacin financiera son inmediatos y otros requieren ms tiempo para tener efecto. Aunque la mayora de los cambios en las habilidades y conocimientos financieros debieran poder ser observados al finalizar el programa de capacitacin, los cambios en los comportamientos financieros y otros aspectos del bienestar financiero por lo general demoran ms tiempo en manifestarse. Una pregunta importante para el diseo es cundo esperar qu. La mayora de las evaluaciones de los resultados probablemente tengan que ver con los cambios que se producen un ao despus de comenzar el programa, por ello es importante enfocarse en las reas en las que se puede esperar cambios razonables. Como ejemplo, probablemente sea ms realista esperar que algunos participantes hayan desarrollado un presupuesto y que ahorren ms regularmente dentro de este periodo de tiempo que esperar que hayan hecho una fuerte inversin en bienes o que hayan alcanzando metas financieras a largo plazo. Como mnimo, una evaluacin de resultados debe recopilar datos con respecto a dos puntos en el tiempo: antes y despus de la capacitacin. Los cambios en los conocimientos, habilidades y actitudes se pueden medir a travs de exmenes de entrada y exmenes finales administradas a los clientes en el momento inmediatamente anterior y posterior a su exposicin a la capacitacin. Si estos cambios se mantienen de manera continua a travs del tiempo se pueden medir repitiendo los exmenes despus de la exposicin, por ejemplo a los seis meses, al ao o despus de un periodo ms largo. Por contraste, la mayora de los cambios en los comportamientos y bienestar financieros emergern al cabo de periodos ms largos de tiempo. Por ejemplo, con el tiempo se llega al punto en que los clientes cumplen un presupuesto, ahorran regularmente o reducen sus presiones financieras. Algunos comportamientos pueden durar poco tiempo; por ejemplo, algunos clientes implementan un plan de ahorro inmediatamente despus de la capacitacin, pero lo abandonan a los pocos meses. Los comportamientos financieros deben medirse inmediatamente antes de comenzar la capacitacin y en la mayora de los casos, por lo menos de seis meses a un ao despus de sta. Resulta ms difcil atribuir los impactos a largo plazo sobre los comportamientos y bienestar financieros a un programa particular de la educacin financiera debido al mayor nmero de variables que intervienen. stos son temas ms 6

4. PREGUNTAS QUE GUAN EL DISEO DE UNA EVALUACIN DE LOS RESULTADOS

apropiados para estudios con polticas y criterios ms complejos y requieren metodologas ms sofisticadas, un periodo de tiempo ms extenso (dos aos o ms) y un presupuesto ms alto. Otra decisin oportuna es saber si se debe disear y conducir una evaluacin nica o si se debe desarrollar un sistema de monitoreo para el control continuo de los resultados. Esto depender del compromiso de las organizaciones interesadas en la educacin financiera para integrar un sistema de aprendizaje continuo y asignar a alguien para que conduzca el trabajo. En general, se debe desarrollar una estrategia y plan para la evaluacin de resultados durante la etapa de diseo del programa de la educacin financiera incluyendo los planes para la recopilacin de la informacin de los participantes antes de comenzar la capacitacin.

Dnde se llevarn a cabo las actividades de la evaluacin?

Una consideracin prctica con respecto al costo y tiempo necesarios es determinar dnde se llevarn a cabo las actividades de la evaluacin. Los exmenes de entrada y los exmenes finales se pueden llevar a cabo en el mismo lugar de la capacitacin con una buena relacin costo-beneficio; sin embargo, el seguimiento posterior requerir el seguimiento de los participantes en sus hogares, negocios o instituciones microfinancieras y requerir ms recursos. Es importante obtener la direccin, telfono, correo electrnico u otra informacin de contacto de los participantes al comenzar la capacitacino en la etapa comparativa o en la etapa de exmenes de entrada/finalescon el fin de hacer el seguimiento correspondiente despus de finalizar la capacitacin.

En qu temas se enfocar la evaluacin de los resultados?

Las tres reas generales para la evaluacin de los resultados de la educacin financiera incluyen las siguientes: Cambios a nivel del cliente en cuanto a conocimientos, habilidades, actitudes y comportamientos Cambios a nivel del cliente en cuanto a bienestar financiero Cambios a nivel institucional en cuanto a desempeo financiero

Las principales variables que pueden influenciar los resultados incluyen: Temas de la capacitacin Cantidad y frecuencia de la capacitacin Calidad de la capacitacin Alcance de los servicios en trminos del nmero de participantes y sus caractersticas (por ejemplo, edad, gnero, estado laboral, lugar de residencia, educacin o nivel de instruccin, nivel de pobreza as como otros factores conectados a su experiencia y bienestar financieros) 7

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

La seccin 5 ofrece ejemplos de indicadores y variables especficos correspondientes a cada una de estas reas para analizar cul debe ser el diseo de los indicadores especficos a programas particulares.

Cmo se llevar a cabo la evaluacin de los resultados?

Para llevar a cabo una evaluacin de los resultados, es importante considerar cmo se disear la muestra, qu mtodos de investigacin se usarn y cmo se recopilarn y analizarn los datos. Diseo de la muestra. La evaluacin debe incluir un plan que considere (a) cuntas personas incluir la evaluacin; (b) los criterios para su inclusin en la muestra (por ejemplo, participa en el programa, asiste a la primera sesin, completa x sesiones, etc.); y (c) cmo se seleccionar la muestra (por ejemplo, muestra aleatoria seleccionada de la lista de clientes, muestra aleatoria seleccionada de los grupos, etc.). Una consideracin que se debe tomar en cuenta al disear las muestras es por qu se ha elegido una determinada metodologa de muestreo; por ejemplo, si fue para determinar la importancia estadstica de los resultados (importante para la investigacin), o si fue para establecer si el programa est llegando a un determinado nivel de desempeo (importante para la gerencia). La documentacin del diseo de la muestra, de su conceptualizacin y del proceso de seleccin mejora la credibilidad del estudio. Mtodos de investigacin. La decisin sobre el uso de un mtodo cualitativo o de un mtodo cuantitativo, o la combinacin de ambos, depender del tiempo, recursos y experiencia profesional disponible para el estudio. Es ms fcil recopilar los datos cuantitativos siendo informacin estndar entre las evaluaciones de resultados. Estos datos son importantes para establecer los parmetros (con respecto a los conocimientos, habilidades, actitudes y comportamientos, calidad de la capacitacin y desempeo financiero de las IMF) y para medir la magnitud de los cambios y logros en el transcurso del tiempo con respecto a los parmetros establecidos. Los mtodos cualitativos ofrecen informacin ms detallada sobre por qu se producen ciertos cambios o por qu no se producen, as como las implicancias para el diseo de la capacitacin y las vidas de los clientes. Una combinacin de mtodos cuantitativos y cualitativos mejora el nivel de la credibilidad y utilidad de las evaluaciones. Estrategia para la recopilacin de datos. Las herramientas para la recopilacin de datos primarios abarcan: cuestionarios para la evaluacin de los cambios en el aprendizaje y bienestar financieros, listas de observacin y cuestionarios para la evaluacin de la calidad de la capacitacin; guas para la realizacin de entrevistas cualitativas individuales o grupales y formas informativas para el control del nmero de participantes y sesiones prestadas durante la capacitacin. Los datos secundarios sobre el desempeo financiero e institucional de las IMF se pueden conseguir del SIG u otros registros bancarios. Es importante programar suficiente tiempo para disear y poner a prueba las herramientas de recopilacin de datos. Asimismo, es importante considerar las coordinaciones logsticas necesarias, como por ejemplo la programacin del tiempo necesario para organizar y llevar a cabo la recopilacin de datos, un presupuesto para materiales, fotocopias, tabulacin y procesamiento de datos, comunicaciones y costos de transporte.

5. EJEMPLOS DE INDICADORES DE RESULTADOS

Plan para el anlisis de datos. Es importante decidir quin analizar los datos y asegurarse que las personas involucradas tengan el tiempo necesario para procesar y analizar los resultados despus de y entre cada ronda de recopilacin. Esto involucra tambin la traduccin de los datos en indicadores y su comparacin en el transcurso del tiempo y entre los grupos de inters. Una vez que exista suficiente informacin, sta se debe usar para desarrollar los parmetros de logros para los diferentes segmentos del mercado contra los cuales se contrastarn los resultados.

Cul ser el costo?

El costo de una evaluacin de resultados debe ser incorporado al presupuesto global de un programa de educacin financiera. El costo, en parte, ser determinado por el propsito de la evaluacin. Los exmenes de entrada y los exmenes finales sobre los conocimientos y habilidades para mejorar el diseo de las sesiones educativas son menos costosas que los estudios longitudinales de impacto para justificar inversiones a mayor escala en la educacin financiera. El monitoreo interno de unos pocos indicadores de manera continua puede demandar bajos costos y sin embargo generar informacin extremadamente til. Las evaluaciones peridicas de los resultados que cubren un margen ms amplio de indicadores y que involucran la participacin de expertos externos tendrn un costo ms alto, sin embargo se justifican si el propsito es tomar decisiones informadas sobre la continuacin, expansin o repeticin del programa. El costo de los primeros estudios puede ser mayor ya que los cuestionarios tendrn que ser diseados y sometidos a prueba antes de ser administrados. Los costos dependern del tamao de la muestra, los nmeros de los indicadores estudiados y el nmero de rondas de recopilacin de datos. Los estudios ms sofisticados (por ejemplo, estudios longitudinales con grupos de control) y los formularios de anlisis requerirn la participacin de expertos muy especializados y por lo tanto un mayor costo.

Cmo se diseminarn los resultados?

La diseminacin eficaz de los resultados de una evaluacin ante los principales grupos de receptores interesados mejorar su utilidad para mejorar el contenido e implementacin de los mdulos y de las actividades educativas de la educacin financiera. Asimismo, permite mejorar el alcance de los servicios y las estrategias de mercadeo de la educacin financiera y la promocin de las mejores practicas.

5. EJEMPLOS

DE INDICADORES DE RESULTADOS

La seleccin de ciertos indicadores especficos de resultados debe estar basada en lo siguiente: 1. Propsito y diseo de un programa particular de educacin financiera 2. Comportamientos financieros que se desea promover mediante el programa 3. Objetivos basados en logros de las actividades educativas del programa 9

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

Una regla bsica es no intentar abarcar demasiadoes mejor trabajar con pocos indicadores relevantes y bien diseados que con demasiados indicadores. Asimismo, es importante considerar la simplicidad de las medidas. Los indicadores de resultados presentados en este documento son especficos al Proyecto Educacin Financiera para los Pobres1 y se ofrecen como ejemplo para guiar el anlisis del proceso de diseo de indicadores ajustados a diferentes programas y contextos. Cada indicador tendr que ser traducido en una pregunta para las medidas anteriores y posteriores a la capacitacin. Las diferencias entre las respuestas a los exmenes de entrada y los exmenes finales sugerirn la relevancia y eficacia de la capacitacin para los participantes. En un documento suplementario producido por el Proyecto Educacin Financiera para los Pobres (Microfinance Opportunities y Freedom from Hunger, 2005)2 se presenta una lista ms amplia de variables. La siguiente seccin presenta algunos ejemplos de indicadores relacionados a cada uno de los cinco mdulos de la educacin financiera. stos tienen por objetivo estimular ideas sobre el diseo de indicadores. La eleccin de los indicadores se debe guiar por el diseo especfico de cada programa y el propsito de la evaluacin. Una lista ms completa con ejemplos de indicadores se puede encontrar en el documento sobre los resultados del Proyecto Educacin Financiera para los Pobres.3 En el transcurso del tiempo, conforme se van desarrollando datos sobre los conocimientos, habilidades, actitudes y comportamientos financieros para grupos particulares (a travs de evaluaciones), se puede establecer parmetros cuantitativos contra los cuales se medir el estado de los participantes de la capacitacin y el desempeo de los programas de la educacin financiera. Aunque los siguientes ejemplos de indicadores son cuantitativos, los cambios que se producen en estas variables tambin se pueden explorar a travs de estudios de casos, discusiones con grupos focales y otros mtodos cualitativos.

Cambios en los conocimientos, habilidades y actitudes

Los conocimientos representan lo que una persona debe conocer o qu informacin se requiere para adoptar el comportamiento financiero deseado. Las habilidades representan lo que el participante debe poder hacer para adoptar el comportamiento. Las actitudes representan los pensamientos, sentimientos y opiniones que respaldan el comportamiento.

Aunque estos indicadores se derivan de los programas diseados y sometidos a prueba por las instituciones afiliadas al proyecto, no abarcan todos los posibles resultados sobre el aprendizaje financiero. Asimismo, algunos de estos resultados pueden provenir de ms de una actividad o mdulo educativo. Evaluacin de los Resultados de la Educacin Financiera, Documento de trabajo N2, Proyecto Educacin Financiera para los Pobres, octubre 2005. ibid.

10
3

5. EJEMPLOS DE INDICADORES DE RESULTADOS

INDICADORES
Presupuesto

ILUSTRATIVOS DE LOS RESULTADOS SOBRE LOS CONOCIMIENTOS , HABILIDADES Y ACTITUDES SOBRE TEMAS FINANCIEROS (% DEL TOTAL DE CLIENTES)

clientes que pueden definir una meta financiera clientes que pueden crear una lista de gastos comunes y categorizarlos (de

Ahorros
clientes que pueden describir tres razones para ahorrar clientes que pueden identificar los principales elementos de un plan de ahorro clientes que pueden mencionar y categorizar tres maneras de ahorrar clientes que pueden categorizar diferentes tipos de productos de ahorro clientes que pueden mencionar tres lugares diferentes donde pueden ahorrar en

su comunidad clientes que pueden describir tres cosas que se debe considerar al seleccionar una opcin de ahorro clientes que expresan una actitud positiva sobre el ahorro

Administracin De La Deuda
clientes que pueden mencionar tres riesgos del pedir dinero prestado clientes que pueden describir los problemas causados por el sobreendeudamiento clientes que pueden identificar dos principios de la administracin eficaz

del dinero clientes que pueden calcular el total de su deuda clientes que pueden mencionar la tasa(s) de inters que pagan por sus prstamos clientes que pueden mencionar los pasos para el control de la deuda clientes que pueden describir las ventajas y desventajas de los diferentes tipos de prstamos clientes que pueden distinguir entre el capital y los intereses del prstamo clientes que pueden formular tres preguntas para hacer al banco al pedir un prstamo clientes que sienten cautela para pedir prstamos

11

Gua para la evaluacin de los resultados

acuerdo a gastos necesarios; opcionales; ahorro) clientes que pueden mencionar tres beneficios del control de los ingresos y gastos clientes que pueden definir un presupuesto clientes que pueden describir la utilidad de un presupuesto clientes que pueden identificar los elementos de un plan de gastos clientes que pueden recordar dos maneras de cumplir con un presupuesto clientes que creen en el valor de la elaboracin de un presupuesto

Gua para la evaluacin de los resultados de la educacin financiera

INDICADORES

ILUSTRATIVOS DE LOS RESULTADOS SOBRE LOS CONOCIMIENTOS , HABILIDADES Y ACTITUDES SOBRE TEMAS FINANCIEROS (% DEL TOTAL DE CLIENTES) continued
Servicios Bancarios
clientes que pueden mencionar y clasificar (en formales e informales) proveedores

de servicios financieros clientes que pueden mencionar tres o ms productos y servicios financieros ofrecidos por los bancos clientes que pueden relacionar los servicios financieros apropiados (ahorro, prstamos, seguro) con tipos especficos de necesidades clientes que pueden describir los pasos para abrir una cuenta bancaria clientes que pueden identificar maneras de protegerse contra los riesgos asociados al uso de una tarjeta bancaria clientes que pueden describir tres o ms cosas que se deben considerar al elegir un servicio financiero clientes que pueden identificar tres o ms cosas que considera el banco al evaluar las solicitudes de crdito clientes que tienen confianza en sus habilidades para hablar con el personal de un banco

Negociaciones Financieras
clientes que pueden definir la negociacin financiera clientes que pueden establecer dos principios de las buenas negociaciones

financieras clientes que pueden identificar un ejemplo de una buena tcnica de negociacin financiera clientes que pueden identificar un ejemplo de una mala tcnica de negociacin financiera clientes que pueden mencionar [x] cosas que se pueden hacer para prepararse para una negociacin financiera

Cambio en los comportamientos financieros

El cambio de comportamiento es el principal objetivo de los programas de educacin financiera. El logro de los comportamientos financieros deseados es fundamental dentro de la cadena de impacto de la educacin financieracomo un paso intermedio entre las mejoras en los conocimientos, habilidades y actitudes sobre temas financieros y las mejoras en el bienestar financiero. El comportamiento financiero se puede definir como la manera en que una persona acta o responde a una situacin o evento. 12

5. EJEMPLOS DE INDICADORES DE RESULTADOS

INDICADORES
Presupuesto

ILUSTRATIVOS DE LOS RESULTADOS SOBRE COMPORTAMIENTOS FINANCIEROS (% DEL TOTAL DE CLIENTES)

clientes que tienen un presupuesto escrito con tres principales elementos

(comportamiento) clientes que usan un presupuesto (comportamiento) clientes que han llevado el control de su flujo de efectivo durante un mes clientes que regularmente llevan el control de sus ingresos y gastos clientes que tienen un plan de gastos clientes que cumplen su plan de gastos clientes clientes clientes clientes clientes clientes clientes clientes que que que que que que que que han hecho algo para reducir sus gastos gastan menos de lo que ganan [en el ltimo mes] tienen un plan de ahorro tienen una cantidad especfica de ahorros destinada a emergencias tienen una cuenta de ahorros ahorran regularmente separan dinero para el ahorro tan pronto como reciben su sueldo muestran un avance hacia sus metas de ahorro

Ahorros

Administracin De La Deuda
clientes que el mes pasado cumplieron con todos los pagos de sus prstamos

a tiempo clientes que pidieron un prstamo comprendiendo plenamente los trminos y condiciones del mismo clientes que mantienen un fondo de ahorro para emergencias clientes que han evitado un riesgo relacionado con pedir prestado clientes sobreendeudados que tienen un plan para la reduccin de su deuda

Servicios Bancarios
clientes que tienen experiencia con mltiples productos financieros (por ejemplo,

cuentas de ahorro a corto plazo, cuentas a plazo fijo, prstamos bancarios, tarjetas de cajero automtico, tarjetas de dbito, seguros, tarjetas prepagadas, etc.) clientes que tienen experiencia con mltiples instituciones financieras (bancos, compaas de seguros, sociedades funerarias, prestamistas, instituciones microfinancieras, empleadores, tiendas comerciales) clientes que hacen preguntas al banco clientes que han incrementado el uso de sus tarjetas de cajero automtico

Negociaciones Financieras
clientes que han usado una tcnica especfica de negociacin financiera en una

transaccin financiera en el transcurso del ltimo mes [mes apropiado/periodo de tiempo apropiado] clientes que han conversado y llegado a un acuerdo con su cnyuge u otro miembro de la familia sobre una decisin financiera en el transcurso del ltimo mes 13

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

Cambios en el bienestar financiero de los clientes

Finalmente, las mejoras en los conocimientos, habilidades, actitudes y comportamientos financieros en nuestras cinco reas temticas deben contribuir al bienestar financiero de los clientes. Esto se puede dar en las reas directamente relacionadas con los mdulos de la educacin financiera, tales como incremento de los ahorros o una mejor administracin de la deuda. Tambin se puede reflejar indirectamente a travs de otras medidas subjetivas de las percepciones de las presiones financieras o de la satisfaccin financiera. El bienestar financiero puede ser evaluado mediante una combinacin de datos cualitativos y cuantitativos y medidas objetivas y subjetivas.

INDICADORES
LOS CLIENTES

ILUSTRATIVOS DEL BIENESTAR FINANCIERO DE

clientes que han incrementado sus ahorros clientes que han usado los ahorros de emergencia para mitigar una crisis clientes que han usado sus ahorros para satisfacer una meta financiera clientes sobreendeudados que han reducido su deuda clientes que muestran una relacin deuda/ingresos de menos de 33% [o un porcentaje apropiado] clientes que han tenido xito durante una negociacin financiera o comercial durante el ltimo mes [o un periodo de tiempo apropiado] clientes que sienten menos presin financiera clientes que se sienten satisfechos con su situacin financiera clientes que han alcanzado una meta financiera durante el ltimo ao

Cambios en el desempeo de las instituciones financieras

Una pregunta relevante para las instituciones microfinancieras es si la prestacin de los servicios de la educacin financiera a los clientes y clientes potenciales puede ayudar a mejorar su desempeo. Qu reas del desempeo social y financiero podran afectarse? Cunta educacin financiera se necesita para mejorar el desempeo? Con la entrega de la educacin financiera a los clientes, cundo se puede esperar que cambios ocurran? Puede la educacin financiera ayudar a las IMF a expandir el alcance de sus servicios a los pobres y a alcanzar o mantener sus metas de desempeo financiero? En esta etapa inicial del desarrollo de los programas de educacin financiera para los pobres, y en consideracin de la escala relativamente menor de los esfuerzos piloto implementados a la fecha, es poco probable que los cambios en el desempeo institucional sean observables a corto plazo. Sin embargo, con el pasar del tiempo, conforme se incremente la escala de los programas de educacin financiera para los pobres y se refine an ms el diseo de los eventos educativos de la educacin financiera para satisfacer las necesidades de los grupos particulares de clientes del sector microfinanciero, se puede esperar que contribuya a mejorar el desempeo institucional. La siguiente tabla sugiere algunos indicadores ilustrativos del desempeo

14

6. VARIABLES MEDIADORAS

financiero sobre los cuales se pueden esperar mejoras con el pasar del tiempo como resultado de los programas de educacin financiera.

INDICADORES
Resultados

ILUSTRATIVOS DE LOS RESULTADOS SOBRE EL DESEMPEO INSTITUCIONAL

Ejemplos de indicadores (comparar entre clientes que reciben educacin financiera y los clientes sin educacin financiera)
Nmero y porcentaje de clientes pobres Nmero y porcentaje de activos que no

generan liquidez (fondos no entregados que se podran dar en prstamo) abandonan el programa

Reduccin en las tasas de desercin Provisin y uso ms eficaz de los servicios bancarios Reduccin de los pagos atrasados

Nmero y porcentaje de clientes que Nmero de clientes por promotor Nmero de clientes por cada agente de

prstamo

Reduccin de la cartera en riesgo Mayor nmero y proporcin de prestatarios

que cumplen sus pagos a tiempo Menor nmero y proporcin de prestatarios atrasados en sus pagos Mayores depsitos de ahorro
Mayor nmero de cuentas de ahorro Mayor valor total de los ahorros Mayor monto promedio de las cuentas de

ahorro

Uso ms diversificado de los servicios bancarios

Mayor nmero y proporcin de clientes

que usan ms de un servicio

6. VARIABLES

MEDIADORAS

Caractersticas de los clientes

Una pregunta relevante para la evaluacin de los resultados es la relevancia y eficacia de la educacin financiera para los diferentes segmentos del mercado. El mercado se puede segmentar por gnero, edad, estado civil, estado laboral, grado de instruccin, etapa del ciclo de vida, nivel de ingresos globales del hogar u otras variables relevantes para el contexto. Dado que las necesidades de la educacin financiera pueden variar

15

Gua para la evaluacin de los resultados

Mayor demanda de servicios financieros entre los pobres

Gua para la evaluacin de los resultados de la educacin financiera

entre un grupo y otro, es importante establecer qu temas, actividades educativas y sistemas de enseanza son los ms apropiados para un segmento particular. Por ejemplo, es probable que los clientes muy pobres tengan comportamientos financieros y dificultades diferentes a los de los segmentos de la poblacin que mantienen un excedente de ingresos para la inversin. La informacin referencial sobre los clientes permite compara los resultados y eficacia del programa a travs de subgrupos. Se puede usar los resultados para mejorar el diseo de la educacin financiera de modo que satisfaga las necesidades de los grupos especficos.

Tipo y cantidad de capacitacin en educacin financiera

Una pregunta conexa es la eficacia de los diferentes tipos y la cantidad de capacitacin en educacin financiera que se necesita para lograr ciertos resultados. Esto requiere la documentacin de las reas temticas desarrolladas y de cmo se ensea el contenido (por ejemplo, a travs de talleres de capacitacin, seminarios, materiales escritos, campaas pblicas u otros eventos educativos). Dado que se puede esperar que los resultados varen sobre la base del nivel de exposicin a la capacitacin, tambin es importante documentar la frecuencia y duracin de la misma as como el nmero total de horas en que los participantes estn expuestos a la capacitacin. Puede ayudar a los planificadores a determinar cuanta educacin financiera se necesita para lograr ciertos resultados.

Calidad de la capacitacin
Se pueden usar tres herramientas para evaluar la calidad de la capacitacin como parte de la evaluacin de los resultados: Una lista de observacin usada por el supervisor o un capacitador capacitado que asiste al evento de capacitacin. Evala el contenido tcnico, administracin y organizacin de la sesin, facilitacin y tcnicas de enseanza y las actitudes mostradas por el facilitador. Una hoja de comentarios del capacitador que captura los puntos de vista del capacitador sobre la eficacia relativa de las sesiones educativas, el grado de dificultad para los usuarios y cmo se pueden mejorar. Una tercera herramienta es una lista de preguntas para obtener los comentarios de los participantes. Estas preguntas piden el comentario de los participantes sobre lo que les pareci ms til de las sesiones educativas, lo que no comprendieron, lo que aprendieron que fue contenido nuevo, qu accin piensan tomar como resultado de la sesin educativa y qu otras cosas les gustara aprender sobre el tema.

Los Anexos A y B presentan algunos ejemplos de estas herramientas.

16

7. RESUMEN

7. RESUMEN
Ante el creciente inters en los programas de educacin financiera entre los clientes del sector microfinanciero y otros sectores de la poblacin pobre de los pases en vas de desarrollo, las evaluaciones de los resultados pueden ayudar a mejorar la comprensin de lo que funciona y por qu, cmo se pueden mejorar los programas de la educacin financiera y el valor de la inversin en estos programas. La inclusin de una evaluacin de los resultados implica un enfoque de trabajo ms grande y mayores costos, sin embargo sus resultados pueden contribuir a mejorar la eficacia de la educacin financiera y a identificar mejores prcticas que puedan repetirse a beneficio de un sector ms grande de la comunidad.

DE LOS ELEMENTOS DEL DISEO DE EVALUACIN DE LOS PROGRAMAS DE LA EDUCACIN FINANCIERA

Tipos de resultados
Cambios a corto plazo Cambios en los conocimientos, habilidades y actitudes de los participantes

RESUMEN

Qu se va a medir

Cundo hacer la medicin

Cmo hacer A quin abarca la medicin la medicin

Cambios Inmediatamente Prueba sobre 80100 en los antes y conocimientos participantes conocimientos, despus de la financieros en las etapas habilidades capacitacin iniciales Definir y actitudes uno o ms Una pequea sobre temas parmetros muestra financieros aleatoria de Medir el participantes porcentaje de (30) una vez participantes se hayan que satisface definido los parmetros parmetros antes y apropiados despus Evaluar cambios en el porcentaje de participantes que satisface los parmetros

17

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

RESUMEN DE LOS ELEMENTOS DEL DISEO DE EVALUACIN DE LOS PROGRAMAS DE LA EDUCACIN FINANCIERA continued
Tipos de resultados
Cambios a mediano plazo

Qu se va a medir

Cundo hacer la medicin

Cmo hacer la medicin

A quin abarca la medicin

Cambios en el Antes de la bienestar y capacitacin comportamientos De 3 meses Cambios en el financieros a 1 ao bienestar y despus de la comportamientos capacitacin financieros de los participantes

Cuestionario 80100 participantes Medir en las etapas porcentaje de iniciales participantes que satisface Una pequea uno o ms muestra parmetros aleatoria de antes y despus participantes Evaluar el (30) una vez cambio en el se hayan porcentaje de definido los participantes parmetros que satisface los parmetros segn el logro correlativo de conocimientos, habilidades y actitudes con respecto al logro de comportamientos Diseo de Datos sobre indicadores resultados de resultados de las institucionales instituciones Medir cambios financieras en los interesadas en indicadores la educacin de resultados financiera antes y despus Datos sobre Evaluar resultados resultados de las institucionales instituciones con relacin al financieras no alcance de la interesadas en educacin la educacin financiera implementada financiera y logro de los comportamientos y resultados financieros deseados Comparar cambios con o sin educacin financiera

Cambios a largo plazo: nivel institucional Productos y servicios financieros que satisfacen mejor las necesidades de los pobres Mejor desempeo financiero Mejor alcance de los servicios a los pobres

Cambios en el Antes de la desempeo capacitacin institucional Uno o Mejores dos aos productos y despus de la servicios capacitacin financieros en educacin financiera Mejor alcance de los servicios a los pobres

18

ANEXO A

ANEXO A
Preguntas para los comentarios del capacitador y del participante
COMENTARIOS
DEL CAPACITADOR

1. Qu sesiones fueron ms eficaces en cuanto al mejoramiento del conocimiento de los conceptos financieros? 2. Qu sesiones fueron ms eficaces en cuanto al mejoramiento de las habilidades financieras? 3. Qu sesiones fueron ms eficaces en cuanto al mejoramiento de la administracin del dinero? 4. Qu sesiones necesitan mejorar? 5. Qu mtodos les gustaron ms a los participantes? 6. Hizo algunos cambios durante la capacitacin? 7. Cunto tiempo dedic a la capacitacin? 8. Qu se podra hacer para mejorar la capacitacin en educacin financiera?

COMENTARIOS

DEL PARTICIPANTE

Esta seccin debe ser completada en base a una conversacin informal con cinco participantes despus de completar la sesin educativa. 1. Qu le pareci ms interesante o ms til sobre la sesin de hoy? (Hacer ms preguntas sobre el contenido y las actividades) 2. Qu no estuvo claro para usted en la sesin de hoy? (Hacer ms preguntas sobre el contenido y las actividades) 3. Qu ha aprendido en la sesin que es algo nuevo para usted? (Hacer ms preguntas: Algo ms? Algn otro tema?) 4. Qu acciones piensa tomar como resultado de la sesin educativa? 5. Qu ms le gustara aprender sobre el tema?

19

Gua para la evaluacin de los resultados

Gua para la evaluacin de los resultados de la educacin financiera

ANEXO B
Lista de observacin
PARA
EVALUAR LA CALIDAD DE LA CAPACITACIN Y DE LAS ACTIVIDADES DE FACILITACIN

Nombre del capacitador: Tema/Nombre y nmero de la sesin: Nombre del grupo:

Nombre/Cargo del reportante:

Fecha:

1. Contenido tcnico a. Comunic toda la informacin tcnica con exactitud b. Respondi preguntas con precisin c. Recuper la atencin sobre la conducta en estudio cuando se dio informacin inexacta d. Reconoci cuando las preguntas estuvieron fuera del alcance de sus conocimientos 2. Administracin y organizacin de la sesin a. Complet todos los pasos de la sesin educativa b. Complet todos los pasos de la sesin educativa en el orden correcto c. Complet la sesin educativa a los __ minutos del tiempo recomendado d. Prepar y organiz todos los materiales (ayudas visuales, notas, equipos, etc.) 3. Facilitacin y tcnicas de enseanza a. Us grupos pequeos segn lo sugerido (incluyendo tamao parejas, tros, etc.) b. Control de grupos pequeos Defini claramente la pregunta/tema revisado Contribuy activamente a que los participantes se acomodaran frente a frente Camin por la sala para aclarar, ayudar y estimular a los grupos Pidi informacin (a una muestra o a todos los grupos) de acuerdo a la gua de la sesin educativa S S S S N N N N S N N/A S S S S N N N N S S S S N N N/A N N/A N N/A

20

ANEXO B

3. Facilitacin y tcnicas de enseanza c. Preguntas abiertas Us preguntas abiertas segn lo indicado en la gua de la sesin educativa Us preguntas abiertas para estimular la discusin activa en todo momento. Indicar un ejemplo especfico: S S S N N N

d. Habl en voz alta y con claridad e. Ayudas visuales Mostr todas las ayudas visuales de la sesin educativa Se asegur de que todos los participantes pudieran ver las ayudas visuales (camin por la sala, las hizo circular por toda la sala, pidi ayuda a un participante o hizo que los participantes se acercaran en torno a la ilustracin para verla mejor) S

N/A

f.

Us otras tcnicas de enseanza/habilidades de facilitacin descritas en la gua de la sesin educativa (historias, demostraciones, sociodramas, juegos)

N/A

4. Actitud demostrada a. Brind elogios/reconocimiento a los participantes. Indicar un ejemplo especfico: b. Demostr respeto a los participantes. Indicar un ejemplo especfico: c. Ayud a los participantes a sentirse cmodos durante su participacin. Indicar un ejemplo especfico: d. Intent crear situaciones de dilogo o evitar el estilo de discurso individual. Indicar un ejemplo especfico: S S S N N N

Notas: 1. Usar N/A solamente si el capacitador no tuvo oportunidad de usar o practicar el componente. En todos los dems casos, indicar S o N. 2. Si no puede indicar un ejemplo especfico, encerrar con un crculo la respuesta N.

21

Gua para la evaluacin de los resultados

N/A