ESTNDARES,CRITERIOSEINDICADORES PARALAEVALUACIN

Estndares, criterios e indicadores de evaluacin

1. CRITERIOS,ESTNDARESEINDICADORES
La evaluacin de programas requiere valorar la informacin obtenida sobre los componentes de un plan, proyecto o programa, pero comparndola con algn referente interno o externo de calidad, es decir, con un criterio. En alguna ocasin se ha planteado la posibilidad de abordar la evaluacin de programas, planes o proyectos sin contar con criterios previamente establecidos (Cronbach, 1981). La idea de una evaluacin sin criterios no supone, contra lo que la propia expresin parece sugerir, que se establezcan valoraciones sobre un programa sin establecer elementos de comparacin; por el contrario, plantealaposibilidaddecriteriosemergentesalprocesomismodeevaluacin. No obstante, conviene comenzar definiendo los trminos claves de este tema; criterio, estndar, indicador, descriptor... Un criterio es un objetivo de calidad respecto del que puede ser valorado un plan, proyecto o programa. Ese criterio puede establecerse en forma de normas o estndares y en forma de criterios noestndares. Las normas (estndares) son unidades de medicin (Dewey,1934). Las que se manejan en el sistema educativo proceden, segn Noriega y Muoz (1996), de dosfuentesprincipales: a) Legislativa: las disposiciones legales establecen multitud de declaraciones de expectacin obligatorias en cuanto a su cumplimiento.Recibenelnombreespecficodenormaslegales. Cuando situamos como estndar de calidad de un proyecto curricular odeunprogramaespecial(p.e.adaptacincurricular)laadaptacina las caractersticas del entorno y los alumnos, simplemente nos estamos haciendo eco de una norma legal que establece la necesidad de que las concreciones curriculares u otros programas se elaboren teniendoencuentalascaractersticasdelentornoylosalumnos.

Evaluacin de programas de intervencin psicopedaggica

b) Epistemolgica: los especialistas y profesionales en un determinado rea de las Ciencias de la Educacin han llegado a una serie de conclusionesquesirvenparaelaborarlas directricesconlasqueguiar losprocesoseducativos. Fijar normas o estndares de evaluacin requiere de un importante nivel de consenso social, para que sean reconocidas tienen que ser aceptadas colectivamente. As, respecto del contenido del programa de gestin de recursos, un criterio estndar de calidad es la coherencia entre el programa y las bases organizativas (la teora) en que dice ampararse. Este criterio permitira, valorar la medida en que el programa se apoya en unos fundamentos tericos slidos. En relacin con el desarrollo del programa, un criterio que cuenta con el suficiente respaldo entre los evaluadores es el de la conformidad con la planificacin: la constatacin de un nivel aceptable de conformidad entre planificacin y desarrollo es un trmino que permite establecerlacalidaddelaaplicacindeunprograma. Los estndares admiten diferentes gradaciones, desde un mnimo exigible hasta un ptimo deseable. Esta caracterstica permite conducir el proceso de evaluacin a travs de estndares que matizan la frecuencia o el grado de aproximacin de la realidad evaluada. La cualificacin mtrica del estndar puedeser: a) Porpresencia/ausencia b) Por frecuencia de aparicin del mismo, como se representara en una escaladeltipoNunca....Siempre. c) Por valoracin cualitativa, en escalas del tipo: Deficiente.... Excelente (NoriegayMuoz,1996:10). Los criterios no estndares adoptan la forma de argumentaciones o razones en las que se fundamentan las valoraciones sobre los componentes de un programa. En relacin con el Proyecto Curricular de Centro, ejemplos de criterios de evaluacin seran: Atender las necesidades de los alumnos mediante la orientacin y regulacin de los procesos de enseanza y aprendizaje; Difundir los criterios y procedimientos de evaluacin para democratizar su aplicacin; Establecer medidas de atencin a la diversidad para regular el esfuerzo educativo de los alumnos, etc. Por supuesto, que establecer criterios no estandarizados requiere previamente de un acuerdo intersubjetivo.
3
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

Aplicar este tipo de criterios exige familiaridad con lo que representan los juiciosyvaloraciones,habilidadpara proveerse de razones quejustifiquenesos juicios y, por supuesto, entender porqu unos criterios y no otros resultan relevantes para juzgar el programa que se evala. Entonces, como seala Eisner (1993), aplicar criterios no estandarizados es una empresa intelectualmentemuchomscomplejaqueaplicarunanorma. Las normas y criterios no estndares, para ser aplicados en un proceso de evaluacin, tienen que concretarse bajo la forma de un conjunto de variables empricamente observables y que proporcionen informacin cuantitativa o cualitativa pertinente sobre el programa objeto de evaluacin, es decir, medianteindicadores. Cuando el indicador tiene una expresin numrica se le conoce con el nombre de ndice. La ratio, la tasa, la frecuencia, etc. son ejemplos tpicos de ndices numricos utilizados en la evaluacin de programas. Cuando el indicador no traduce una expresin numrica sino que se define en forma escalar o aparece como valoracin o argumentacin se le denomina descriptor. Un descriptor puede,portanto,indicarnoslapresencia/ausenciadeunelementoaevaluar,el grado de consecucin del mismo o un juicio de valor/una argumentacin sobre elelementoobjetodeevaluacin.

2.ALGUNASPROPUESTASDECRITERIOSDEEVALUACIN
En el modelo de evaluacin de programas desarrollado por Prez Juste (1995) encontramos referencias a los criterios de evaluacin recomendables en cada uno de los momentos en que dicho modelo secuencia el proceso evaluativo: el programa en s mismo, el programa en su desarrollo y el programa en sus resultados.

Evaluacin de programas de intervencin psicopedaggica

EL PROGRAMA EN S MISMO
Calidad intrnseca del programa 1. Contenido del programa: Coherencia entre el programa y las bases socio-psico-pedaggicas en que dice ampararse. 2. Calidad tcnica del programa: Especificacin precisa y clara de las metas. Congruencia externa entre metas y teora. Coherencia interna entre las partes del plan. Adecuacin de los sujetos, evitndose tanto la falta de motivacin cuanto la inexistencia de desafo o el exceso de exigencia (falta de realismo). 3. Evaluabilidad del programa: Claridad y precisin del lenguaje utilizado. Claridad en relacin con los criterios y referencias de evaluacin. Previsin de las decisiones a tomar. Definicin inequvoca de las variables. Explicitacin de los componentes fundamentales del programa. Adecuacin al contexto 1. Necesidades y programas: Existencia y calidad tcnica del diagnstico de necesidades. Coherencia entre las necesidades detectadas y priorizadas y el programa formulado. 2. Establecimiento de prioridades: Atendiendo a elementos de carcter tcnico/experto (relevancia/ transcendencia/ gravedad, rentabilidad, inmediatez, eficacia y responsabilidad. Atendiendo a elementos eminentemente subjetivos (inters/motivacin expresos, expectativas personales/grupales). Adecuacin a la situacin de partida 1. Viabilidad: Realismo en las metas del programa fruto de la adecuacin a medios y recursos. Aprovechamiento de medios y recursos mediante su adecuada dinamizacin, plan y orden.

5
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

EL PROGRAMA EN SU DESARROLLO
Conformidad con la planificacin. Lo que supone revisar la existencia de desfases/desajustes, resultados parciales y efectos no programados. Incardinacin con el proyecto educativo, en el que el programa evaluado puede coexistir con otros programas. Satisfaccin del personal

EL PROGRAMA EN SUS RESULTADOS

1. Valoracin:

Cumplimiento de los niveles de logro preespecificados en trminos - Criteriales: a partir de las metas y niveles previamente especificados tcnicamente por los responsables - Normativos: si existiera y en casos de competencia entre programas - De naturaleza idiosincrtica: los niveles del programa son valorados tomados en consideracin el conjunto de circunstancias o sus resultados en situaciones precedentes 2. Continuidad: Control interno del plan Grado de participacin de los implicados Sistema de revisin establecido sobre las decisiones tomadas

3.FORMALIZACINDEINDICADORESDEEVALUACIN
Comoyahemossealadounindicadorsuponeunaformadeconcretaruncriterio de evaluacin. Lgicamente, lo que buscamos no son manifestaciones accidentales sino esenciales de aquello que pretendemos evaluar. Por tanto, un indicador debe acercarnos a las manifestaciones significativas de la realidad, debe guiarnos en los detalles bsicos que nos llevan al conocimiento ms fidedignoyprofundodelascosas. La realidad que evaluamos puede aparecer bajo formas externas controlables y observales o bajo otras que estn implcitas en un modo de actuar cotidiano. Puesbien,elindicadordebehacerreferenciatantoaloexternocomoalointerno; as, indicar es dar a entender o significar, a travs de indicios o seales, el

Evaluacin de programas de intervencin psicopedaggica

conocimiento de lo oculto, o al menos, de lo desconocido. Pero, adems, el indicador no slo informa del presente sino que puede convertirse en el vestigioohuelladealgoquehasucedido;elindicadorlocalizasituacionesdel presenteconreferencia a lo queocurreen este momentocomo si son restos del pasado. Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una relacin de dependencia del indicador respecto al objeto referido (el indicador adscribe propiedades a aquellos objetos que indica), relacin que supone objetividad. Esa objetividad no implica totalidad sino complementariedad,dadoqueelindicadorserefieretansloaunapartedelo quepodraestudiarseydesdeluegoesareferenciaestasociadaaunespacioy untiempodeterminados. 3.1.CARACTERSTICASYREQUISITOSENLAFORMULACINDEINDICADORES El punto de partida en el tratamiento de este asunto identificar tres grandes dimensiones en tornoa las quese agrupan lascaractersticas yrequisitosatener en cuenta en la elaboracin de indicadores: las caractersticas del constructo, las condicionesdemedidaylascondicionesformales. 3.1.1.LASCARACTERSTICASDELCONSTRUCTO Lascaractersticasdelconstructoaludenalarelacinentreelindicadoryelobjeto al que se refiere, es decir, estudian hasta qu punto el indicador es una gua o seal adecuada hacia un referente. Desde este punto de vista, el contenido del indicadordeberesponderalassiguientescondiciones: 1. Significatividad de la relacin entre el indicador y las propiedades del objeto que seala. En esencia, el indicador debe recoger alguna propiedad del objeto evaluado. Por ejemplo: si el referente a evaluar dentro de un programa son los procesos de enseanza, un indicador como tiempo dedicado a la coordinacin y revisin de la enseanza deberatenerqueverconalgnaspectodelosprocesosdeenseanza; efectivamente, en este ejemplo de indicador ese aspecto es la coordinacindelaenseanza. 2. Relevancia del indicador. La propiedad recogida por el indicador puede ser esencial o accidental, siendo el indicador ms relevante cuanto mejor represente (lo dice es ms atribuible) al objeto con el que se relaciona. Por ejemplo: con el referente anterior, un indicador como
7
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

ratio de asistencia a las clases puede ser menos relevante que otro comonmerodehorasdedicadasaladocenciaenelcursoenrelacin conlasprevistas. 3. Teleologicidad del indicador. La congruencia descriptiva del indicador debeestarenfuncindelosobjetivosyfinespretendidos,siquierapara unmomentoopocadeterminadaenelquesedesarrollaunprograma. Un indicador puede ser vlido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. As, el indicador tiempo dedicado a la coordinacin y revisin de la enseanzapodraseradecuadoparaevaluarlaeficaciadelosprocesos de enseanza en el desarrollo de un programa, mientras que un indicador como la descripcin de los sistemas establecidos para efectuar el seguimiento de la docencia y la revisin de las enseanzas parece ms adecuado para evaluar las posibilidades de mejora de un programaenloquerespectaalosprocesosdeenseanza. 4. Utilidad del indicador. Cualquier indicador ha de reclamar una informacin que contribuya a la definicin del objeto de evaluacin, describasussituaciones,definalasproblemasqueleataenypermita establecer predicciones. Un indicador como tasa de egresados en relacin con los matriculados permite definir el objeto de evaluacin los resultados de un programa y establece una relacin que puede permitir conocer aspectos claves relacionados con las exigencias acadmicas, la dedicacin de los estudiantes, la calidad de la docencia,etc. 5. Complementariedadtotalidad. Cada indicador no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indicadores al que pertenezca. A partir de esa relacin puededeterminarselapotenciarelativaqueposeecadaindicador,es decir, el sentido de progreso en el conocimiento de las cosas que se alcanza gracias a la organizacin y normalizacin de un sistema de indicadores. 3.1.2.CONDICIONANTESDEMEDIDA Entodoindicadorexisteuncomponentedeinferenciapredictiva,demodoque la informacin que obtenemos a travs del indicador (la parte observable de aquello que evaluamos) presupone la existencia del objeto al que se refiere el indicador. Cuando utilizamos un indicador como calificaciones obtenidas por el

Evaluacin de programas de intervencin psicopedaggica

alumnoalolargodelcurso,almenosestamosaludiendoalaposibilidaddeque en el programa evaluado los resultados que obtienen sus usuarios se establecen apartirdeunsistemadecalificaciones. La posibilidad de establecer inferencias a partir de los indicadores permite conocer si un indicador es significativo lo describe adecuadamente respecto a lo medido (significatividad o representatividad) y si ese indicador describe ms y mejor que otros indicadores aquello que mide (relevancia). Por otra parte, un indicador puede depender de otros indicadores bien porque sea un anlisis detallado de un indicador ms amplio (nmero de alumnos que utilizan los servicios deapoyoaldocente ynmerode servicios de apoyoa loscentros) o porque secuencial y temporalmente no se puede producir sin la existencia de otros anteriores (coste efectivo de cada puesto escolar y presupuesto por alumno). Ensucalidaddemedida,juntoaloselementosyaindicados,todoindicadorhade cumplirlassiguientescondiciones: 1. Observable. El indicador tiene que hacer referencia a caractersticas, manifestaciones o elementos del objeto evaluado que puedan ser analizadas y constatadas. Ha de ser una realidad que permita replicacin y verificacin, por tanto no debe hacer referencia a hechos ocasionales o meramente circunstanciales. Por ejemplo, un indicador como visitas programas a los museos de Sevilla es un elemento menos observable que nmero de actividades extraescolares organizadas enelcentro, dado que el lugar o el itinerario de las visitas puedemodificarseencualquiermomento. 2. Aplicable. Los medios y recursos que se utilicen para realizar la observacinyrecogerlainformacinhandeserposiblesycoherentes con los fenmenos observados. Por ejemplo, un indicador como coherencia entre el programa y las bases tericas en que se fundamenta puede apoyarse en el anlisis crtico de los documentos que recogen la teora en que dice basarse el programa y su contraste conlainstrumentacin(diseo,materiales,etc.)propiadelprograma. Una lista de control podra ayudar a anotar las coincidencias o carencias entre lo establecido en la teora y lo plasmado en el programa.
9
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

3. Las fuentes deben ser accesibles a los objetivos de la evaluacin. Si se utilizan fuentes inadecuadas, pero ms accesibles, pueden desvirtuarse los datos y la significatividad de los mismos para el objeto de evaluacin. En este sentido, es necesario seleccionar los indicadores que ms se ajusten al tipo de fuentes a las que se tiene acceso, si bien procurando no limitar la definicin del objeto de evaluacin a la existencia de determinadas fuentes relativamente accesibles al evaluador. Por ejemplo, un indicador adecuado para conocer el impacto de un programa puede ser determinar el tiempo entre la finalizacin de un programa y el desempeo de la actividad profesionalasociada almismo;puesbienpuede noestaraccesiblela informacin que necesitamos (no hay registro en la entidad organizadora del programa sobre los niveles de empleo de los egresadosobiennosecuentancondireccionesdecontactofiablesde stos), pero tambin puede ocurrir que dicho indicador no se incluya en el sistema de indicadores porque no exista el registro del nivel de empleo de los egresados y el evaluador estime demasiado costoso sondear a los propios implicados a pesar de contar con sus direccionesactualizadas. 4. Establecimiento de un sistema de codificacin. Es preciso que el sistema de indicadores cuente con un esquema paralelo que permita anotar, valorar y reflejar las manifestaciones observadas. En ese sistema de codificacin, la informacin proporcionada por los indicadores puede convertirse en ndices (valores nmericos que reflejan tasa, ratio o frecuencia) o en descriptores (que reflejen la presencia/ausencia de un elemento o el grado de consecucin del mismo). La consideracin de los indicadores en forma de ndices no debe hacernos olvidar que el tratamiento de tales valores numricos deberespetaralgunasreglas: No deben sumarse indicadores cuando uno es causa de otros (msdetressuspensorepeticindecurso). Nodebensumarse indicadores cuando unoforma parte delotro, el peso dado al genrico se debe distribuir entre los que lo componen(calificacionesobtenidasporelalumnadoalolargode loscursoscalificacionesenmatemticasenprimercurso). Silosobjetivoso finalidades de cadaindicadorson diferentes,no parece adecuado establecer ningn tipo de combinacin

Evaluacin de programas de intervencin psicopedaggica 11

matemtica. Por ejemplo, cuando los indicadores estn integrados en sistemas y objetivos diferentes, o si se realizan anlisis utilizando ndices distintos (presupuesto por alumno ratiodeasistenciaalasclases). 3.3.3.CONDICIONESFORMALES Tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados de la manera ms operativa posible. Algunas de estascondicionesseran: 1. Cada indicador tendr un referente determinado, claro y definido, esto es,cada indicador hade estar enconexinconun fenmenoespecfico a estudiar, en coherencia con una determinada variable y factor de un objeto. 2. En relacin con el punto anterior, cada indicador ha de solicitar informacindeunasolamanifestacin. 3. Tendr definida la situacin a observar determinada en un contexto preciso,incluyendounespacioyuntiempodeterminado. 4. La formulacin ha de ser breve y concisa, de forma que se exprese con claridadysinambigedades. 5. Elenunciadodeltextotenderaserdirectoydescriptivo. 6. Siexisteunacadenadeindicadores,sehandesealarysistematizaren nivelesdecuasalidady/odedependencia. 7. Un indicador podr desglosarse en tems, es decir, concretar la peticin en forma de tem o cuestin. Este formato puede constituirse por s mismoenelinstrumentoderecogidadelainformacin. 3.3.4.PROCEDIMIENTOSPARAELANLISISDEINDICADORES Las tres dimensiones consideradas para formular indicadores, relativas al constructo, la medida y los aspectos formales, pueden traducirse en un instrumento que permita valorar la presencia o ausencia de los elementos que definen esas dimensiones. De ese modo, resulta posible conocer si los indicadores construidos para evaluar un plan, proyecto o programa o algn aspecto del mismo responden a los rasgos definitorios de un indicador. Por
11
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

ejemplo, el CuestionarioGua sobre requisitos de los indicadores desarrollado por ngel Lzaro (1991) es un buen ejemplo de este tipo de instrumentos para valorarlaformulacindeindicadores.
Cuestionario-Gua sobre requisitos de los indicadores (Provisional, A. Lzaro, 1991)
REQUISITOS de CONSTRUCTO 1 El indicador recoge y hace referencia a alguna propiedad del objeto. (Significatividad) 2 La propiedad referida es de tipo esencial. (Relevancia) Los datos recogidos en el indicador estn en congruencia con los fines y objetivos de la 3 evaluacin pretendida. (Teleologicidad) 4 Los datos recogidos por el indicador tienden a ser permanentes. (Caducidad) Con los datos recogidos por el indicador se pueden realizar influencias y predicciones. 5 (Utilidad) 6 El indicador ofrece datos integrables en un sistema de indicadores. (Coherencia) S NO

REQUISITOS de MEDIDA 7 Los datos que reclama el indicador son observables. (Observacin) 8 Los datos que reclama el indicador pueden ser observados por diferentes evaluadores simultneamente o en situaciones distintas. (Replicacin) 9 Los medios que se utilizan para recoger los datos que reclama el indicador son adecuados. (Aplicabilidad) 10 Las fuentes que facilitan la informacin solicitada por el indicador son accesibles. (Accesibilidad) 11 Los indicadores poseen una forma de anotar y valorar la informacin recogida. (Codificacin) 12 Los indicadores tienen un peso especfico dentro de un sistema de indicadores. (Ponderacin) 13 Los datos obtenidos por los indicadores pueden interpretarse numricamente. (Expresin cuantitativa) 14 Los datos obtenidos por los indicadores pueden relacionarse numricamente con los de otros indicadores. (Obtencin de ndices) REQUISITOS FORMALES 15 Cada indicador solicita informacin de una sola cosa. (Universidad) 16 La inforrracin solicitada se puede recoger en una situacin definida. (Manifestacin de precisin) 17 El indicador est expresado con claridad semntica sin ambigedad. (Brevedad expresiva) 18 La informacin reclamada se recoge en un mismo tipo de manifestacin. (Concrecin) 19 El enunciado ser directo y descriptivo. (Claridad) 20 El indicador se relaciona causalmente con otros. (Dependencia) 21 Se puede desglosar y especificar en tems. (Formalizacin)

NO

NO

4.PROPUESTADEINDICADORESDEEVALUACIN
Acontinuacinsepresentandospropuestasdeindicadoresquedifieren,adems de en el contenido de las dimensiones a evaluar, en la forma de presentacin de talesindicadores.Enlaprimera,realizadaporNoriegayMuoz(1996)serecogen dimensiones, estndares e indicadores formulados estos de un modo

Evaluacin de programas de intervencin psicopedaggica 13

declarativo para la evaluacin de los centros docentes. De su propuesta de indicadores, por razones de espacio, slo hemos seleccionado la dimensin Funcin
DIMENSIN FUNCIN ESTNDARES INDICADORES

1.El proyecto ha sido 1.1. Sehanformuladocorrectamentelosobjetivos cuidadosamenteplaneado 1.2. Se han tenido en cuenta las polticas o directrices emanadas delasuperioridad 1.3. Se han sopesado las ligaduras o restricciones del proyecto (costos,etc.). 1.4. Sehananalizadolasestrategiasdeactuacin 1.5. Sehaelegidolaestrategiamseficiente 1.6. Se ha aludido a la formacin/preparaci6n/reciclaje de los elementoshumanosintervinientes 1.7. Sehanrealizadoestudios/sondeossobrelademanda del proyecto 1.8. Se han elaborado guas o instrucciones para el desarrollo del programa 1.9. Sehandiseadocanales/medios deinformacin 1.10.(Si el programa lo requiere), sehan desarrollado mecanismos queasegurenunacertificacinobjetivayeficazdelosparticipantes 2.Laprogramacinescorrecta 2.1. Lasactividadesdefinidassoncoherentesconlosobjetivos 2.2. Lareddeactividades,ensucaso,escorrecta 2.3. Sehaefectuadolaprevisindelosmediosrnateriales 2.4. Se ha efectuado la previsin econmica pertinente (presupuestos,etc.) 2.5. Sehaefectuadolaprevisindepersonaladecuada 2.6. Se ha cuidado de la provisin de los medios materiales, econmicosypersonales 2.7. Se ha procedido a la sistematizacin y movili zacin/integracin de los medios de acuerdo con el desarrollo del programa(anlisisdeprocedimiento) 2.8. Se han adjudicado las responsabilidades a cada uno de los participantes en el programa con atencin a la coordinacin de actuaciones(fonnacindeequiposdetrabajo) 2.9. Sehandiseado/seleccionadodocumentos/soporteadboc. 3.La operacin se desarrolla 3.1. Se han diseado estrategias metodolgicas (normas de satisfactoriamente operacin) 3.2. La actuacin de los elementos del programa es correcta y adecuadaalosobjetivosprevistos 3.3. Eldesarrollo de las actividades se adecua a latemporalizacin previstaenlared. 4.El seguimiento del proyecto es 4.1. Se establecen criterios y mtodos/medios de evaluacin adecuadoasuscaractersticas 4.2.- Se disean estndares de cantidad, calidad y oportunidad 4.3.- Se fijan procedimientos e instrumentos de evaluacin. 4.4..- El control afecta a todos los elementos del programa 4.5.- Se chequean todos los tems o, al menos, segn un muestreo suficiente 4.6.- El agente del control es el adecuado para garantizar su objetividad 4.7.- Los muestreos se toman a intervalos temporales indicativos 4.8.- Los resultados del control se reflejan en informes, grficos,

13
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

etc. 4.9.- Los resultados del control se someten a anlisis de acuerdo con los objetivos previstos y las actividades realizadas 4.10.- Se mantiene un registro de contabilidad sistematizado 5.La accin colectiva del control 5.1. Se efectan "inspecciones en la fuente" para una correccin "automtica" de las desviaciones (evaluacin continua) eseficiente 5.2.- Los resultados del anlisis del control tienen valor diagnstico determinante para la accin correctiva 5.3.- La accin colectiva se aplica a todos los elementos del proyecto donde se detectan desviaciones signfficativas: En el planeamiento En la programacin En la operacin En el control En la accin correctivo En la retroalimentacin 5.4.- La accin correctivo se aplica, en su caso, a los elementos personales de la organizacin 6.Ellogro,outputoproducto 6.1. El producto (out-put) cumple las nomias de calidad establecidas 6.2.- El coste-estndar del producto es safisfactodo 6.3.- La calidad del producto es la esperada 6.4.- El anlisis de satisfaccin es positivo 7.Se establece feedback, 7.1. Los resultados de la evaluacin se recogen en una Memoria informacin de retorno o 7.2.- Las conclusiones de la Memoria se recogen en el planeamiento-programacin del ciclo siguiente retroalimentacindelsistema

Una segunda propuesta de indicadores es la que plantea Prez Juste (1995) para la evaluacin interna de programas educativos. En este caso los indicadores se presentanenformainterrogativa.
I. MOMENTO INICIAL: EVALUACIN DEL PROGRAMA EN SI MISMO
1.CALIDADINTRNSECADELPROGRAMA
1.1.CONTENIDODELPROGRAMA: 1. 2. 3. 4. Loscontenidosincluidosseconsideranrelevantesdesdeperspectivascientficas,sociales,psicolgicas ypedaggicas(valorformativo)? 1.2.CALIDADTCNICADELPROGRAMA: 5. Se incluyen en el programa objetivos, actividades, mediosentre ellos, la metodologa y sistema de evaluacin? Estnactualizadosodesfasadosloscontenidos? El tratamiento dado a los adecuado/distorsionado/desequilibrado? acontecimientos, temas o teoras, es Sehanexplicitadolasbasescientficasysociopsicolgicasdelprograma?.

Evaluacin de programas de intervencin psicopedaggica 15

6. 7. 8. 9.

La formulacin de los elementos anteriores es adecuada para orientar tanto la enseanza como el aprendizaje? Se puede considerar que los objetivos son congruentes con los planteamientos cientfico curriculares,conlasdemandassocialesyconlascaractersticasevolutivasdelosdestinatarios? Se da coherencia interna entre los diversos elementos del programa y de ellos en relacin con los objetivos? Se da adecuacin del programa a las caractersticas diferencialesmotivacin, intereses, capacidad delalumnado?

1.3.EVALUABILIDAD: 10.Lainformacincontenidaenelprogramadecaraasuposteriorevaluacin,seconsiderasuficiente, relevanteyadecuada? 11.Sedisponedeinformacinclarayprecisasobreaspectosmetodolgicosydecontenidodelprograma?

2. ADECUACINALCONTEXTO
12. 13. 14. 15. 16. 17. 18. Sehaprevistounsistemadeajusteinicialalascarenciasydificultadesdetectadas,tales comoclasesderecuperacin,sistemasdemonitores...? Se cuenta con sistemas de deteccin de necesidades y carencias del alumnado, tales como pruebasdecarcterdiagnstico,entrevistas...? Existendatos(registros,informes,actas...)enelcentrosobrelasnecesidadesycarenciasdelos alumnos? Se dan reuniones con profesores de cursos anteriores de cara a la planificacin del nuevo programa? Sedacooperacinconlasfamiliascuandoesnecesariaparaeldesarrollodelprograma? Losprofesoresresponsablesdelprograma,funcionanenautnticoequipo? Se da un funcionamiento democrtico, participativo e implicativo del centro, as como corresponsabilidadenlastareas?

3. ADECUACINALPUNTODEPARTIDA
19. RespondeelProgramaademandasdelosinteresados? 20.Estnprevistoslosespacios,momentosenelhorario,recursosypersonal,necesariosparasu desarrollo? 21. 22. 23. Estprevistalatemporalizacindelprograma? Seencuentrancapacitadoslosresponsablesparaeldesarrollodelprograma? Existenenelcentrolosmediosnecesariosparauncorrectodesarrollode]Programa?

15
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

24.

Serealizanreunionesdelequipodeprofesoresresponsablesdelprograma'?

25. Se da entre el equipo de profesores, y en el centro en general, un trabajo de tipo cooperativo? 26. 27. Apoyan el programa el claustro de profesores, los padres y dems personal implicado/afectado? Hasidoaprobadoelprogramaporelequipo?

II. SEGUNDO MOMENTO: PROCESO APLICACIN DEL PROGRAMA

1.PUESTAENMARCHADELPROGRAMA
28. 29. 30. 31.Sedetectandesfasessignificativosenlaternporalizacinprevista? 32. 33. 34. Sedarigidez/flexibilidadenlaaplicacindelprograma? Serespetalaplanificacinenloreferenteaespacios,tiempos,apoyosyrecursos? Losnivelesparcialesdelogroseconsideranalejadosde,oacomodadosa,lospropuestos? Seapreciacorreccinenlasecuenciadelasactividadesprogramadas?. Muestranlosalumnosinters/motivacinhacialasactividadesdelprograma? Lametodologautilizada,resultaadecuadaparaeldesarrollodelosobjetivosdelprograma?

2. MARCODEAPLICACINDELPROGRAMA
35. Se aprecian conflictos y tensiones entre el personal del centro que puedan repercutir en el desarrollodelprograma? 36.Lasrelacionesconelalumnadosepuedecalificardecordialesodeproblemticas? 37. Se detecta algn conflicto entre los objetivos y/o planteamientos del programa con los del proyectoeducativooconlosdeotrosprofesoresdelequipoodelcentro? 38. Sedaconcordanciaentrelaorganizacinydisciplinadelaulaenquesedesarrollaelprogramay elsistemaorganizativoydisciplinardelcentro? 39. Sedaunclimadeconfianzaenelxitoporpartedealumnosyprofesores?

III. TERCER MOMENTO: EVALUACIN FINAL DEL PROGRAMA

1. MEDIDAYLOGROS
40. Se han tornado precauciones para asegurar la calidad tcnica de las pruebas con que se apreciarnlosnivelesdelogrodelprogrania7 41. Se planificaron las pruebas, y dems instrumentos elaborados para la recogida de datos, en el momentodedisearelprograma,afindeasegurarlamximacoherenciaconlosobjetivos? 42. Serecurreatcnicasvariadasderecogidadedatos,acordesconladiversidaddeobjetivos?

Evaluacin de programas de intervencin psicopedaggica 17

43.Seespecificaronloscriteriosdecalificacinydelosnivelesdelogrodelprograma?

2.VALORACIN
44. 45. 46. Se dispone de informacin, rica y matizada, sobre los momentos inicial y procesual del programa,comobaseparavalorarlosresultados? Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias tcnicas? Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los resultados?

3. CONTINUIDAD
47. 48. 49. El estilo imperante entre los responsables del programa es participativo y colaborativo, o directivoyautoritario? Existe un proceso institucionalizado de evaluacin, de forma que los resultados se plasmen en nuevosprocesosprogramadores? Seasignantareasconcretasalosdiferentesresponsablesdeloscambiosaintroducir?

5.UTILIDADDELOSINDICADORESENLAEVALUACINDEPROGRAMAS Existeunacuriosaparadojaenrelacinconelusodeindicadoresenlaevaluacin deprogramaseducativosoplanesdecentrosdocentes.Mientraseconcedecada vez ms importancia a la formulacin de indicadores como elemento clave en la evaluacineducativastosnoterminanporincorporarsealosprocesosrealesde evaluacin. El desconocimiento sobre el modo en que deben utilizarse los indicadoresenunprocesodeevaluacinylapropiaformulacinaposteriori(una vez desarrollado el programa) y no a priori (al tiempo que se redactan los objetivos del programa) de los indicadores puede explicar esta paradoja (De Miguel1,1995:181). Una primera consecuencia que podra extraerse de lo dicho es que la eficacia e idoneidad de los indicadores dentro de un proceso de evaluacin est en buena medida condicionada por el modo y por el momento en que se formulen. As, paraquelosindicadoresseantilesdeberandefinirseapriori,enfuncindecada unodelosobjetivosquepretendenlograrseconelprograma. Hecha estas salvedades, hagamos referencia a algunas de las recomendaciones quepuedenrealizarseparautilizardeunmodomsapropiadolosindicadoresen unprocesodeevaluacin:

17
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

1. A partir de un marco terico, desarrollar un sistema de indicadores basado en medidas mltiples con el fin de que posibilite obtener y contrastarlainformacinsobreunaspectopordiversasvas. 2. Avanzar en la construccin de indicadores compuestos y de ndices que nos aporten informacin ms compleja y decisiva para las decisiones. 3. Complementar la informacin que aportan los indicadores con la que nospuedenfacilitarotrasfuentes(especialmentelosexpertos). 4. Construir y utilizar indicadores sobre todas la fases del proceso de la evaluacinYnoslosobrelosresultadosoproductos. 5. Evitar los juicios de valor durante la fase de elaboracin de los indicadoresafindenocondicionarlasetapassiguientesdelproceso. 6. Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a utilizar y dar la mxima publicidad a la informacin obtenida.(DeMiguel,1995:182183). 5.1.VENTAJASQUEOFRECEELUSODEINDICADORES Larecomendacindelusodeindicadoresenlaevaluacineducativaengeneraly en la evaluacin de centros en particular est justificada porque ofrece al evaluadorlassiguientesventajas: 1. Aportaninformacinvlida,verificableyrelativamenteneutral. 2. Posibilitanestablecercomparacionesenfuncindediversoscriterios. 3. Permitenquelosjuiciosdevalorvaloracionesseapoyensobredatos bastanteobjetivos. 4. Facilitanelconsensoentrelaaudienciaimplicada. 5. Otorgancredibilidadalatomadedecisiones. 6. Aaden transparencia a todo el proceso evaluador (De Miguel, 1995: 181182).

Evaluacin de programas de intervencin psicopedaggica 19

5.2.PRINCIPALESDIFICULTADESENELUSODEINDICADORES Cuando utiliza indicadores, el evaluador se enfrenta igualmente a una serie de dificultadeseinconvenientes,entrelosquecabracitarlossiguientes: 1. Confrecuenciaseelaboranapartirdemodelostericosmuysencillos porloqueelindicadorofreceunainformacinmuysimpleylimitada. 2. Enalgunoscasos,muchosindicadoresseutilizanporrazonespolticas yconundeterminadosentido,introduciendosesgosenlaevaluacin. 3. Habitualmente existen problemas en la recogida y anlisis de los datos, especialmente los referidos al nivel de agregacin, lo que cuestionalaobjetividadyviabilidaddelindicador. 4. Lafaltadehomogeneidadenloscriteriosdadoqueencadacontexto se entienden de forma diferente impide obtener medidas comparables. 5. Problemas derivados de sus costos y mbito de aplicacin frecuentemente determinan que muchos indicadores se utilicen de formadistorsionada. 6. Finalmentecabesealarque puedenorientartodalaejecucindelos programas con el fin de alcanzar los indicadores y alterar, tambin, la tomadedecisiones(DeMiguel,1995:182).

BIBLIOGRAFA
1. Eisner, E. W. (1993). Why standards may not improve schools. Educational Leadership, 50(5),2223. 2. Lzaro,A.(1992).Laformalizacindeindicadoresdeevaluacin.Bordn,43(4),477494. 3. Miguel de, M. (1991). Indicadores de calidad en la docencia universitaria. I Congreso Internacionalsobrecalidaddelaenseanzauniversitaria(p.XXVLI).Cdiz:ICEde laUniversidad. 4. Miguel de, M. (1995). Indicadores de rendimiento y evaluacin de programas. en R. Prez Juste, J. L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programasycentroseducativos(pp.169192).Madrid:UNED. 5. Newman, D. L., & Brown, R. D. (1992). Violations of evaluation standards. Evaluation Review,16(3),219234. 6. Noriega, J., & Muoz, A. (1996). Indicadores de evaluacin del centro docente. Madrid: 19
Juan Manuel Almohalla
Noviembre-2012

Estndares, criterios e indicadores de evaluacin

EditorialEscuelaEspaola. 7. Prez Juste, R. (1995). Evaluacin interna de programas educativos. en R. Prez Juste, J. L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programas y centroseducativos(pp.131168).Madrid:UNED. 8. Salzer,M.S.e.al.(1997).Validitingqualityindicators.EvaluationReview,21(3),292309. 9. Simmons, W., & Resnick, L. Assessment as the catalyst of school reform. Educational Leadership,50(5),1115.

Otrasreferencias: Consejera de Educacin y Ciencia (1998). Evaluacin de centros docentes. Plan de evaluacin decentrosdocentesenlaComunidadAutnomaAndaluza.JuntadeAndaluca. Dewey,J.(1934).Artasexperience.NewYork:MintonBalchandCompany. Guba,E.G.yLincoln,Y.(1981).Effectiveevaluation.California:SagePublications. ======================================