Académique Documents
Professionnel Documents
Culture Documents
RESUMEN
CUADRO 1
EVALUADOR INVESTIGADOR
Orientado hacia la política y la planificación; busca clarifi- Orientado hacia la disciplina y lo académico; busca avances
car alternativas de planeamiento y mejorar la ejecución del en las fronteras del conocimiento en su propia disciplina.
programa.
Su lealtad es a un programa, proyecto, servicio, campaña Su lealtad es hacia una determinada disciplina académica,
en particular; la elaboración de tópicos de evaluación está la elección de los tópicos de investigación está determinada
determinada por las necesidades de información de los que por las necesidades de la teoría y de la investigación en esa
toman las decisiones. disciplina.
Las elecciones metodológicas son “científicas” pero no ex- Las elecciones metodológicas son “científicas” y con fre-
perimentales y con bastante frecuencia “naturalistas”. La cuencia hay énfasis en el control; pueden preferirse méto-
norma para juzgar los resultados es la aplicabilidad a la si- dos experimentales o cuasi-experimentales.
tuación del programa y la adaptabilidad a otras situaciones La norma para juzgar los resultados es la generalización o
similares. la transferencia.
El marco de tiempo para producir los resultados es estable- El marco de tiempo para la producción de resultados es fi-
cido por el programa. jado por el investigador y por la lógica interna de la pre-
gunta de investigación.
Las recompensas profesionales consisten en la utilización Las recompensas profesionales consisten en la publicación
de los resultados por quienes toman las decisiones y la de los resultados en revistas profesionales y los comenta-
comprobada mejoría en la ejecución del programa. rios favorables por parte de los colegas.
CUADRO 2
Paradigma subyacente, el positivismo lógico: busca los he- Paradigma subyacente, interpretativo: fenomenologismo, la
chos o causas de los fenómenos sociales; presta poca aten- comprensión e interpretación. Interesado en comprender la
ción a los estados subjetivos de los individuos. Se descu- conducta humana desde el propio marco de referencia de
bren los conocimientos. quién actúa. Los conocimientos se producen o se construyen.
Raíces filosóficas: positivistas, reduccionistas, libre de valores. Raíces filosóficas: fenomenológicas. El interaccionismo
simbólico. Holísticas, cargadas de valores.
Orientación teórica: somete a prueba la teoría existente; re- Usa teorías bien fundamentadas, relaciones plausibles.
laciones causales.
Diseño experimental o cuasi experimental para asegurar El diseño es emergente; surge o se desenvuelve.
objetividad y validez.
Orientada hacia los objetivos; cuantitativa. Aboga por el Libre de objetivos; cualitativa cargada de descripciones.
empleo de los métodos cuantitativos. Aboga por el empleo de los métodos cualitativos.
Análisis de datos típicamente estadísticos, “sólidos”, repeti- Análisis de información por ejes temáticos, análisis de con-
bles, “fiables”. tenido. Información “real”, “rica” y “profunda”.
Naturaleza de las declaraciones de verdad por leyes genera- Naturaleza de las declaraciones de verdades por intuiciones
lizadas. acerca de covariaciones naturales de los conocimientos,
ideas perspicaces, analogías y metáforas.
Resultados convergentes conducentes a hacer predicciones. Resultados divergentes. Realidades múltiples o una cons-
Realidad tangible y única. trucción negociada de la realidad en su contexto.
Puntos fuertes: proporciona estimaciones de las distintas va- Puntos fuertes: es responsivo, adaptable, el énfasis es holis-
riaciones y correlaciones cuando las variables realmente pue- ta y humaniza la actividad evaluadora. Asume una realidad
den ser definidas apropiadamente y pueden establecerse con- dinámica.
troles razonables. Particularista; asume una realidad estable.
continúa...
50 Marta Picado Mesén
continuación cuadro 2
Puntos débiles: busca acomodar las preguntas de evalua- Puntos débiles: el evaluador puede perderse en las comple-
ción a los métodos y modos de análisis aceptables; puede jidades de la vida real; puede carecer de habilidades inter-
llevar a escoger preguntas triviales y artificiales y a obtener personales y perceptibilidad individual, por lo cual puede
resultados triviales e inútiles. terminar haciendo afirmaciones poco significativas, basa-
das en meras impresiones.
Los actores de una evaluación leen las si- carácter integral que requieren las prácticas
tuaciones concretas, recurren a sus experien- evaluativas.
cias acumuladas o previas y las interpretan des- La evaluación parte de situaciones cotidia-
de el marco de su práctica social. nas de sus potencialidades y limitaciones. Su de-
Los enfoques cualitativos y cuantitati- sarrollo tiene la mirada puesta en cómo poten-
vos en la evaluación de proyectos sociales o ciar los recursos y, sobre todo, cómo solucionar
de desarrollo son complementarios; se requie- los problemas. Claro está, son requerimientos
re de un acercamiento metodológico que per- fundamentales la lectura y relectura de las falsas
mita develar la integralidad de los procesos, representaciones, del papel de las ideologías en la
prácticas y acciones sociales. Aún cuando la expresión de intereses, valores, supuestos, visio-
complementariedad es necesaria, ella misma nes y cosmovisiones. No hay que perder de vista
es insuficiente. que, en las representaciones sociales, lo signifi-
En los escenarios sociales la integración cativo y lo simbólico está permeado por las es-
teórica y práctica es fundamental; no es posible tructuras ideológicas dominantes.
la separación entre conocimiento y acción, co-
mo camino válido para acercarse a la evalua- ... Una práctica social comprometida con
ción de las realidades. Saber y actuar son inse- una lucha ideológica dirigida a desvelar
parables para mejorar la acción y transformar falsas representaciones, a poner al descu-
esas realidades sociales. Las aportaciones de bierto intereses, valores y supuestos mu-
los enfoques cuantitativos y cualitativos son in- chas veces implícitos, que subyacen en la
gentes, pero insuficientes si sólo se realiza un práctica (...) tanto de los evaluados como
despliegue metodológico y se presentan ex- de los evaluadores (Pérez, 1990: 63).
haustivos resultados sin el compromiso de
transformación de esas realidades evaluadas.
Al respecto, Carr y Kemmis (1988) refi- 4. FUNDAMENTOS EPISTEMOLÓGICOS
riéndose a la investigación en el enfoque socio- DE LOS ENFOQUES CUALITATIVOS
crítico brindan aportes que, por su pertinencia,
son trasladables a la evaluación en el campo del Estos enfoques proponen que el compor-
desarrollo social. tamiento humano sea evaluado tal como ocu-
rre naturalmente, dentro de su contexto y de su
El investigador crítico intenta descubrir ambiente; son holísticos, buscan evaluar las
qué condiciones objetivas y subjetivas limi- realidades como un todo, pretenden descubrir,
tan las situaciones y cómo podrían cam- comprender e interpretar los fenómenos.
biar unas y otras. Ello implica un proceso El evaluador naturalista no pretende la
participativo y colaborativo de autorrefle- construcción de leyes y generalizaciones; su
xión que se materializa en comunidades propósito es profundizar en la comprensión, al-
autocríticas de investigación comprometi- canzar la aplicabilidad y adecuación de los re-
da en mejorar la sociedad (Pág. 14). sultados. Él forma parte de la evaluación que
realiza, pues no se puede aislar objetivamente
Un evaluador sólo ante tal reto, proba- de esa realidad o realidades que evalúa.
blemente se vea limitado, por lo que el trabajo El evaluador se usa a sí mismo como ins-
en equipos interdisciplinarios1 es un recurso trumento y acepta la naturaleza subjetiva de la
oportuno y necesario, en conformidad con el evaluación cualitativa. Hay una unidad entre el
1 “Como antes ya lo hicieron Stuffebeam y Stakes, los aspectos principales del estudio, los que están
Cronbach afirma que cuando la evaluación se en el centro del proyecto deben asumir la mayor
divide entre los miembros de un equipo, el responsabilidad a la hora de establecer priorida-
equipo debe trabajar como una sola unidad si des, interpretar las observaciones y recopilar ex-
desea que aparezcan las intuiciones. Aunque los periencias de primera mano” (Stufflebeam y
miembros de un equipo deben conocer a fondo Shinkfield, 1993: 161).
¿Cómo podría delinearse una evaluación cualitativa? 53
CUADRO 3
Axiología de los valores Tiene en cuenta los valores, los cuales influyen en la solu-
ción del problema, de la teoría, el método y el análisis.
que evalúa y aquello que se evalúa. Al fin y al que el conocimiento es contextual, enraizado en
cabo, el evaluador ofrece una construcción so- la historia, con sus alcances y limitaciones, sin
cial “fabricada” sobre la base de un “intelecto poder llegar a realizar generalizaciones aunque sí
agudo” y una “percepción clara y refinada” “ideas perspicaces” (insights) que se pueden
dentro de una dinámica que plantea interro- transferir a otras situaciones y a otros tiempos.
gantes basadas en la participación y en la cola- La o las realidades no se factorizan y
boración con otros ( Bhola, 1992:166). fragmentan para estudiar sus causalidades y
La evaluación cualitativa está enraizada en hacer predicciones; en su lugar, se construyen
las realidades sociales, las cuales están en cons- expectativas razonables y se buscan redes o
trucción. Todos los individuos construyen sus
realidades, así como también llevan consigo sus
propios significados y visiones de mundo2, por lo representaciones y a visiones alienadas de la reali-
dad. Además, considera que la producción de senti-
do está íntimamente ligada a la producción de pro-
2 En este sentido, la hermenéutica materialista pre- ductos tangibles, por lo que únicamente la herme-
senta sus críticas, puesto que considera que los sig- néutica idealista puede dejar de lado los productos
nificados y visiones de mundo están permeados por para atrincherarse sólo en los significados. La supe-
las ideologías dominantes. Por lo que estos significa- ración de esta limitante lleva al planteamiento de
dos no son tan propios y, además, responden a falsas evaluaciones participativas educativas y liberadoras.
54 Marta Picado Mesén
✧ Otras interrogantes que se podrían agre- cos del hospital San Juan de Dios, desarrolladas
gar son: ¿existe un enunciado concreto del en el último trienio?
problema?, ¿se presenta en la formulación, En la evaluación cualitativa hay prefe-
información o antecedentes del problema?, rencias que inciden en la formulación de pro-
¿se discute la significación del problema?, blemas, preguntas o interrogantes que la orien-
¿existe secuencia, relación y concordancia tan. Preferencias que están enfocadas hacia las
entre los elementos que se utilizan para cualidades de los insumos, de los resultados, de
plantear el problema? la naturaleza de los procesos, de los comporta-
mientos humanos, de la percepción hacia los
Si las respuestas son positivas, el evalua- programas y proyectos, o de la percepción de
dor estará más seguro de la calidad del proble- los impactos en los grupos, instituciones y co-
ma planteado, de su coherencia y su claridad. munidades.
A la situación problemática o área Desde la formulación del problema se
grande por evaluar se le denomina área pro- vislumbra el enfoque metodológico de la eva-
blema. El área generalmente es muy amplia y luación. Un problema que pretenda abordar in-
engloba diversos aspectos que no son posibles tereses relacionados con la cuantificación de fe-
de evaluar simultáneamente debido a factores nómenos, con la explicación de causas de cier-
de tiempo, recursos humanos, económicos y tas situaciones, es un problema que no se debe
metodológicos, lo que obliga al evaluador a tratar desde un enfoque cualitativo.
depurar progresivamente el área problema Una de las preguntas perennes y de gran
hasta llegar a delimitar los aspectos relevan- significación es la que indaga acerca de lo que
tes y prioritarios. está sucediendo. La formulación de interrogan-
El evaluador, según Cronbach (1980), no tes obliga al evaluador a ser muy perspicaz y
es un agente libre para escoger el o los proble- sucinto. Generalmente, las preguntas se inician
mas que se evalúan, esto, sobre todo, en evalua- con “qué”, “cómo”, “cuáles” y “por qué”.
ciones externas, porque los administradores y Cronbach (1980), describe dos fases en la
otros actores de los programas, proyectos y ser- planificación de interrogantes. Una fase diver-
vicios determinan sus propios intereses y pro- gente en la que se hace una lista de interrogan-
blemas de evaluación. Ellos son los primeros tes y otra convergente en la que se asignan las
en plantearse interrogantes y, por eso, dirigen prioridades entre ellas. Estas fases se desarrollan
su mirada hacia una evaluación. en forma simultánea.
Para este autor los problemas de una in- La fase divergente designa qué es lo que
vestigación provienen principalmente de las in- tiene valor para una evaluación y la fase con-
certidumbres de los miembros de la comunidad vergente se dedica a definir qué resulta más
que debe tomar las decisiones, o de los desa- aceptable para ser evaluado. Esta última busca
cuerdos entre esos miembros, cada uno de los que sea una amplia diversidad de individuos y
cuales está convencido de que su solución es la grupos los que formulen las interrogantes.
buena. Identificar los problemas más importan- Cronbach (1980) afirma que existen tres
tes es un primer paso en la planificación de una razones para reducir atinadamente el número
evaluación, el segundo es una distribución de interrogantes:
apropiada del trabajo.
La formulación del problema debe expre- ✧ El costo: siempre hay un presupuesto limi-
sar las relaciones estructurales de sus catego- tado.
rías principales y dar cuenta de la relación en- ✧ El alcance de la atención del evaluador: se
tre las categorías más abarcativas. Se expresa, refiere a la capacidad del evaluador para
preferentemente, en forma de pregunta y en administrar la evaluación y organizar el
una dimensión temporal y espacial. volumen de información.
Ejemplo: ¿cuáles son las percepciones ✧ El alcance de la atención de la comunidad
del personal de salud relacionadas con las acti- que toma las decisiones: generalmente
vidades de capacitación, para pacientes diabéti- muy pocas personas tienen tiempo e interés
56 Marta Picado Mesén
para dar todas sus opiniones al evaluador. realizar. La definición del objeto de intervención
De no anticiparse esta situación la evalua- permitirá definir con claridad los aspectos episte-
ción podría resultar muy engorrosa y satu- mológicos y metodológicos que la orientarán.
rar a los actores. Los enfoques epistemológico y metodo-
lógico permitirán, durante el desarrollo de la
El evaluador, quién utilice este sistema evaluación, la reconstrucción del objeto para
de localizar y sopesar adecuadamente las cues- aportar rigurosamente al dilema de producir
tiones evaluativas, necesita una gran prepara- información que permita la toma de decisiones.
ción, más amplia de la que suele recibir para Si el problema y el objeto de evaluación re-
desempeñarse como profesional en un campo quieren para su abordaje los enfoques epistemoló-
específico. gico y metodológico que buscan la comprensión y
Las teorías políticas, filosóficas y organi- la interpretación de situaciones, de sus estructuras
zativas son importantes en el momento de pla- significativas y de sentido, se está frente a un enfo-
nificar una evaluación potencialmente influ- que evaluativo de orientación cualitativa.
yente (Cronbach, 1990).
... La mira se ubica no sobre un mundo ob-
jetivo sino en el contexto del mundo de la
6. OBJETO DE LA EVALUACIÓN CUALITATIVA vida que tiene una relación de copresencia
con el mundo objetivo. De esta manera, el
Supone delimitar qué aspectos de una si- método para conocer ese mundo de la vida
tuación, área o necesidad social son suscepti- no puede ser la observación exterior de los
bles de modificar reorientar o reforzar con la fenómenos sino, la comprensión de las es-
intervención profesional del evaluador. Para tructuras significativas del mundo de la vi-
definir el objeto de intervención particular de- da por medio de la participación en ellas a
be comprenderse la forma en que se presenta el fin de recuperar la perspectiva de los parti-
problema para la institución, los participantes y cipantes y comprender el sentido de la ac-
las audiencias. Debe responder a los intereses y ción en un marco de relaciones intersubje-
visiones de estos tres grupos de actores. tivas ( Vasilachis, 1992: 48).
Los objetos son resultantes de la interac-
ción de tres actores que construyen contextos Las búsquedas de una información certe-
locales: el sujeto individual o colectivo (con ca- ra, la necesidad de mejorar las propuestas de tra-
rencias o potencialidades los cuales son la ra- bajo y de organización de la evaluación dentro de
zón de ser del proyecto, programa e institu- un diseño o planeamiento flexible de orientación
ción), el profesional que interpreta y da senti- cualitativa, y sobre todo la necesidad de trascen-
do, la institución u organización interesada en der lo inmediato, lo percibido, lo sentido, la apa-
la evaluación, con todas sus audiencias. riencia de los hechos y fenómenos evaluados, son
Se tendrán diferentes objetos de acuerdo las circunstancias que comprometen al evalua-
con la naturaleza y con la posición epistemoló- dor a elaborar áreas y categorías de análisis.
gica de los actores intervinientes, de la especifi-
cidad del proyecto, programa o institución que
se evalúa o en la que se enmarca la evaluación 7. DEFINICIÓN DE LAS ÁREAS Y CATEGORÍAS
que se realiza. Hablamos de objetos de inter- DE ANÁLISIS
vención pues el ejercicio profesional de la eva-
luación es heterogéneo, diverso y se reconstitu- Las áreas y categorías de análisis3 que se
ye en cada espacio local de actuación en virtud incluyen en el diseño de una evaluación van a
de los intereses, necesidades e interacciones de
las distintas audiencias.
3 Para algunos evaluadores el empleo de datos acerca
Para cada evaluación el evaluador definirá de variables cualitativas responde a procesos de eva-
y discutirá con los interesados y con sus audien- luación cualitativa. De acuerdo con todos los funda-
cias el objeto de esa evaluación que se pretende mentos teóricos y epistemológicos que orientan la
¿Cómo podría delinearse una evaluación cualitativa? 57
permitir dar respuesta a las interrogantes plan- el registro de notas teóricas analíticas e inter-
teadas en el diseño; son algo así como su opera- pretativas. Con la información organizada en
cionalización. categorías iniciales se procede a la integración
El que durante el diseño se elaboren áreas y confrontación teórica de categorías y a su
y categorías de análisis es un punto de partida de conceptuación. En este momento, las catego-
referencia, es una forma de orientar la evalua- rías adquieren un carácter conceptual para ba-
ción pero ello no quiere decir que no surjan rajar posibles generalizaciones4.
nuevas áreas y categorías en el transcurso de la Los procedimientos de análisis de Barton
evaluación cuando se tiene contacto con los dis- y Lazarsfeld (Valles, 1997: 365) señalan:
tintos actores de la evaluación. Esas áreas y cate-
gorías tienen un sentido emergente y su inclu- a. Análisis de observaciones simples.
sión da cuenta de la flexibilidad del diseño.
El análisis de la información mediante b. Construcción o aplicación de sistemas des-
áreas y categorías de análisis responde a los criptivos: listas, categorías, tipologías preli-
procesos señalados por la “Grounded Theory” y minares, tipologías completas y parciales.
los procedimientos identificados por Barton y
La Zarsfeld (Valles, 1997). c. Formación cualitativa que sugiere relacio-
El procedimiento “Grounded Theory”, nes entre categorías. Incluye el análisis
denominado método comparativo constante comparativo sistemático de pocos casos.
(MCCC), (Glasser y Strauss en Valles, 1997: 348)
señala cuatro fases: d. Formulaciones matriciales. Son patrones
básicos de análisis de un tema o cuestión en
a. Comparación de “incidentes”: observacio- estudio o evaluado, que permiten ordenar y
nes, fragmentos de entrevistas, documentos. organizar una masa de hechos particulares
imposibles de trabajar individualmente co-
b. Integración de categorías y sus propiedades. mo atributos descriptivos.