Académique Documents
Professionnel Documents
Culture Documents
evaluativa
Santiago Correa Uribe
Antonio Puerta Zapata
Bernardo Restrepo Gmez
Introduccin
La evaluacin es una ciencia social de gran actualidad cuyo potencial no se discute, pero
an sigue en permanente proceso de construccin.
Como disciplina en construccin permite analizar su decurso y consolidacin a travs de
la evolucin histrica de sus conceptos y procesos, la constitucin de una comunidad
acadmica y profesional que cada vez se internacionaliza ms con la aparicin de
conferencias internacionales, asociaciones, agencias, centros e instituciones
especializadas en este campo, con una vasta produccin intelectual y aportes
metodolgicos plasmados en un sinnmero de publicaciones especializadas.
La investigacin evaluativa se convierte, en la actualidad, en una importante fuente de
conocimientos y directrices, en las diversas actividades e instituciones de las sociedades
modernas porque indica el grado de eficiencia o deficiencia de los programas y seala el
camino para su reformulacin y valoracin del xito alcanzado por los esfuerzos realizados.
La investigacin evaluativa se vale de los mtodos y el instrumental de la investigacin
social; por lo tanto, su desarrollo sigue sus mismas evoluciones, lo cual le permite una
aproximacin permanente a criterios de cientificidad.
En consonancia con lo anterior, el nfasis del mdulo se pone en las preocupaciones
centrales de la investigacin evaluativa, su evolucin histrica, los enfoques evaluativos y
la metodologa de la evaluacin.
!
Estructura general del mdulo
El mdulo consta de cuatro unidades que en una secuencia lgica pretenden dar cuenta
de los aspectos antes mencionados.
La primera unidad aborda la conceptualizacin bsica de la investigacin evaluativa a
travs del desarrollo de los conceptos de institucin, programa, evaluacin e investigacin
evaluativa, as como tambin de los propsitos de la evaluacin y tipos de evaluacin.
La segunda unidad da cuenta de la historia de la evaluacin en el mundo y en Colombia.
Inicia con un anlisis de las etapas histricas del desarrollo de la evaluacin de programas
y concluye con una detallada presentacin de los momentos de la evaluacin en Colombia
con sus proyectos ms relevantes en los diferentes campos del quehacer evaluativo.
La tercera unidad parte del anlisis de los paradigmas de la investigacin y su incidencia
en la investigacin evaluativa para adentrarse en sus enfoques y caracterizar las
orientaciones predominantes y los modelos subyacentes en cada una de ellas.
La cuarta unidad da cuenta del proceso metodolgico de la investigacin evaluativa o
evaluacin de programas. Se definen cuatro grandes momentos o etapas del proceso
metodolgico con sus correspondientes subrutinas. Estos momentos son: la formalizacin
del marco de referencia, la formulacin, la implementacin y la ejecucin del proyecto de
evaluacin.
Cada unidad parte de unos objetivos especficos y un mapa conceptual, continuando con
el desarrollo de los contenidos, los cuales sern complementados con lecturas de
afianzamiento y ejemplificacin de los temas de la unidad. Presenta a continuacin la
autoevaluacin sobre los contenidos y unas actividades de evaluacin productiva que
pretenden dar aplicacin y dotar al estudiante de la experiencia requerida para el ejercicio
de la investigacin evaluativa. Para terminar, aparecen las referencias bibliogrficas
utilizadas en el texto de la unidad.
"
OBJETIVO GENERAL
Orientar el desarrollo de una experiencia de aprendizaje terico-prctico, que permita a
profesionales de diferentes reas que cursan la Especializacin teora, mtodos y tcnicas
de investigacin social lograr las competencias bsicas para disear, desarrollar e
interpretar procesos de investigacin evaluativa de programas sociales.
OBJETIVOS ESPECIFICOS
Conceptualizar los trminos de institucin, programa, evaluacin e investigacin
evaluativa y determinar sus alcances.
Presentar un panorama del recorrido histrico de la investigacin evaluativa en sus
etapas de formacin y consolidacin como disciplina y delinear el derrotero de la
evaluacin de programas en Colombia y el mundo en los ltimos 30 aos, tanto en
el mbito investigativo como en el acadmico.
Caracterizar paradigmas, enfoques, orientaciones y modelos de evaluacin y sus
posibles campos de aplicacin.
Desarrollar el proceso metodolgico de la investigacin evaluativa.
Apoyar a los participantes en el desarrollo de proyectos de investigacin evaluativa,
dotndoles de herramientas conceptuales, metodolgicas y tcnicas, propias de
este campo.
#
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Mapa conceptuaI deI mduIo
LA INVESTIGACIN EVALUATIVA
CONCEPTUALIZACIN BSICA
ITINERARIO DE LA EVALUACIN
DE PROGRAMAS COMO DISCIPLINA
UNIDAD 1
UNIDAD 2
PARADIGMAS-ENFOQUES
ORIENTACIONES Y
MODELOS EVALUATIVOS
UNIDAD 3
DISEO METODOLGICO
UNIDAD 4
exige una Se estudia desde
Propuesta en Analizado en
Permite plantear
Vistos en
Que requieren
Propuesto en
$
%
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
Los conceptos de
institucin-evaIuacin
e investigacin evaIuativa
y aproximacin a una
tipoIoga de evaIuacin
Santiago Correa Uribe
Profesor Universidad de Antioquia
&
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
'
LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN
INTRODUCCIN
Esta primera unidad pretende hacer claridad sobre los conceptos de institucin, evaluacin
e investigacin evaluativa de tal manera que permita reconocer la evaluacin como una
ciencia social de gran actualidad que se vale de los mtodos, tcnicas e instrumental de
la investigacin social, pero que, dadas sus peculiares caractersticas y sus marcos de
accin, presentan una complejidad diferente para lo cual no basta con el dominio de los
mtodos y tcnicas antes mencionadas.
Define, adems, esta unidad los propsitos de la evaluacin y presenta diferentes tipos
de evaluacin referenciados en la literatura sobre el tema.
Por ltimo, pretende resaltar los aportes hechos por la investigacin evaluativa a la
cualificacin y mejoramiento de los programas sociales.
N
D
E
P
R
O
D
U
C
T
O
I
N
V
E
S
T
I
G
A
C
I
N
E
V
A
L
U
A
T
I
V
A
P
A
R
A
D
I
G
M
A
C
U
A
N
T
I
T
A
T
I
V
O
P
A
R
A
D
I
G
M
A
C
U
A
L
I
T
A
T
I
V
O
E
N
F
O
Q
U
E
D
E
E
V
A
L
U
A
C
I
N
p
l
a
n
t
e
a
A
N
A
L
T
I
C
O
S
G
L
O
B
A
L
I
Z
A
D
O
R
E
S
E
V
A
L
U
A
C
I
N
G
L
O
B
A
L
I
Z
A
D
O
R
A
E
V
A
L
U
A
C
I
N
D
E
P
R
O
D
U
C
T
O
O
R
I
E
N
T
A
C
I
O
N
E
S
E
V
A
L
U
A
T
I
V
A
S
E
V
A
L
U
A
C
I
N
D
E
E
X
P
E
R
T
O
S
E
V
A
L
U
A
C
I
N
R
E
F
E
R
I
D
A
A
O
B
J
E
T
I
V
O
S
M
O
D
E
L
O
D
E
R
.
T
Y
L
E
R
M
O
D
E
L
O
D
E
M
E
T
F
E
S
S
E
L
Y
M
I
C
H
E
L
M
O
D
E
L
O
D
E
S
U
C
H
M
A
N
E
V
A
L
U
A
C
I
N
O
R
I
E
N
T
A
D
A
A
L
A
A
D
M
O
N
.
M
O
D
E
L
O
C
I
P
P
.
S
T
U
F
F
L
E
B
E
A
M
M
O
D
E
L
O
D
E
R
E
F
E
R
N
E
T
E
S
E
S
P
E
C
F
I
C
O
S
D
E
B
R
I
O
N
E
S
E
V
A
L
U
A
C
I
N
P
O
R
O
P
O
S
I
C
I
N
M
O
D
E
L
O
J
U
D
I
C
I
A
L
D
E
W
O
L
F
E
V
A
L
U
A
C
I
N
O
R
I
E
N
T
A
D
A
A
L
C
L
I
E
N
T
E
M
O
D
E
L
O
D
E
S
C
R
I
V
E
N
E
V
A
L
U
A
C
I
N
P
A
R
T
I
C
I
P
A
T
I
V
A
M
O
D
E
L
O
D
E
S
T
A
K
E
E
V
A
L
U
A
C
I
N
I
L
U
M
I
N
A
T
I
V
A
E
V
A
L
U
A
C
I
N
F
O
C
A
L
I
Z
A
D
A
M
O
D
E
L
O
D
E
F
E
T
T
E
R
M
A
N
d
e
t
e
r
m
i
n
a
n
q
u
e
p
u
e
d
e
n
s
e
r
c
o
n
f
i
g
u
r
a
n
s
e
g
n
B
r
i
o
n
e
s
s
e
g
n
R
e
s
t
r
e
p
o
t
a
l
e
s
c
o
m
o
&!
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
INTRODUCCIN
Esta unidad pretende abordar los grandes paradigmas de la investigacin evaluativa, los
enfoques que de dichos paradigmas se derivan, las orientaciones o grandes propsitos
que guan las propuestas evaluativas y, por ltimo, los modelos ms representativos
dentro de las orientaciones aqu definidas.
Se inicia con una revisin a los paradigmas cualitativo y cuantitativo y sus implicaciones
en la investigacin evaluativa, como condicin para comprender los diferentes enfoques o
tambin denominadas escuelas de evaluacin.
Contina la unidad con una aproximacin a las orientaciones predominantes en la
investigacin evaluativa: evaluacin referida a objetivos, evaluacin de expertos, evaluacin
orientada a la administracin, evaluacin por oposicin o evaluacin contrapuesta,
evaluacin orientada al cliente o centrada en el consumidor y evaluacin participativa.
Dentro de cada una de estas orientaciones se presentan los modelos ms representativos
con sus caractersticas principales.
&"
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
OBJETIVOS DE LA UNIDAD
1. Diferenciar los paradigmas cualitativos y los paradigmas cuantitativos en la
Investigacin evaluativa y analizar sus compatibilidades y posibilidades de
complementariedad.
2. Identificar los enfoques predominantes en la investigacin evaluativa.
3. Caracterizar las orientaciones predominantes en la investigacin evaluativa y los
modelos subyacentes en cada una de ellas.
4. Analizar las particularidades de los diferentes modelos de evaluacin y sus posibles
campos de aplicacin.
&#
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Tercera unidad
PARADIGMAS-ENFOQUES-ORIENTACIONES Y MODELOS EVALUATIVOS
I. PARADIGMAS DE LA INVESTIGACIN EVALUATIVA
La polmica sobre los mtodos de investigacin en las ciencias sociales no es nueva.
Estudiosos del tema ubican sus orgenes en los filsofos presocrticos, cuyas nociones
y tomas de posicin son esenciales en la historia de las relaciones entre lo cuantitativo
y lo cualitativo, sin embargo se puede situar en la Grecia clsica el lugar y el momento
en el que se inicia de una forma ms clara la polmica entre lo cuantitativo y lo cualitativo
siendo Platon y Aristteles las dos figuras y concepciones emblemticas del planteamiento
inicial de la polmica. Polmica que originalmente estaba centrada en torno a la
confrontacin entre las visiones mas formalista y mas sustantivista defendidas por
ambos filsofos. De esta forma, ambos autores/concepciones fundaron las bases
filosficas en los que, posteriormente, se iban a enmarcar las distintas aproximaciones y
desarrollos que, desde hoy, podemos denominar e inscribir como perspectivas
CUALITATIVAS y CUANTITATIVAS (Conde, 1994:54).
Las relaciones entre las perspectivas CUALITATIVAS y CUANTITATIVAS, en la investigacin
social, se abordan desde diferentes puntos de vista: epistemolgicamente,
metodolgicamente y tcnicamente. Recientes debates consideran la confrontacin no
solo como un desacuerdo respecto a las ventajas y desventajas relativas de cada uno de
los mtodos (cuantitativos y cualitativos), sino como una confrontacin bsica entre
paradigmas metodolgicos. Segn esta concepcin, cada tipo de mtodo se halla ligado
a una perspectiva paradigmtica distintiva y nica y son estas dos perspectivas las que
se encuentran en conflicto. (Reichardt y Cook, 1986).
Tal como lo expone Rist citado por Reichardt: En definitiva, la cuestin no estriba per se
en unas estrategias de investigacin: lo que sucede ms bien es que la adhesin a un
paradigma, y su oposicin a otro, predispone a cada uno a concebir el mundo y los
&$
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
acontecimientos que en l se desarrollan de modos profundamente diferentes. Rist,
(1977:43)
El concepto de paradigma procede de Kuhn (1962-1970), basndose en sus trabajos,
Patton citado por Reichardt, define un paradigma como:
Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad
del mundo real. Como tales, los paradigmas se hallan profundamente fijados en la
socializacin de adictos y profesionales; los paradigmas les dicen lo que es importante,
legtimo y responsable. Los paradigmas son tambin normativos; sealan al profesional
lo que ha de hacer sin necesidad de prolongadas consideraciones existenciales o
epistemolgicas. (Patton,1978:203)
Lo expuesto anteriormente permite inferir que en la consolidacin de un determinado
paradigma confluyan entre otros factores los siguientes:
La naturaleza del conocimiento y de la realidad.
La naturaleza de las relaciones entre el investigador y el conocimiento que generen.
El modo de construir el conocimiento.
Estos factores aparecen tratados en la Unidad 1 del mdulo de Investigacin cualitativa,
por lo cual no profundizaremos en su anlisis.
En una aproximacin a la caracterizacin de los dos paradigmas se podra decir:
El paradigma cuantitativo posee una concepcin global positivista, donde el experimento
y el tratamiento estadstico de la informacin se convierten en las principales herramientas
de las que dispone el investigador. El marco de observacin y de anlisis est orientado
por la formulacin de hiptesis y preguntas que pretenden anticipar el comportamiento de
la realidad objeto de estudio (hipottico deductivo). Es particularista al pretender identificar
las variables presentes en dicho objeto de estudio, las cuales son sometidas a pruebas
empricas bajo condiciones de control riguroso con la pretensin de garantizar objetividad
en sus resultados. Est orientada a los resultados, los cuales se pretenden explicar en
trminos de principios y leyes. Propio de las ciencias naturales.
&%
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
El paradigma cualitativo propone una concepcin global fenomenolgica, inductiva,
estructuralista, subjetiva, orientada al proceso y propia de la antropologa social.
Esta confrontacin paradigmtica ha impactado igualmente a la investigacin evaluativa,
donde despus de una larga tradicin de corte experimental emerge con fuerza la
perspectiva cualitativa, sin que esto implique descartar, ni siquiera infravalorar, la perspectiva
cuantitativa. Se pretende ms bien defender la idea de que existen diferentes opciones
metodolgicas para abordar este tipo de investigacin.
Tal vez lo ms novedoso, en el momento actual, resida en el inters por buscar las
compatibilidades y la complementariedad entre las dos tendencias que posibiliten el
trabajo conjunto y que proponen un nuevo panorama de investigacin denominado por
algunos tericos INVESTIGACIN TOTAL.
II. ENFOQUES DE EVALUACIN
Existen diferentes posiciones en torno a lo que se podra denominar ESCUELAS o
ENFOQUES de evaluacin. As, Restrepo (1974) identifica dos grandes escuelas de
evaluacin: la que tiene ms en cuenta los resultados y la congruencia de estos con los
objetivos, que se denomina EVALUACIN DE PRODUCTO y aquella que presta atencin
al contexto, a los insumos, a los procesos y a los productos, que se denomina
EVALUACIN GLOBALIZADORA.
Por su parte, BRIONES (1991) clasifica los enfoques de evaluacin de los programas
sociales en dos grupos: analticos y globales.
Los enfoques ANALTICOS se caracterizan por abordar con mayor o menor desagregacin
los componentes estructurales del programa, los cuales a su vez estn conformados por
caractersticas o variables con las cuales es posible determinar relaciones especficas. Hacia
estos componentes, caractersticas o variables se orientan los procesos de recoleccin,
seleccin y anlisis de la informacin. Los enfoques analticos tambin admiten evaluaciones
parciales de slo algunos componentes atendiendo a las necesidades del programa.
Desde la perspectiva epistemolgica, los enfoques analticos son de corte racionalista
con posiciones realistas u objetivistas, aunque pueden presentar matices naturalistas y
utilizan tanto mtodos cuantitativos como cualitativos de investigacin.
&&
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Los enfoques GLOBALES pretenden hacer una evaluacin holstica y totalizadora de tal
manera que se pueda establecer el significado de las acciones y actividades que se
desarrollan dentro del programa. Este enfoque no hace referencia a factores causales ni
a variables particulares que pudieran ser sometidos a tratamientos estadsticos.
Desde la perspectiva epistemolgica, los enfoques globales son en su mayora de corte
naturalista, subjetivista e idealista y emplean preferentemente mtodos cualitativos de
investigacin.
En la prctica de evaluacin de programas, con frecuencia se combinan enfoques y
procedimientos de uno o ms modelos y, con base en ellos, los investigadores definen su
diseo especfico de evaluacin. Lo anterior, tal como lo plantea Briones (1985), no sugiere
un eclecticismo arbitrario, sino un esfuerzo terico y metodolgico en la bsqueda de
una propuesta que responda a necesidades y requerimientos del programa que se va a
evaluar, as como a las caractersticas y limitaciones que existen en la realidad.
III. ORIENTACIONES PREDOMINANTES EN LA INVESTIGACIN EVALUATIVA
A. EVALUACIN REFERIDA A OBJETIVOS
La evaluacin, referida a objetivos tiene sus orgenes en educacin, donde Ralph W. Tyler
desarroll el primer mtodo sistemtico de evaluacin en el cual procur hacer nfasis en
una amplia gama de objetos por evaluar como los currculos y las ayudas didcticas,
adems de la evaluacin centrada en el estudiante, para lo cual destac la necesidad de
establecer, clasificar y definir los objetivos en trminos de rendimiento, como etapa inicial
o punto de partida de todo estudio evaluativo. La evaluacin se convirti en un proceso
para determinar la congruencia entre los objetivos y las operaciones.
Tyler defini as la evaluacin:
El proceso de evaluacin es esencialmente el proceso de determinar hasta qu punto
los objetivos educativos han sido actualmente alcanzados mediante los programas de
currculos y enseanza. De cualquier manera, desde el momento en que los objetivos
educativos son esencialmente cambios producidos en los seres humanos, es decir, ya
que los objetivos alcanzados producen ciertos cambios deseables en los modelos de
&'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
comportamiento del estudiante, entonces, la evaluacin es el proceso que determina el
nivel alcanzado. (Tyler, 1950:69)
El concepto tyleriano de evaluacin ha sido, a menudo, aplicado con una rigidez y estrechez
de miras que Tyler nunca propugn. Mientras propona estrategias y tcnicas prcticas
para la recoleccin y anlisis de la informacin requerida para el proceso de evaluacin,
la atencin termin enfatizando en los datos, que fueron considerados vlidos slo cuando
el programa haba concluido.
A pesar de los cuestionamientos a la evaluacin asumida como un proceso terminal y del
limitado alcance asignado hoy a los objetivos, el trabajo de Tyler permanece como uno de
los grandes hitos en la historia de la evaluacin concebida como ciencia. Ms aun,
destacados estudiosos de la evaluacin educacional, como Michael y Metfessel, Provus
y Hammond, han llevado ms all el trabajo de Tyler, sin alejarse de su filosofa bsica y
de su tecnologa.
1. MODELO DE EVALUACIN DE RALPH TYLER
a. ENFOQUE: ANALTICO RACIONALISTA
b. CONCEPTO DE EVALUACIN
Proceso para determinar hasta qu punto los objetivos propuestos por el programa han
sido actualmente alcanzados, mediante los programas definidos para tal fin.
c. PROPSITOS
Proporcionar al cliente o a quienes toman decisiones la informacin requerida, basada
necesariamente en la coincidencia entre los objetivos del programa y sus resultados reales.
d. CARACTERSTICAS
La ventaja de la definicin de evaluacin basada en la congruencia es que procede de una
base lgica organizada a partir del desarrollo de un programa. Tyler consideraba que la
evaluacin deba ser una etapa esencial de este desarrollo, adems consideraba que
'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
deban existir una serie de etapas lgicas que afianzaran el proceso de evaluacin real.
Estas etapas consolidan un mtodo que mida el alcance del cambio. Antes de que esto
suceda deben ser determinadas con claridad y definidas las metas y objetivos. Dicho en
trminos de comportamiento, deben comprobarse los objetivos despus de que se hayan
establecido las condiciones apropiadas para su comprobacin.
e. Metodologa
De acuerdo con Tyler, el procedimiento para evaluar un programa es el siguiente:
1. Establecer las metas y objetivos.
2. Ordenar los objetivos en amplias clasificaciones.
3. Definir los objetivos en trminos de comportamiento.
4. Establecer situaciones y condiciones segn las cuales puede ser demostrada la
consecuencia de los objetivos.
5. Explicar los propsitos de la estrategia al personal ms importante, en las
situaciones ms adecuadas.
6. Escoger o desarrollar las adecuadas medidas tcnicas.
7. Recopilar los datos de trabajo.
8. Comparar los datos con los objetivos de comportamiento.
2. MODELO DE EVALUACIN DE METFESSEL Y MICHAEL
a. ENFOQUE: ANALTICO RACIONALISTA
b. CONCEPTO DE EVALUACIN
'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Por ser una ampliacin del mtodo tyleriano el concepto de evaluacin es congruente
con ste:
Proceso para determinar hasta qu punto los objetivos propuestos por el programa han
sido alcanzados, mediante los programas definidos para tal fin.
c. PROPSITOS
Hacer ms perfectas las decisiones a partir de la valoracin de los resultados y ayudar al
personal bsico de las escuelas (profesores, administradores y especialistas) a evaluar
la consecucin de los objetivos en los programas escolares.
d. CARACTERSTICAS
Metfessel y Michael (1967) desarrollaron una lista de los mltiples criterios de valoracin
que podran ser utilizados para la evaluacin de programas. Especificando toda la gama
de posibles criterios para la valoracin de los resultados, estos autores van bastante ms
all que Tyler. Sin embargo, su paradigma evaluativo es bsicamente similar al mtodo
tyleriano.
Este modelo proporciona detalles acerca de los individuos que deberan ser los principales
responsables de la evaluacin en cada una de las etapas del proceso.
Propone las valoraciones basadas en mltiples criterios (etapa 4 de la metodologa
propuesta), lo que representa una excelente contribucin a la creacin de instrumentos,
porque incluye una lista de las diversas fuentes y tipos de valoraciones necesarias para
alcanzar una comprensin acabada y completa de los diferentes aspectos de un programa,
ampliando el alcance de los juicios sobre un programa.
e. METODOLOGA
El modelo propone ocho etapas principales del proceso evaluativo para seguir:
1) Implicar a todos los miembros de la comunidad escolar como participantes o ayudantes
de la evaluacin.
'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
2) Hacer una lista coherente de todas las metas y objetivos especficos, clasificados en
un orden jerrquico, desde los resultados ms especficamente deseados hasta los
ms generales.
a) Poniendo primero las metas que ms ampliamente abarcan las intenciones
tericas del programa.
b) Luego, los objetivos especficos en trminos operacionales, para permitir
una valoracin objetiva siempre que sea posible, y
c) Desarrollando finalmente criterios de enjuiciamiento que permitan la definicin
de los resultados ms significantes y relevantes, el establecimiento de
prioridades realistas en trminos de necesidad social, de la facilidad del
alumno, de la retroalimentacin alumno-maestro y de la disponibilidad de
personal y de recursos materiales.
3) Traducir los objetivos especficos de rendimiento a una forma inteligible que pueda
ponerse en prctica para facilitar el aprendizaje en el ambiente escolar.
4) Seleccionar o crear una variedad de instrumentos que suministren valores de los que
se pueda colegir la efectividad de los programas a la hora de conseguir los objetivos
que se haban propuesto.
5) Llevar a cabo observaciones peridicas, a travs de la utilizacin de instrumentos
variados, para calibrar el alcance del cambio en el rendimiento que resulta vlido
respecto a los objetivos seleccionados.
6) Analizar los datos proporcionados por la valoracin del cambio a travs de la utilizacin
de mtodos estadsticos apropiados.
7) Interpretar los datos relativos a los objetivos especficos segn ciertas normas de
enjuiciamiento y ciertos valores que se consideren apropiados para los niveles a los
que se desee llegar en el trabajo. De esta manera, se podr llegar a conclusiones que
proporcionen informacin acerca de la direccin de la evolucin, el progreso de los
estudiantes y de la efectividad de todo el programa.
'!
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
8) Hacer recomendaciones que proporcionen una base para futuros perfeccionamientos,
modificaciones y revisiones de toda la gama de metas y objetivos especficos con el
propsito de mejorar el programa; proporcionar continua informacin, basada en
recomendaciones, a todos los individuos implicados en el programa y prepararse para
cuando vuelva a recomenzar el ciclo del proceso evaluativo, una vez que los resultados
ya hayan sido presentados a las audiencias correspondientes.
3. MODELO DE EVALUACIN DE EDWARD A. SUCHMAN: EL MTODO CIENTFICO
DE LA EVALUACIN
Edward Suchman, cientfico investigador que crea firmemente en la necesidad de basar
las conclusiones en evidencias cientficas, consideraba que la evaluacin deba disponer
de la lgica del mtodo cientfico.
La contribucin de Schuman al campo de la evaluacin lo constituye su obra Evaluative
Research: Principles and Practice in Public Service and Social Action Programs (1967).
En ella deja claro su punto de vista de que un evaluador debe utilizar todo tipo de tcnicas
investigativas que sean tiles y apropiadas a las circunstancias y necesidades de un
estudio evaluativo determinado.
Sus estudios evaluativos, especialmente referidos a la salud pblica, le hicieron reconocer
que la evaluacin cientfica tiene algunas limitaciones prcticas y aunque consideraba
que el estudio ideal debera estar enmarcado en los modelos experimentales clsicos,
afirmaba que en la realidad los proyectos investigativos de evaluacin utilizan comnmente
alguna variacin o adaptacin de dicho modelo.
Siguiendo el esquema hasta ahora propuesto, presentamos las caractersticas de esta
orientacin .
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
La evaluacin es un proceso cientfico, por lo tanto, los mismos procedimientos que se
utilizan para descubrir el conocimiento podran utilizarse para evaluar el nivel de xito
'"
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
obtenido en la aplicacin de este conocimiento. La investigacin evaluativa es investigacin
aplicada y su propsito es determinar hasta qu punto un programa especfico ha
conseguido el resultado esperado. Los resultados siempre sern utilizados por el
administrador para tomar decisiones del futuro del programa.
c. PROPSITOS
1) Describir si los objetivos han sido alcanzados y de qu manera.
2) Determinar las razones de cada uno de los xitos y fracasos.
3) Descubrir los principios que subyacen en un programa que ha tenido xito.
4) Dirigir el curso de los experimentos mediante tcnicas que aumenten su
efectividad.
5) Sentar las bases de una futura investigacin sobre las razones del relativo
xito de tcnicas alternativas.
6) Redefinir los medios que hay que utilizar para alcanzar los objetivos, as
como las submetas, a la luz de los descubrimientos de la investigacin.
d. CARACTERSTICAS
Una precondicin de cualquier estudio evaluativo, segn Suchman, es la presencia de
alguna actividad cuyos objetivos tengan algn tipo de valor. Este autor define el valor
como cualquier aspecto de una situacin, actividad u objeto que tengan un inters
particular, como ser bueno, malo, deseable, indeseable, etc. Los valores, por lo tanto,
pueden estar constituidos como modos de organizar la actividad humana basados en
principios que determinan tanto las metas como el perfeccionamiento de los programas,
as como el medio de alcanzar esas metas.
e. METODOLOGA
Suchman consideraba que el proceso evaluativo parte de y regresa a la formacin de los
valores, siguiendo los siguientes pasos:
'#
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
1) Identificar un valor concreto (ya sea explcito o implcito).
2) Definir la meta: seleccin entre todas las metas alternativas posibles.
3) Seleccionar los criterios para valorar la consecucin de la meta.
4) Identificar las actividades que conduzcan a la meta: planificacin del
programa.
5) Operar con las actividades que conduzcan a la meta: funcionamiento del
programa.
6) Valorar el efecto de esta operacin: evaluacin del programa.
7) Formacin del valor: finalmente, basndose en esta evaluacin, se emite un
juicio acerca de si esta actividad dirigida hacia la meta ha resultado til.
Fig. 1. El proceso evaluativo.
Ioimacion del Valoi
fleccion de la mela (objelivos)
Valoiacion de la mela (ciileiios)
Idenliicacion de las aclividades
qne condnzcan a la mela
(planiicacion del piogiama)
Valoiai el eeclo
de esla opeiacion
(evalnacion del piogiama)
Opeiai con las aclividades
qne condnzcan a la mela
(nncionamienlo
del piogiama)
b. LA EVALUACIN DE EXPERTOS
La evaluacin de expertos, o tambin denominado mtodo del juicio profesional, asume
el proceso de evaluacin igual al juicio profesional de un experto o de un grupo de expertos.
Formacin del valor
Valorar el efecto
de esta operacin
(evaluacin del programa)
Operar con las actividades
que conduzcan a la meta
(funcionamiento
del programa)
Identificacin de las actividades
que conduzcan a la meta
(planificacin del programa
Eleccin de la meta (objetivos)
Valoracin de la meta (criterios)
'$
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
El experto o grupo de expertos es generalmente un profesional o grupo de profesionales
de reconocido prestigio en el campo de la evaluacin y en el objeto por evaluar. Se les
solicita que estudien el sistema y emitan un juicio acerca de cmo est funcionando.
Las ventajas de conformar un equipo de expertos que estudien la marcha de la institucin
o programa y rindan luego un informe sobre lo que creen est bien o mal, lo que puede
mejorarse y hacia dnde debe enrutarse el desarrollo de lo evaluado, residen en la facilidad
de implementar tal tipo de evaluacin y en plantear la posibilidad de tener en cuenta todo
tipo de variables.
Los tericos de la evaluacin formulan ventajas y desventajas a este mtodo. Analicemos
algunas de stas.
Ventajas:
Es fcil de implementar, no requiere de la construccin de instrumentos complejos y
el tiempo de la evaluacin es ms corto.
Toma potencialmente en consideracin todas las variables.
Pondera la experiencia de los expertos, la tiene en cuenta y le da posibilidad de que
desempee un papel importante en la evaluacin.
Utiliza toda la habilidad y experiencia disponibles.
No media tiempo muerto entre la recopilacin de datos y el anlisis de los mismos.
Desventajas:
Le falta refinamiento. Dictados principalmente por la oportunidad.
Su fiabilidad y objetividad son cuestionables.
Tanto los datos como los criterios son ambiguos y subjetivos.
No se puede comprobar su validez.
'%
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Limitaciones en cuanto a la generalizacin de los resultados de la investigacin.
c. EVALUACIN ORIENTADA A LA ADMINISTRACIN
La evaluacin orientada a la administracin, tambin denominada enfoque de la decisin
orientada, subraya que la evaluacin debe ser utilizada tanto para el perfeccionamiento
de un programa, como para enjuiciar su valor. Las decisiones que se van a tomar, ya sea
por un administrador, un consejo poltico, un personal de programacin o un electorado,
proporcionan organizadores previos para los estudios de orientacin de la decisin.
Bsicamente, la intencin de estos estudios es proporcionar conocimientos y bases
valorativas para tomar y justificar decisiones.
Los principales interrogantes que plantea este tipo de estudios son, entre otros:
Qu es lo que hay que conseguir?
Cul debe ser la planificacin de una empresa determinada?
Cmo debe llevarse a cabo el plan?
Cundo y cmo debe ser modificada la empresa?
Crombach (1963) fue el primero que introdujo a los evaluadores en la idea de que la
evaluacin deba ser reorientada y pasar a ser una ayuda para que los administradores
tomaran decisiones ms acertadas acerca de cmo orientar los programas o instituciones.
Ms tarde Stufflebeam (1966, 1967) introdujo una conceptualizacin de la evaluacin que
se basaba en la idea de que sta deba ayudar a los educadores a tomar y justificar
decisiones que pudieran satisfacer ms las necesidades de los estudiantes.
Posteriormente, otros autores como Alkin (1969), Reinhard (1972), Taylor (1974), Webster
(1975) y Guba (1978) han contribuido al desarrollo del concepto de la evaluacin centrada
en las decisiones y orientada a la administracin.
La principal ventaja de esta orientacin es que anima a los grupos de profesionales, as
como a las organizaciones, a utilizar la evaluacin continua y sistemticamente para
planificar y proporcionar servicios que satisfagan las necesidades de sus clientes. Tambin
'&
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
proporciona una base lgica que ayuda a los profesionales a responder por las decisiones
tomadas en el curso de un servicio.
1. MODELO DE STUFFLEBEAM-MODELO C.I.P.P. (CONTEXTO-INSUMOS-
PROCESOS-PRODUCTOS)
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
La evaluacin es el proceso de identificar, obtener y proporcionar informacin til y
descriptiva acerca del valor y el mrito de las metas, la planificacin, la realizacin y el
impacto de un objeto determinado, con el fin de servir de gua para la toma de decisiones,
solucionar problemas de responsabilidad y promover la comprensin de los fenmenos
implicados.
c. PROPSITO
Proporcionar informacin til para tomar decisiones con respecto a un programa, ya sean
estas de planeacin como resultado de la evaluacin de contexto; de estructuracin
como resultado de la evaluacin de insumos; de implementacin como resultado de la
evaluacin de proceso o de reciclaje como resultado de la evaluacin de producto.
d. CARACTERSTICAS
Establecer cuatro tipos de evaluacin:
Evaluacin de contexto: busca definir el contexto institucional, identificar la poblacin
objeto del estudio y valorar sus necesidades, identificar las oportunidades de satisfacer
las necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar
si los objetivos propuestos son lo suficientemente coherentes con las necesidades
valoradas.
Evaluacin de insumos: busca identificar y valorar la capacidad del sistema, las estrategias
del programa y sus alternativas, la planificacin de procedimientos para llevar a cabo las
estrategias, los presupuestos y los programas.
''
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Evaluacin de procesos: busca identificar o pronosticar, durante el proceso, los defectos
de la planificacin del procedimiento o de su realizacin, proporcionar informacin para
las definiciones preprogramadas y descubrir y juzgar las actividades y aspectos del
procedimiento.
Evaluacin del producto: busca recopilar descripciones y juicios acerca de los resultados
y relacionarlos con los objetivos y la informacin proporcionada por el contexto, los insumos
y por los procesos e interpretar su valor y su mrito.
Propone y utiliza la evaluacin formativa y sumativa para cada uno de estos tipos de
evaluacin, as como el empleo de una amplia gama de mtodos y tcnicas de recoleccin
de informacin como el anlisis de sistemas, la inspeccin (observacin directa), la revisin
de documentos, las audiciones, las entrevistas, los test diagnsticos y la tcnica Delphi
entre otras.
e. METODOLOGA
Plantea cuatro niveles o etapas:
1) Delineacin: en la que se definen los objetivos de la evaluacin, se formulan
preguntas, se delimitan las decisiones por tomar se identifican impedimentos.
2) Obtencin de informacin: se disean o adaptan instrumentos, se
determinan las muestras, se aplican los instrumentos y se realiza el
procesamiento estadstico de los resultados.
3) Anlisis de la informacin: se elabora un diseo de anlisis que garantice
la mayor efectividad en la interpretacin de los datos obtenidos y se procede
al anlisis de la informacin.
4) Aplicacin de la informacin: en la que se comunica la informacin a la
audiencia y se le asesora para la utilizacin y aplicacin de dicha informacin.
A continuacin se presenta el modelo globalizador simplificado (C.I.P.P) de Stufflebeam,
grfica 1.
P
A
R
A
D
I
G
M
A
S
-
E
N
F
O
Q
U
E
S
-
O
R
I
E
N
T
A
C
I
O
N
E
S
Y
M
O
D
E
L
O
S
E
V
A
L
U
A
T
I
V
O
S
GRFICA N 1: MODELO GLOBALIZADOR SIMPLIFICADO
Evaluacin
Proceso
Evaluacin
de cont exto
Decisin
Planeacin
Evaluacin
Insumos
Decisin
Estructuracin
Ensayo
Decisin
Implementacin
Evaluacin
Productos
Terminacin
Decisin
Reciclaje
I
d
e
n
t
i
f
i
c
a
c
i
n S
u
m
i
n
i
s
t
r
o
O
b
tenc
i
n
Retroinformacin
Tomado de: Stufflebeam y Col. Educational Evaluation. Decision Making. 1972.
GRFICA 1: MODELO GLOBALIZADOR SIMPLIFICADO
n
R
e
a
l
I
n
f
o
r
m
a
c
i
n
p
a
r
a
l
a
D
e
c
i
s
i
n
Dimensin 1: Marco
Dimensin 2:
Jueces
Dimensin 3:
Resultados
Cubo de Owens: Aplicaciones y dimensiones de los procedimientos contrapuestos. Tomado
de Stufflebeam y Shinkfield (1995).
Dimensin 1: marco
Dimensin 2:
jueces
Dimensin 3:
resultados
D
e
c
i
s
i
n
r
e
a
l
I
n
f
o
r
m
a
c
i
n
p
a
r
a
l
a
d
e
c
i
s
i
n
El que toma las decisiones
como juez
Varios jueces o un jurado
La audiencia como juez
Ningn juez
$
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
1. MODELO JUDICIAL DE WOLF
a. ENFOQUE: GLOBAL NATURALISTA
b. CONCEPTO DE EVALUACIN
Audiencia administrativa destinada a juzgar los mritos de un caso en el que estn
implicadas dos partes opuestas. Permite que un amplio espectro de personas interesadas
en el programa expresen sus puntos de vista. Los juicios no se basan en las metas
iniciales del programa, sino ms bien en la combinacin entre stas y los problemas ms
importantes planteados por quienes participan en las audiencias.
c. PROPSITOS
Proporcionar a quienes toman las decisiones evidencias slidas para actuar en
consecuencia. Lo ms importante es perfeccionar la toma de decisiones.
d. CARACTERSTICAS
El modelo adapta y modifica conceptos tanto de los juicios con jurado como de las
audiencias administrativas. La metodologa legal (judicial) ofrece un til sistema de
procedimientos destinados a valorar las pruebas y a producir deducciones alternativas a
partir del anlisis de los datos, antes de emitir juicios. Los evaluadores pueden centrarse
en un grupo de problemas, apoyarse en los testimonios de diferentes grupos y personas,
utilizando dos equipos evaluativos, lo que permite el desarrollo de un punto de vista
equilibrado y estructurar las deliberaciones de quienes toman las decisiones.
e. METODOLOGA
Wolf ha definido cuatro etapas para la realizacin del modelo judicial, a saber:
1) La etapa que propone los problemas: inicialmente, se identifica una amplia
gama de problemas relativos a la evaluacin del programa, desde el punto
de vista de todo el personal implicado que resulte posible. Estos problemas
deben coincidir con los objetivos iniciales del programa. A travs de entrevistas
%
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
y otros medios, deben identificarse los problemas que se consideren ms
importantes.
2) La etapa que selecciona los problemas: durante esta etapa, se reduce el
nmero de problemas hasta dejarlo en una cantidad apta para una audiencia.
El personal del programa y otras personas relacionadas con l pueden ayudar
a establecer un orden prioritario de problemas. Un grupo especial de
investigacin, formado por representantes de los grupos ms importantes
del programa, decide luego la importancia de cada problema, hace las
modificaciones necesarias y lo pone todo por escrito.
3) La etapa de preparacin de los argumentos: los dos equipos evaluativos preparan
entonces los argumentos formales. Se desarrollan, a partir de cada problema,
los aspectos especficos del enfrentamiento. Los argumentos desarrollados
proceden a menudo de los datos recopilados acerca de las virtudes y defectos
del programa. Las afirmaciones que apoya un aspecto u otro del problema
pueden proceder de testigos implicados en el programa o afectados por l.
Adems, los informes evaluativos ms importantes (por ejemplo, acerca de las
primeras evaluaciones formativas), los documentos y los informes formales son
estudiados para su posible utilizacin en los argumentos finales.
4) La etapa de la audiencia: esta etapa tiene dos partes. En la sesin previa a
la audiencia, ambos equipos examinan sus principales argumentos y, junto
con el presidente de la audiencia, desarrollan las reglas y procedimientos
de la audiencia. Aspectos como el nmero de testigos que deben ser
convocados, el alcance de los interrogatorios y los criterios para determinar
la admisibilidad de la evidencia (por ejemplo, la relevancia) deben surgir de
un acuerdo mutuo. Finalmente, se hace un borrador de las cuestiones ms
especficas que sirve como gua para las deliberaciones.
La audiencia propiamente dicha, que puede ocurrir tras meses de preparacin
a travs de las tres primeras etapas, puede constar de ms de una sesin,
dependiendo de la naturaleza de la evaluacin. Tras la presentacin de los
argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no es
el que toma las decisiones, recomienda qu decisiones deben tomarse.
&
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
Wolf ha afirmado que el modelo judicial ofrece un foro para la comunicacin y la difusin,
tanto como para la evaluacin. Ciertamente, el proceso puede clarificar las alternativas y
las consecuencias de una decisin, que casi nunca pueden conocerse antes de la
audiencia.
E. EVALUACIN ORIENTADA AL CLIENTE O CENTRADA EN EL CONSUMIDOR
Los exigentes requisitos federales para la evaluacin que se impusieron en la educacin
americana en la dcada de1970 estimularon el desarrollo de algunos nuevos mtodos
evaluativos, entre los cuales aparece el mtodo evaluativo centrado en el cliente.
Este mtodo plantea que el evaluador debe trabajar con y para ayudar a aquellas personas
que desarrollan e imparten servicios. Potencialmente, contempla al evaluador al servicio
de una amplia gama de clientes tales como administradores, funcionarios, contribuyentes,
legisladores, patrocinadores financieros, lderes comunitarios y el pblico en general.
Los distintos clientes tienen distintas prioridades y el personal del programa debe, a
menudo, prestarles mayor atencin.
Michael Scriven es un filsofo que ha contribuido ampliamente al desarrollo de la profesin
evaluativa. Ha criticado duramente tanto las clsicas como las mas recientes
conceptualizaciones de la evaluacin. Desarroll su concepcin de la evaluacin sobre
una postura filosfica bsica y ha desarrollado conceptos para ayudar a articular y aplicar
su concepcin de la evaluacin.
El verdadero papel del evaluador segn Scriven, es el de un sustituto informado del
consumidor, provisto de tcnicas para obtener una informacin pertinente y exacta, y con
un punto de vista profundamente razonado acerca de la tica y el bien comn, el evaluador
debe ayudar a los profesionales a proporcionar productos y servicios de alta calidad y
gran utilidad para los consumidores. Y lo que es aun ms importante, el evaluador debe
ayudar a los consumidores a identificar y valorar los bienes y servicios alternativos. Scriven
ha sido muy crtico con las ideologas evaluativas que se centran en alcanzar los objetivos
de los participantes en lugar de satisfacer las necesidades de los consumidores. Por ello
ha propuesto ciertos conceptos y mtodos destinados a desplazar la evaluacin desde
los objetivos hasta las necesidades (Stufflebeam y Shinkfield, 1995).
'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
1. MODELO DE EVALUACIN DE MICHAEL SCRIVEN
a. ENFOQUE: ANALTICO-RACIONALISTA
b. CONCEPTO DE EVALUACIN
La evaluacin es la determinacin sistemtica y objetiva del valor o el mrito de un objeto,
basndose en pruebas acumuladas procedentes de su comparacin con otros objetos
distintos a la hora de satisfacer las necesidades del consumidor.
c. PROPSITOS
Buscar los resultados reales obtenidos por el programa, sin determinar por anticipado
sus objetivos para no limitar la identificacin de sus efectos posibles, entre ellos, los
resultados no anticipados y los efectos imprevistos.
d. CARACTERSTICAS
Scriven introduce los conceptos de evaluacin formativa y evaluacin sumativa. La
evaluacin formativa se realiza durante el proceso y sirve como retroalimentacin y gua
para el mejoramiento del programa durante su marcha. La evaluacin sumativa es un
juicio valorativo sobre lo hecho. Se concentra en la evaluacin de los resultados y efectos
del programa, aunque estudia los diversos elementos del programa con un enfoque analtico.
Busca establecer relaciones de causalidad entre variables dependientes e independientes.
e. METODOLOGA
Se siguen los siguientes pasos:
1. Caracterizacin de la naturaleza del programa.
2. Determinacin de los fines de la evaluacin.
3. Indicadores de las relaciones que pueden darse entre las variables dependientes e
independientes del programa.
#
P
A
R
A
D
I
G
M
A
S
-
E
N
F
O
Q
U
E
S
-
O
R
I
E
N
T
A
C
I
O
N
E
S
Y
M
O
D
E
L
O
S
E
V
A
L
U
A
T
I
V
O
S
MATRIZ DESCRIPTIVA
(1)
(2) (3)
(4)
C
O
N
C
E
P
C
I
N
D
E
L
P
R
O
G
R
A
M
A
C
O
M
P
A
R
A
C
I
N
A
B
S
O
L
U
T
A
A
N
L
I
S
I
S
D
E
C
O
N
T
I
N
G
E
N
C
I
A
L
G
I
C
A
A
N
L
I
S
I
S
D
E
C
O
N
T
I
N
G
E
N
C
I
A
E
M
P
R
I
C
A
INTENCIONES
ANTECEDENTES
COMPARACIN
RELATIVA
TRANSACCI ONES TRANSACCI ONES
ANTECEDENTES
OBSERVACIONES
CRITERIOS
(ESTNDARES)
ANTECEDENTES
TRANSACCIONES
JUICIOS
VALORATIVOS
DATOS DE OTROS
PROGRAMAS
LOGROS
MATRIZ VALORATIVA
L
O
G
R
O
S
L
O
G
R
O
S
CONGRUENCIA
Tomado de: Investigacin evaluativa sobre situacin actual y prospectiva de la formacin abierta y a distancia en el SENA. Restrepo,
Correa y Flrez 1989.
GRFICA 5: MODELO ORIENTADOR DE LA EVALUACIN (R.STAKE). ESTRUCTURA SUSTANTIVA
$
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
V
a
l i
d
a
r
,
in
v
a
li
d
a
r
(
a
n
lis
i
s
y
v
a
lo
r
a
c
i
n
)
O
b
s
e
r
v
a
r
a
n
t
e
c
e
d
e
n
t
e
s
,
t
r
a
n
s
a
c
c
i
o
n
e
s
,
l
o
g
r
o
s
Tematizar, preparar
semblanzas, casos
E
s
c
o
g
e
r
f
o
r
m
a
t
o
s
/
a
u
d
i
e
n
c
i
a
s
Informes
finales
C
o
n
t
a
c
t
a
r
p
e
r
s
o
n
a
l
,
c
l
i
e
n
t
e
l
a
s
y
a
u
d
i
e
n
c
i
a
s
E
s
t
a
b
le
c
e
r
a
lc
a
n
c
e
s
d
e
l
p
r
o
g
r
a
m
a
Repasar actividades del
programa
D
e
s
c
u
b
r
ir
p
r
o
p
s
it
o
s
y
p
r
e
o
c
u
p
a
c
io
n
e
s
C
o
n
c
e
p
t
u
a
l
i
z
a
r
o
b
j
e
t
i
v
o
s
y
p
r
o
b
l
e
m
a
s
Identi-
ficar
datos
necesarios
I
N
F
O
R
M
E
S
A
N
L
I
S
I
S
O
R
G
A
N
I
Z
A
C
I
N
R
E
C
O
L
E
C
C
I
N
12
1
2
3
4
5
6
7
8
9
10
11
T
E
O
R
I
A
GRFICA 6: ESTURCTURA OPERATIVA DEL MODELO STAKE
Tomado de Investigacin evaluativa sobre situacin actual y prospectiva de la formacin
abierta y a distancia en el SENA. Resprepo, Correa y Flrez, 1989.
%
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
2. LA EVALUACIN ILUMINATIVA
La evaluacin iluminativa no es un mtodo regularizado, sino una estrategia de investigacin
general. Pretende ser adaptable para descubrir las dimensiones, metas y tcnicas de
evaluacin, y eclctica para proporcionar al evaluador una serie de tcticas investigativas.
Las decisiones acerca de la estrategia que debe ser utilizada en cada caso concreto
surgen del programa que debe investigarse. No intenta manipular, controlar o eliminar
variables situacionales, sino abarcar toda la complejidad de la escena: su tarea principal
es desenmaraarla, aislar sus caractersticas ms significativas, esbozar los ciclos causa-
efecto y comprender las relaciones entre las creencias y las prcticas y entre los modelos
de organizacin y los modelos de los individuos (Parlett y Hamilton, 1977).
MODELO DE EVALUACIN ILUMINATIVA DE PARLETT Y HAMILTON
a. ENFOQUE: GLOBAL NATURALISTA
b. CONCEPTO DE EVALUACIN
Evaluacin interpretativa, en tanto que recoge las interpretaciones de las realidad que
hacen las personas que participan en el programa. Hermenutica, ya que interpreta los
smbolos del lenguaje que utilizan los participantes. E iluminativa, por cuanto busca clarificar
los hechos y comprender las situaciones que se presentan en el programa, desde distintas
perspectivas.
c. PROPSITOS
Descubrir y documentar lo que supone participar en el programa en cualquier rol, discernir
y discutir los rasgos ms importantes del programa, sus concomitantes recurrentes y
sus procesos crticos: cmo opera, cmo es influenciado por situaciones externas e
internas, sus ventajas e inconvenientes, etc.
d. CARACTERSTICAS
Se caracteriza por el uso del paradigma investigativo de la antropologa cultural que
reconoce como natural el conflicto y la contradiccin que se dan en todo grupo humano.
&
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
La evaluacin misma tiene como destinatarios principales los participantes del programa,
quienes, adems, participan activamente en ella, puesto que hacerlo les permite reflexionar
sobre su situacin.
Parlett y Hamilton afirman que existen tres etapas caractersticas de una evaluacin
iluminativa:
1) La fase de observacin, en la cual se investiga toda la ampla gama de variables
que afectan al resultado del programa o la innovacin.
2) La etapa de investigacin, en la cual el inters se desplaza desde el reconocimiento
(de la fase de observacin) hacia la seleccin y planteamiento de cuestiones de
una manera coherente y ecunime, con el fin de realizar una lista sistemtica y
selectiva de los aspectos ms importantes del programa en su contexto.
3) La etapa de la explicacin, en la que los principios generales subyacentes a la
organizacin del programa son expuestos a la luz del da y se delinean los modelos
causa-efecto en sus operaciones.
e. METODOLOGA
Se realiza en varias etapas:
1. Identificacin de interlocutores que puedan ensear problemas y caractersticas
importantes.
2. Observacin y entrevistas etnogrficas.
3. Profundizacin de los aspectos encontrados en la primera etapa, mediante
entrevistas en profundidad, historias de vida, etc.
4. Validacin de los resultados del programa mediante la triangulacin metodolgica.
5. Redaccin del informe final en un lenguaje accesible a los usuarios del programa.
'
PARADIGMAS - ENFOQUES - ORIENTACIONES Y MODELOS EVALUATIVOS
3. MODELO DE EVALUACIN FOCALIZADA DE PATTON
a. ENFOQUE: GLOBAL NATURALISTA
b. CONCEPTO DE EVALUACIN
Evaluacin focalizada, segn la cual se seleccionan o focalizan los problemas y aspectos
ms relevantes del programa, para luego tomar decisiones con respecto al contenido
general de la evaluacin, sin establecer por anticipado especificaciones de ese contenido
ni de los procedimientos por seguir.
c. PROPSITOS
Comprender la dinmica interna del programa tratando de responder preguntas tales como:
qu factores son los que caracterizan este programa? Cmo se selecciona a los usuarios
y qu hacen una vez estn en el programa? Cmo perciben los usuarios el programa?
d. CARACTERSTICAS
Se focaliza la evaluacin en los procesos, dando ms importancia a cmo se logra un
cierto resultado que al producto mismo. Se consideran los resultados, pero desde el
supuesto de que estos sern diferentes para los distintos tipos de participantes, es decir,
se aboga por la identificacin de resultados individualizados.
e. METODOLOGA
Se comienza por identificar las personas que por su posicin sern las que tomarn
decisiones con respecto al programa y se contacta a los usuarios activos. Con ellos se
focalizan los problemas y temas relevantes y luego se seleccionan las tcnicas de
recoleccin de informacin, especialmente de tipo cualitativo (observacin, entrevistas,
etc.), as como los procedimientos de anlisis que se van a seguir. Se caracteriza a los
diferentes participantes para el estudio individualizado de los resultados a travs de estudios
de caso.
LECTURAS COMPLEMENTARIAS
y administradores de becas; y maestros, psiclogos y mdicos. Si la evaluacin consiste
en contribuir al mximo a la hora de proporcionar servicios meritorios y vlidos a la gente,
debern intervenir y aprovecharse toda esta serie de clientes. Adems, creemos que deben
estar activamente comprometidos en el encargo y la planificacin de las evaluaciones, con
el fin de obtener la informacin que necesitan para hacer bien sus trabajos. Por lo tanto,
para satisfacer estas expectativas, deben estar adecuadamente preparados, tanto como
todas aquellas personas que van a realizar los otros once papeles. Queremos subrayar
que, quizs, la misin ms importante de los programas de preparacin para una evaluacin
tanto para antes del servicio como para su realizacin es ensear a los clientes de la
evaluacin a cumplir con sus responsabilidades. Si no tienen un concepto slido de la
evaluacin, probablemente no intervendrn en ella, se mostrarn pasivos, no sabrn utilizarla
para conseguir sus propsitos o considerarn que los resultados tienen poco inters. En
cambio, los clientes entendidos pueden ayudar a asegurar que la evaluacin sea un
instrumento til y poderoso para garantizar la calidad de los servicios profesionales.
El diseador de la evaluacin
Uno de los aspectos ms fascinantes del trabajo evaluativo es que se trata de una empresa
creativa. Disear una evaluacin para satisfacer la demanda de informacin de un cliente
es algo ms que un proceso mecnicamente rutinario. Entre otras responsabilidades,
debe conceptualizar las cuestiones que sern abordadas, examinar el panorama poltico,
trazar una recopilacin de datos y un plan de anlisis, idear los informes y el proceso
informativo, encargarse del aspecto financiero y del personal y determinar cmo deben
ser empleadas las normas profesionales de la evaluacin. Para solucionar todo este
complejo entramado de decisiones de planificacin, no bastan modelos de otras
evaluaciones o planes ya publicados. Por el contrario, el diseo tpico de una evaluacin
consiste en un continuo proceso conceptual.
Para disear una buena evaluacin, se debe ser un observador sensible de los ambientes
sociales, saber entrevistar y escuchar, y estudiar con voluntad y capacidad lo esencial
del programa que va a ser examinado. El evaluador debe ser tambin experto en un
amplio campo de tcnicas comunicativas y de encuestas, y capaz de reunir las distintas
piezas de las premisas y la informacin en planes de trabajo que sean prcticos,
coherentes y que sirvan como guas racionales.
LECTURAS COMPLEMENTARIAS
Debemos considerar el papel del diseador de la evaluacin como el ms importante del
trabajo evaluativo, junto con el del cliente. Aquellos que se convierten en expertos en
diseo evaluativo, a menudo, trabajan todo el tiempo como evaluadores y estn muy
solicitados como asesores para ayudar a los clientes de una evaluacin a planificar y
encargar los estudios evaluativos.
Las conceptualizaciones generales sobre la evaluacin presentadas en las unidades 3 a
10 proporcionan un importantsimo material de estudio a todos aquellos que deseen adquirir
mayor facilidad para conceptualizar planes de evaluacin. Adems de estudiar las
contribuciones creativas de otros, subrayamos que el desarrollo de la capacidad para
disear evaluaciones requiere prctica: se necesita haber participado en la planificacin
de muchas evaluaciones. Creemos que esta prctica debe incluir algn trabajo individual
con un cliente. Adems, se puede aprender mucho colaborando con grupos encargados
del diseo de evaluaciones. Igualmente, el estudio de un gran nmero de diseos evaluativos
preparados por otros proporciona muchos buenos ejemplos de intuiciones acerca de esta
compleja rea de trabajo. Creemos que estos programas de preparacin para evaluaciones
deben incluir ejercicios y otras formas de guas prcticas para la planificacin de
evaluaciones.
El coordinador de la evaluacin
Muchas evaluaciones requieren los esfuerzos de varios participantes, y la utilizacin de
considerables recursos y servicios para mltiples clientes. Por lo tanto, se hace necesario
coordinar de un modo eficaz todo este trabajo. Esta necesidad se ampla cuando una
determinada agencia tiene en preparacin varios proyectos de evaluacin distintos. No es
sorprendente, por lo tanto, que la profesin incluya muchos trabajos evaluativos con nombres
como ayudante del supervisor de la evaluacin, coordinador de proyectos evaluativos, director
del departamento de evaluacin o director de personal del proyecto de evaluacin.
Este papel implica que las personas especializadas en evaluaciones deben tambin
prepararse para funciones administrativas, e igualmente que aquellos a quienes se les
asigne un trabajo administrativo relacionado con la evaluacin deben poseer o adquirir
conocimientos bsicos sobre la planificacin de evaluaciones. Finalmente, creemos que
las ms importantes instituciones educativas, sanitarias y sociales deben, a menudo,
dirigir sus esfuerzos hacia la creacin de grupos administrativos competentes.
LECTURAS COMPLEMENTARIAS
Asistentes de la evaluacin
Frecuentemente, uno de los papeles ms importantes a menudo independientes de la
evaluacin es el del asistente. Este papel supone contactos peridicos con los clientes,
revisiones de los documentos del programa, inspecciones de las actividades del programa,
hacer entrevistas y recoger otro tipo de informaciones acerca de las partes, redactar
informes y asumir la principal responsabilidad a la hora de presentar los informes. A
veces, el asistente es el encargado de realizar la planificacin del estudio completo. En
otros casos, l o ella tiene una responsabilidad menor. Pero siempre estar encargado
de colaborar con el personal del programa y de cooperar en la realizacin de la planificacin
del estudio.
Para desempear el papel de asistente se requieren tanto habilidad tcnica como
capacidad para las relaciones humanas. Adems, las personas asignadas a este puesto
deben poseer o ser capaces de desarrollar una gran credibilidad ante los clientes y ante
todos aquellos que participan en la realizacin del programa.
Respondedores de la evaluacin
Se trata de un papel al que, generalmente no se le concede mucha importancia. Son las
personas que rellenan los formularios, responden los tests, contestan las entrevistas y
permiten que los observen en su trabajo. En muchos casos, la calidad de la informacin
obtenida depende casi por completo de su buena voluntad para cooperar y dar lo mejor de
s mismos. Es improbable que realicen cualesquiera de estas tareas si no estn informados
acerca de su papel y convencidos de la importancia del estudio. Como consecuencia,
quienes estn al frente de las evaluaciones deben hacer un esfuerzo especial para asegurar
que el estudio servir de algo a estos colaboradores, tal y como ocurre con los clientes.
Tambin deben cuidar que las actividades que promuevan los motiven y preparen para
responder apropiadamente.
Especialistas en ayuda tcnica
La mayor parte de las evaluaciones supone una cierta cantidad de trabajo tcnico que
requiere la ayuda de expertos especializados. Por ejemplo, puede ser necesario supervisar
!
LECTURAS COMPLEMENTARIAS
y anotar los resultados de unas entrevistas; crear, proporcionar y utilizar instrumentos
para una recopilacin de datos estructurada; analizar tanto la informacin cuantitativa
como la cualitativa; y realizar presentaciones audiovisuales de los resultados.
En las evaluaciones a pequea escala, un simple evaluador puede, a menudo, hacer
todas estas tareas sin asistencia especializada. El agente evaluador est obligado a
coordinar y realizar todos los trabajos que sean necesarios, as como a dominar todas
las tcnicas especializadas que se requieran. Este tipo de agente necesita una amplia
preparacin que le introduzca en las ms importantes de estas especialidades. A menudo,
esta persona debe ser capaz de coordinar la asistencia de los especialistas cualificados.
De todas maneras, es inevitable que los estudios a gran escala contraten especialistas
para llevar a cabo estas tareas con el fin de que los asistentes puedan concentrar sus
esfuerzos en su propio campo de trabajo: los clientes y los respondentes. Este grupo de
expertos puede incluir especialistas en la elaboracin de pruebas, especialistas en
muestreos, especialistas en el procesamiento de datos, estadsticos, especialistas en el
estudio de casos y redactores tcnicos.
Especialistas en informacin
Un papel tcnico que hemos escogido para dedicarle una atencin especial es el del
especialista en informacin. Y lo hemos hecho porque ese papel supone una continua
necesidad de informacin relacionada con otras evaluaciones y no con problemas tcnicos
determinados. El especialista en informacin es especialmente importante en las agencias
que disponen de departamentos de evaluacin. Las evaluaciones dirigidas desde estos
departamentos deben tomar en consideracin el panorama institucional y su contexto
histrico, examinar los descubrimientos del pasado y de la actualidad para determinar
las tendencias y evitar una innecesaria pluralidad de esfuerzos en lo que se refiere a la
recopilacin de datos. Es necesario, como mnimo, un buen sistema para ordenar y
archivar los informes de manera que la informacin que contienen pueda ser fcilmente
consultada en futuras evaluaciones. Adems, muchas agencias se beneficiaran de una
recopilacin regular de informacin que las ayudara a estar totalmente al corriente de
entradas de datos, procesos y producciones, as como de la actitud de sus componentes
hacia los servicios de la agencia.
"
LECTURAS COMPLEMENTARIAS
El desempeo del papel de especialista en informacin requiere que el evaluador, o uno o
ms miembros del equipo de evaluacin, conozca bien las ciencias informativas. Eso
supone conocimientos y tcnicas en reas como la comunicacin, los sistemas de
informacin, el proceso de datos, la contabilidad financiera y la planificacin de gran
alcance. Las personas que piensan especializarse en evaluacin deben adquirir un dominio
general de las especialidades de la informacin, mientras que un cierto tipo de trabajo
correspondiente a esta rea resulta importante incluso para las evaluaciones ms sencillas.
Adems, los departamentos de evaluacin deben, a menudo, asignar una o ms personas
para el cumplimiento de esta importante funcin.
Especialistas en comunlcacin
La evaluacin bien hecha es una comunicacin efectiva acerca del mrito y el valor de algn
objeto. Esto quiere decir que los problemas de los clientes guan el trabajo de los evaluadores,
y las conclusiones de estos llegan hasta tos clientes para informarlos. Ninguno de estos
objetivos se hace posible sin una comunicacin efectiva entre el evaluador y el cliente.
Ocurre demasiado a menudo, de todas formas, que la comunicacin efectiva se pierde en
el trabajo evaluativo. Los evaluadores y los clientes asumen que los primeros conocen su
oficio y, de algn modo, obtendrn y facilitarn las conclusiones adecuadas; en lugar de
eso, los evaluadores, regularmente, se ocupan de las cuestiones equivocadas. Por otra
parte, los evaluadores deben hacer un buen trabajo consiguiendo que los clientes ayuden
a centrar la evaluacin y a recopilar una informacin que resulte slida y potencialmente
til, para luego pasarles la pelota y que sean ellos los que, sin ayuda, interpreten y
apliquen la informacin. Desearamos dejar totalmente claro que la evaluacin efectiva
supone no slo recopilar y analizar la informacin apropiada, sino tambin asegurar, a
travs de una efectiva tecnologa comunicativa, que la informacin sea presentada de una
forma til y utilizada en consecuencia. Sabemos que los evaluadores no deben ser
considerados responsables de todas las falsas interpretaciones y empleos errneos que
se han hecho de sus informes, pero s, entre otras cosas, de asegurarse de que sus
informes sean relevantes para los intereses de sus audiencias y de que puedan entenderlos.
Todo esto requiere que los evaluadores tengan conocimientos sobre tecnologas de la
comunicacin. Bsicamente, deben ser capaces de preparar informes escritos con claridad
y que estn dirigidos a y resulten comprensibles para la audiencia o audiencias que
#
LECTURAS COMPLEMENTARIAS
los han solicitado. Tambin deben saber cmo comunicar conclusiones a travs de medios
distintos del material impreso: por ejemplo, deben saber cmo hablar en pblico, utilizar
tcnicas audiovisuales y servirse de los medios pblicos. Finalmente, queremos sealar
que deben poseer conocimientos sobre el anlisis poltico y la solucin de conflictos, ya
que, a menudo, las evaluaciones son objeto de controversia.
El papel del especialista en comunicacin tiene considerables implicaciones para la
preparacin de los evaluadores, su utilizacin de los especialistas y la eleccin de personal
en los departamentos de evaluacin. Sin duda, los evaluadores deben adquirir preparacin
en una amplia serie de tcnicas comunicativas. En su prctica, deben, como mnimo,
someter los borradores de sus informes al juicio de los editores. Y los departamentos de
evaluacin, a menudo, deben emplear a especialistas en comunicacin para que asesoren
la planificacin de las evaluaciones y la presentacin de las conclusiones. Estos
especialistas tambin desempean un importante papel a la hora de evaluar y ayudar a
mejorar el exhaustivo trabajo de un departamento de evaluacin, comunicando los
resultados a sus clientes.
El anlisis de los papeles realizados hasta este punto ayuda a clarificar la complejidad
del trabajo evaluativo. Una gran agencia, que deba someter continuamente a evaluaciones
a sus exhaustivos servicios, puede que necesite un personal completo de especialistas
en evaluacin. La figura 1-1 es un ejemplo de cmo debe estar organizado el departamento
de evaluacin de una agencia para que cumpla a la perfeccin las diversas funciones de
una evaluacin. Como puede verse en ese esquema organizativo, el coordinador de la
evaluacin tiene la responsabilidad de satisfacer las necesidades evaluativas de la agencia
y de sus componentes. Para ayudarle en el desempeo de este papel, el coordinador de
la evaluacin dispone de los esfuerzos de distintos especialistas. Que los servicios del
departamento sean tcnicamente slidos e influyentes, depende de hasta qu punto su
trabajo est coordinado de un modo efectivo. Al mismo tiempo, queremos subrayar que
la evaluacin debe, a menudo, estar realizada por un solo evaluador. Para hacer bien su
trabajo, debe llegar a desenvolverse bien en toda la amplia gama de papeles ya descritos.
Probablemente, la mejor manera de encontrar y aprender el modo de conocer bien toda la
gama de papeles de una evaluacin es dirigiendo evaluaciones de una sola persona bajo
la tutela de un experto en evaluaciones. Participar en equipos de evaluacin tambin
proporciona excelentes oportunidades de aprender. Los evaluadores deben ser inventivos
a la hora de utilizar la ayuda de los especialistas, que pueden resultarles baratos e
$
LECTURAS COMPLEMENTARIAS
incluso no costarles nada. Hasta el Llanero Solitario consideraba necesario y beneficioso
colaborar con un socio leal y capaz.
Llegados a este punto en el anlisis de los papeles en una evaluacin, slo hemos
examinado aquellos que corresponden a una evaluacin efectiva. Ahora vamos a ver otros
cuatro que actan como papeles secundarios en la profesionalizacin de la evaluacin.
Preparador de la evaluacin
A lo largo del anlisis precedente, nos hemos ido refiriendo a la necesidad de una buena
preparacin por parte de aquellos que participan en una evaluacin. Estas necesidades
incluyen tanto la orientacin hacia unos planes de evaluacin especficos como el desarrollo
de unas tcnicas y conocimientos ms generalizados, y, ms concretamente, los
conocimientos que se adquieren examinando una prctica determinada. Adems, la
necesidad de una preparacin corresponde tanto a los especialistas como a los clientes
y a los respondedores.
Figura 1-1 Esquema organizativo
Clientes
y respondedores
de la evaluacin
%
LECTURAS COMPLEMENTARIAS
La evaluacin, como cualquier otra profesin, debe asegurarse de que los que participan en
ella disfruten de una amplia gama de slidas oportunidades para prepararse bien. Esto
incluye programas de preparacin especializada que culminan en una titulacin; cursos
auxiliares que estn concebidos para asesorar a todos aquellos que se estn preparando
para una serie de funciones profesionales como supervisores, asistentes sociales,
profesores y mdicos sobre la evaluacin de sus propios servicios profesionales; continuas
oportunidades educativas para evaluadores y especialistas, y sesiones orientativas sobre
estudios especficamente evaluativos destinados a clientes y respondedores. Este tipo de
preparacin debe presentar un contenido actual que resulte vlido para los problemas
concretos que debern enfrentar los aprendices. Sin duda, la preparacin es un papel
crucial para mantener y hacer progresar la calidad de los servicios evaluativos.
Investigador evaluativo
La misin de cualquier profesin es servir a sus clientes de la mejor manera posible, y la
realizacin de este imperativo se ve siempre limitada por el estado actual de los
conocimientos acerca de la especialidad. Por lo tanto, todas las profesiones deben tener
un carcter investigativo. Los profesionales deben estudiar las necesidades relacionadas
con la profesin y los problemas de los clientes, examinar sus prcticas a la luz de los
conocimientos y principios de las disciplinas ms relevantes, analizar su trabajo en su
contexto histrico, teorizar sobre los servicios profesionales y hacer avanzar los
conocimientos sobre su especialidad a travs de un anlisis estructurado de sus
principales premisas e hiptesis.
Los programas de investigacin ms extensos se dan en las profesiones ms veteranas,
como la medicina y el derecho, o los negocios y la industria.
En el primer caso, la investigacin, bajo la influencia de la tica profesional, se utiliza
para rendir el mejor servido posible. En el segundo, la principal motivacin es la obtencin
de beneficios y la supervivencia en un mundo competitivo. Ambas reas son muy
conscientes de que un mejor servicio y la competitividad dependen casi totalmente de un
programa de investigacin dinmico y adecuado.
Aunque la evaluacin es tan antigua como la civilizacin, slo desde hace muy poco
tiempo existe como prctica formal. nicamente en las dos ltimas dcadas se han
&
LECTURAS COMPLEMENTARIAS
realizado serios esfuerzos para recopilar la historia de la especialidad, teorizar sobre la
prctica evaluativa y planificar estudios que resulten adecuadamente descriptivos y se
basen en hiptesis apropiadas. Pero existe, y debe existir, una fuerte tendencia hacia el
establecimiento y mantenimiento de una base investigativa para la especialidad. Esta
tendencia es especialmente evidente en la gran cantidad de literatura aparecida sobre la
especialidad evaluativa, aunque gran parte de este material no puede calificarse como
investigativo. En cualquier caso, queremos subrayar que la investigacin evaluativa es
una funcin vital para asegurar que los evaluadores mejoren progresivamente sus servicios
y sus resultados.
Promotor de la evaluacin
Se trata de otro de los papeles vitales de la evaluacin. Tiene como base la funcin de
ayudar colectivamente a los evaluadores a alcanzar y mantener el estatus de una profesin.
El significado de este papel puede encontrarse en la definicin de un diccionario que
afirma que una profesin es un oficio que requiere un conocimiento especializado y, a
menudo, una preparacin larga e intensiva, incluyendo el dominio de tcnicas y mtodos,
as como tambin de las nociones cientficas, histricas y eruditas en las que se basan
estas tcnicas y mtodos, manteniendo, mediante la organizacin o la coordinacin de
conceptos, altos niveles de ejecucin y xito, y sometiendo a sus miembros a un estudio
continuo y a una concepcin del trabajo en la que lo que ms importa es el ofrecimiento
de un servicio pblico.
La especialidad de la evaluacin est empezando ya a presentar las caractersticas de
una profesin, tal y como se promulgan en esta definicin. Ya existen programas de
preparacin que terminan en doctorados y maestras, as como tambin una extensa y
boyante literatura sobre el tema. La literatura sobre evaluacin recomienda contenidos y
experiencias para ser incluidas en los programas de preparacin, as como anlisis sobre
cmo deben elaborarse los programas a partir de disciplinas afines, como la filosofa, la
psicologa, la sociologa y la economa. Muchas organizaciones profesionales y dos
amplios conjuntos de normas profesionales ya estn a disposicin de los evaluadores. Y,
desde luego, el gobierno, el pblico y las organizaciones de servicios continan requiriendo
evaluaciones de los servicios profesionales, as como fondos que los financien. Mantener
estos avances hacia la profesionalizacin de la evaluacin requiere iniciativas nacionales
'
LECTURAS COMPLEMENTARIAS
y estatales, adems del apoyo de los miembros de la profesin. Cada una de las personas
que cobren por trabajar como evaluadores estn obligadas a apoyar los distintos esfuerzos
que se estn haciendo para que la profesin siga adelante. Entre las funciones especficas
que pueden cumplirse se encuentran las de editor de una publicacin sobre la evaluacin,
elaborador de normas, educador de evaluadores y especialista y funcionario de una
sociedad evaluadora. Compartiendo las responsabilidades de estas funciones, los
evaluadores pueden contribuir a asegurar al pblico que los servicios profesionales que
ellos ofrecen son modernos y de gran calidad.
El metaevaluador
El ltimo papel que queremos subrayar, el del metaevaluador, requiere mucha astucia y
penetracin. Est relacionado con las funciones de evaluar evaluaciones, pero tambin
supone enjuiciar el valor y el mrito de todo lo que representa y hace la profesin: servicios
de evaluacin, utilizacin de las evaluaciones, preparacin de la evaluacin, investigacin
evaluativa y desarrollo organizativo. La metaevaluacin utiliza las normas aceptadas de la
profesin y trata de asegurar que son cumplidas. Tambin se ocupa de examinar las
propias normas con el fin de decidir en qu sentido deben ser revisadas.
De una manera u otra, la metaevaluacin necesita incorporarse a cada una de las
actividades de la profesin. A veces se trata de una actividad de autoasesoramiento,
como cuando los evaluadores, los preparadores, los investigadores o los funcionarios de
sociedades evaluativas examinan sus planes, la ejecucin de su trabajo o los resultados,
comparndolos con las normas de la profesin. En otros casos supone contratar a un
agente independiente para que valore los servicios. El objetivo de la metaevaluacin es
asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prcticas ilegales
o a los servicios que no son de inters pblico, sealar el camino para el perfeccionamiento
de la profesin y promover una mayor comprensin de la empresa evaluativa. Desde
luego, todos los evaluadores profesionales deben mantener al da sus conocimientos de
las normas de la profesin, incorporarlas a su trabajo, estar dispuestos a actuar como
metaevaluadores de los trabajos de otros profesionales y actuar profesionalmente a la
hora de evaluar e intentar mejorar las contribuciones que la evaluacin hace a la sociedad.
Con este breve comentario sobre la metaevaluacin, terminamos nuestro repaso de los
papeles que se desempean en una evaluacin. Hemos analizado minuciosamente, hasta
LECTURAS COMPLEMENTARIAS
cierto punto, la funcin del evaluador profesional y hemos echado un vistazo a las divisiones
que presenta. Creemos que, sin duda, todo ello ha contribuido a apoyar la idea de que la
evaluacin es a menudo un trabajo de equipo. Pero sacar la conclusin de que las
evaluaciones necesitan de los esfuerzos de un equipo sera una falsa interpretacin: por
el contrario, la evaluacin debe ser una parte necesariamente integrante de las funciones
de todo profesional. Nuestra conclusin es que estas funciones (o papel) son tan difciles
como importantes. Y la conclusin ms obvia y fundamental es que todos los profesionales
deben desarrollar sus responsabilidades evaluativas, puedan o no conseguir la ayuda de
un equipo y aunque tengan que desempear ellos solos todas las funciones de la
evaluacin.
Ya daramos un gran paso en la direccin adecuada si consiguiramos una mayor facilidad
para conceptualizar los problemas evaluativos y los mtodos adecuados para solucionarlos.
El resto de este libro ha sido pensado para llevar a cabo este proceso. Presenta y examina
en profundidad varias conceptualizaciones alternativas de la evaluacin.
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 2
La autoevaluacin como proceso previo
a la acreditacin de programas de pregrado
de la Universidad de Antioquia
Proyecto general
Bernardo Restrepo Gmez
1998
1. Antecedentes
La Ley 30 de 1992, Ley de la Educacin Superior, cre en Colombia el Sistema de
Acreditacin de programas universitarios. El Comit Nacional de Acreditacin, CNA,
organismo adjunto al CESU e integrado al reglamentar la Ley, produjo un conjunto de
normas o lineamientos para orientar la acreditacin. Entre estas normas estableci
procedimientos especficos en relacin con las etapas que se deben seguir en el proceso.
Estas etapas incluyen la revisin de condiciones iniciales del programa por acreditar, que
es, en realidad, un paso previo al proceso de acreditacin en s, y que se lleva a cabo a
travs de una visita del CNA para verificar la existencia de tales condiciones y dar luz
verde tendiente a la acreditacin. La realizacin de la autoevaluacin, cuyo informe final
debe ser sometido al CNA; la visita de pares como expertos externos verificadores de la
autenticidad del informe de autoevaluacin; la evaluacin final realizada por el CNA teniendo
en cuenta la autoevaluacin y la evaluacin de pares y, finalmente, la decisin de
acreditacin por parte del Ministerio de Educacin.
La Universidad de Antioquia, teniendo en cuenta este acto legal, y considerando tanto la
necesidad de mejorar la calidad de los programas acadmicos y profesionales, como la
LECTURAS COMPLEMENTARIAS
obligacin de responder ante la comunidad por el servicio educativo que presta, comenz
a motivar las facultades, escuelas e institutos para que sopesasen la posibilidad de
asumir el proceso de acreditacin. El propsito fundamental, eso s, es el mejoramiento
del currculo, la enseanza, la investigacin y otros aspectos institucionales y de los
programas acadmicos. En 1997, ao sealado como el ao del cambio curricular en
la Universidad, se dio inicio a la acreditacin de los primeros programas.
Diecisis programas de pregrado respondieron positivamente a esta solicitud y otros
manifestaron su inters de participar en el proceso como observadores para aprender de
l y emprender luego el proceso de acreditacin. El proceso de autoevaluacin tom
cerca de ao y medio. En septiembre de 1998 fueron enviados al CNA los informes de 14
programas.
2. La autoevaluacin
2.1 Marco referencial
2.1.1 La decisin sobre la evaluacin y el objeto por evaluar
La decisin de evaluar y acreditar es tomada por las autoridades universitarias. Los
consejos de facultad deciden qu programas acreditar y autoevaluar. Los primeros
programas en entrar al Sistema Nacional de Acreditacin fueron los de Enfermera,
Nutricin y Diettica, Educacin Primaria, Ingeniera Sanitaria, Medicina Veterinaria, Trabajo
Social, Diplomatura en Filosofa, Bibliotecologa, Contadura, Biologa, Qumica
Farmacutica, Bacteriologa, Educacin Fsica, Odontologa y Medicina.
Los programas acadmicos, no las facultades ni la Universidad, son los objetos de
autoevaluacin. Ahora bien, muchas cosas pueden mirarse y evaluarse. Un programa
acadmico comprende un ambiente, una filosofa, metas y objetivos, polticas, un currculo,
prcticas y actividades, recursos y actores puestos al servicio de la preparacin de
profesionales que sean capaces de desempearse apropiadamente en sus respectivas
reas en la sociedad. Volviendo a los objetivos fundamentales de la autoevaluacin, calidad
y responsabilidad ante la sociedad, un primer impulso es identificar resultados del programa
acordes con dichos objetivos. Esto, en gran medida, ha sido hecho ya por el CNA, luego
!
LECTURAS COMPLEMENTARIAS
de consulta con universidades y profesores de todos los programas en talleres que se
llevaron a cabo en diferentes regiones del pas. Tal precedente enmarca la bsqueda de
resultados esperados de los programas.
Qu es importante para el profesorado universitario y cmo sus opiniones fueron
tenidas en cuenta?
El desarrollo de la Ley 30 de 1992 autoriz al Consejo Nacional de Acreditacin, CNA,
para construir unos lineamientos orientadores del proceso de autoevaluacin. El consejo
solicit ideas a las universidades. Variadas fueron las reacciones de stas, incluyendo el
rechazo por parte de algunas universidades privadas renuentes a la acreditacin. La
Universidad de Antioquia conform, junto con otras nueve universidades, entre ellas las
ms importantes del pas, un grupo de estudio para establecer grandes logros e indicadores
de estos y redactar con ellos una propuesta en relacin con los lineamientos generales
para la autoevaluacin. La propuesta sali y fue entregada al CNA. ste, a su vez, convoc,
como ya se dijo, a profesores de todas las universidades del pas, por programas, para
debatir una propuesta ms refinada de lineamientos, solicitando complementacin, crticas,
sugerencias sobre indicadores y criterios. Despus de estos talleres, los lineamientos
definitivos fueron finalmente publicados y distribuidos a las universidades para su uso. No
obstante ser obligatoria su aplicacin, se ha dado cierto margen para que las universidades
incluyan nuevos factores de acuerdo con su filosofa y proyecto educativo.
Los lineamientos se basan en los logros esperados de la educacin superior, as como
en los insumos y procesos necesarios para alcanzar los primeros Cules son unos y
otros? Un modelo lgico, construido a partir de los propsitos y funciones de la educacin
superior deja ver la estrategia que tanto el Grupo de las Diez como el CNA deben haber
seguido para elaborar su propuesta.
Ante todo, se pone atencin a la misin, la filosofa y el proyecto educativo del programa.
Estos tres componentes estn enraizados en los ambientes cultural, social, econmico
y poltico, en los problemas, las necesidades y las condiciones que circundan el programa.
Ello quiere decir que la evaluacin tiene que considerar el contexto donde los profesionales
trabajarn. El xito o fracaso de un programa puede explicarse, en buena medida, debido
a estas condiciones prevalecientes. Para comenzar un programa nuevo o redisear uno
ya existente es necesario, entonces, diagnosticar estas necesidades y condiciones.
"
LECTURAS COMPLEMENTARIAS
Un segundo componente en el modelo lgico proviene de los insumos que el programa
recibe de la misin, la filosofa y la historia de la institucin. A la par con estos insumos
institucionales, la implementacin y calidad del programa dependen tambin de los
insumos de personal y de los insumos tecnolgicos y materiales, como estudiantes,
profesorado, currculo, equipo y facilidades fsicas, entre otros, y de las estrategias actual
y alternativas para poner en funcionamiento el programa con alta probabilidad de efectividad
y eficiencia.
Un tercer componente, necesario para alcanzar los resultados, es el relacionado con la
implementacin del programa, esto es, con el proceso o procesos. Para poner en marcha
un programa universitario es menester desarrollar un currculo; impartir docencia; hacer
investigacin; llevar a cabo actividades sociales, culturales y recreativas y contar con un
funcionamiento adecuado y oportuno de administracin y toma de decisiones.
Un cuarto componente por evaluar es el de los resultados o productos esperados de un
programa universitario. Tales productos comprenden, en primer lugar, la entrega a la
sociedad de profesionales idneos, de resultados de investigacin, innovaciones,
publicaciones, servicios de consultora y asesoras, y programas de extensin a la
comunidad.
Finalmente, los lineamientos del CNA tienen en cuenta algunos impactos o repercusiones
de los programas, a travs de la informacin concerniente al desempeo de los egresados
en sus puestos de trabajo y a travs tambin de la repercusin de la investigacin y las
publicaciones.
El siguiente esquema trata de sintetizar el proceso lgico de derivacin de componentes
fundamentales en un programa y, por ende, de los componentes esenciales en la evaluacin
del mismo.
#
LECTURAS COMPLEMENTARIAS
Modelo lgico de los programas de pregrado
De este esquema, supuestamente, o modelo ideal de componentes de un programa, el
CNA debe haber seleccionado componentes especficos para la autoevaluacin, tales
como la misin y el proyecto educativo de 105 programas, los procesos acadmicos
(implementacin curricular, procesos de enseanza, investigacin, publicaciones), gestin
y toma de decisiones, bienestar institucional, servicios de extensin y asesora, facilidades
fsicas y retroalimentacin de egresados. stas seran las categoras obligatorias. El
proceso de autoevaluacin, sin embargo, puede ir ms all y, en el caso de la Universidad
de Antioquia, sta lo hace para ser coherente con su concepcin de calidad y de proyeccin
de los programas.
Contexto
Ambiente
cultural, social,
econmico y
poltico;
evaluacin de
necesidades;
prospectiva.
Insumos
Misin,
filosofa,
proyecto
educativo,
currculo,
recursos
estrategias.
Proceso
Implementacin
curricular,
docencia,
actividades
sociales y
recreativas,
administracin.
Productos
Profesionales,
investigacin,
publicaciones,
extensin,
servicios de
consultora.
Impactos
Inmediatos
- Mejores niveles
de aprendizaje.
- Desarrol l o de
la investigacin.
- Profesionales
actualizados.
Intermedios
- Ms altos
niveles de
aprendizaje.
- Refinamiento de
la investigacin.
- Profesi onal es
contextualizados
De largo plazo
- Mej orami ento
de la calidad de
vida.
- Desarrollo
cientfico y
tecnolgico.
- Competitividad
productiva.
$
LECTURAS COMPLEMENTARIAS
2.1.2 Preguntas relevantes, marco referencial, criterios e indicadores
2.1.2.1 Preguntas relevantes y marco referencial
Varias preguntas crticas presiden la evaluacin interna, a saber:
Est el programa logrando sus objetivos?
Qu tan pertinentes son los programas en relacin con la misin de la universidad,
con las necesidades del pas y con el progreso cientfico?
Cul es el impacto real sobre la sociedad?
Qu factores pueden estar facilitando u obstaculizando la capacidad del programa
para alcanzar sus metas?
Cmo mejorar el programa para alcanzar ms satisfactoriamente sus metas e
incidir ms positivamente en la sociedad?
El modelo lgico debe estar apoyado en una teora de base, en un marco referencial que
explique las modificaciones, que nuevas necesidades y cambios en el contexto y la
tecnologa producen en las profesiones. Tal marco debe basarse en la teora sobre
educacin superior, en la teora social aplicada al anlisis del contexto, en teoras
particulares de los respectivos campos profesionales y en opciones tericas hechas por
los programas entre las diferentes escuelas de pensamiento con respecto a las ciencias
bsicas y aplicadas, que aportan su concurso a los programas. En esta forma, el marco
referencial permite seguir y al mismo tiempo tomar distancia de los lineamientos del
CNA, es decir, cumplir la ley al tiempo que salvaguardar la autonoma, y confiere a la
evaluacin un mayor sentido de utilidad, identificacin de valores y viabilidad poltica,
sobre todo ahora que los estudiantes cuestionan la acreditacin relacionndola con polticas
neoliberales, con la apertura econmica y con la reduccin del estado, particularmente
con la poltica de privatizacin. Un buen marco referencial permite a profesores y estudiantes
debatir la razn de la evaluacin y de una evaluacin en trminos de la universidad, no en
trminos del gobierno y de influencias externas.
Algunas pautas bsicas, no contenidos, fueron desarrolladas por los asesores, por solicitud
expresa de los comits coordinadores, como un punto de partida para que cada programa
%
LECTURAS COMPLEMENTARIAS
las enriqueciera y modificara de acuerdo con su situacin especfica y el nfasis dado al
mismo.
Se da como un hecho que cada programa tiene su racionalidad, esto es, su razn de ser,
de haber sido instaurado en un momento dado y de mantener su vigencia. En otras
palabras, cada programa universitario tiene una historia y un trasfondo filosfico, social y
cientfico.
Un resumen de estas pautas bsicas para construir el marco referencial es el siguiente:
Antecedentes del programa
Los antecedentes deben incluir la historia del programa y los cambios curriculares por
ste experimentados, as como las explicaciones de dichos cambios, relacionadas tanto
con las necesidades sociales como con el desarrollo cientfico y las concepciones
profesionales.
Filosofa institucional
Esta pauta tiene que ver con la filosofa de la universidad y con la especfica del programa:
su visin del mundo, sus estndares profesionales, sus valores, su compromiso con la
sociedad.
La estructura curricular
Es indispensable que quede claro cmo el programa establece la mltiple relacin ciencia-
cultura-tecnologa-sociedad, bsica para emprender un diseo y un rediseo curricular.
En la base de esta mltiple relacin debe producirse una reflexin acerca de la opcin
terica con respecto a las ciencias y disciplinas bsicas del programa y acerca del tejido
de interdisciplinariedad entre las ciencias bsicas y las aplicadas que lo conforman.
Pertinencia de programa
Qu tan pertinente es o debe ser el programa, tanto desde el punto de vista social como
del cientfico. A quin sirve y qu problemas intenta resolver y desde qu bases de
&
LECTURAS COMPLEMENTARIAS
conocimiento. Es fundamental lograr un equilibrio entre las pertinencias social y cientfica;
la primera se logra mejor si se afirma sobre la segunda.
Prospectiva programa
Esta pauta se relaciona con las nuevas tendencias y rumbos que las profesiones estn
tomando y con los factores determinantes de dichos cambios. Es cada vez ms importante
no perder de vista este punto debido al mundo globalizado en que vivimos y a la aldea
planetaria en que, segn muchos, se est convirtiendo el mundo.
2.1.2.2 Criterios
Teniendo presentes los propsitos, categoras principales definidas por el CNA y el marco
referencial en que se basa la evaluacin interna, el siguiente paso consisti en establecer
criterios coherentes para juzgar la situacin del programa. El CNA sugiri algunos criterios,
que fueron complementados as:
- Efectividad
- Calidad
- Pertinencia social y cientfica
- Eficiencia
- Colaboracin internacional
- Orientacin hacia la investigacin
- Prospectiva
- Modernizacin de la enseanza
2.1.2.3 Indicadores
El Comit Nacional de Acreditacin public a la par con los Lineamientos generales un
conjunto de indicadores de las categoras definidas como obligatorias y sugiri, incluso,
fuentes para extraer los datos requeridos. La Universidad, sin embargo, consult
indicadores utilizados por otros sistemas de acreditacin, como los de las asociaciones
norteamericanas de acreditacin y los sistemas de algunas universidades espaolas,
mexicanas y chilenas, antes de construir su propia lista de indicadores.
'
LECTURAS COMPLEMENTARIAS
Para cada componente delineado en el modelo lgico se identificaron series de indicadores.
Para el componente de investigacin, por ejemplo, se desarrollaron tentativamente los
siguientes indicadores, que cada programa entrara a revisar y redefinir segn sus
necesidades:
Porcentaje de profesores que conocen las polticas de investigacin.
Porcentaje de profesores que conocen los recursos disponibles para investigacin.
Porcentaje de profesores del programa que participan en investigacin.
Premios y reconocimientos a la investigacin recibidos por el profesorado en los mbitos
nacional e internacional.
Mecanismos para promover las actividades de investigacin.
Lista de proyectos de investigacin en curso.
Lista de publicaciones en los tres ltimos aos.
Criterios para juzgar la calidad de la investigacin.
Relacin entre los proyectos de investigacin y los objetivos del programa.
Apoyo a la produccin en las reas de las humanidades, la esttica y la plstica.
Existencia de programas conjuntos de investigacin en los mbitos nacional e
internacional.
Porcentaje de profesores vinculados a asociaciones y redes nacionales e
internacionales de investigacin.
Lista de revistas y publicaciones peridicas bajo suscripcin.
Evidencia acerca de la consulta y lectura de las revistas de investigacin.
LECTURAS COMPLEMENTARIAS
Estos son algunos de los indicadores del componente investigativo. De manera similar,
todos los elementos de los componentes de contexto, insumos, procesos y productos
se someten a identificacin de indicadores adecuados, no solo cuantitativos, sino tambin
cualitativos, con miras a facilitar luego la construccin de los instrumentos.
2.1.3 Quin evalua el sistema de manejo de la evaluacin
Dado que la autoevaluacin es una evaluacin interna, los evaluadores son actores del
programa evaluado. Los Consejos de Facultad, luego de ambientar la acreditacin en
sus respectivos espacios, toman la decisin de acreditar determinados programas. El
Consejo Superior ha integrado un Comit Central Coordinador del Programa para toda
la Universidad. Este comit es coordinado por uno de los asistentes del vicerrector de
docencia.
Buscando ofrecer a los programas asesora experta en evaluacin, el vicerrector integr,
tambin, desde el comienzo del proceso, un equipo de tres personas con experiencia en
evaluacin de programas y les solicit acompaar el proceso, comenzando por la
preparacin de los evaluadores internos. Cada facultad, escuela o instituto constituye
comits coordinadores (tres profesores) para conducir el proceso a nivel de programa.
Estos docentes son preparados en teora evaluativa, enfoques, modelos, criterios de
evaluacin y diseo metodolgico antes de iniciar el proceso y durante ste, de modo
que ellos puedan a su vez coordinar el trabajo de todos los actores del programa y lograr
as un amplia participacin en la evaluacin. El propsito, dentro del enfoque de
empoderamiento, es, pues, capacitar a los comits para que estos a su vez capaciten
a administradores, docentes, estudiantes y empleados, propiciando as una evaluacin
participativa que de a los programas el poder del aprendizaje organizacional y con l el
mejoramiento continuo de la calidad y la efectividad. El proceso estuvo abierto al debate.
Dada la diversidad d ideologas, puntos de vista polticos, se mantiene abierto a criterios
y opiniones sobre quin y cmo debera adelantarse la evaluacin. El marco referencial
se constituye en valioso mecanismo para manejar la diversidad y permitir ampliar las
contribuciones tericas y metodolgicas.
Un cronograma debe ser preparado, discutido y acordado por los comits de programa
con miras a tener terminado el trabajo en 10 meses y mximo en un ao. Los hitos
principales de este cronograma son:
LECTURAS COMPLEMENTARIAS
Preparacin del marco referencial.
Entrega de primer borrador de instrumentos.
Entrega de instrumentos finales, incluyendo el 20% de tems especficos de cada
programa.
Sesin especial para discutir los problemas surgidos en la recoleccin de datos.
Sesin especial para discutir las categoras formuladas para el anlisis e interpretacin
de datos.
Entrega de primer borrador de anlisis de datos.
Sesin especial para discutir el anlisis e interpretacin de datos.
Entrega del primer borrador de informe.
Sesin especial para discutir informes.
Entrega de informes finales al terminar el noveno mes.
El seguimiento y monitorizacin de este calendario recae en manos del asistente del
vicerrector de Docencia. A travs de memorandos recordatorios y de llamadas telefnicas
se asegura el cumplimiento de las fechas y la calidad de las tareas y sus productos.
Terminada la autoevaluacin, es necesario adelantar un proceso de crtica a su
implementacin. El tiempo real del proceso de autoevaluacin de los primeros 14
programas se dobl virtualmente. Se haba calculado un periodo de 9 meses y los
programas trabajaron 17 meses hasta el momento de enviar los informes al CNA. De la
reflexin sobre el proceso recorrido quedan lecciones importantes para acometer
autoevaluacin de otros programas: los instrumentos son demasiado largos y cargados
de mucha informacin, no siempre pertinente. El proceso de sistematizacin de datos
debe hacerse en cada programa para evitar errores y repeticin de procesos. La
jerarquizacin de componentes y caractersticas, antes de emprender los procesos
tcnico de indagacin, es una actividad altamente significativa y sobredeterminante de
LECTURAS COMPLEMENTARIAS
todo el proceso, al punto de centrarlo y hacerlo ms eficiente. La etapa de evaluadores
internos da un fruto valioso en resultados.
2.1.2 El enfoque de la evaluacin
El principal objetivo de la universidad, como se dijo antes, es mejorar sus programas y
rendir cuentas a la comunidad. Por lo tanto, la evaluacin ha sido tomada como un
proceso de aprendizaje organizacional. La evaluacin sistematiza este aprendizaje
mediante la vinculacin de todos los interesados en los programas a los cuales se les da
la oportunidad de observar cmo marchan estos, cmo se llevan a cabo y cmo responden
a las necesidades de la comunidad. Muy ligado a lo anterior es el hecho de que en varios
programas, a medida que se evala, se sealan necesidades y no solo se prospectan
acciones mejoradoras, sino que se disea una actividad de gestin de las mismas, de
modo que al terminar la evaluacin ya varias acciones se encuentran en curso para llenar
vacos o corregir deficiencias o modernizar procesos.
Teniendo presente lo anterior, no es apropiado hablar de un modelo o enfoque para orientar
la evaluacin. Primero que todo porque hay dos momentos distintos en sta: la
autoevaluacin y la evaluacin de pares. En efecto, cuando el informe final de la
autoevaluacin llegue al CNA, este consejo enva un grupo de pares a contrastar el informe
con la realidad de los programas y a contribuir con algunos juicios y sugerencias para la
evaluacin final que hace el CNA y para la recomendacin que ste hace al Ministro de
Educacin. Quiere ello decir, entonces, que tenemos dos tipos de evaluacin, una interna
y otra externa. La primera, de acuerdo con el esquema lgico planteado y los comentarios
del prrafo anterior, seguir una adaptacin del modelo CIP (Stufflebeam, 1971: 1998)
combinado con los recientes enfoques de evaluacin-accin (Rothman, 1998) y evaluacin
de empoderamiento (Fetterman, 1996: 1998), mientras que la segunda es ms bien del
tipo de evaluacin de expertos.
La combinacin de los enfoques CIPP, evaluacin-accin y empoderamiento proviene
del hecho, ya sealado, segn el cual se quiere que todas las audiencias y dentro de
ellas el mayor nmero de personas participen en la autoevaluacin para ganar el mayor
aprendizaje organizacional posible, lo cual plantea acciones relacionadas con evaluacin
participativa y de empoderamiento, esto es, el uso de conceptos de evaluacin, tcnicas
y hallazgos para fomentar la autodeterminacin, la autorregulacin y el mejoramiento de
!
LECTURAS COMPLEMENTARIAS
los programas (Fetterman, 1996: 1998), y ello no slo como resultado de todo el proceso,
sino a medida que ste avance (Rothman, 1998). Estudiantes y profesores son parte
especialmente interesada en el programa y sus contribuciones son muy importantes,
tanto para generar nuevos factores y categoras de anlisis, como para identificar problemas
y necesidades en el camino y contribuir a disear su solucin.
Podemos decir, entonces, que en lo que a enfoque se refiere, el programa de autoevaluacin
de los programas acadmicos de la Universidad de Antioquia asume una posicin eclctica,
una combinacin del modelo CIPP, el enfoque de expertos y la evaluacin participativa,
concretamente los enfoques de la evaluacin-accin y la evaluacin de empoderamiento.
2.2 Diseo de la evaluacin
2.1 Tipo de diseo
El diseo escogido, dados los lineamientos del CNA y el tiempo definido para terminar la
autoevaluacin, es el diseo descriptivo, aunque con algunos elementos predictivos, al
menos en el mbito lgico, no en el estadstico. Es descriptivo porque su intencin es
describir la estructura y funcionamiento actuales de los programas, su calidad, efectividad,
elementos fuertes, carencias y perspectivas. En relacin con este ltimo aspecto, el
marco de referencia insiste en la prospectiva de las profesiones, lo que da a la evaluacin
un toque de prediccin.
El diseo en un proyecto investigativo o evaluativo contempla principalmente dos tipos de
planes: el plan para recoger los datos necesarios alrededor de las preguntas importantes
del estudio y el plan para analizar e interpretar los datos.
2.2.1.1 Recoleccin datos
El primer plan incluye una revisin de las categoras o los componentes del programa
evaluado, las fuentes de datos, esto es las audiencias y posibles muestras, as como las
tcnicas e instrumentos para obtener los datos en las fuentes identificadas.
- Categoras u objetos de evaluacin.
"
LECTURAS COMPLEMENTARIAS
Misin y filosofa.
Estructura e implementacin curricular.
Mtodos y materiales de enseanza.
Informacin sobre caractersticas del profesorado.
Informacin sobre caractersticas de los estudiantes.
Desempeo y calidad de la investigacin.
Estructura administrativa y toma de decisiones.
Bienestar institucional.
Polticas y programas de extensin.
Facilidades fsicas y equipo.
Desempeo de egresados.
El CNA agrupa estos objetos en siete factores.
- Audiencias, muestras y tcnicas de recoleccin de datos.
Para obtener la informacin debida acerca de las categoras acordadas es necesario identificar
audiencias apropiadas o poblaciones poseedoras de los datos buscados. Es conveniente,
asimismo, tener en cuenta los actores afectados por los programas o interesados en l. Las
audiencias determinadas en relacin con los programas universitarios son:
Los administradores de los programas, de las facultades y de la universidad. Todos
son entrevistados a nivel de facultad, as como una muestra intencional en el nivel de
la administracin central de la universidad.
#
LECTURAS COMPLEMENTARIAS
El profesorado. En programas pequeos, todos los profesores son contactados para
diligenciar un cuestionario y luego se convocan grupos focales de anlisis. En
programas ms grandes se disean muestras y se llevan a cabo tambin grupos
focales para profundizar sobre temas especiales.
Los estudiantes. Una muestra estratificada al azar es diseado para cada programa,
teniendo en cuenta el sexo y el semestre cursado. Se usa cuestionario para la
recoleccin de datos y se realizan tambin grupos focales.
Egresados. Se aplica un cuestionario a una muestra intencional.
Empleadores. La muestra es intencional y a ella se aplica un cuestionario.
Empleados. Se considera realizar un censo de empleados, dado su escaso nmero.
Se utiliza un cuestionario y se convoca grupo focal.
Ex decanos y fundadores son entrevistados con el fin de reconstruir la historia de los
programas y los cambios principales experimentados por estos. Expertos profesionales
en los diversos campos son tambin entrevistados.
El sistema de informacin de la universidad entrega oportunamente un paquete de
datos atinentes a caractersticas demogrficas, profesionales y laborales de los
docentes, as como a caractersticas demogrficas y acadmicas de los estudiantes.
Las decisiones sobre identificacin de audiencias, diseo de muestras, envo de
cuestionarios, definicin de entrevistas, recoleccin de datos y convocatoria de grupos
focales son tomadas por los comits de programas en estrecha comunicacin con el
profesorado y otros interesados en los programas.
Instrumentos
Los comits coordinadores de programa preparan cuestionarios para docentes,
estudiantes, egresados, empleadores y empleados. El 80% de dichos cuestionarios
deben reflejar los indicadores sugeridos por el CNA, mientras que el 20% restante
debe reflejar la particularidad de los programas.
$
LECTURAS COMPLEMENTARIAS
Pautas de entrevistas han sido desarrolladas para obtener informacin de los
administradores, ex decanos, fundadores y profesionales expertos.
Protocolos para llevar a cabo sesiones con grupos focales.
Protocolos para anlisis de contenido son desarrollados con sus respectivas categoras
para analizar documentos de apoyo.
Los comits coordinadores, conjuntamente con los asesores y con el asistente de la
Vicerrectora de docencia, se renen regularmente para discutir los borradores de los
instrumentos y convalidar su contenido. Los asesores, luego, revisan los instrumentos,
etapa por etapa e tem por tem, con miras a refinar su contenido, refinamiento que se
considera suficiente sin tener que recurrir a pruebas piloto de los instrumentos.
La oficina de estadstica de la universidad ha sido requerida para apoyar la codificacin
de los instrumentos y el posterior anlisis estadstico de los datos.
Refinados los instrumentos, se aplican con el acompaamiento de los asesores de la
autoevaluacin.
2.1.1.2 Plan de anlisis
Dado que el diseo es descriptivo, los datos cuantitativos se reducen a porcentajes y sus
resultados se presentan en barras simples y agrupadas en grficas de lnea mltiple y en
grficas de pastel, a partir de las categoras generales acordadas por los comits. Tales
categoras actan como hitos bsicos del anlisis cuantitativo.
Los datos cualitativos, recogidos en las entrevistas no estructuradas, en los anlisis de
contenido y en los grupos focales, son reducidos a categoras y analizados en relacin
con las preguntas relevantes y los criterios definidos al plantear la evaluacin. Estos
referentes, sin embargo, no son obstculo para el desarrollo de nuevas categoras que
pueden emerger en la primera lectura de los datos y en la observacin realizada a lo largo
del trabajo de campo. Lo que importa es obtener buenas respuestas a las preguntas
centrales sobre la calidad y pertinencia social y cientfica de los programas, confirmar en
qu grado estos estn logrando sus metas y qu se ha logrado aprender durante la
%
LECTURAS COMPLEMENTARIAS
evaluacin para mejorar la calidad y efectividad. Entra aqu el anlisis lgico a complementar
el anlisis descriptivo. Logrado ste, los evaluadores deben escrutar holsticamente el
panorama para hacer contrastaciones con el marco de referencia, plantear discusiones,
extraer inferencias y sugerir cambios.
ste es el momento para usar los criterios en el juicio sobre la situacin real de los
programas y para sostener reuniones con los interesados para identificar argumentos
facilitadores de la interpretacin. Miembros destacados del profesorado, personas que
son crticas del desarrollo del programa, son fuentes para ampliar la visin del anlisis.
Por supuesto, mucho trabajo de equipo deber llevarse a cabo para interpretar lo que los
datos estn diciendo y mucha imaginacin y perspicacia son necesarias para sacarle lo
mximo a los datos brutos, cuantitativos y cualitativos. Los comits coordinadores deben
sealar las fortalezas y debilidades de los programas: aquello que es sorprendente en los
hallazgos, las necesidades identificadas, preocupaciones de los estamentos, cambios
indispensables y cmo encauzar dichos cambios, y quizs algunos elementos para un
plan de accin.
Es importante resaltar cmo la triangulacin de enfoques evaluativos, la triangulacin de
mtodos y tcnicas de recoleccin y anlisis de datos y la traingulacin de pares
acadmicos internos y externos enriquecen el proceso de evaluacin en sus distintas
etapas.
2.3 Informes, metaevaluacin y diseminacin
Terminado el anlisis e interpretacin de resultados, se pasa a la etapa de elaborar informes
y diseminar los hallazgos a travs de diferentes formas y medios.
Se ha considerado la posibilidad de invitar pares colombianos, conocedores profundos de
los programas y las profesiones, a que se desempeen como metaevaluadores y juzguen
la utilidad, propiedad, factibilidad y exactitud de la evaluacin. Se piensa que estos
metaevaluadores podran actuar en dos momentos: durante la recoleccin de los datos y
en el momento de elaboracin de los informes finales.
Los informes finales van al CNA para efecto de envo de pares verificadores y a los consejos
acadmico y de facultades, escuelas e institutos para conocimiento, difusin a los
&
LECTURAS COMPLEMENTARIAS
interesados y afectados y toma de decisiones. Debern escribirse tambin resmenes
ejecutivos para facilitar la diseminacin a ciertas audiencias. Y presentaciones orales,
resaltando los hallazgos principales y los cambios necesarios, se harn ante el Consejo
Superior de la universidad. El vicerrector de docencia se encarga de presentar los informes
en los niveles superiores de la administracin y de ver que estos tomen conciencia de los
cambios que se requieran. A nivel de programa, la responsabilidad de diseminar los
resultados recae en los comits coordinadores, en concertacin con los respectivos
consejos de facultad, escuela e instituto. El peridico de la universidad, as como su
emisora cultural, ser utilizado para informar a la comunidad universitaria y a la sociedad
acerca de los resultados y cambios prospectados.
Los informes finales siguen la estructura de las etapas descritas en este documento:
antecedentes, conceptualizacin de la evaluacin, diseo de recoleccin y anlisis de
datos, situacin del programa en el momento de emprender la acreditacin y, finalmente,
los resultados y su interpretacin. Debe ponerse especial atencin en las recomendaciones
de accin, ya que el propsito primordial de la autoevaluacin es el mejoramiento de los
programas.
El paso siguiente consiste en la concertacin de acciones mejoradoras entre el programa
y la direccin central, comprometiendo tareas, tiempos y recursos adecuados a los
resultados especficos previstos. Esto, sin restar fuerza a los cambio que durante el
proceso mismo de la evaluacin se van poniendo en marcha a la luz del enfoque de
evaluacin - accin ya mencionado.
'
LECTURAS COMPLEMENTARIAS
Referencias
Feiferman, D., Kaftarian, 5., and Wandersman, A. Empowerment Evaluation: Knowledge
and tools for self-assessment and accountability. Thousand Oaks: Sage, 1996.
Feflerman, D. Empowerment Evaluation: Collaboration, Action Research, and a Case
Example. Innovations in Evaluation. Cyber Conference. Sep. 14-l9, 1998.
Rothman, J. Action-Evaluation: ntegrating Evaluation into the Iritervention Process.
Innovations in Evaluation. Cyber Conference. Sept 14-19, 1998.
Stufnebeam, D. and others. Educational Evluaflon and Decision Making. Itasca, 111.: F.
E. Peacock Publishers, inc.1971. El modelo ha sido actualizado por el autor en 1997.
!
LECTURAS COMPLEMENTARIAS
Lectura compIementaria N 3
Tmaa e Frer, J. EvaIuacn generaI eI prgrama e esarrII ruraI nIegra, DR/,
en CIma. BgIa. Unversa Javerana y MnsIer e AgrcuIIura, 99U.
AIgunos eIementos para una evaIuacin
descentraIizada de proyectos
La idea central de esta propuesta es que la evaluacin de un proyecto dentro de un
programa que, como el Desarrollo Rural lntegrado, se propone contar con la participacin
de los campesinos y de la municipalidad en esta tarea, rebasa la metodologa de anlisis
costo beneficio. El anlisis de la rentabilidad que afronta esta metodologa es apenas
una herramienta de apoyo. Lo determinante como parmetro de seleccin de un proyecto
y de su evaluacin es el proceso de concertacin entre comunidad e instituciones: el
grado de compromiso de quienes van a ser sus actores y las condiciones reales para
sacarlo adelante. Condiciones dentro de las cuales, nuevamente, la voluntad y la
comunicacin humana son los elementos centrales.
Otra consideracin esencial para los proyectos es su pertenencia a programas ms amplios
que fijen metas generales de carcter regional y nacional. Es preciso, por lo tanto, que el
Desarrollo Rural lntegrado recupere su capacidad de liderar la poltica de desarrollo rural,
entre otras cosas, en cumplimiento del mandato legislativo. Dentro del espritu de nuestra
propuesta, este liderazgo implica contar con una participacin orgnica de los funcionarios
en todos los niveles y de las organizaciones campesinas y las comunidades rurales.
Una planeacin dirigida a cumplir objetivos precisos en un plan de cofinanciacin de
proyectos no puede soslayar la planificacin normativa a mediano y largo plazo en funcin
de tal proyecto nacional de fortalecimiento, en nuestro caso, de la sociedad rural y la
economa campesina. Estructurar los elementos institucionales y los procesos que implica
el cumplimiento de esta tarea no es un objetivo de esta propuesta. Nos circunscribimos
a proponer algunos elementos dirigidos a hacer posible la participacin dentro de la
planificacin y la evaluacin participativa.
!
LECTURAS COMPLEMENTARIAS
1. La eIegibiIidad de proyectos
A nuestro juicio, cmo elegir un proyecto no es el problema central de la planificacin del
desarrollo rural; la cuestin crucial est en cmo construir un proyecto.
La sutileza y la especificidad de la organizacin social y econmica del campesinado no
encuadran dentro de los estudios de factibilidad de los proyectos ni dentro de la evaluacin
de los mismos.
El reto central est en cmo conseguir que las comunidades se apropien de los proyectos,
lo cual remite a preguntarse si un proyecto surge realmente de la comunidad y cmo
surge y cmo lo puede apoyar una entidad como el Desarrollo Rural lntegrado
1
.
La conclusin de esta discusin no es que haya que eliminar el proceso de calificacin
tcnica de proyectos (lase evaluacin o estudios de factibilidad) para dar pautas para
su elegibilidad. No, nos proponemos descartar este instrumento de planificacin.
Queremos advertir, eso s, que elegir proyectos centralmente, en Bogot o en las capitales
departamentales, genera un obstculo tcnico y poltico para un verdadero desarrollo
rural y una franca contribucin a la derrota precoz de cualquier intento de crear soluciones
para los campesinos. El papel de quienes asuman la funcin de evaluar tcnicamente
los proyectos debe consistir en aportar un insumo tcnico al proceso de concertacin
entre campesinos y entidades gubernamentales para que las decisiones se tomen en los
municipios, con una representacin real de las comunidades rurales que conforman el
espacio municipal.
Aqu se nos plantea con toda claridad que un proceso tcnico de evaluacin no tiene
sentido en s mismo si se plantea exclusivamente como un sistema de flujo de informacin
para la toma de decisiones. Se tiene que involucrar necesariamente una relacin vivencial
con el medio, con el medio rural en nuestro caso. Quizs las cosas sean distintas para
otra clase de proyectos de naturaleza estrictamente privada, pero en materia de desarrollo
social y econmico hay que contar con instrumentos pragmticos de concertacin, para
no repetir los modelos de imposicin vertical del desarrollo rural.
1 Conformarse con ir a preguntarle a unos cuantos lderes si les gustara que el Estado trajese un dinero para hacer una obra
significa reproducir el rito intil de la participacin formal. lntil desde el punto de vista de la necesidad planteada atrs de
construir con los campesinos los proyectos de desarrollo rural.
!
LECTURAS COMPLEMENTARIAS
Decamos que la evaluacin tcnica de proyectos no slo no se descarta sino que es un
instrumento til y quizs imprescindible tanto para las entidades financiadoras (el Desarrollo
Rural lntegrado y otras que acten como cofinanciadoras) como para quienes los llevan
a cabo. El problema est en superar la evaluacin convencional que, como dijimos, no
se ajusta ni a los objetivos ni a la dinmica del desarrollo rural y en utilizar la evaluacin
como un elemento secundario, aunque imprescindible, para la toma de decisiones.
Algunos elementos que contribuiran a superar la evaluacin convencional y manejar
herramientas de evaluacin que involucren asuntos (variables) centrales de los proyectos
de desarrollo rural son, a nuestro juicio, los siguientes:
a. Evaluacin financiera y econmica-social: no siempre aunque las metodologas lo
contemplan y han desarrollado un instrumental para ello se introduce la dimensin
social en los proyectos de desarrollo rural la experiencia muestra que hay aspectos
de muy sencillo manejo que se pueden valorar cuantitativamente algunos ejemplos:
- lmpacto en el nivel de vida del autoconsumo o de mejoras en la calidad del
agua y de la vivienda.
- Un proyecto de produccin debe considerar, entre otros aspectos, calidad de
los alimentos e impacto en la dieta del productor y de la localidad.
- Uno de mercadeo debe involucrar el impacto global sobre el mercado local o
regional (y aun nacional si es el caso) en trminos de los precios (y del ingreso)
en todo el espacio afectado por las variaciones de estos sin restringirse al
impacto en los productores directamente participantes, no bastara tampoco
con medir el efecto de un cambio de precios dentro del perodo en que se
alteran las condiciones del mercado, sino que habra que tener en cuenta el
impacto que hipotticamente significara su retiro en una situacin de nuevos
precios consolidados. Para tratar de aclarar ms este punto, vale la pena
mencionar que en el caso de proyectos de comercializacin hay que valorar el
surgimiento de liderazgos, la capacitacin de cuadros directivos y socios de
organizaciones de mercadeo en gestin empresarial, la consolidacin de
organizaciones, etc.
!!
LECTURAS COMPLEMENTARIAS
b. Anlisis (evaluacin) de los factores cruciales hacen viable un proyecto en la
realidad particular de una regin:
- Participacin de la comunidad en la generacin del proyecto.
- ldentificacin de la comunidad con el proyecto.
- lnterrelaciones comunitarias y orgnicas (de hecho o institucionalizadas) que
apoyaran el proyecto.
- lnterrelaciones con las estructuras locales de poder.
c. Concordancia de objetivos con las estrategias de desarrollo rural municipal, regional
y nacional.
2. La reIacin desarroIIo ruraI y mercado en Ia evaIuacin
DesarroIIo RuraI Integrado
Hay que partir del hecho de que la concepcin de los objetivos del DRl que enfatizan,
a la vez, el abastecimiento urbano de alimentos y la elevacin del nivel de vida de los
campesinos, se plantea implcitamente el reto de armonizar dos lgicas econmicas
diferentes: la del mercado capitalista y la de la organizacin de la produccin
campesina
2
.
As mismo, intervienen dos concepciones del bienestar tambin diferentes: la de la
elevacin de los ingresos monetarios frente al mejoramiento de los elementos naturales,
fsicos, sociales, culturales y polticos del mundo rural.
2. No sin razn se plantea, ltimamente, que no existe una lgica econmica o una racionalidad campesina. Hay multiplicidad
de comportamientos racionales diferentes y aun opuestos entre distintos grupos de campesinos y entre distintos campesinos
considerados individualmente "condicionados por las interrelaciones entre factores culturales y actitudes. El ser racional
no tiene contenido, ste proviene de los campos de la cultura y de las actitudes... (John ADAMS, "La vacuidad del concepto
de 'racionalidad campesina' en la revista CyunIura Agrpecuara, del CEGA, vol. 5 nm. 2-3, jul - oct de 1988, Bogot.
Pero de todas formas el hecho de que en la produccin campesina la familia sea la base de la organizacin de la empresa
y la subsistencia de la familia su finalidad, le imprime una racionalidad diferente a la de otro tipo de empresas, o mejor un
conjunto de comportamientos racionales que aunque diversos entre s tienen una identidad determinada, a su vez, por la
identidad entre familia, produccin y reproduccin.
!"
LECTURAS COMPLEMENTARIAS
De un lado estn las presiones alimentarias y macroeconmicas de la sociedad en su
conjunto y de otro est el fortalecimiento de uno de los sectores de esta sociedad: la
poblacin rural y los campesinos en particular.
Estas consideraciones que normalmente son aceptadas por todo el mundo desaparecen
cuando se trata de planificar y de evaluar (o de imponer, en la prctica) el desarrollo rural.
Los parmetros utilizados perfilan una concepcin unidimensional que desde la lgica
del mercado capitalista reproducen los criterios velados de la expropiacin y la imposicin
3
.
Ante esta situacin es necesario adoptar, con toda claridad, nuevos parmetros de
evaluacin de los programas de desarrollo rural inscritos dentro de la bipolaridad mercado
- mundo rural, de tal manera que abarquen indicadores que tengan que ver, al mismo
tiempo, con las transferencias econmicas con la sociedad mayor y con la elevacin de
la calidad de la vida de los campesinos desde el punto de vista de las necesidades
reales de los campesinos mismos y desde su particular forma de entender y sentir el
bienestar.
La evaluacin del desarrollo rural debe preguntarse, en consecuencia, si las polticas
aplicadas estn fortaleciendo o no la economa y la sociedad rural. Este fortalecimiento
de la produccin rural implica necesariamente, por ejemplo, lograr un relativo grado de
seguridad alimentaria. Esto no debe asustar a los planificadores: si los campesinos
tienen una mayor disposicin de alimentos (producidos por ellos mismos) van a estar en
mayor capacidad de producir para el mercado. El hambre y la subalimentacin
4
no son
un buen aliciente para producir. Al contrario, llevan, en muchos casos, a un estado de
postracin en el cual las posibilidades productivas languidecen con las personas mismas.
A estas alturas del desarrollo de la economa de mercado, el lmite aquel en que el
campesino al satisfacer sus necesidades bsicas deja de producir para dedicarse al ocio
pasa por la demanda de educacin para los hijos (aun universitaria), de servicios de
3. Segn el modelo de Bataglia, cuando las comunidades toman decisiones ajenas acerca de la utilizacin de sus propios
recursos se configura una situacin de expropiacin. Si adems los recursos son ajenos y las decisiones son tomadas
tambin por personas ajenas a ellas, se conforma un estado de imposicin. Este modelo nos ha parecido impresionantemente
claro para develar en nuestro propio actuar, y en el ajeno, las pretensiones totalitaristas.
4. En el medio rural el 60% de la poblacin, 6 millones y medio de personas, no consumen los alimentos mnimos necesarios.
La deficiencia en ingestas calricas abarca el 60% de las personas y la de protenas el 53%. Ver Carlos Arturo PATlO,
Elizabeth CAlCEDO DE CARDOZO y Mercedes RANGEL BOHRQUEZ, Pobreza y Desarrollo en Colombia. Su impacto
sobre la infancia y la mujer. UNlCEF - DNP - lCBF, Bogot, 1998.
!#
LECTURAS COMPLEMENTARIAS
salud, de vestido, de electricidad y de electrodomsticos, de transporte motorizado y de
bicicletas, de nuevas mquinas y herramientas... Adems, es claro que si los campesinos
se alimentan bien se est contribuyendo a lograr uno de los objetivos centrales del
desarrollo: erradicar la pobreza del 35% de los colombianos.
Seguridad alimentaria familiar y regional, salud, educacin, conservacin de las
condiciones naturales de la produccin (aguas, tierra y atmsfera, amenazadas por
tecnologas aplicadas irracionalmente) autonoma social y poltica, redistribucin de la
tierra y otros recursos productivos, reafirmacin de la identidad tnica: todos estos son
objetivos del desarrollo rural, tan vlidos y tan imprescindibles como la elevacin de la
produccin mercadeada.
Visto de otra forma: si alguna conclusin clara ha sacado el anlisis de los fracasos de la
poltica de desarrollo rural, impulsada por el Banco Mundial y el BlD, en el mundo, es que una
condicin indispensable para conjurar estos fracasos est en consultar a los campesinos
sobre sus necesidades, sus objetivos y sus propuestas. Esta es una consideracin que, por
supuesto, tiene que ver con la planificacin y con la evaluacin de tales polticas.
3. AIgunos aspectos que debe invoIucrar Ia evaIuacin de
proyectos deI DesarroIIo RuraI Integrado
3.1 Sistema permanente de informacin de precios
El montaje de un sistema de informacin permanente de precios -desde el productor
hasta los diversos puntos de venta detallista- es una herramienta indispensable para
controlar los proyectos de mercadeo. Al mismo tiempo tal insumo sera importantsimo
tanto de la gestin institucional como a los campesinos y sus organizaciones
5
.
5. La evaluacin que hicimos de los programas de comercializacin en el Ariari muestra con claridad que la falta de informacin
de precios no alert oportunamente a las entidades y a las cooperativas sobre el nocivo rezago de los precios del canal en
donde se estaba actuando (Carulla), en relacin con otras alternativas (Corabastos). Como se haba iniciado el proyecto
en una situacin de precios altamente favorable por parte de Carulla, se asumi por mucho tiempo que la situacin continuaba
estable, hasta que los intermediarios reconquistaron el mercado y colocaron a la cooperativa en una situacin inmanejable.
Con seguridad, se hubiera podido tomar medidas eficaces oportunamente.
Un segundo ejemplo: el DRl mont en Bogot una de las alternativas de mercadeo ms interesantes, exitosas y con grandes
potencialidades de impactar el mercado. Nos referimos a los "mercados mviles urbanos. Hasta donde conocemos, el DRl
no tiene ni idea de que est pasando con ellos. Si no se controlan sus precios da a da, esta alternativa pierde su capacidad
de impacto en la medida en que se reduce a un negocio ms de comerciantes privados que disfrutan de las rentas implcitas
que significan operar a bajsimos precios en privilegiados sectores del espacio pblico.
!$
LECTURAS COMPLEMENTARIAS
Es recuperable la trayectoria del lCA, CECORA (y la de nivel piloto la U.E.R de la
Universidad Javeriana). Pero, con la infraestructura institucional existente, esta tarea
llevara a generar tan intil empapelamiento en las gerencias DRl o en las entidades
regionales. Habra que crear un soporte institucional. Nuestra propuesta es que el DRl
monte, en convenio con algunas entidades, un sistema de toma e informacin de precios
permanentes que debe ser uno de los pilares bsicos del sistema de informacin que
requiere la evaluacin ex-ante, sobre la marcha y ex-post del programa.
3.2 AnIisis de proyectos de mercadeo
a. Aspectos econmicos convencionales.
b. lmpacto en los contextos local y regional.
* Precios sin proyecto frente a precios con proyecto y volumen de los productos
afectados por nuevos precios.
* Anlisis de la distribucin social de los servicios que, a la poblacin rural, le
presta el proyecto.
* Grado de concentracin en los usuarios de las compras, ventas, colocaciones
de crdito, cursos, eventos de capacitacin...
* Concentracin geogrfica (por veredas) del cubrimiento del proyecto.
* Grupos sociales involucrados o marginados del proyecto (de acuerdo con el
tipo de produccin, tamao de las fincas, formas de tenencia, asalariamiento,
sexo, edad).
* Cantidad de personas que se capacitan en el manejo emprico del proyecto
frente a grados de capacitacin.
* Consolidacin de las organizaciones.
* Socios y no socios participantes contra grado de participacin (activa y pasiva
en cuerpos directivos, activa y pasiva en las operaciones econmicas, activa
y pasiva en las asambleas, activa y pasiva en la planeacin y discusin de los
proyectos).
!%
LECTURAS COMPLEMENTARIAS
c. Consolidacin de la gerencia frente al tipo de administracin gerencial, (adecuada
- inapropiada, participativa - centralizada).
d. Anlisis de los factores determinantes de la viabilidad del proyecto (para la
evaluacin ex-ante y sobre la marcha)
6
.
e. Flujo de energa humana alrededor del proyecto o de la idea del proyecto: se trata
de establecer, por medio del anlisis colectivo (o de entrevistas y observacin), el
tipo y grado de conocimiento, as como la identificacin con la idea (diseo) y el
compromiso real de:
- La base social (socios y no socios de la organizacin).
- Los directivos de la organizacin.
- Los funcionarios (como personas) y las entidades.
f. lnterrelaciones con las estructuras locales de poder.
3.3 Nutricin
Ante una situacin nutricional como la existente (ms del 50% de la poblacin rural est
desnutrida), ste es un parmetro bsico de evaluacin global que se puede aplicar
estratgicamente por pequeos grupos, comunidades veredales, municipios y regiones,
para establecer un sistema de diseo, control y ejecucin tendiente a que el programa
acte pragmticamente y en forma integral (produccin, autoconsumo, acueductos,
campaas educativas, distribucin y mercadeo de alimentos por medio de proyectos
colectivos como los que ya estn funcionando).
Se tratara de aplicar metodologas apropiadas, ya existentes, para medir la desnutricin
y sus causas de manera que se cuente con un acervo de informacin que permita, en el
proceso de planificacin, ubicar los puntos crticos en que hay que actuar (insumo para
6. Es claro que la evaluacin sobre la marcha ex-post y ex-ante se confunden en el caso, absolutamente generalizado en el
momento actual, de procesos (o digamos, proyectos) que ya han sido iniciados con o sin apoyo institucional y sobre los
cuales se disean proyectos para fortalecerlos. La situacin inicial corresponde, en estos casos,
a la situacin de una
etapa anterior.
!&
LECTURAS COMPLEMENTARIAS
la evaluacin ex-ante y sobre la marcha) y valorar peridicamente el estado nutricional
(insumo para la evaluacin ex-ante, sobre la marcha y ex-post).
3.4 Seguridad aIimentaria
ste es un parmetro asociado con el anterior y que hay que involucrar en los criterios de
evaluacin de los programas y proyectos de produccin y comercializacin. La seguridad
alimentaria debe considerarse familiar y regional. El sistema de precios puede dar aportes
significativos para orientar y evaluar polticas, arrojando seales sobre los puntos
neurlgicos en que hay que actuar, al comparar constantemente precios locales al
productor con precios locales, regionales y nacionales.
lncremento y diversificacin del autoconsumo familiar y regional son parmetros que
obviamente hay que tener en cuenta y cuya medicin debe abordarse con grados de
especificidad que vayan desde los inventarios particulares de familias hasta las condiciones
regionales.
3.5 Proyectos de asistencia tcnica
a. Aspectos econmicos integrales.
b. Afectacin de las relaciones:
- lnsumos y produccin de energa y de biomasa.
- Costos monetarios - domsticos - precios - dependencia del mercado.
- Autoconsumo - mercado.
- Sostenibilidad en trminos ecolgicos y econmicos de las tecnologas.
- Fortalecimiento de la unidad de explotacin teniendo en cuenta la poliactividad
agropecuaria y artesanal.
c. lmpacto en el contexto socioeconmico:
- Fortalecimiento local de la economa campesina.
!'
LECTURAS COMPLEMENTARIAS
- Seguridad alimentaria.
- Autoconsumo - mercadeo.
- Generacin de trabajo por grupos especficos sociales y demogrficos.
- lmpacto ambiental.
d. Factores determinantes:
- Flujo de energa humana.
- Disponibilidad de insumos.
- Mercado
- Locales
e. Concordancia con las estrategias regionales de fortalecimiento de la economa
campesina y abastecimiento a los mercados.
"
LECTURAS COMPLEMENTARIAS
Lectura compIementaria N 4
Hacia una superacin deI enfrentamiento entre
Ios mtodos cuaIitativos y Ios cuantitativos*
Fr CnarIes S. RecnarI, Unversa e Denver, y
Tnmas D. CR, ArInwesIern UnversIy.
En MeIs cuanIIaIvs y cuaIIaIvs e Ia nvesIgacn evaIuaIva.
Mar. Ecnes MraIa, S. A., 9B.
Es considerable el desacuerdo existente respecto a la adecuacin de mtodos diversos
y posiciones metodolgicas para realizar la investigacin evaluativa. Uno de los debates
actuales, de intensidad creciente, se centra en la diferencia entre mtodos cuantitativos
y cualitativos. Por mtodos cuantitativos los investigadores se refieren a las tcnicas
experimentales aleatorias, cuasi-experimentales, tests "objetivos" de lpiz y papel, anlisis
estadsticos multivariados, estudios de muestras, etc. En contraste, y entre los mtodos
cualitativos, figuran la etnografa, los estudios de caso, las entrevistas en profundidad y
la observacin participativa. Cada uno de estos tipos metodolgicos, es decir el cuantitativo
y el cualitativo, tiene un grupo de partidarios quienes afirman que sus mtodos preferidos
son lo mejor adecuados para la evaluacin. Seguidamente se incluye una muestra de las
opiniones que sustentan cada una de las partes del debate.
Campbell y Stanley (1966) y Riecken y otros (1974) son citados a menudo como firmes
defensores de los mtodos cuantitativos. Aunque Campbell y Stanley (1966:2) no se
interesaron fundamentalmente por la investigacin evaluativa, describen lo experimental
como "el nico medio de establecer una tradicin acumulativa en el que cabe introducir
perfeccionamientos sin el riesgo de prescindir caprichosamente de los antiguos
conocimientos en favor de novedades inferiores". Riecken y otros (1974:6,12) se muestran
tan slo ligeramente ms moderados y no menos entusiastas en sus reivindicaciones
acerca de los experimentos: "Los experimentos no slo conducen a conclusiones causales
ms claras sino que el mismo proceso del diseo experimental contribuye a aclarar la
* Notas de los autores: El trabajo del que damos cuenta en este captulo cont en parte con la ayuda de una beca de investigacin
de la Universidad de Denver, una beca de investigacin de la W. T. Grant Foundation y una beca (Dart-78-09368) de la
National Science Grant Foundation. Los autores agradecen a Brbara Minton y a Dafe Schellenger sus valiosos comentarios
a un anterior borrador de este texto.
"
LECTURAS COMPLEMENTARIAS
naturaleza del problema social que est siendo estudiado". "Cuando las condiciones no
son problemticas o cuando la creatividad y el ingenio de quien disea la investigacin
pueden resolver problemas difciles, entonces, la experimentacin es el mtodo preferible
para obtener una informacin vlida y fiable sobre la cual proyectar programas
sociales"(cursiva en el original).
Weiss y Rein (1972), Parlett y Hamilton (1976) y Guba (1978) figuran entre quienes se
agrupan en favor de los mtodos cualitativos. Weiss Rein en particular (1972:243) indica
diversas estrategias alternativas de investigacin y derivadas de la tradicin cualitativa
a las que consideran "en general superiores al diseo experimental como metodologa
para la evaluacin de programas de objetivos amplios". Al hablar especficamente de la
evaluacin educativa, Parlett y Hamilton (1976:141) aaden tajantemente:
De modo caracterstico, los enfoques convencionales han seguido las tradiciones
experimentales y sicomtricas que predominan en la investigacin educativa. Su propsito
(irrealizado) de lograr plenamente unos " mtodos objetivos" ha conducido a estudios
que resultan artificiales y de alcance limitado. Afirmamos que semejantes evaluaciones
son inadecuadas para ilustrar las reas de problemas complejos con las que se enfrentan
y, como resultado, suponen una escasa aportacin efectiva al proceso de elaboracin de
decisiones...
La evaluacin iluminativa se presenta como perteneciente por contraste a un "paradigma
de la investigacin antropolgica".
De manera similar, Guba (1978: 81) seala que la investigacin naturalista (a la que se
compara con el trabajo etnogrfico de campo y con el periodismo de investigacin y se
presenta como diametralmente opuesta a la investigacin experimental y convencional)
brinda "un modo de evaluacin ms apropiado y ms sensible que cualquier otro practicado
en la actualidad".
La corriente actual de opinin revela, en realidad, ms desacuerdos que los ofrecidos por
estos dos grupos de citas. Desde luego, no hay unanimidad sobre si existe o no
desacuerdo. Por ejemplo, Rossi y Wright (1977:13) afirma: "Entre los investigadores
evaluativos existe una coincidencia casi total en sealar que el experimento aleatorio
controlado es el modelo ideal para evaluar la eficacia de la poltica pblica ". Guba (1978)
cita esta declaracin con obvio desdn.
"
LECTURAS COMPLEMENTARIAS
El propsito del presente captulo consiste en sealar que parte del debate actual sobre los
mtodos cualitativos y cuantitativos no se centra en cuestiones productivas y, en
consecuencia, no se desarrolla de manera tan lgica como sera deseable. Esto no significa
afirmar que sea posible resolver por completo esta disputa metodolgica. Como ms tarde
veremos, del debate surgen cuestiones importantes que permiten unas justas diferencias
de opinin y de criterio. Convendra perfilarlas antes de que se manifestaran sentimientos
como los expresados al menos en algunas de las citas anteriores. Pero el debate, tal como
se est llevando a cabo, oscurece de forma progresiva las cuestiones y crea sin necesidad
cismas entre los dos tipos de mtodos, cuando debera tender puentes y poner en claro
cules son los autnticos desacuerdos a los que merece la pena prestar atencin.
EI Ienguaje deI debate actuaI
Para entender algunas de las falacias de las opiniones actuales que estn cobrando
popularidad, es preciso apreciar ms plenamente la forma en que se desarrolla el debate
entre los dos tipos de mtodos. Recientes comentaristas, crticos y defensores (cf. Guaba,
1978; Parlett y Hamilton, 1976; Patton, 1976, 1978; Rist, 1977 y Wilson, 1977) consideran
el debate no slo como un desacuerdo respecto a las ventajas y desventajas relativas de
los mtodos cualitativos y cuantitativos, sino tambin como un choque bsico entre
paradigmas metodolgicos. Segn esta concepcin, cada tipo de mtodo se halla ligado a
una perspectiva paradigmtica distinta y nica y son estas dos perspectivas las que se
encuentran en conflicto. Tal como lo expone Rist (1977: 43):" En definitiva, la cuestin no
estriba perse en unas estrategias de investigacin: lo que sucede ms bien es que la
adhesin a un paradigma y su oposicin a otro predispone a cada uno a concebir el mundo,
y los acontecimientos que en l se desarrollan, de modos profundamente diferentes".
El concepto de paradigma procede de Kuhn (1962,1970). Basndose en sus trabajos,
Patton (1978: 203 ) define un paradigma como:
Una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad del
mundo real. Como tales, los paradigmas se hallan profundamente fijados en la socializacin
de adictos y profesionales; los paradigmas les dicen lo que es importante, legtimo y
razonable. Los paradigmas son tambin normativos, sealan al profesional lo que ha de
hacer sin necesidad de prolongadas consideraciones existenciales o epistemolgicas.
"!
LECTURAS COMPLEMENTARIAS
Los que ven el debate en trminos de un contraste entre paradigmas proporcionan, por lo
general, toda una lista de atributos de los que se afirman que permiten distinguir las
concepciones globales cualitativa y cuantitativa. Por ejemplo, Rist (1977) brinda tres atributos,
Patton (1978) proporciona siete y Guba (1978) aporta catorce. Sin propsito de ser
exhaustivos, ofrecemos en la tabla nm. 1 muchos de los atributos ms prominentes de
cada paradigma. En resumen, del paradigma cuantitativo se dice que posee una concepcin
global positivista, hipottico-deductiva, particularista, objetiva, orientada a los resultados y
propia de las ciencias naturales. En contraste, del paradigma cualitativo se afirma que
postula una concepcin global fenomenolgica, inductiva, estructuralista, subjetiva, orientada
al proceso y propia de la antropologa social. El estudio que Filstead realiza en este volumen
sobre los paradigmas proporciona una descripcin ms profunda y detallada.
Tales caracterizaciones paradigmticas se basan en dos suposiciones que tienen una
consecuencia directa en el debate acerca de los mtodos. En primer lugar se supone
que un tipo de mtodo se halla irrevocablemente ligado a un paradigma de manera tal
que la adhesin a un paradigma proporciona los medio apropiados y exclusivos de escoger
entre los tipos de mtodos. Es decir, como conciben el mundo de diferentes maneras,
los investigadores han de emplear mtodos distintos de investigacin. Si la teora de la
evaluacin de uno de estos se encuentra relacionada ms estrechamente con los atributos
del paradigma A que con los atributos del paradigma B, debe automticamente inclinarse
por los medios de investigacin que se hallan ligados al paradigma A. En segundo lugar,
se supone que los paradigmas cualitativo y cuantitativo son rgidos y fijos y que la
eleccin entre estos es la nica posible. O sea que se consideran inmutables a los
paradigmas y que no existe la posibilidad de modificaciones ni de otras opciones.
lntencionadamente o no (y en algunas discusiones no resulta claramente evidente la
intencin), estas dos suposiciones conducen a la conclusin de que nunca cabe emplear
juntos los propios sistemas cualitativos y cuantitativos. Como los mtodos se hallan
ligados a diferentes paradigmas y como hay que escoger entre estas concepciones
excluyentes y antagnicas, uno tiene tambin que elegir entre los diversos tipos de
mtodos.
Tratar como incompatibles a los tipos de mtodos estimula obviamente a los
investigadores a emplear slo uno u otro cuando la combinacin de los dos sera la ms
adecuada para las necesidades de la investigacin. Paraliza, asimismo, cualquier tentativa
""
LECTURAS COMPLEMENTARIAS
de superar las diferencias entre las partes enfrentadas en el debate acerca de los tipos
de mtodos. Por estas razones, la conceptualizacin de los tipos de mtodos como
antagnicos puede muy bien estar llevando por mal camino tanto el debate como las
prcticas metodolgicas actuales. En nuestra opinin constituye un error la perspectiva
paradigmtica que promueve esta incompatibilidad entre los tipos de mtodos.
Especficamente ambas suposiciones antes citadas son falsas, as que no se sostiene
la conclusin segn la cual los investigadores han de elegir entre los tipos de mtodos.
En el anlisis que sigue exponemos la falacia de ambas suposiciones (es decir, el nexo
entre paradigma y mtodo y la eleccin forzada entre paradigma cualitativo y cuantitativo).
Tras haber considerado as al conflicto entre los puntos de vista paradigmticos
redefinimos, entonces, las cuestiones suscitadas por el debate acerca de los tipos de
mtodos y resaltamos algunos de los beneficios potenciales del empleo conjunto de los
mtodos cualitativos y cuantitativos.
TabIa 1
Atributos de Ios paradigmas cuaIitativo y cuantitativo
PARADIGMA CUALITATIVO
Aboga por el empleo de los mtodos
cualitativos.
Fenomenologismo y verstehem (comprensin)
"interesado en comprender la conducta
humana desde el propio marco de referencia
de quien acta*.
Observacin naturalista y sin control.
Subjetivo.
Prximo a los datos; perspectiva "desde
dentro".
PARADIGMA CUANTITATIVO
Aboga por el empleo de los mtodos
cuantitativos.
Positivismo lgico; "busca los hechos o
causa de l os fenmenos soci al es,
prestando escasa atencin a los estados
subjetivos de los individuos.*
Medicin penetrante y controlada.
Objetivo.
Al margen de los datos; perspectiva "desde
fuera".
* Citas de Bogdan T. Taylor (1975: 2). No suscribimos necesariamente estas descripciones de "fenomenologismo" y "positivismo
lgico" (cf. Cook y Campbell 1979) aunque semejantes caracterizaciones se hallen muy difundidas.
"#
LECTURAS COMPLEMENTARIAS
Determinan Igicamente Ios paradigmas Ia eIeccin deI mtodo de
investigacin?
Segn el uso actual, un paradigma consta no slo de una concepcin filosfica global,
sino tambin de un nexo con un determinado tipo de mtodo de investigacin. En este
sentido de la definicin, el paradigma determina, entonces, el mtodo. La cuestin que
aqu se plantea es la de precisar si este nexo entre paradigma y mtodo resulta necesario
e inherente o si sencillamente procede de la definicin y de la prctica. En otras palabras:
existe una consistencia inherente entre la admisin a la filosofa de un paradigma y el
empleo de los mtodos de otro? La pregunta se responde con facilidad considerando
sucesivamente cada uno de los atributos paradigmticos para ver si se halla lgicamente
ligado tan slo a uno de los mtodos o si puede aplicarse igualmente bien a ambos. Cada
uno de los atributos de la tabla nm. 1 es examinado separadamente a continuacin.
Reconsideracin de Ia reIacin entre paradigma y mtodo
- Es necesariamente un positivista lgico el investigador que emplea procedimientos
cuantitativos? Y del mismo modo es necesariamente un fenomenologista el
PARADIGMA CUALITATIVO
Fundamentado en la realidad, orientado a
los descubrimientos, exploratorio, expan-
sionista, descriptivo e inductivo.
Orientado al proceso.
Vlido: datos "reales", "ricos" y "profundos".
No generalizable: estudios de casos
aislados.
Holista.
Asume una realidad dinmica.
PARADIGMA CUANTITATIVO
No fundamentado en la realidad, orientado
a la comprobacin, confirmatorio, reduc-
cionista, inferencial e hipottico deductivo.
Orientado al resultado.
Fiable: datos "slidos" y repetible.
Generalizable: estudios de casos ml-
tiples.
Particularista.
Asume una realidad estable.
"$
LECTURAS COMPLEMENTARIAS
investigador que emplea procedimientos cualitativos? Ciertamente no, porque, por
un lado, muchos investigadores sociales que utilizan mtodos cuantitativos suscriben
una posicin fenomenolgica. Por ejemplo, las teoras sicolgicas sociales de la
atribucin son fenomenolgicas en cuanto que se proponen comprender conductas
y creencias desde la perspectiva de los mismos actores. Sin embargo, la mayor
parte, si no toda, de la investigacin de la atribucin se realiza en el laboratorio con
mtodos cuantitativos. Pero consideramos la investigacin sobre la introspeccin,
un tema que asimismo corresponde claramente al terreno del fenomenologismo. En
la revisin sobre la investigacin de la introspeccin, realizada por Niseett y Wilson
(1977), la vasta mayora de los estudios emplearon procedimientos cuantitativos
como los experimentos aleatorios y las mediciones "objetivas" de la conducta.
Por otro lado sera posible, aunque quiz resultara improbable, que un etngrafo
realizara investigaciones desde una posicin de positivismo lgico. Por ejemplo,
imaginemos a un investigador que crea que la categora socioeconmica se define
exclusivamente en trminos de bienes materiales como televisores, coches, casas
y ropas. Como tales artculos pueden ser observados y contados sin referencia a
los significados que tengan para sus propietarios, semejante medida de la categora
socioeconmica corresponde claramente a la tradicin del positivismo lgico. As,
un investigador que emplee esta medida y que compruebe las pertenencias de un
individuo mediante un trabajo etnogrfico de campo estara suscribindose al
positivismo lgico al tiempo que empleaba mtodos cualitativos.
- Son necesariamente naturalistas las medidas cualitativas y necesariamente
penetrantes los procedimientos cuantitativos? Los procedimientos cualitativos, como
la observacin participativa, pueden resultar penetrantes en algunas situaciones
investigadoras. Por ejemplo, la categora de Margaret Mead como persona ajena fue
probable y fcilmente advertida por las personas que decidi estudiar y, desde luego,
esta circunstancia influy en su relacin de trabajo con ellas. De la misma manera
algunos de sus procedimientos cuantitativos, tales como las experiencias aleatorias,
pueden, en ocasiones, ser empleados de un modo completamente discreto (cf. Lofrand
y Lejeune, 1960). De hecho, la cuestin del engao se ha suscitado en muchos
experimentos de campo y de laboratorio precisamente porque se consideraba que
tanto el investigador como la manipulacin se hallaban perfectamente encubiertos
(cf. Davis, 1961; Lofrand, 1961; Roth,1962 y Kelman, 1972).
"%
LECTURAS COMPLEMENTARIAS
- Son necesariamente subjetivos los procedimientos cualitativos y necesariamente
objetivos los procedimientos cuantitativos? Segn Scriven (1972), habra que
reconocer que el trmino subjetivo (o alternativamente el trmino objetivo) ha llegado
a tener dos significados diferentes. Con frecuencia subjetivo da a entender "influido
por el juicio humano". Conforme a este uso todos los mtodos y medidas, tanto
cualitativos como cuantitativos, son subjetivos. Desde luego, los modernos filsofos
de la ciencia coinciden en gran parte en sealar que todos los hechos se hallan
inspirados por la teora y as, resultan, al menos parcialmente, subjetivos. Por
supuesto que la asignacin de nmeros de una manera mecnica, como es comn
en los procedimientos cuantitativos, no garantiza la objetividad. Por ejemplo, Bogdan
y Taylor (1975) describen una evaluacin de un programa de adiestramiento que
demuestra claramente la subjetividad de un indicador nominalmente objetivo. En
esta evaluacin poda sealarse una tasa de xito del 12% o del 66%. La discrepancia
procede de las diferencias en el modo en que uno (subjetivamente) decide emplear
los indicadores objetivos para definir el xito. Buena parte de este gnero de
subjetividad aparece all en donde se emplea un diseo y un anlisis cuantitativo
(cf. Boruch, 1975).
El significado alternativo de subjetivo corresponde a la medicin de sentimientos y
creencias. Es decir, una medida o un procedimiento son subjetivos si toman en
consideracin sentimientos humanos, no siendo presumiblemente estos observables
de una manera directa. Una vez ms hay que sealar que no hay razones para
suponer que los procedimientos cualitativos tengan un monopolio de la subjetividad.
Los sondeos de opinin de carcter nacional ( por ejemplo, una encuesta sobre la
popularidad del actual presidente ) son excelentes ejemplos de medidas cuantitativas
que resultan subjetivas. Tal es el caso de las ilustraciones en el anlisis del
fenomenologismo.
- Aslan necesariamente los mtodos cuantitativos al investigador respecto de los
datos? Fienberg (1977: 51) piensa que es "sorprendente que pueda considerarse el
acercamiento a los datos como atributo exclusivo del enfoque (cualitativo) ". Como
por ejemplo, Fienberg (1977) cita el hecho de enviar a sus alumnos titulados a pasar
un par de noches en un coche-patrulla de la polica para ser ms capaces de concebir
una evaluacin cuantitativa de las actividades policiales. De forma semejante, muchos
investigadores cuantitativos se aventuran en el campo "para ensuciarse las manos"
"&
LECTURAS COMPLEMENTARIAS
y los siclogos de laboratorio realizarn sus propias manipulaciones y acosarn a
preguntas a sus sujetos para averiguar lo que significan las reacciones apreciadas
en sus conductas. Tal vez un adicto defensor de lo cualitativo afirmar que todos
estos son ejemplos de procedimientos cuantitativos ligados con mtodos
cuantitativos. De cualquier manera resulta claro que el investigador cuantitativo no
debe aislarse de los datos.
- Estn necesariamente fundamentados en la realidad, son exploratorios o inductivos
los procedimientos cualitativos mientras que los cuantitativos carecen de esa
fundamentacin y son necesariamente confirmatorios y deductivos? A Glaser y
Strauss (1967: 17-18 ) se les reconoce generalmente como autores de una verdadera
Biblia sobre la teora fundamentada en la realidad. Afirman: "No existe choque
fundamental entre los fines y las capacidades de los mtodos o datos cualitativos y
cuantitativos... Creemos que cada forma de datos resulta til tanto para la
comprobacin como para la generacin de la teora, sea cual fuere la primaca del
nfasis" (en cursiva en el original). Estamos de acuerdo: los mtodos cualitativos
no slo pueden ser empleados para descubrir las preguntas que resulta interesante
formular y los procedimientos cuantitativos no slo pueden ser empleados para
responderlas. Por el contrario, cada procedimiento puede servir a cada funcin. Por
ejemplo, Glaser y Strauss (1965,1967) detallan cmo cabe emplear beneficiosamente
los grupos de comparacin (al azar o de otro modo) en la generacin de una teora.
De la misma manera, los mtodos cualitativos poseen reglas de evidencia y de
comprobacin bien definidas para confirmar teoras (cf. Barton y Lazarsfeld, 1969;
Becker, 1958 y McCall, 1969 ).Campbell ( en este volumen) no slo demuestra
cmo el estudio etnogrfico de casos puede verificar proposiciones tericas, sino
que brinda sugerencias para hacer ms eficaz el procedimiento en la tarea. Lo
interesante es que la lgica de la descripcin y de la inferencia se extiende a travs
de los mtodos (cf. Fienberg,1977). El trabajo de Becker en este libro viene a sealar
lo mismo cuando aplica a un tipo de datos cualitativos-fotografas criterios de validez
concebidos en un principio para mtodos cuantitativos.
- Han de emplearse exclusivamente los procedimientos cualitativos para medir el
proceso y han de emplearse exclusivamente las tcnicas cuantitativas para determinar
el resultado? Como en el caso de la distincin anterior entre verificacin y
descubrimiento, no existe tampoco aqu necesidad de que haya una divisin estricta
"'
LECTURAS COMPLEMENTARIAS
del trabajo entre los mtodos cualitativos y cuantitativos. Una vez ms la lgica de
la tarea (descubrimiento del proceso frente a valoracin del resultado) abarca los
mtodos. As, por un lado, Hollister y otros ( en este volumen) describen un proceso
empleando tcnicas cuantitativas y Campbell (1970) llega a sugerir que el diseo
experimental resultara til en el estudio del proceso porque podra ayudar a descartar
las hiptesis alternativas. Por otro lado, el procedimiento del estudio de casos ha
sido a menudo empleado con xito para valorar el resultado. Por ejemplo, un estudio
de casos es suficiente para determinar mucho de los efectos de una inundacin o de
un huracn y la visita al lugar es generalmente respaldada por la profesin de la
ciencia social como un modo apropiado de evaluar la eficacia de los programas de
adiestramiento.
- Son necesariamente los mtodos cualitativos vlidos pero no fiables y son
necesariamente los mtodos cuantitativos fiables pero no vlidos? Como contra -
ejemplo consideremos la "observacin participante " de una ilusin ptica. Por la
naturaleza misma de una ilusin, la observacin est llamada a originar conclusiones
no vlidas que slo pueden ser corregidas mediante el empleo de procedimientos
ms cuantitativos (vase en este volumen el estudio de Campbell sobre la ilusin de
Muller-Lyer). Ni la fiabilidad ni la validez son atributos inherentes a un instrumento
de medicin (tanto si ste es una regla como s se trata del ojo humano). La precisin
depende ms bien de la finalidad a la que se hace servir el instrumento de medicin
y de las circunstancias bajo las que se realiza dicha medicin. A veces los ojos y
los odos de una persona constituyen el instrumento ms preciso y significativo (cf.
Brickell, 1976; Shapiro, 1973) mientras que en otros casos un instrumento ms
cuantitativo resultara ms vlido as como ms fiable.
- Se hallan siempre limitados los mtodos cualitativos al caso aislado y son por eso
no generalizables? Las afirmaciones en este sentido yerran en dos puntos. En primer
lugar, los estudios cualitativos no tienen por qu limitarse a casos aislados. Rist
(1979), por ejemplo, da cuenta de un estudio etnogrfico en el que se examinan
sesenta lugares distintos para estar en mejores condiciones de generalizar. En
segundo lugar, la posibilidad de generalizar depende, por lo comn, de algo ms que
del tamao de la muestra. Slo en muy pocos casos, como cuando se recurre a un
sondeo aleatorio, la generalizacin se basa en un razonamiento estadstico, y se
toma de unos datos de muestreo a toda una poblacin. Habitualmente, la
#
LECTURAS COMPLEMENTARIAS
generalizacin es mucho menos formal y por eso resulta ms inductiva y ms fiable
en potencia. Esto significa que los investigadores normalmente desean generalizar
a poblaciones que no han sido muestreadas (por ejemplo, a nios de diferentes
distritos escolares, a cabezas de familia en paro de otras ciudades y a distintas
pocas y diferentes tipos de tratamientos). Semejantes generalizaciones "nunca se
hallan lgicamente justificadas por completo" tanto si estn basadas en datos
cualitativos como si lo estn en datos cuantitativos (Campbell y Stanley, 1966: 171;
vase tambin Cronbach, 1978). Aunque en tales generalizaciones informales puede
servir de ayuda una muestra amplia y diversa de casos, tambin puede contribuir el
conocimiento profundo de un solo caso. As, y en general, no hay razn alguna para
que los resultados cuantitativos sean inherentemente ms generalizables que los
resultados cualitativos.
- Son necesariamente holistas los procedimientos cualitativos y son necesariamente
particularistas los procedimientos cuantitativos? Es claro que la respuesta tiene que
ser negativa. Un investigador puede estudiar intensamente tan slo un aspecto
circunscrito de la conducta empleando, por ejemplo, el mtodo de la observacin
participante simplemente porque tal conducta se observa con menos precisin o
con una facilidad menor de cualquier otro modo. Por ejemplo, una conducta sutil
puede ser slo detectable para un observador agudo que posee un amplio conocimiento
de la cultura local. En este caso, el investigador puede emplear la visin de un
observador participante como instrumento de medicin sin atender a contexto alguno
ms amplio que la propia y especfica conducta. Del mismo modo, los mtodos
cuantitativos tales como sondeos o experiencias aleatorios pueden tomar en
consideracin "toda la imagen" aunque en manera alguna midiendo "todo".
- Han de suponer los procedimientos cuantitativos que la realidad es estable y que
no cambia? Reconociendo que algunos diseos son ms "rigidos" que otros, los
procedimientos cuantitativos en conjunto no obligan al investigador a concebir una
realidad inmutable. Desde luego, una de las grandes ventajas de los cuasi
experimentos temporalmente seriados es que pueden determinar el cambio temporal
en el efecto de un programa contra un pasado de cambios "naturales". En un caso
extremo, ninguna estrategia de valoracin supone una realidad perfectamente fijada
puesto que el propsito mismo de la investigacin consiste en advertir el cambio.
Esto no quiere decir que unos acontecimientos no planeados e incontrolables no
#
LECTURAS COMPLEMENTARIAS
pueden representar un peligro para una evaluacin, eficaz, sino que slo los cambios
en el entorno de la investigacin pueden perturbar tanto las evaluaciones cualitativas
como las cuantitativas. Por ejemplo, se seala a menudo que las experiencias
aleatorias quedan invalidadas cuando se altera en el curso de la investigacin el
procedimiento del tratamiento. Al mismo tiempo, otros tipos de cambio imprevisto,
como el incremento de las tensiones entre el observador y el personal del programa
(vase Knapp, en este volumen) pueden poner tambin en peligro una evaluacin
etnogrfica. En ambos casos es considerable lo que se puede realizar para hacer
las evaluaciones ms flexibles ante los cambios indeseados.
La importancia de Ia situacin
Partiendo de las observaciones anteriores, llegamos a la conclusin de que los atributos
de un paradigma no se hallan inherentemente ligados ni a los mtodos cualitativos ni a
los cuantitativos. Cabe asociar los dos tipos de mtodos tanto con los atributos del
paradigma cualitativo como los del cuantitativo. Esto significa que, a la hora de elegir un
mtodo, carezca de importancia la posicin paradigmtica; ni tampoco equivale a negar
que ciertos mtodos se hallan por lo comn unidos a paradigmas especficos. Lo principal
es que los paradigmas no constituyen el determinante nico de la eleccin de los mtodos.
La eleccin del mtodo de investigacin debe depender tambin, al menos en parte, de
las exigencias de la situacin de investigacin de que se trate. Por ejemplo, consideramos
las evaluaciones del impacto de dos programas educativos. En un caso, el tratamiento
consiste en un proyecto nuevo e intensivo destinado a compensar los efectos de una
inferioridad econmica. La importancia y la intransigencia relativa del problema justifican
una inversin sustancial de tiempo y dinero, sobre todo porque un programa que se
"demuestre" que es eficaz se puede adoptar como poltica nacional. En este caso, un
experimento aleatorio puede constituir el mejor medio de informar a quienes toman las
decisiones.
El otro programa educativo consiste en la concesin de unas becas para graduados que
se adiestrarn en un departamento universitario. En este caso no se exige una gran
inversin de tiempo y de dinero, tanto porque el programa en s mismo resulta relativamente
pequeo, como porque del resultado de la evaluacin no dependern decisiones de alcance
nacional. Entonces el procedimiento habitual es una tcnica de estudio de casos, como
#
LECTURAS COMPLEMENTARIAS
la visita al lugar. As defender que los experimentos aleatorios (o las visitas al lugar) han
de ser siempre empleados en las valoraciones de las que se derivan repercusiones
resulta tan estpido como defender que jams deben ser utilizados. En algunas
situaciones, el procedimiento ms eficaz de investigacin ser cuantitativo mientras que
en otras se atender mejor al mismo fin investigador mediante un mtodo cualitativo.
Conocimiento impIcito en eI nexo reaI pero imperfecto entre paradigma y mtodo
Por supuesto que el nexo revela algn conocimiento, en la prctica existente, entre
paradigmas y mtodos. Los investigadores que utilizan los mtodos cualitativos se
adhieren ms a menudo al paradigma cualitativo que al cuantitativo. De manera similar,
existe una correlacin entre el uso de mtodos cuantitativos y la adhesin al paradigma
cuantitativo (aunque estos nexos entre paradigma y mtodo no sean perfectos, como
muchos parecen creer). Semejantes nexos pueden ser muy bien el resultado de una
evaluacin adaptativa que refleja el hecho de que, siendo iguales en todo lo dems, los
mtodos cualitativos y cuantitativos a menudo resultan los ms indicados para los
distintos puntos de vista paradigmticos con los que han llegado a ser asociados.
Sospechamos que la distincin ms notable y fundamental entre los paradigmas
corresponde a la dimensin de verificacin frente a descubrimiento. Parece que los
mtodos cuantitativos han sido desarrollados ms directamente para la tarea de verificar
o de confirmar teoras y que, en gran medida, los mtodos cualitativos fueron
deliberadamente desarrollados para la tarea de descubrir o de generar teoras. No es
sorprendente entonces que cada tipo de mtodo haya llegado a ser asociado con estas
distintas posiciones paradigmticas y que los mtodos tengan tambin su mejor
rendimiento cuando son empleados para esos fines especficos.
Estos nexos evolutivos podran explicar las tendencias antiguas y recientes en el empleo
de los diferentes mtodos en la evaluacin. En una primera poca se supona que caba
designar fcilmente unos programas para producir los resultados deseados y que el
propsito de la evaluacin consiste simplemente en comprobar de modo anticipado estos
efectos. De forma as completamente natural la evaluacin se orientaba haca los mtodos
cuantitativos con su tradicional insistencia en la verificacin. Ms tarde se descubri
que el mejoramiento no era tan simple y que los programas podan tener una amplia
variedad de efectos marginales insospechados. El nfasis de la evaluacin comenz de
#!
LECTURAS COMPLEMENTARIAS
ese modo a desplazarse desde la verificacin de los presuntos efectos al descubrimiento
de la manera en que cabra concebir un programa para que tuviese el efecto deseado y
de los efectos tanto sospechados como insospechados que tales programas pudieran
tener realmente. En consecuencia, algunos campos de la evaluacin (y muy especialmente
el de la educacin) han revelado un inters creciente por los mtodos cualitativos con su
nfasis en el descubrimiento.
Pero aunque el nexo existente entre paradigma y mtodo puede orientar ltimamente la
eleccin de un mtodo de investigacin, ese nexo no debe determinar en exclusiva
semejante eleccin. Hemos sealado que la situacin de la investigacin constituye
tambin un factor importante. Y esto resulta especialmente significativo porque la
investigacin evaluativa se realiza bajo numerosas circunstancias singulares y exigentes
que pueden requerir modificaciones en las prcticas tradicionales. El hecho de que
paradigma y mtodo hayan estado ligados en el pasado no significa que en el futuro
resulte necesario, o conveniente, que as sea.
Es preciso escoger entre Ios paradigmas?
Como indicamos antes, el debate actual acerca de los mtodos crea la impresin de que
el investigador no slo debe escoger un mtodo en razn de su adhesin a un paradigma,
sino que tambin debe elegir entre los paradigmas cualitativo y cuantitativo porque son
las nicas opciones disponibles. Ya hemos examinado la primera cuestin; ahora
abordaremos la segunda.
Los dos paradigmas a los que nos referimos proceden de dos tradiciones singulares y
completamente diferentes. El conglomerado de atributos que integran el paradigma
cuantitativo procede de las ciencias naturales y agronmicas, mientras que el paradigma
cualitativo tuvo su origen en los trabajos de antropologa social y de sociologa, sobre
todo de la escuela de Chicago. No resulta claro por qu se juzg que una u otra de estas
tradiciones tenan que proporcionar un paradigma adecuado a la investigacin evaluativa.
Por fortuna los evaluadores no se han limitado a estas dos nociones.
El hecho de que alguien realice una investigacin de un modo holista y naturalista, por
ejemplo, no significa que tenga que adherirse a los dems atributos del paradigma
cualitativo como el de ser exploratorio y hallarse orientado hacia el proceso. Cabra
#"
LECTURAS COMPLEMENTARIAS
combinar ms bien los atributos naturalista y holista del paradigma cualitativo con otros
atributos como el de ser confirmatorio y el de hallarse orientado hacia el resultado, propios
del paradigma cuantitativo; o considerar un ejemplo de la prctica general. El positivismo
lgico ya no es una postura filosfica comnmente aceptada para la investigacin social.
La mayora de los investigadores han adoptado una posicin fenomenolgica tanto si la
investigacin se concentra en el proceso o en el resultado, en el naturalismo o en el
control.
De hecho, todos los atributos que se asignan a los paradigmas son lgicamente
independientes. Del mismo modo que los mtodos no se hallan ligados lgicamente a
ninguno de los atributos de los paradigmas, los propios atributos no se encuentran
lgicamente ligados entre s. Podramos examinar uno por uno los atributos de la lista,
como en la seccin anterior, proporcionando ejemplos que demostrarn su independencia
pero semejante tarea resultara tediosa. Baste con decir que no existe nada, excepto
quiz la tradicin, que impida al investigador mezclar y acomodar los atributos de los dos
paradigmas para lograr la combinacin que resulte ms adecuada al problema de la
investigacin y al medio con que se cuenta.
Suponiendo que se disponga de considerables recursos de evaluacin y que se desee
una evaluacin global, a menudo se tratar de lograr una muestra de atributos de cada
paradigma en la misma dimensin. Por ejemplo, las evaluaciones globales deben hallarse
orientadas tanto al proceso como al resultado, ser exploratorias tanto como confirmativas,
y vlidas tanto como fiables. No existe razn para que los investigadores se limiten a
uno de los paradigmas tradicionales, s bien ampliamente arbitrarios, cuando pueden
obtener lo mejor de ambos.
Por aadidura, los evaluadores han de sentirse libres de cambiar su postura paradigmtica
cuando sea preciso. No hay razn para ceirse en todo momento a una mezcla de
atributos. Por el contrario, al pasar de un programa al siguiente o de un estudio a otro
(suponiendo que para un slo programa se proyecte una serie de evaluaciones en lugar
de un estudio de una sola vez), lo probable es que cambie la posicin paradigmtica que
resulte ms apropiada en la investigacin. En consecuencia, la perspectiva paradigmtica
del investigador ha de ser flexible y capaz de adaptaciones.
##
LECTURAS COMPLEMENTARIAS
Por qu no empIear tanto Ios mtodos cuaIitativos como Ios cuantitativos?
Redefinicin deI debate
Ya hemos visto que la eleccin de mtodos no debe hallarse determinada por la adhesin
de un paradigma arbitrario. Y ello es as tanto porque un paradigma no se halla
inherentemente ligado a una serie de mtodos, como porque las caractersticas del entorno
especfico de la investigacin cobran la misma importancia que los atributos de un
paradigma a la hora de escoger un mtodo. Hemos visto tambin que un investigador no
tiene por qu adherirse ciegamente a uno de los paradigmas polarizados que han recibido
las denominaciones de "cualitativo" y "cuantitativo", sino que puede elegir libremente
una mezcla de atributos de ambos paradigmas para atender mejor a las exigencias del
problema de la investigacin con que se enfrenta. Parece, entonces, que no existe tampoco
razn para elegir entre mtodos cualitativos y cuantitativos. Los evaluadores obrarn
sabiamente si emplean cualesquiera mtodos que resulten ms adecuados a las
necesidades de su investigacin, sin atender a las afiliaciones tradicionales de los
mtodos. En el caso de que ello exija una combinacin de mtodos cualitativos y
cuantitativos, hgase as pues.
Por supuesto que an es posible un debate sincero respecto de cules son los mtodos
mejores, habida cuenta de una perspectiva paradigmtica y de una situacin de
investigacin determinadas. Por ejemplo, cierta parte de los textos sobre formacin de
mano de obra revela una discrepancia acerca de la probabilidad de que cambie la influencia
de participantes en estos programas en ausencia de un efecto del tratamiento. Si no se
produce semejante consecuencia (tanto de incremento como de dficit) no hay necesidad
de un grupo de control para la valoracin del impacto; bastara en tales circunstancias
concebir un estudio de casos. Por otra parte, si tiene lugar la consecuencia en ausencia
del tratamiento resultara deseable un grupo de control (quiz, incluso, seleccionado al
azar).
Cabe tambin que tenga lugar un sincero debate sobre la adecuacin de una determinada
posicin paradigmtica a una evaluacin especfica. Como ejemplo al respecto podra
citarse el de un desacuerdo acerca de la importancia relativa de la validez interna frente
a la generabilidad. lndudablemente, ambos atributos son importantes pero algunos
evaluadores juzgan que, a largo plazo, el medio mejor de lograr la generabilidad consiste
#$
LECTURAS COMPLEMENTARIAS
en asegurarse de que cada estudio sea internamente vlido (cf. Campbell, 1969) mientras
que otros prefieren soluciones a corto plazo en donde el objetivo inmediato de la
generabilidad se antepone a la validez interna (cf. Cronbach, 1978).
El problema estriba en que en los textos se confunden ambos legtimos debates. Se
formulan crticas contra los mtodos cuando en realidad lo que pretende atacarse es una
concepcin global paradigmtica y viceversa. Como mtodos y paradigmas son
lgicamente separables, sta es una forma equvoca y turbia de debate. El hecho de que
haya sido deficientemente empleado un mtodo o utilizado con una finalidad inapropiada
no significa que sea, en s mismo, defectuoso o inadecuado. Los argumentos confusos
sobre paradigmas con argumentos sobre mtodos slo han servido para llegar hasta la
situacin presente en la que los investigadores se alinean tras los tipos de mtodos. Si
se redefine este debate bajo la forma de dos discusiones diferentes y legtimas resulta
patente la falacia del proceder actual: en vez de ser rivales incompatibles, los mtodos
pueden emplearse conjuntamente segn lo exija la investigacin.
Cierto nmero de investigadores haban definido anteriormente esta posicin segn la
cual cabe emplear conjunta y eficazmente los mtodos cualitativos y cuantitativos tanto
en el contexto de la investigacin de evaluacin (cf. Britan, 1978; Campbell, 1974; Cook
y Cook, 1977 y Stake, 1978 ) como en disciplinas de naturaleza ms tradicional (cf.
Denzin, 1970; Eisner, 1977; Rist, 1977 y Sieber,1973 ). Tal vez fue Trow (1957:338 )
quien lo expres mejor en un debate sobre las ventajas relativas de la observacin
participativa en comparacin con la entrevista.
Cada zapatero piensa que el cuero es lo nico que importa. La mayora de los cientficos
sociales, incluyendo quien esto escribe, tienen sus mtodos favoritos de investigacin
con los que estn familiarizados y en cuya utilizacin poseen una cierta destreza. Y
sospecho que fundamentalmente decidimos investigar aquellos problemas que parecen
vulnerables a travs de tales mtodos. Pero deberamos, por lo menos, tratar de ser
menos localistas que los zapateros. Prescindamos ya de las argumentaciones de la
"observacin participante " frente a la entrevista -como ya hemos renunciado en buena
medida a las discusiones de la sicologa frente a la sociologa- y prosigamos con la
tarea de abordar nuestros problemas con el ms amplio despliegue de instrumentos
conceptuales y metodolgicos que poseamos y que tales problemas exigen. Esto no
#%
LECTURAS COMPLEMENTARIAS
excluye la discusin y el debate respecto a la utilidad relativa de los diferentes mtodos
para el estudio de problemas o tipos especficos de problemas. Pero resulta algo muy
distinto de la afirmacin de una superioridad general e inherente de un mtodo sobre otro,
basndose en algunas cualidades intrnsecas que supuestamente posee (la cursiva es
del original).
Ventajas potenciaIes deI empIeo conjunto de Ios mtodos cuaIitativos
y cuantitativos
Existen al menos tres razones que respaldan la idea segn la cual, cuando se abordan
los problemas de evaluacin con los instrumentos ms apropiados que resulten accesibles,
se emplear una combinacin de los mtodos cualitativos y cuantitativos. En primer
lugar, la investigacin evaluativa tiene por lo comn propsitos mltiples que han de ser
atendidos bajo las condiciones ms exigentes. Tal variedad de condiciones a menudo
exige una variedad de mtodos. En segundo lugar, empleados en conjunto y con el
mismo propsito, los dos tipos de mtodos pueden vigorizarse mutuamente para brindarnos
percepciones que ninguno de los dos podra conseguir por separado. Y en tercer lugar,
como ningn mtodo est libre de prejuicios, slo cabe llegar a la verdad subyacente
mediante el empleo de mltiples tcnicas con las que el investigador efectuar las
correspondientes triangulaciones. Ya que los mtodos cuantitativos y cualitativos tienen
con frecuencia sesgos diferentes, ser posible emplear a cada uno para someter al otro
a comprobacin y aprender de l. Aunque no afirmamos que estos tres puntos se hallen
por completo desligados, cada uno ser considerado separadamente a continuacin.
1. Objetivos mItipIes. Como ya se ha advertido antes, una evaluacin global ha de
interesarse tanto por el proceso como por el resultado. Mediante el anlisis del
proceso, los investigadores han llegado a distinguir dos objetivos distintos a los que
aplicaremos denominaciones diferentes. La finalidad primera del proceso estriba en
comprobar: describir el contexto y la poblacin del estudio, descubrir el grado en el
que se ha llevado a cabo el tratamiento o programa, proporcionar una retroinformacin
de carcter inmediato y de tipo informativo, etc. La segunda finalidad del proceso
estriba en la explicacin causal: descubrir o confirmar el proceso mediante el cual el
tratamiento alcanz el efecto logrado. Naturalmente, la medicin del efecto del
programa es el resultado total o valoracin del impacto.
#&
LECTURAS COMPLEMENTARIAS
Para una comprensin completa del programa, una evaluacin tendra que realizar
al menos tres tareas: comprobacin, valoracin del impacto y explicacin causal.
Se trata de una gama muy amplia de tareas que, para ser eficazmente atendidas,
requerirn quiz el empleo de mtodos tanto cualitativos como cuantitativos. Aunque
de un modo inevitable, puede suceder a menudo que la comprobacin sea realizada
con mayor eficacia conforme a un modo cualitativo, que la valoracin del impacto se
realice con mayor precisin mediante mtodos cuantitativos y que la explicacin
causal se obtenga de mejor manera a travs del empleo conjunto de mtodos
cualitativos y cuantitativos. Aunque desde luego pretendemos evitar la impresin de
que se requiere una divisin rgida o inherente del trabajo, creemos que un nmero
mayoritario de casos y para conseguir todos los propsitos de una evaluacin har
falta una combinacin flexible y adaptativa de los tipos y mtodos.
En el empleo conjunto de los mtodos para atender a las mltiples necesidades de
la investigacin, la evaluacin debe mostrarse receptiva a las formas nuevas y
singulares y a la concatenacin de los mtodos. A menudo se dice que las ciencias
sociales cuantitativas han adoptado totalmente sus mtodos de las ciencias naturales
y agronmicas. Resultara lastimoso de ser cierto, puesto que difcilmente cabra
esperar que los instrumentos de una disciplina fuesen los ms indicados para los
fines y circunstancias de otra. En realidad, el proceso de adopcin de tales mtodos
ha ido acompaado de diversos perfeccionamientos (cf. Boring, 1954, 1969 ) y debera
estimularse la realizacin de nuevas adaptaciones.
Algunas adaptaciones tiles pueden suponer un maridaje creativo de los mtodos
cualitativos y de los cuantitativos, como, por ejemplo, el empleo de experimentos
aleatorios con observadores participantes como instrumentos de la medicin. Esto
podra contribuir a evitar las crticas a menudo suscitadas contra la evaluacin
cuantitativa y segn las cuales las medidas sicomtricas ms corrientemente
empleadas carecen de sensibilidad respecto de la dimensin del inters. Tambin
podra acabar con las crticas formuladas contra muchas evaluaciones cualitativas
y segn las cuales carecen de control los peligros que amenazan su validez interna.
Examinando otro ejemplo, consideremos ahora el empleo de los etngrafos en
combinacin con el diseo de regresin-discontinuidad. La esencia del diseo de
regresin discontinuidad estriba en que el tratamiento es asignado de un modo
estricto conforme a una dimensin cuantitativa (cf. Cook y Campbell, 1979). sta
#'
LECTURAS COMPLEMENTARIAS
podra ser desde una medida de distancia geogrfica a un lmite como el de una
calle o cualquier otra frontera natural que sirva como lnea divisoria entre quienes no
lo reciben. Para medir en semejante caso el efecto del tratamiento, los etngrafos
pueden ir y cruzar libre y repetidamente la frontera con objeto de determinar si existe
una discontinuidad en ese punto en las conductas o actitudes de inters. Tambin
son posibles otras combinaciones infrecuentes de mtodos cualitativos y
cuantitativos.
2. Vigorizacin mutua de Ios tipos de mtodos. En un sentido fundamental, los
mtodos cualitativos pueden ser definidos como tcnicas de comprensin personal,
de sentido comn y de introspeccin mientras que los mtodos cuantitativos podran
ser definidos como tcnicas de contar, de medir, y de razonamiento abstracto.
Evidentemente, esto supone un cambio de los significados de los mtodos cualitativos
y cuantitativos respecto de los empleados en el resto del captulo, aunque se halla
justificado porque algunos autores suscriben estas definiciones. Semejante alteracin
en el significado resulta til porque la nueva perspectiva revela claramente cmo se
complementa con el otro cada uno de los tipos de mtodos. De modo especfico, el
conocimiento cuantitativo debe basarse en el conocimiento cualitativo pero al
proceder as puede superarlo.
Lgicamente, los mtodos cuantitativos no pueden sustituir a los cualitativos porque
la comprensin cuantitativa presupone un conocimiento cualitativo. Por ejemplo,
Campbell (en este volumen) demuestra cmo se emplea la medicin cuantitativa de
una ilusin ptica para corregir la observacin cualitativa, pero procede as apoyndose
constantemente en ste y en muchos otros aspectos. La base del argumento es
que toda medicin se halla fundada en innumerables suposiciones cualitativas acerca
de la naturaleza del instrumento de medida y de la realidad evaluada. Por ejemplo, al
registrar el movimiento de los frentes de perturbaciones atmosfricas, se da por
supuesto que la fuerza gravitatoria de la tierra permanece constante dado que unos
cambios en sta determinaran alteraciones artificiales en la presin baromtrica. Al
tomar nota del desarrollo de un nio, se supone que quien cambia a lo largo del
tiempo es el nio y no el instrumento que se utiliza para medir su crecimiento. La
eleccin de un modelo estadstico que encaje con los datos, la interpretacin de los
resultados a que d lugar y la generalizacin de los descubrimientos a otros entornos
se hallan todas basadas en un conocimiento cualitativo. Muy simplemente, los
$
LECTURAS COMPLEMENTARIAS
investigadores no pueden beneficiarse del empleo de los nmeros si no conocen, en
trminos de sentido comn, lo que estos significan.
Del mismo modo, el conocimiento cualitativo puede beneficiarse del conocimiento
cuantitativo. lncluso los investigadores ms introspectivos y de orientacin ms
subjetiva no pueden prescindir del hecho de contar elementos o de emplear conceptos
cuantitativos como " ms grande que " y " menos que ". La medicin cuantitativa de
las ilusiones pticas puede corregir la observacin cualitativa al tiempo que se basa
en sta. Y un hallazgo cuantitativo puede estimular una ulterior indagacin cualitativa
(Light, 1979; Sieber,1973 ), como cuando un sorprendente resultado experimental
impulsa al investigador a interrogar a los sujetos en busca de indicios introspectivos.
La ciencia habitual emplea conjuntamente el conocimiento cualitativo y el cuantitativo
para alcanzar una profundidad de percepcin, o visin binocular, que ninguno de los
dos podra proporcionar por s slo (Eisner, 1977). Lejos de ser antagnicos, los dos
tipos de conocimientos resultan complementarios. Eso no significa decir que siempre
sea fcil combinarlos. Surgirn a menudo problemas de difcil solucin ( cf. Trend,
en este volumen ) pero por lo comn siempre habr discrepancias, y de ah las
dificultades cuando se empleen conjuntamente dos mtodos cualesquiera. Resolver
las diferencias entre el conocimiento cualitativo y cuantitativo no debe ser en principio
ms difcil que la resolucin de otros enigmas de la investigacin, aunque
sospechamos que quiz pueda resultar a menudo ms ilustrativo.
3. TrianguIacin a travs de operaciones convergentes. El empleo complementario
de mtodos cualitativos y cuantitativos, o el uso conjunto de cualesquiera mtodos,
contribuye a corregir los inevitables sesgos presentes en cualquier mtodo. Con
slo un mtodo es imposible aislar el sesgo del mtodo de la cantidad o de la
cualidad subyacentes que se intenta medir. Pero cabe emplear conjuntamente varios
mtodos para triangular la " verdad " subyacente, separando, por as decirlo, el
grano de la paja (cf. Denzin, 1970; Garner y otros, 1956 y Webb y otros, 1966).
Aunque cabe utilizar para este fin dos o ms, los diferentes mtodos que converjan
en las mismas operaciones resultan mejores que los semejantes porque
probablemente compartirn menos sesgos que estos ltimos. Con frecuencia, los
mtodos cualitativos y cuantitativos operan bien juntos porque son relativamente
distintos.
$
LECTURAS COMPLEMENTARIAS
Por aadidura, cada tipo de mtodo puede, en potencia, ensear al otro nuevos
modos de detectar y de disminuir el sesgo. Como estos dos tipos de mtodos han
existido en tradiciones distintas y en buena medida aisladas, gran parte de su tcnica
propia ha permanecido tambin aislada. Al poner juntos los mtodos pueden
fortalecerse estos dos diferentes depsitos de conocimientos y de experiencia. Es
posible, incluso, que a travs de su empleo conjunto se descubran nuevas fuentes
de sesgos y nuevos medios para disminuirlos, que haban permanecido ignorados
de cada una de las dos tradiciones aisladas.
Tradicionalmente, la investigacin evaluativa se ha concentrado en los mtodos
cuantitativos, destacando tanto su empleo como sus sesgos potenciales. Desde
luego, el hecho de que muchos de los sesgos probables en los mtodos cuantitativos
hayan sido tan abiertamente reconocidos ha sido en parte responsable de la creciente
insatisfaccin respecto de estos mtodos y de la progresiva defensa de los mtodos
cualitativos en algunos sectores. Es indudable que la tradicin cuantitativa en
evaluacin podra aprender mucho de la experiencia acumulada en la eliminacin de
sesgos que se ha desarrollado dentro de la tradicin cualitativa. Por ejemplo, el
inters cualitativo por validez descriptiva y los sesgos de muestreos no aleatorios
(por ejemplo el sesgo elitista; Vidich y Shapiro, 1955) podran ilustrar muy bien los
procedimientos cuantitativos de muestreo.
Del mismo modo, a pesar de la larga tradicin de prevencin de los sesgos en la
literatura sociolgica y antropolgica, empiezan tan slo a aflorar muchas de las
dificultades del empleo de mtodos cualitativos en el contexto de la investigacin
evaluativa (cf. Knapp, en este volumen; lanni y Orr, en este volumen) y este proceso
de aprendizaje se podra acelar gracias a los logros de la tradicin cuantitativa. Por
ejemplo, la investigacin cuantitativa sobre los procesos sicolgicos de introspeccin
y juicio se podra muy bien emplear para informar al observador etnogrfico. Nisbett
y Wilson (1977) han pasado revista a los datos que sugieren que a veces observadores
y participantes no pueden describir con precisin su propia conducta a travs de la
introspeccin. La investigacin de Chapman y Chapman (1967) y Chapman (1967)
acerca de las correlaciones ilusorias y el trabajo de Tversky y Kahneman (1974)
sobre juicios bajo incertidumbre pueden ayudarnos a apreciar sesgos en la forma en
que observadores participantes detectan y registran covariaciones en la conducta
que es objeto de estudio. De modo similar Scheirer (1978) se basa en investigaciones
$
LECTURAS COMPLEMENTARIAS
sicolgicas de laboratorio para indicar que a menudo tanto participantes como
administradores y observadores se exceden al dar cuenta de los aspectos positivos
de un programa. Adems, muchas de las ideas clsicas de la validez asociadas
especialmente a la concepcin cuantitativa pueden servir tambin para el empleo de
mtodos cualitativos. Ejemplo al respecto son tanto Becker (en este volumen) con
su inters por eliminar amenazas a la validez en la interpretacin del mtodo
cuantitativo de fotografa, como Campbell (en este volumen) con sus sugerencias
relativas a grupos adicionales de comparacin y observadores mltiples en los
estudios de casos.
ObstcuIos en eI empIeo conjunto de mtodos cuaIitativos y cuantitativos
Aunque lgicamente deseable, es posible que surjan cierto nmero de obstculos prcticos
a la hora de combinar en un estudio de evaluacin mtodos cualitativos y cuantitativos.
El siguiente anlisis toma en consideracin cuatro de tales obstculos.
En primer lugar, la combinacin de mtodos cualitativos y cuantitativos puede resultar
prohibitivamente cara. Consideremos que en comparacin con un estudio de casos, un
experimento aleatorio ofrece el gasto adicional de tener que recoger datos de un grupo de
control que no ha sido objeto de tratamiento, mientras que los costos de recogida de
datos por cada uno de los que responden es analizado por el agente etnogrfico de
campo son usualmente mucho ms elevados que el del cuestionario tradicional de los
procedimientos cuantitativos. La combinacin de los mtodos puede significar en definitiva
la concatenacin de los elementos relativamente ms costosos con cada uno.
En segundo lugar, el segundo conjunto de mtodos cualitativos y cuantitativos pueden
suponer demasiado tiempo. A los partidarios de uno y otro grupo en el debate sobre los
tipos de mtodos les preocupa que sus sistemas preferidos puedan resultar demasiado
lentos para cumplir los plazos polticamente fijados. Los experimentos aleatorios, por
ejemplo, requieren un tiempo suficiente entre la atribucin de sujetos a las condiciones y
la recogida de datos tras la prueba para que el tratamiento pueda seguir su curso. De
forma similar, los etngrafos requieren tiempo bastante para desarrollar su comunicacin,
explorar libremente aquellos aspectos del programa que les parezcan relevantes y seguir
$!
LECTURAS COMPLEMENTARIAS
las pistas que de all partan; luego necesitarn un tiempo parecido para sintetizar sus
anotaciones de campo en un informe final. En cualquier caso, esto puede exigir aos. A
no ser que las actividades, de los dos mtodos, puedan tener lugar simultneamente, en
realidad es posible que no haya tiempo suficiente para ambos.
En tercer lugar, cabe que los investigadores carezcan de adiestramiento suficiente en
ambos tipos de mtodos para utilizar los dos. La mayora de los estudios que combinan
los dos tipos de mtodos se basan, por lo comn, en equipos interdisciplinares. Cuando
los miembros del equipo proceden de las tradiciones diferentes de los mtodos cualitativos
y cuantitativos la interaccin entre los dos grupos no es siempre fluida (vase lanni, Orr,
y Trend en este volumen).
Finalmente, queda la cuestin de la moda y de la adhesin a la forma dialctica del
debate. La evaluacin, como en general la ciencia, es vctima de modas. Con buen
motivo, los investigadores a menudo se muestran escasamente dispuestos a no
acomodarse a lo que est en boga, sobre todo, cuando los organismos financiadores
participan de la tendencia general. Corrientes de este gnero favorecen con frecuencia a
uno u otro de los tipos de mtodos, pero rara vez valoran a ambos por igual. Ser difcil
convencer a los investigadores para que combinen los tipos de mtodos hasta que se
ponga en claro el carcter ilgico del debate presente con su inclinacin separatista.
Por estas razones no nos sentimos optimistas ni creemos que llegar a difundirse
ampliamente el empleo conjunto de los mtodos cualitativos y cuantitativos. Esto no
significa que los evaluadores hayan de volver a escoger entre uno u otro basados en el
dogma paradigmtico. Los evaluadores han de proseguir acomodando los mtodos a las
exigencias del problema de la investigacin de la mejor manera posible, sin prestar atencin
a las afiliaciones paradigmticas tradicionales. Pero ello no quiere decir que tales
evaluadores hayan de establecer una prioridad de propsitos y cuestiones ya que, por lo
comn, sern incapaces de atender a todos los objetivos deseados. A menudo
sospechamos que la cuestin del impacto tendr la prioridad ms alta y que se le otorgar
prioridad a los procedimientos cuantitativos. Pero en cualquier caso, el empleo exclusivo
de uno u otro de los tipos de mtodos habitualmente significar aceptar una evaluacin
no global.
$"
LECTURAS COMPLEMENTARIAS
ConcIusin
El reciente debate sobre el empleo de los mtodos cualitativos y cuantitativos en la
investigacin evaluativa ha aportado grandes beneficios. Muchos evaluadores que se
formaron en la tradicin cuantitativa (incluyendo los presentes autores) se han mostrado
manifiestamente apasionados por el empleo de los mtodos cuantitativos, en buena
parte como el zapatero de Trow que slo tiene en cuenta el cuero o como el nio que
cuando coge un martillo por primera vez cree que es preciso aporrearlo todo. Como
respuesta, el debate ha evidenciado que los mtodos cuantitativos no son siempre los
ms indicados para algunos de los objetivos y de los entornos de la investigacin en los
que se han empleado. El debate ha contribuido adecuadamente a legitimar el incremento
del empleo de los mtodos cualitativos en la evaluacin.
Muchos evaluadores asumieron con excesiva rapidez la serie de atributos que integran
el paradigma cuantitativo. Como reaccin, el debate ha centrado su atencin en el proceso,
el descubrimiento, la conexin con los datos, el holismo, el naturalismo y los dems
atributos del paradigma cualitativo. En el pasado, el pndulo oscil excesivamente hacia
el lado cuantitativo tanto en el paradigma como en el mtodo y el debate permiti que los
evaluadores tomaran conciencia de ese desequilibrio.
Pero, aunque el debate haya servido a un propsito muy til, tambin ha sido en parte
contraproducente, en buena medida la discusin que se desarrolla en la actualidad sirve
para polarizar las posiciones cualitativa y cuantitativa y para alentar la creencia de que la
nica opcin posible estriba en elegir entre estos dos extremos. Es como si el pndulo
tuviera que oscilar hacia uno u otro lado. El excesivo inters que se percibe ahora por los
mtodos cuantitativos slo puede, entonces, ser corregido mediante un inters igual,
pero opuesto, por los mtodos cualitativos. Naturalmente, una vez que se pongan a
prueba los mtodos cualitativos del modo tan concienzudo a que se someti en el pasado
a los mtodos cuantitativos, los cualitativos se revelarn simplemente tan falibles y
dbiles como los otros (vase Overholt y Stallings, 1979). Si se mantiene la dicotoma
entre los mtodos, en una reaccin inevitable, el pndulo volver a desplazarse hacia los
procedimientos cuantitativos. lndudablemente tambin este paso se revelar
insatisfactorio y el pndulo seguir oscilando. De este modo, el debate actual mantiene
el desplazamiento del pndulo entre extremos de mtodos y extremos de insatisfaccin.
$#
LECTURAS COMPLEMENTARIAS
La solucin, desde luego, estriba en comprender que la discusin se halla planteada
inapropiadamente. No hay necesidad de escoger un mtodo de investigacin sobre la
base de una posicin paradigmtica tradicional. Ni tampoco hay razn alguna para elegir
entre dos paradigmas de polo opuesto. En consecuencia, es innecesaria una dicotoma
entre los tipos de mtodos y existen todas las razones (al menos en la lgica) para
emplearlos conjuntamente con objeto de satisfacer las exigencias de la investigacin de
la evaluacin del modo ms eficaz posible.
Cabe desear que la prxima generacin de evaluadores sea adiestrada tanto en la tradicin
cuantitativa como en la cualitativa. Estos investigadores podrn emplear la ms amplia
gama posible de mtodos y sin cicateras acomodarn las tcnicas a los problemas de
la investigacin. Aprendern nuevos modos de combinar los mtodos y de reconciliar
descubrimientos discrepantes sin rechazar arbitrariamente un grupo en favor de otro.
Tales investigadores se mostrarn adems modestos en sus afirmaciones acerca de los
mtodos. Comprendern que todos son falibles y que el descubrimiento de un sesgo no
es necesariamente una razn para rechazar un mtodo sino un reto para mejorarlo, de la
misma manera en que pugnamos por mejorar una teora frente a los datos en contra. No
ser fcil tarea la adquisicin de tales destrezas, pero merecer la pena el esfuerzo.
Existe, sin duda, una cierta ventaja pedaggica en la forma dialctica de argumentar
que polariza los mtodos cualitativos y cuantitativos. Por ejemplo, a menudo resulta
ms fcil formular un caso estableciendo una dicotoma en el continuo entre los polos
opuestos para que se revele con mayor claridad la dimensin del inters. Pero ya se ha
aprendido la leccin de que los mtodos cuantitativos se pueden emplear en exceso y
ha llegado el momento de impedir que el pndulo oscile de un extremo al otro. El
tiempo de dejar de alzar muros entre los mtodos y de empezar a tender puentes. Tal
vez estemos todava a tiempo de superar el lenguaje dialctico de los mtodos
cualitativos y cuantitativos. El autntico reto estriba en acomodar sin mezquindades
los mtodos de la investigacin al problema de evaluacin. Puede muy bien exigir una
combinacin de mtodos cualitativos y cuantitativos. Distinguir entre los dos mediante
el empleo de etiquetas diferentes puede servir slo para polarizarlos innecesariamente.
Si prescindimos de las etiquetas no nos quedar ms remedio que superar el debate
entre mtodos cualitativos y cuantitativos.
$$
LECTURAS COMPLEMENTARIAS
Perspectiva deI voIumen
Al reunir los trabajos del presente volumen se pretendi deliberadamente obtener una
diversidad de opiniones sobre el empleo de los mtodos cuantitativos y cualitativos. En
parte, la diversidad se logr seleccionando a autores de los que se saba que representaban
concepciones divergentes. Por ejemplo, Becker ( Becker y Geer, 1957) y Filstead (1970
) son bien conocidos defensores de los mtodos cualitativos mientras que Campbell (
Campbell y Stanley, 1966) ha sido desde hace tiempo considerado como defensor de los
mtodos cuantitativos. A la diversidad se lleg tambin eligiendo autores de una amplia
variedad de disciplinas caracterizadas. Los campos de la antropologa, la economa, la
educacin, la sicologa y la sociologa se hallan, al menos, representados cada uno por
dos autores (o coautores).
El resultado es que diferentes captulos revelan fuertes preferencias por distintos mtodos.
La disensin presente resulta, sin embargo, menos extremada de lo que cabra esperar.
lncluso en aquellos captulos con las preferencias ms acentuadas por uno u otro de los
tipos de mtodos, an subsiste la impresin de que para llegar a una evaluacin global
se requieren tanto los mtodos cualitativos como los cuantitativos. En otras palabras,
existe coincidencia en admitir que ningn tipo de mtodo es por s slo generalmente
suficiente para todas las diversas exigencias de la investigacin evaluativa. Es posible
que el debate entre los mtodos est empezando a experimentar una redefinicin.
Los captulos han sido dispuestos en este volumen conforme a un orden en el que se
parte de los ms tenaces y se concluye con los ms precavidos en su apoyo a los
mtodos cualitativos. A este respecto, el captulo de Filstead ocupa merecidamente el
primer lugar. Filstead distingue las diferencias tradicionalmente sostenidas entre los
paradigmas cualitativo y cuantitativo. Y afirma con vehemencia que el paradigma
cualitativo (con su fe en la realidad social como construida por los participantes y
acentuando la comprensin de los acontecimientos desde la perspectiva de los propios
actores)es el que resulta ms adecuado para la investigacin evaluativa. Filstead presenta
tambin razones del hecho de que est cambiando la tendencia entre los evaluadores
educativos desde un excesivo nfasis en los mtodos cuantitativos a una apreciacin
de las tcnicas cualitativas. Para acelerar este cambio, Filstead sugiere la forma en que
cabe utilizar mejor los mtodos cualitativos para modelar la investigacin evaluativa.
$%
LECTURAS COMPLEMENTARIAS
Tal vez sorprendentemente para algunos evaluadores, pero desde luego no para todos,
la aportacin de Campbell proporciona una explicacin terica en pro del empleo de los
mtodos cualitativos en el diseo de estudio de casos. Revelando un cambio de
sentimiento (y de supuestos de fondo) en relacin con trabajos anteriores, Campbell
afirma que el estudio de casos puede poseer rigor suficiente (en razn de "grados de
libertad procedente de mltiples implicaciones de cualquier teora") tanto para confirmar
como para i nval i dar hi ptesi s causal es. Campbel l demuestra tambi n l a
complementariedad inherente de los mtodos cualitativos y cuantitativos al describir
cmo el conocimiento cuantitativo slo supera al cualitativo cuando se apoya en ste.
Sin embargo, Campbell sigue convencido de que el estudio de casos es muy proclive a
los sesgos cuando se emplea para valorar el impacto de un programa. Seala tambin
varias medidas que cabe tomar para reducir, pero no eliminar este equvoco.
Del artculo de Trend podra decirse que es un relato policaco. El autor da cuenta de sus
experiencias en una evaluacin sobre una gran operacin de subvenciones para la vivienda
en donde se emplearon tanto observadores participantes como cuestionarios. En un
lugar concreto, estas dos fuentes de datos produjeron hallazgos muy discrepantes que
determinaron una considerable controversia entre los analistas. Trabajando con ambas
fuentes, Trend resuelve el enigma y documenta la forma en que la sntesis resultante
supera los informes originales, brindando un entendimiento de los datos. Trend afirma
que en un principio deberan estimularse los hallazgos discrepantes para no cerrar
prematuramente pistas significativas de la investigacin.
La afirmacin ms sobresaliente de lanni y Orr es aquella segn la cual los evaluadores
pueden emplear con proyecto las tcnicas etnogrficas. Slo si estos mtodos se hallan
cuidadosamente adaptados para atender a las demandas especficas de la investigacin
evaluativa, lanni y Orr advierten la existencia de cierto nmero de presiones que inducen
a incrementar el uso de los mtodos cualitativos en la evaluacin educativa pero indican
que, por el momento, tales mtodos se emplean a menudo de una manera inapropiada.
Afirman que el empleo de estos mtodos debe ser orientado por la teora y que la teora
de las disciplinas tradicionales de la ciencia social no resulta adecuada para los fines de
la evaluacin. Brindan sugerencias para el desarrollo de un marco conceptual apropiado
de la evaluacin.
$&
LECTURAS COMPLEMENTARIAS
Es evidente que la inclusin del artculo de Becker puede parecer un tanto anmala. En
este caso, empero, las apariencias son engaosas. Aunque el artculo se refiere
ostensiblemente a la fotografa, las ideas de Becker poseen tambin gran relevancia
para el empleo de mtodos etnogrficos en evaluacin. El hecho es que las fotografas
son semejantes a cualquier grupo de datos y que, en especial, tienen mucho en comn
con los datos recogidos por procedimientos cualitativos. De la misma manera en que a
Becker le interesa la "verdad" de una fotografa, as tambin debera interesar a los
evaluadores cualitativos la validez de sus datos. Reviste la mayor importancia el hecho
de que Becker emplee la lgica de Campbell y Stanley (1966), originariamente desarrollada
con referencia a los mtodos cuantitativos, para evaluar la validez de inferencias respecto
de las fotografas. As, Becker demuestra que la eliminacin de las hiptesis rivales
siguen la misma lgica tanto en el procedimiento cualitativo como en el cuantitativo.
Becker tiene tambin mucho que decir acerca de la posibilidad de generalizar, del sesgo
del observador, de la censura y de la edicin.
Knapp proporciona un examen bien razonado y penetrante del empleo de la etnografa en
la evaluacin del programa de escuelas experimentales. Al documentar las numerosas
dificultades surgidas, Knapp induce al lector a apreciar las presiones tanto sutiles como
no sutiles que unas evaluaciones en gran escala ejercen sobre el trabajo etnogrfico de
campo. Quienes piensan en que las evaluaciones en gran escala se aplica fcilmente y
con xito la etnografa sufrirn una dura sorpresa y quienes emplean la etnografa harn
bien en comprender los dilemas de que da cuenta Knapp. De modo semejante, el lector
se siente estimulado a considerar las recomendaciones de Knapp respecto de los usos
alternativos de la etnografa en la investigacin evaluativa.
Finalmente, Hollister y otros ofrecen algunos nuevos atisbos respecto del uso de los
mtodos cuantitativos. El pensamiento actual en la investigacin evaluativa indica que
el anlisis de proceso requiere procedimientos cualitativos, mientras que la valoracin
del resultado exige tcnicas cuantitativas. Hollister y otros derriban este mito demostrando
no slo que tanto el anlisis de proceso como el de resultados pueden realizarse con
mtodos cuantitativos habituales sino, lo que es ms importante, cmo es posible ligar
los dos anlisis. Aunque tales anlisis ligados exigen datos de gran envergadura y calidad,
Hollister y otros revelan los beneficios potenciales que pueden ofrecer estos anlisis.
$'
LECTURAS COMPLEMENTARIAS
BibIiografa
Barzon, A. H. y Lazarfeld, P. F. (1969). "Some functions of qualitative analysis in social
research" en G. J. McCall y J. L. Simmons (eds.) /ssues n FerIcpanI OservaIn. A
TexI an Reaer. Reading. MA: Addison. Westei.
Becker, H. S. (1958). " Problems of interence and proof in paticipant observation". Amercan
ScIgcaI Revew. 169. 652 - 669.
B. Geer (1957). "Participant Observation and interviewing: a comparison". OrganzaIn
16: 23-32.
Boggan, R. y Taylor, S. (1975). /nIrucIn I QuaIIaIve Researcn MeIns. New York:
John Wiley.
Boring, E. G. (1969). "Perspective: Artifact and Control". En Rosenthal, R. y Rofnon, R.
L. (eds.) ArI/acI n BenaxnaI Researcn. Aueva YrR. Acaemc Fress. (1954). "The
nature and history of experimental control". Amercan JurnaI / SycnIgy, 67:573-589.
Boruch, R. F. (1975). " On common contations about randomized experiments for evaluating
social programs." En R. F. Boruch y H. W. Riecken (eds.) ExpermenIaI TesIng / FuIc
FIcy. BuIer esIvew.
Brickell, H. M. (1976). "Neaded: instruments as good as our eyes". JurnaI / CurrcuIum
EvaIuaIn. 2: 56-66.
Britan, G. M. (1978). "Experimental and contextual models of program evaluations".
EvaIuaIn an Frgram FIannng. 1: 229-234.
Campbell, D. T. (1974). "Cualitative Hnowing in research ". Kurt Lewin Adward. Ares,
SceIy /r Ine SycIgcaI SIuy / ScaI /ssues. Reunion de la American Sycological:
Association, Nueva Orleans, Septiembre 1, Journal of Social lssues.
(1970). "Considering the case againts experimental evaluations of social innovations ".
AmnsIraIns Scence QuarIerIy. 15: 110-113.
%
LECTURAS COMPLEMENTARIAS
(1969). "Artifact and control", en R. Rosenthaly R. L. Rosnow (eds.) Artifactin Sehayioral
Research. Nueva York: Academic Press.
J. C. Stanley (1966). "Experimental and Quasi-Experimental Dessing for Research.
Chicago. Rand McNally.
Charman, L. J. (1967). "lllusory correlation in observational report Journal of Verbal Learning
and Verbal Schawier, 6: 151-155.
J. P. Chapman (1967). "Genesis of popular but erroneous sychodiagnostic observations".
JurnaI / AnrmaI sycnIgy. 72: 193-204.
Cook, T. D. y Campbell, D. T. (1979). Quas-ExpermenIaIn. Desng an AnaIyss /ssues
/r FeI SeIIngs. Chicago: Read McNally.
Cook, T. D. y Cook, F. L. (1977). "Comprehensive evaluation research and its dependence
on both humanistic and empiricist perspectives." En R. S. French (eds.) HumansIs an
FIcy SIues. reIevance RevsIe. CurrcuIum DeveIpmenI n Ine HumanIes. nm. 3,
Washington, D.C.:George Washington, D.C.: George Washington University, Divisin of
Experimental Programs.
Cronbach, L. J. (1978). "Desingning educational evaluations". Stanford: Stanford
University.
Davis, F. (1961). "Comment on logical lnitial interaction of newcomers in Arcoholics
Adonymous". ScaI FrIems. 8: 354-365.
Denzin, N. (1970). Tne Researcn ArI. Chicago: Aldine.
Eisner, F. W. (1977). "Critique". AnIrpIgy an EucaIn QuerIeIy. 8: 71-72.
Erickson, F. (1977). "Some Approaches to inquiry school-comunity ethnography".
AnIrpIgy an EucaIn QuarIeIy. 8: 58-69.
Fienberg, S. E. (1977). "The collection and analisys of ethnographic data in Educational
Research. AnIrpIgy an EucaIn QuarIerIy. 8: 50-57.
%
LECTURAS COMPLEMENTARIAS
Filstead, W. J. (ed.) (1970). QuaIIaIve MeInIgy. Chicago: markham.
Garner, W. R. Hake, H. W. y Ericksen, C. W. (1958). "Operationism and the concept of
percation". SycnIgcaI Revew. 63: 140-179.
Glaser, B. y Strauss, A. L. (1967). "The Discovery of Grounded theory Chicago: Aldine.
(1965). "Discovery of substantive theory: a basic strateny inderying qualitative research".
Amercan BanavraI ScenIsI. 8: 5-12.
Guba, E. G. (1978). Twar a MeInIgy / AaIuraIsIc nqury n eucaInaI EvaIuaIn.
Los Angeles: Universidad de California. Los Angeles, Center for the Study of Evaluation.
Kelman, H. C. (1972). "The rigths of the subject in social research,and analysis in terms
of relative power and legitimacy". Amercan SycnIgsI, 27: 969-1016.
Kuhn, T. S. (1970). Tne SIrucIura / ScenI/c RevIuIns. Chicago:University of Chicago
Press.
(1962). Tne SIrucIure / ScenI/c RevIuIns. Chicago: University of Chicago Press.
Light, R. (1979). "lntegrating multiplie empirical studies". Presentado en el Congreso
Anual de la American Education Research Association, San Francisco.
Lofrand, J. (1961). "Reply to Davis Comment on 'initial interaction'". Social Problems, 8:
365-367.
Lejeune, R. A. (1960). "lnitial interaction of newcomers in Alcoholics Anonymous: a field
experiment in class symbols and socialization". ScaI FrIems. 8: 102-11.
MaCall, G. J. (1969). "The Problems of lndicators in Participant observation research".
En G. J. McCall y J. L.. Simmons (eds.) /ssues n FarIcpanI OservaIn. A TexI an
Reaer, Reang MA. Asn esIey.
Nisbett, R. E. y Wilson, T. D. (1977). "Tolling more than we can know: verbal recorts on
mental processes". FsycnIgcaI Revew. 84: 231-259.
%
LECTURAS COMPLEMENTARIAS
Overholt, G. E. y Stallings, W. M. (1979). "Ethnography in evaluation: dangers of
methodological transplant". Presentado al congreso anual de la American Educational
Reserch Association, San Francisco.
Parlett, M. y D. Hamilton (1976). "Evaluation as ilumination: a new approach to the study
of innovatory programs". En G. V. Glass (ed.) Evaluation Studies: Review, anual, vol. 1
Beverly Hills: Sage.
Patton, M. C. (1978). Utilization-Focuset Evaluation, Beverly Hills. Sage.
(1975). Alternative Evaluation Research Paradigm. Grand Forks: University of North Dakota
Press.
%!
LECTURAS COMPLEMENTARIAS
Lectura complementaria N 5
Diseos de evaluacin
Tomada de: Briones, Guillermo. Evaluacin de programas sociales.
Mxico, Editorial Trillas, 1991.
Al presentar los modelos de evaluacin sealamos que servan al investigador como guas
para realizar su trabajo, en cuanto a indicarles los distintos componentes o aspectos del
programa de los cuales sera apropiado obtener informacin y luego proceder a su anlisis.
Si bien en un plano general tales esquemas o sus combinaciones pueden cumplir esa
primera funcin, la evaluacin de un programa concreto exige mayores especificaciones
y precisiones, pues ahora se trata de cumplir con el requisito bsico de proporcionar
conocimientos que sean directamente pertinentes a la toma de decisiones que puedan
mejorar la marcha y los resultados del programa en cuestin. Justamente llamamos
diseo de evaluacin al plan elaborado para adecuarse a esas exigencias; es decir, al
plan que define las diversas estrategias y procedimientos para llevar a cabo la evaluacin
del programa.
Tpicamente, el diseo de evaluacin incluye los siguientes componentes:
1. Antecedentes y descripcin del programa.
2. Objetivos generales y especficos del mismo.
3. Finalidades de la evaluacin.
4. Objetivos de evaluacin.
5. Diseo metodolgico.
6. Informes.
%"
LECTURAS COMPLEMENTARIAS
Puesto que los puntos 1 y 2 de este diseo se limitan a reproducir las caractersticas
principales del programa, y el tema de finalidades de la evaluacin fue suficientemente
tratado en el primer captulo, esta exposicin se referir a los otros componentes del
diseo.
OBJETIVOS DE EVALUACIN
De manera general podemos decir que los objetivos de evaluacin son los conocimientos
o informaciones relativas a los objetos, instancias o caractersticas del programa que se
requiere recoger y analizar de acuerdo con las finalidades que sirven de justificacin al
estudio evaluativo. Lo cierto es que no siempre esas necesidades de informacin son
presentadas con claridad por el personal directivo o por el personal que ejecuta el programa
en el terreno. Por ejemplo, se puede pedir que la evaluacin determine si el programa
funciona bien o mal, objetivo de conocimiento que puede tener varios significados, como:
si se estn produciendo los resultados buscados; si el personal tcnico cumple
adecuadamente sus funciones; si existe desperdicio de recursos; si la poblacin beneficiaria
est satisfecha con la atencin o servicios que el programa les presta, etctera.
En el problema reseado ms arriba puede suceder lo que Hyman sealaba aos atrs,
a propsito de investigaciones encargadas por un cliente o una cierta agencia (situacin
equivalente, en nuestra exposicin, a una evaluacin realizada por un investigador externo).
Al referirse al trabajo de otros dos autores, el metodlogo citado afirmaba:
Notan, por ejemplo, que el cliente a menudo no formula su problema en trminos que
puedan ser introducidos en un diseo de investigacin y, consecuentemente, debe
haber una clarificacin de la formulacin inicial. Tambin hacen notar que el cliente
puede, con frecuencia, formular su problema de manera que no es ni siquiera apropiada
para sus propias necesidades de accin (Survey design and analysis, The Free Press,
Glencoe, III., pgs. 44 a 45).
Una dificultad adicional en la formulacin de los objetivos de evaluacin que, reiteremos,
son objetivos de conocimientos y, por tanto, en relacin con los cuales se recoger y
analizar la informacin, consiste que tanto estos como los propsitos que estn detrs
de ellos varan en uno mismo segn el nivel o las funciones que desempean personas
%#
LECTURAS COMPLEMENTARIAS
ubicadas en diferentes niveles de la estructura del programa. As, las necesidades de
informacin sern distintas para l o los administradores del programa, encargados de la
poltica general que se relaciona con la ampliacin, la reduccin o la modificacin del
programa, que para los ejecutores directos de ste, quienes podrn estar interesados en
saber qu opinan los beneficiarios de la metodologa empleada, del uso de los recursos
instrumentales, etctera.
OBJETIVOS DESCRIPTIVOS
Cuando la evaluacin es de tipo descriptivo los objetivos de evaluacin se derivan
directamente de los objetivos del programa y de los otros componentes que se han
considerado focos u objetos de evaluacin. En este caso, los objetivos suelen redactarse
de la manera que se detalla a continuacin:
Los objetivos de la evaluacin son los siguientes (en este caso se refieren directamente
a los objetivos del programa):
1. Evaluar el efecto sobre los beneficiarios de las inversiones en trminos de aumento de
la productividad, ingreso incremental y distribuciones intraaldeanas del ingreso,
organizacin social de las aldeas en materia de actividades productivas y de
comercializacin, efectos de empleo y perspectivas de crecimiento autnomo de largo
plazo.
2. Analizar la participacin popular y las cuestiones de gestin y ejecucin del PIDER
en los planos de la explotacin, el ejido y la microrregin, comparando las previsiones
con las realizaciones (Michael M. Cernea. Lo cuantificacin de los efectos de los
proyectos: la vigilancia y la evaluacin en el Proyecto de Desarrollo Rural PIDER.
Mxico, Banco Mundial, Documento de Trabajo nm. 332, Washington, 1979; pgs.
64 a 65).
En este caso, los objetivos del programa eran, respectivamente:
1. Elevar los ingresos y niveles de vida del sector rural mediante la introduccin de
actividades directamente productivas, y
%$
LECTURAS COMPLEMENTARIAS
2. Lograr la participacin de los beneficiarios en el proceso de planificacin de esas
actividades.
Otro ejemplo es el siguiente:
La evaluacin se propone medir los
siguientes componentes y caractersticas del programa
(se nombran los objetos y variables de evaluacin):
Funcionamiento administrativo: cumplimiento de funciones, calificacin del personal,
etctera.
Resultados: niveles de logro de los objetivos, calidad, distribucin entre tos usuarios,
etctera.
El trmino evaluar que se utiliza en la formulacin de estos objetivos de evaluacin directos
significa: 1. realizar descripciones cualitativas; o 2. mediciones de los logros alcanzados
(por el efecto sobre los beneficiarios, del nivel de participacin popular, etc., en el
ejemplo dado) as como, en algunos casos, descripcin de la calidad y distribucin
diferencial de esos logros, y 3. comparacin de tales logros cuantitativos y cualitativos
con alguna norma o meta, criterio deseado, con el fin de pronunciarse respecto del xito
o fracaso del programa.
En evaluaciones que utilizan diseos experimentales o cuasiexperimentales, los objetivos
de evaluacin se redactan frecuentemente en forma de hiptesis: Los nios sujetos al
programa de estimulacin temprana mostrarn ganancias significativas en su desarrollo
integral en comparacin con los logros obtenidos por los nios de los grupos de control.
Cuando se definen los objetivos de evaluacin en algunas de las formas que hemos presentado,
lo conveniente sera establecer por anticipado las normas de evaluacin o criterios de xito o
fracaso del programa. As se hizo, por ejemplo, en la evaluacin del programa de estimulacin
con base en la familia. Al referirse a los resultados esperados se dice: Los nios expuestos
al programa mostrarn un porcentaje de logro ptimo del 70% en los curriculares en las tres
reas de desarrollo. Respecto del trabajo de los ejecutores directos del programa se agrega:
Las animadoras tendrn un desempeo del 70% de logro en el trabajo metodolgico que
realizan con las familias.
%%
LECTURAS COMPLEMENTARIAS
En suma, para seguir con el ejemplo, en la misma evaluacin se propuso una escala
valorativa porcentual para interpretacin de porcentajes referidos a las caractersticas del
personal ejecutor, manejo de instrumentos, etc., con la estructura que se muestra en la
tabla 5.1.
Tabla 5.1. Escala valorativa porcentual para la interpretacin de porcentajes.
Valor Intervalo
Alto 70 a 100%
Mediano 50 a 69%
Bajo 30 a 49%
Muy bajo 0 a 29%
Fuente: Mara Alcntara y Cipriano Olivera. Evaluacin formativa del programa de estimulacin temprana
can base en la familia. Lima: Inide, 1983, pg. 31.
OBJETIVOS EXPLICATIVOS
La formulacin de objetivos de evaluacin tiende a complicarse cuando la evaluacin
no se refiere directamente a los objetivos o a los componentes del programa, sino a
factores que expliquen los niveles o calidades de logro de los resultados finales o de
aspectos instrumentales (funcionamiento, metodologa, etc.). Esto obliga, en primer
lugar, a pensar en la incidencia de diversas otras variables del programa en tales
resultados y, por lo mismo, a formular a continuacin hiptesis que conecten esas
caractersticas con la situacin que se desea explicar. As, si el objetivo de evaluacin
fuera evaluar la eficiencia interna del programa y establecer los factores que inciden
positiva o negativamente en ella, supuesto el caso que nos hemos puesto de acuerdo
con el concepto de eficiencia interna, deberamos luego buscar factores o variables
que podran estar vinculados en la eficiencia, para formular algunas hiptesis
pertinentes. De ms est decir que en tal bsqueda se manifiesta la formacin,
experiencia e imaginacin del evaluador.
%&
LECTURAS COMPLEMENTARIAS
Algunos ejemplos ayudarn a clarificar la situacin que se presenta en la determinacin
de evaluacin y la bsqueda de factores explicativos:
Cabe preguntarse si un mal desarrollo del programa tiene por causa ciertas deficiencias
en la organizacin de los cursos a dificultades originadas en el propio programa... ser
interesante investigar, por ejemplo, si ciertas decisiones como la eleccin del lugar y del
horario de los cursos, ciertas caractersticas del grupo (sexo, edad, nivel de calificacin),
ciertos detalles de la organizacin material (ayudas recibidas), ciertas caractersticas de
los instructores (sexo, edad, homogeneidad socioprofesional) y, finalmente, ciertos
aspectos de los gastos (material, mantenimiento, costo medio del grupo) tienen efectos
positivos o negativos, estadsticamente comprobados, sobre el desarrollo de los cursos
(Roger Couvert. La evaluacin de programas de alfabetizacin. Pars: UNESCO, 1979,
pg. 118).
Con el objeto de orientar adecuadamente la evaluacin de la eficiencia actual de las
Escuelas Radiofnicas, que es el segundo objetivo general, se disearon los siguientes
particulares (cada uno implica hiptesis sobre factores que inciden sobre las caractersticas
por evaluar):
a) Fundamentar posibles recomendaciones sobre la seleccin y capacitacin de los
maestros auxiliares.
b) Fundamentar posibles sugerencias sobre la seleccin y capacitacin del personal
empleado en la transmisin.
c) Fundamentar posibles sugerencias sobre la supervisin de las Escuelas
Radiofnicas.
d) Fundamentar posibles sugerencias acerca de los alicientes que deben usarse
para lograr una mayor asiduidad escolar.
e) Fundamentar posibles sugerencias sobre el contenido de las transmisiones.
f ) Fundamentar posibles sugerencias sobre el uso de ayudas didcticas.
%'
LECTURAS COMPLEMENTARIAS
g) Fundamentar posibles sugerencias por la accin pedaggica del maestro auxiliar.
(Sylvia Schmelkes. Investigaciones sobre las escuelas radiofnicas de la
Tarahumara. Revista del Centro de Estudios Educativos. Mxico, vol. 1, nm. 3,
pg. 128).
Como es fcil observar en los ejemplos anteriores, los objetivos de evaluacin contienen
relaciones de determinacin entre la variable de evaluacin (el desarrollo del currculo, en
el primer caso y la eficiencia interna del programa, en el segundo) y caractersticas
correspondientes a otros objetos o componentes del programa (poblacin-objeto, insumos,
grupo tcnico, etctera).
En algunas evaluaciones explicativas, los objetivos de evaluacin contienen uno o ms
modelos que pretenden mostrar las diversas interconexiones causales de los factores
que se relacionan con los resultados que se desea explicar (resultados de funcionamiento,
de objetivos, etc.). Tales modelos, tratados mediante la tcnica del anlisis de senderos
(path analysis) permiten establecer las contribuciones diferenciales de las variables
consideradas en distintas instancias del programa. Un modelo de este tipo se utiliz en
la evaluacin de las funciones del Servicio Nacional de Aprendizaje, SENA, en la cual el
salario de una persona que tom cursos en la institucin se consider determinado por
tales cursos, su escolaridad, experiencia previa, etc. (Sena, Sistema de planeacin de
recursos humanos. Bogot: Sena, 1981, pg. 182) (vase la fig. 5.1).
En suma: la formulacin de objetivos en evaluaciones explicativas asume formas como
las que se detallan a continuacin:
1. La evaluacin se propone determinar los factores que facilitan (o dificultan):
a) El logro de los objetivos, en cuanto a su nivel y calidad.
b) El funcionamiento del programa.
c) La aplicacin de su metodologa, etctera.
&
LECTURAS COMPLEMENTARIAS
Figura 5.1 Modelo causal para explicar los ingresos laborales.
2. La evaluacin se propone determinar... (al igual que en la primera forma). Por ello
se considerarn las siguientes variables correspondientes a los insumos, procesos,
grupo tcnico y poblacin de usuarios (aqu se incluira una lista de esas variables).
3. La evaluacin se propone someter a contrastacin emprica el siguiente modelo
causal (aqu se dara un modelo de relaciones entre variables dependientes e
independientes como el que se muestra en la fig. 5.1).
Cuando en las formulaciones anteriores se mencionan factores que facilitan o dificultan
tales o cuales resultados o la marcha del programa, debe entenderse que dichos factores
pueden corresponder a indicadores objetivos o subjetivos (por ejemplo, en este ltimo
caso, opiniones de los usuarios, actitudes del grupo tcnico, etctera).
Un ejemplo de objetivos de evaluacin
La transcripcin textual que presentamos a continuacin es un buen ejemplo de objetivos
de evaluacin que cubren focos como los objetivos mismos del programa, funcionamiento,
usuarios, metodologa y recursos instrumentales:
&
LECTURAS COMPLEMENTARIAS
1. Se analizar de qu manera y hasta qu punto se han logrado cada uno de los
objetivos especficos del proyecto tal como ellos han sido planteados en la
formulacin original del mismo. Es decir, los siete aspectos all enumerados
referentes al objetivo de masificar la creacin de talleres de aprendizaje, as como
el objetivo de efectuar un seguimiento analtico del proceso de difusin.
2. Se pondr nfasis en el anlisis de las diferentes modalidades de funcionamiento
que han sido desarrolladas frente a diferentes sectores, centrando el anlisis en el
tipo de gestin que se lleva a cabo localmente.
3. En el anlisis tambin ser destacado hasta qu punto y de qu forma los
pobladores estn asumiendo la responsabilidad por la puesta en marcha y ejecucin
de los talleres, y cul es el aporte a este proceso de la capacitacin respectiva
ofrecido por el proyecto.
4. Sabiendo que la estrategia establecida en los diferentes talleres est variando de
acuerdo con la participacin de diferentes sectores con caractersticas propias, se
analizar qu efectos tienen en los nios estas modalidades de atencin.
5. Hasta qu punto estas diferentes modalidades establecidas en la presente etapa
del proyecto conducen a ajustes o mejoramientos en el modelo (o producto)
desarrollado en la etapa anterior y descrito en el informe de la primera evaluacin?
6. Se analizarn calidad y utilidad de los materiales pedaggicos producidos.
7. Se estudiarn la utilidad y eficiencia de la estructura organizativa, la administracin
y el manejo financiero del proyecto*.
DISEO METODOLGICO
El diseo metodolgico de la evaluacin es similar al diseo correspondiente de la
investigacin social y consiste en la estrategia para reunir, procesar y analizar la informacin
* FLACSO. Informe de evaluacin del Proyecto Difusin del Proyecto Difusin y Estrategias de Transferencia
de los Talleres de Aprendizaje a Comunidades Populares. ejecutado por PIlE. Autores: Jan Ooigens y Jorge
Chateau, con colaboracin del profesor Jorge Tagle. Trminos de referencia ms especficos, noviembre de
1984, pgs. 4 a 5.
&
LECTURAS COMPLEMENTARIAS
que se requiere para satisfacer los objetivos de evaluacin. De esta manera, en un nivel
general, el diseo consiste en los procedimientos que se utilizarn para resolver las
siguientes tareas:
1. Determinacin de la efectividad del programa.
2. Universo de estudio.
3. Unidades de anlisis.
4. Diseo muestral.
5. Instrumentos para la recoleccin de informaciones.
6. Indicadores y medicin de variables.
7. Trabajo de campo.
8. Tcnicas de anlisis.
Tanto en esta seccin como en los captulos finales desarrollaremos los aspectos
principales de estas tareas del diseo metodolgico.
Determinacin de efectividad
As como por definicin el objetivo bsico de todo programa de accin es producir alguna
modificacin o cambio en una cierta poblacin, la tarea principal de la investigacin
evaluativa consiste, paralelamente, en establecer s en los hechos el programa, mediante
la metodologa empleada se alcanzan o no el o los objetivos propuestos. Se trata, como
se advierte, de verificar la efectividad del programa.
Ahora bien, puede suceder que tal efectividad haya sido comprobada en la validacin del
programa. En este caso, la tarea del evaluador consiste en examinar crticamente la
validacin realizada, con especial atencin a la validez ecolgica del programa experimental.
Sin perjuicio de ello, la evaluacin de tipo intermedio o terminal deber encontrar pruebas
de la efectividad de las acciones que se realizan en el programa. Si no ha habido tal
&!
LECTURAS COMPLEMENTARIAS
validacin, la tarea se presenta con mayor exigencia. La pregunta es: cmo procede la
investigacin evaluativa cuando el programa ya se encuentra funcionando? La respuesta
puede encontrarse en alguno de los tipos de diseo de validacin que presentamos antes
(experimentales y cuasiexperimentales) o en otros procedimientos distintos, pero que
cumplen con la misma finalidad.
Uso del diseo experimental clsico
Es posible emplear el diseo experimental clsico cuando existen poblaciones semejantes
a la poblacin en la cual se aplica el programa, de tal modo que, mediante inferencia, el
evaluador pueda pronunciarse acerca de la efectividad de ste. En el ejemplo que utilizamos,
el programa se realiza en un cierto nmero de escuelas, pero como no todas las de una
regin o pas participan en el mismo, es posible seleccionar otras que no lo hacen y
utilizarlas como grupos experimentales y de control.
Un ejemplo de aplicacin
El ejemplo est constituido por la evaluacin del programa denominado Crculo Mgico,
realizado por Joel M. Moskowitz y otros investigadores entre 1978 y 1979 (Process and
outcome evaluation in primary prevention: The Magic Circle Program. Evaluation Review.
vol. 6, nm. 2, dic. de 1982, pgs. 775 a 778).
El Crculo Mgico es el nombre popular del Programa de Desarrollo Humano de California,
cuyo objetivo principal es influir en el desarrollo social y emocional de estudiantes del
nivel elemental. La estrategia consiste en la constitucin de pequeos grupos de discusin
en el saln de clases. En una sesin, que dura de 15 a 30 minutos, el profesor gua a un
grupo de 5 a 12 estudiantes en la discusin de un tema particular. Y emplea mtodos que
estimulan la expresin de ideas y sentimientos por parte de los estudiantes. La participacin
es siempre voluntaria y no se permiten la confrontacin ni el debate. El elemento clave
del Crculo es que cada alumno tenga una oportunidad de contribuir, aun cuando l o ella
prefiera permanecer en silencio; por otro lado, cada participante es escuchado atentamente
por los otros miembros del Crculo.
Para l a eval uaci n fueron procesadas 13 escuel as el emental es pbl i cas,
predominantemente de clase media, del norte de Carolina, sobre la base de las
&"
LECTURAS COMPLEMENTARIAS
caractersticas de sus estudiantes, profesores, etc. Una por una, las escuelas fueron
asignadas al azar a la condicin experimental y a la condicin de control. En definitiva, el
grupo experimental estuvo formado por 102 nios y 115 nias y el control, por 131 nios
y 119 nias, todos ellos del tercer grado.
A fin de evaluar la puesta en marcha de la estrategia del Crculo Mgico se utilizaron
diversos mtodos: 1. informes detallados de la sesiones de entrenamiento de los profesores,
preparados por un observador; 2. control de asistencia de los profesores a las sesiones
de entrenamiento; 3. encuestas a los profesores despus de las sesiones de
entrenamiento para obtener retroinformacin acerca de las sesiones; 4. entrevistas
individuales con profesores y directores seleccionados para obtener informacin ms
detallada sobre reacciones al entrenamiento; 5. cuestionarios a los profesores despus
del entrenamiento y nuevamente al final del ao escolar, a fin de vigilar la marcha de la
estrategia y evaluar la adecuacin del entrenamiento; 6. observaciones de clase por parte
de profesor especialmente entrenado, mientras los maestros conducan las discusiones
con sus alumnos; 7. informes semanales de los profesores acerca de la frecuencia con la
cual realizaban sesiones de Crculo en sus salas de clase; y 8. entrevistas con profesores
seleccionados del grupo de control con el fin de identificar cualquier difusin del
entrenamiento en la estrategia del programa.
La situacin de los estudiantes en los grupos experimental y de control, en las variables
que haban de evaluarse, fueron medidas antes y despus de iniciarse el programa, mediante
escalas de autoobservacin referidas a relaciones con sus compaeros, sus profesores
y sus escuelas. En la prueba despus se midieron tambin la creencia en el autocontrol,
la responsabilidad en los procesos escolares y la autoestima.
El anlisis de los datos revel que el Crculo Mgico constituy una experiencia positiva
para los profesores experimentales. Les agrad el entrenamiento y realizar las sesiones
de discusin con sus estudiantes. Comparados con los profesores de control, los
experimentales mostraron mayor incremento en su satisfaccin personal al impartir la
enseanza.
En lo que toca a los estudiantes, hubo poca evidencia de los efectos que se supona
deba producir el Crculo Mgico. No se encontraron efectos en las nias y en los nios
se constat slo uno de los efectos previstos. Comparados con los de control, los nios
&#
LECTURAS COMPLEMENTARIAS
del grupo experimental tenan mayor autoestima social despus de participar en el Crculo
Mgico. Este efecto aislado no se mostr relacionado con el nmero de sesiones de
discusin en las cuales participaron los nios experimentales. En el hecho, ninguno de
los resultados de los nios tuvo relacin con su exposicin al Crculo Mgico.
En vista de los resultados obtenidos por su estudio y por otros realizados con anterioridad,
los investigadores sugieren dos posibles conclusiones: o el efecto del Crculo Mgico en
los estudiantes es idiosincrtico o bien es espurio.
Problemas para la aplicacin de diseos experimentales
Al tratar de la validacin de programas demostrativos pudimos apreciar las bondades de
algunos diseos experimentales y cuasiexperimentales en lo que se refiere al control de
diversos factores que pueden reducir o anular su validez interna. Sin embargo, la posibilidad
de su uso queda bastante limitada debido a diversos problemas que se presentan para su
aplicacin a situaciones concretas. Entre ellos podemos destacar los siguientes:
1. Con mucha frecuencia, la evaluacin de un programa se inicia cuando ste ya se
ha comenzado. No hay posibilidad, por lo tanto, de constituir grupos experimentales
y de control por asignacin al azar, como tampoco de hacer mediciones antes.
2. En aquellos casos en que la formacin de tales grupos es posible (recurdese el
ejemplo del Crculo Mgico), no siempre resulta fcil controlar la contaminacin
entre las personas del grupo experimental y las del grupo de control (comentan los
procedimientos utilizados, los objetivos que perciben del programa, etctera).
3. En el caso de poder aplicar algn diseo experimental tambin es difcil mantener
constante el nmero de participantes y la relativa igualdad de los grupos.
4. Existe un problema tico al seleccionar slo algunas personas para formar el
grupo experimental, especialmente cuando las actividades del programa significan
algn beneficio para la poblacin: por qu proporcionar servicio a esas personas
y no a las otras?
Por stas y otras razones, la determinacin de la efectividad de un programa en marcha
debe hacerse por diseos que en general reciben el nombre de no-experimentales (si
&$
LECTURAS COMPLEMENTARIAS
bien en circunstancias especiales es posible utilizar algunos tipos cuasiexperimentales
como los que vimos anteriormente).
Diseo con medicin slo despus con grupo de comparacin
Este diseo trabaja con dos grupos: uno formado por la poblacin objeto y otro constituido
por un grupo externo de comparacin. Ello con el fin de lograr un cierto nivel de control de
la validez interna. Se supone, desde luego, que las personas a las cuales se aplica el
programa mostrarn resultados diferentes en las caractersticas o variables de evaluacin,
que los integrantes del otro grupo. La tarea principal en este diseo es lograr un grupo de
comparacin lo ms semejante posible a la poblacin del programa.
La situacin despus puede ser lograda mediante procedimientos de descripcin (como
la observacin, entrevistas, observacin participante, etc.), o bien mediante el uso de
algn recurso para la medicin de variables, segn sean las necesidades de informacin
o los criterios bsicos del modelo de evaluacin.
La utilizacin de un grupo de control permite al investigador controlar, en cierta medida,
algunos factores de invalidacin, como la historia y, en menor medida, la maduracin.
Sin embargo, como no se puede afirmar que los dos grupos sean equivalentes en cuanto
no han sido formados al azar, puede estar presente el factor de seleccin, con lo que
tampoco se puede tener la certeza de si un grupo era diferente del otro en la variable
dependiente antes de aplicar el programa, debido a lo cual se dificulta establecer el
verdadero valor de la medicin despus.
Un ejemplo de aplicacin
El ejemplo est dado por la evaluacin del Programa de Perfeccionamiento para Profesores
en Servicio -PPS- en la asignatura de ciencias naturales de la enseanza bsica. PPS
fue una iniciativa del Centro de Perfeccionamiento, Experimentacin e Investigaciones
Pedaggicas dependiente del Ministerio de Educacin de Chile, con el objetivo como su
nombre lo indica de perfeccionar de forma masiva a profesores de ciencias naturales,
sin que abandonaran sus lugares de trabajo. En 1971, el PPS contaba con 1.200 profesores
que atendan 20.000 alumnos de 5 a 8 grado de la enseanza bsica.
&%
LECTURAS COMPLEMENTARIAS
La metodologa del PPS es un tipo especial de enseanza por correspondencia y de
enseanza programada. Todos los profesores inscritos en el programa reciban los
siguientes materiales, preparados en el Centro por el personal encargado del mismo:
1. Material de autoinstruccin. Contiene los aspectos tericos de cada uno de los
procesos cientficos que han de desarrollarse en el aula, de acuerdo con el programa
de su curso o nivel (observar, medir, etctera).
2. Comentarios acerca de los niveles del proceso. Desarrollan y discuten los distintos
niveles jerrquicos dentro de cada uno de los procesos, como tambin las
sugerencias para evaluar a los alumnos en estos aspectos.
3. Actividades previas al desarrollo del programa. Comprenden una serie de actividades
especficas que el profesor debe realizar antes de plantear una situacin nueva de
aprendizaje a sus alumnos, con el objeto de conocer y anticipar problemas que
puedan plantearse.
4. Guiones metodolgicos. Plantean sugerencias para organizar el trabajo en el aula
en situaciones particulares. Se analizan objetivos, materiales necesarios y
secuencias en las actividades de los alumnos.
5. Material de evaluacin. Contiene diversos materiales que permiten ponderar aspectos
cuantitativos del trabajo del profesor, en particular con el material de autoinstruccin.
Tales evaluaciones eran remitidas por cada profesor al equipo PPS de Santiago
con el fin de realizar su anlisis.
Adems de estos materiales y otros adicionales, los profesores en servicio reciban visitas
peridicas del equipo de Santiago con el fin de resolver en el terreno las dificultades y
dudas que pudieran haberse presentado.
&&
LECTURAS COMPLEMENTARIAS
La evaluacin tuvo como objetivo central medir los resultados logrados en los procesos
de observar, medir, comunicar y clasificar tanto en el nivel de los profesores como de los
estudiantes que en 1971 cursaron 5. ao bsico. El estudio se llev a cabo durante el
mes de mayo de 1972.
Puesto que el programa al comenzar no tom mediciones de entrada y no form un grupo
de control al azar, se eligi un diseo no experimental con slo mediciones despus y
un grupo de comparacin no equivalente constituido por profesores que se inscribieron en
el PPS, pero que lo abandonaron antes de tener alguna participacin en l. El grupo
experimental final qued constituido por 52 profesores, y el grupo de composicin, por
28. Ambos grupos presentaron caractersticas demogrficas profesionales muy similares.
La evaluacin de los procesos de observar, medir, comunicar y clasificar: como lo que se
quera someter a medicin era el efecto del PPS en la conducta de los profesores y no
sus conocimientos y actitudes, los ejercicios para ese objetivo consistieron en realizarlos
efectivamente, para lo cual se proporcion a cada profesor los elementos necesarios (un
globo, una balanza, una regla, etc.). El instrumento tena 100 puntos con tems como los
siguientes:. mida el ancho de esta pgina y anote e resultado, indicando de alguna
forma la incerteza de su medicin (10 puntos).
A los alumnos de los profesores de los grupos experimentales y de control se les aplic
una prueba semejante con el fin de evaluar la posible transferencia del perfeccionamiento
docente. Tambin se aplic un cuestionario a los profesores respecto de su satisfaccin en
el trabajo, contenidos de los programas de ciencias naturales, opiniones acerca del PPS,
etc. Los alumnos, por su parte, respondieron a un cuestionario sobre las ciencias naturales.
Los principales resultados de la evaluacin fueron los siguientes:
1. El PPS eleva las habilidades cientficas de los profesores en los procedimientos
de observar, medir y clasificar, pero no en el de comunicar.
2. Los profesores PPS alcanzan un promedio global superior cuando los resultados
obtenidos en la prueba se evalan mediante una norma deseada.
3. La evaluacin del PPS respecto de una norma muestra que los logros totales en
los cuatro procesos cientficos quedan bajo esa forma: promedio de 49 puntos
&'
LECTURAS COMPLEMENTARIAS
contra un valor esperado de 58 a 60 puntos (la norma fue propuesta por el equipo
PPS).
4. Los alumnos con profesores PPS logran, en promedio, mayores puntuaciones en
los procesos de comunicar y clasificar, pero no en los de observar y medir.
5. El rendimiento global de los alumnos PPS es ms bien bajo: 37 puntos de promedio
en una prueba de 100 puntos. (Guillermo Briones. Metodologa de la investigacin
evaluativa. Bogot: Universidad Pedaggica Nacional, 1975, pgs. 53 a 102).
Diseo con mediciones antes y despus
Este diseo no experimental trabaja con un solo grupo el formado por la poblacin del
programa y, por lo tanto, sin grupo de control. La medicin antes puede ser una
descripcin (observacin) o una medicin de entrada de las caractersticas del programa
que se desean modificar para realizar posteriormente una descripcin o medicin
despus, con el fin de comparar ambas situaciones y apreciar el monto de los logros,
su calidad y la distribucin en subgrupos de la poblacin objeto.
Segn el tipo de caractersticas, la situacin antes puede lograrse con fuentes
secundarias (estadsticas, documentos, etc.) o mediante preguntas retrospectivas a los
usuarios del programa, del tipo qu haca usted antes que comenzara este programa
de salud, cuando sus hijos estaban enfermos?.
Como justificacin del uso de este diseo y del siguiente debe tenerse presente que
cuando un programa acta en un contexto o poblacin en la cual no se aplican programas
similares (presenciales o a distancia), los resultados obtenidos, definidos en los objetivos,
pueden atribuirse, con mayores o menores niveles de confianza, a las acciones del
programa. A este punto se refiere Riecken cuando afirma:
Se puede argumentar que all donde el programa es suficientemente extensivo y la direccin
de su influencia es claramente diferenciada de otras fuerzas concurrentes no se necesita
de un grupo de control para demostrar su efectividad (Henry W. Riecken, Memorandum:
Program evaluation, en Carol N. Weiss (ed.). Evaluating action programs: readings In
social action and education. Boston: Allyn and Bacon, Inc., 1972, pg. 97).
'
LECTURAS COMPLEMENTARIAS
Si no rene lo anotado antes, el investigador no puede tener la certeza de que el cambio
que haya podido mostrar la diferencia entre las mediciones antes y despus haya
sido producido efectivamente por el programa, pues el mismo podra deberse a la influencia
de otras variables extraas. Otras debilidades de este diseo, debidas a la falta de un
grupo de control, son la incapacidad de controlar la maduracin, la reactividad a los
instrumentos de medicin y la regresin estadstica. De ah que su uso, como en general
el uso de diseos no experimentales, deba acompaarse de los mayores cuidados en la
recoleccin de la informacin, en su anlisis y en la bsqueda de elementos de validacin
distintos de los que proporcionan los diseos experimentales y cuasiexperimentales.
Diseo con medicin slo despus
Como su nombre lo indica, es un diseo que, igual que el anterior, tambin no experimental,
no utiliza grupo de control, y el grupo experimental est formado por los usuarios del
programa; a diferencia de l, sin embargo, nicamente puede disponer de una sola
medicin: la medicin despus, realizada en algn momento de la marcha del programa
o justamente a su trmino. Debido a estas caractersticas, el diseo est abierto a la
mayora o a todos los factores que actan contra la validez interna, en especial a la
intervencin de factores externos al programa que pudieron producir los cambios detectados
por medicin despus, si es que realmente se produjeron, pues no se dispone de
informacin respecto de la situacin de entrada de los usuarios; o bien esos cambios se
produjeron por la seleccin sesgada de tales usuarios o por la maduracin biopsicolgica
de los mismos.
Por estas razones, la evaluacin de los resultados con este diseo debe apelar a todos
los recursos que sea posible utilizar para probar que fue el programa el que produjo los
cambios (exclusividad del programa,
caractersticas de los usuarios, etc.).
El ms usado del diseo de un solo grupo y medicin despus es la encuesta social,
ya sea de cobertura total o por muestreo. Los datos recogidos mediante esta tcnica
pueden ser cuantificados y empleados en la bsqueda de conexiones causales entre los
resultados del programa y las caractersticas de sus componentes, por medio del anlisis
de senderos (path analysis), por ejemplo. Por otro lado, la informacin que ha de recogerse
puede cualificarse y ampliarse mediante entrevistas en profundidad, preguntas abiertas,
etctera.
'
LECTURAS COMPLEMENTARIAS
La ausencia de grupos de control y de mediciones antes imposibilitan la apelacin a
las caractersticas de los diseos experimentales para asegurar la validez interna del
programa y de manera particular confiar en la efectividad de las acciones instrumentales
para producir cambios en los usuarios, de acuerdo con la intencin contenida en los
objetivos. Por ello, adems de comprobar que el programa es tpico en la zona de
aplicacin; es decir, que no existan otros programas que puedan producir los mismos
resultados del programa en evaluacin, es necesario recurrir a tcnicas de anlisis para
poder verificar los efectos de este ltimo.
Una manera de proceder es averiguar en la poblacin en referencia qu personas han
sido afectadas por otros programas con objetivos similares. Si existen estas personas,
se les trata separadamente. En los otros, luego de establecer los niveles de resultados,
se buscan relaciones con modalidades de funcionamiento propios del programa (asistencia
a reuniones, exposicin a diversos medios instrumentales, etc.), de la forma que se
muestra en los ejemplos de los cuadros 5.1 y 5.2.
Cuadro 5.1. Asistencia a reuniones del programa.
Altos
Bajos
Logros:
Alta Baja
P
1
P
2
q
1
q
2
100% 100%
'
LECTURAS COMPLEMENTARIAS
Cuadro 5.2. Exposicin a medios instrumentales (folletos, conferencias, audiciones de radio, etctera).
Si el programa ha sido efectivo, entonces, en el primer caso, P
1
> P
2
y, en el segundo,
P'
1
> P'
2
. Sobre estos y otros procedimientos de validacin y de comprobacin de la
efectividad de un programa volveremos en los captulos destinados a presentar algunas
tcnicas de anlisis.
Ejemplos de aplicacin
Ejemplificaremos el uso del anterior diseo con dos investigaciones evaluativas de especial
inters. La primera, en cuanto utiliza como unidades de anlisis conglomerados de
personas, con fuentes secundarias de informacin; la segunda, porque se refiere a un
programa de educacin a distancia de gran magnitud y en la cual es posible apreciar la
utilizacin de un diseo de evaluacin que es, en varios aspectos, similar al que estamos
exponiendo en este captulo. As se justifica, adems, la extensin de dicho ejemplo.
Evaluacin de servicios de salud mental
El estudio que sirve de ejemplo de alta elaboracin metodolgica explora el uso del
anlisis de reas sociales (conglomerados) como un medio para evaluar la repercusin
de los Centros de Salud Mental Comunitaria en Nueva York. La ley federal de 1963,
Altos
Bajos
Logros:
3 y + de 3
P
1
P
2
q
1
q
2
100% 100%
'!
LECTURAS COMPLEMENTARIAS
creadora del programa, contena varios objetivos de la profesin psiquitrica: proporcionar
opciones para atender en hospitales grandes y distantes; brindar atencin en las
comunidades de residencia con algunos recursos; dar un amplio conjunto de probabilidades
de hospitalizacin: clnicas, hospitalizacin parcial, rehabilitacin, consultas y servicios
educacionales; proporcionar continuidad en la atencin entre esos componentes, etc.
Luego se agreg una funcin de especial importancia: orientar los servicios hacia las
comunidades en lugar de centrarlos en los individuos, con la participacin de los grupos
comunitarios en las decisiones.
Algunos estudios previos haban explorado extensamente la repercusin de las
caractersticas individuales, tanto en el nmero de personas que reciban los servicios
como en los resultados obtenidos. Segn los autores de la evaluacin, era conveniente
un enfoque diferente para medir los efectos en la comunidad. Dicho enfoque signific,
entre otros aspectos, medir las relaciones entre las tasas de utilizacin por cada tipo de
servicio y un conjunto de caractersticas de las comunidades, tales como estatus
socioeconmico, condiciones de la vivienda, organizacin (desorganizacin de la familia).
En el estudio de esas relaciones se mantuvo constante la accesibilidad geogrfica a los
centros de salud.
Para efectos de evaluacin, se deriv un conjunto de hiptesis de los objetivos del
programa, de tal modo que pudieran contrastarse empricamente. Por ejemplo, cuando
las caractersticas sociales del rea se controlan, las tasas totales de utilizacin
sern diferentes en reas cubiertas por centros de salud fiscales, centros municipales
y centros voluntarios. El conjunto de hiptesis se combin en un modelo causal
(path diagram).
De acuerdo con el enfoque distintivo del diseo, la unidad de anlisis estuvo constituida
por un rea de salud. De las fichas del censo de poblacin de 1970 se tom una
muestra de 333 de tales unidades, de cada una de las cuales se extrajo la informacin
requerida para la prueba de las hiptesis (variables colectivas: mediana de los ingresos,
presupuesto de todas las clnicas localizadas en una misma rea de influencia, porcentaje
de madres en la fuerza de trabajo, promedio de escolaridad, etc.). La tcnica principal
de anlisis fue la de regresin mltiple, pero tambin se introdujeron modificaciones
para incorporar relaciones que no reunan los requisitos de ser lineales, aditivas y
continuas.
'"
LECTURAS COMPLEMENTARIAS
Los principales hallazgos de la evaluacin fueron los siguientes:
1. Las caractersticas sociales del rea parecen constituir el mayor factor causal
para las tasas de utilizacin de los servicios de salud.
2. Existe un considerable sobrecubrimiento en los efectos de las caractersticas
sociales de las reas y las facilidades de cobertura; parecen reforzarse mutuamente.
3. No se observaron efectos de prevencin en el nivel de anlisis de la comunidad;
esto es verdad para los centros de salud mental, clnicas, hospitales o el total de
servicios municipales y voluntarios.
4. Todo el sistema de servicios est estratificado por niveles de ingreso, con diferentes
conjuntos de relaciones para los grupos de ingresos bajos y medios (Richard N.
Brandon, Differencial use of mental health services: social pathology or class
victimization?, en.M. Guttentag y E. Struening, (eds.). Handboock of Evaluation
Hesearch. Beverly Hills: Sage Publication, CA., 1975, pgs. 341 a 429).
Evaluacin de un sistema no formal de educacin a distancia
El sistema en referencia est constituido por el programa de educacin no formal a
distancia,
en el nivel nacional, denominado Accin Cultural Popular, ACPO, que trabaja
en Colombia desde 1947, y se ha orientado a la poblacin rural del pas.
A travs de los aos, el objetivo central de ACPO ha sido fundamentalmente el mismo:
proporcionar educacin bsica para el desarrollo social y personal a travs de un sistema
complejo de medios masivos, apoyados por la comunicacin grupal e interpersonal. Ese
sistema incluye los siguientes componentes:
1. Radio Sutatenza. Es una radio del programa que transmite cursos de educacin
diseados para lograr la alfabetizacin bsica de los usuarios. Para los campesinos
que no pueden escucharlo con regularidad, el curso completo ha sido reproducido
en una serie de discos y est disponible junto con un tocadiscos.
Los otros cursos se centran en las siguientes reas: salud y trabajo, nmeros y
comunicaciones, y la vida en la comunidad y sus problemas. En 1979, el programa
'#
LECTURAS COMPLEMENTARIAS
de radio educativa ofreca seis horas diarias de trasmisin con cuatro cursos que,
en conjunto, desarrollan los objetivos de ACPO.
2. La escuela radiofnica no es una escuela en el sentido formal del trmino, sino un
ambiente educativo por lo general, la casa de un campesino en donde se renen
hasta diez participantes, miembros o no de una misma familia, nios y adultos. En
este ambiente se escuchan transmisiones de la radio de tal modo que en el proceso
de aprendizaje son ayudados por un auxiliar voluntario. Se utilizan adems las
cartillas, los libros de la biblioteca y el peridico.
3. Las cartillas y la Biblioteca del Campesino. Las cartillas tratan los contenidos
bsicos del programa ACPO. Esas cartillas son:
Cartilla bsica
Nuestro bienestar
Hablemos bien
Cuentas claras
Suelo productivo
Comunidad cristiana
La Biblioteca del Campesino, con ms de 50 ttulos, complementa los programas radiales
y las cartillas. Incluye temas como el cultivo de rboles frutales, piscicultura y pesca,
cra de cerdos, apicultura, ganadera, primeros auxilios, salud y nutricin, enfermedades
contagiosas, sexo y matrimonio, cuentos para nios, cmo tocar la guitarra, derechos
cvicos, etctera.
En la prctica es comn que la coleccin de libros de la biblioteca se localice en una o
ms casas de la comunidad a fin de propiciar su mejor utilizacin por parte de los
campesinos.
'$
LECTURAS COMPLEMENTARIAS
4. El peridico El Campesino. Este medio incluye el contenido normal de un peridico,
pero con nfasis en temas que sean importantes para el desarrollo rural y para los
intereses del hombre del campo.
5. La correspondencia. Son cartas que los campesinos envan a las oficinas centrales
de ACPO y en las cuales expresan sus problemas y necesidades y solicitan
ayuda. En 1978 se recibieron y fueron contestadas ms de 28.000 cartas de este
tipo.
6. Los cursos de extensin. Son cursos de corta duracin, a veces de un da,
desarrollados por un agente interpersonal de ACPO. Tratan problemas y
necesidades locales especficos (cooperativas, utilizacin correcta del crdito,
etctera).
7. Las campaas. Son estrategias para estimular y ayudar a los campesinos a hacer
aplicaciones prcticas de aquello que han aprendido. Estas campaas se anuncian
en El Campesino, se promueven en la radio Sutatenza y son manejadas localmente
por agentes interpersonales de ACPO. Entre esas campaas se cuentan las de
nutricin, vivienda, suelo y recreacin.
8. Los agentes interpersonales. Son las personas que ayudan a guiar el proceso de
aprendizaje de los participantes en los ambientes educativos no formales y en
otras actividades del programa; desempean un papel fundamental dentro del
sistema ACPO.
9. Los profesores como agentes educativos. Los profesores que trabajan en el centro
de ACPO son los encargados de planear, desarrollar y producir los programas
educativos, con sus respectivas metodologas. Escriben tambin artculos para el
peridico El Campesino y preparan instrumentos para evaluar los progresos de los
estudiantes de las escuelas radiofnicas.
10. Agentes educativos de campo. Son las personas (ms de 20.000 en 1979) que
trabajan de diversas formas en la enseanza, casa por casa, con los campesinos.
Estn divididos en a) auxiliares inmediatos o monitores de las escuelas radiofnicas;
b) dirigentes campesinos; c) lderes (campesinos adultos que han terminado dos
'%
LECTURAS COMPLEMENTARIAS
ciclos de cursos en uno de los institutos campesinos de ACPO); d) supervisores
(personas que tienen responsabilidades de administracin y supervisin en relacin
con los dems trabajadores de campo, en el nivel regional).
11. Los educadores. Este grupo est constituido por los profesores de los Institutos
Campesinos de ACPO en los cuales se entrena a los dirigentes, a los lderes y a
los supervisores. Comprende los siguientes tipos de profesionales:
a) trabajadores del servicio de extensin agrcola;
b) enfermeras y expertos en salud;
c) normalistas, y
d) campesinos que han terminado los cursos para lderes y dirigentes y han tenido
una buena experiencia de campo.
Dentro del objetivo general que enunciamos al comienzo de este resumen, ACPO tiene
los siguientes objetivos ms especficos:
1. El desarrollo de las habilidades bsicas de alfabetizacin: lectura, escritura y
nmeros.
2. El mejoramiento de la salud individual y familiar por medio de prcticas higinicas,
nutricin adecuada y utilizacin de los servicios mdicos disponibles.
3. El aumento de produccin en la finca por medio de conocimientos y prcticas de
tcnicas modernas de agricultura, cuidado de los animales y conservacin del
suelo.
4. La adquisicin de conocimientos y habilidades econmicas y su aplicacin a la
administracin de empresas familiares, agrcolas y otros.
5. El mejoramiento o construccin de viviendas que satisfagan las normas mnimas
de salud, higiene y bienestar, y que contribuyan a una mejor relacin familiar.
'&
LECTURAS COMPLEMENTARIAS
6. La utilizacin del tiempo libre para la participacin en deportes u otras actividades
de recreo.
7. El desarrollo de una capacidad crtica y analtica para confrontar problemas y
necesidades personales y sociales, y para tomar decisiones relativas a los mismos.
8. Vivir de acuerdo con principios ticos y religiosos y servir como modelo para
otros.
9. La participacin en actividades destinadas a la continuacin de la educacin y el
automejoramiento.
10. El desarrollo de estabilidad, entendimiento y mejoramiento de las relaciones
humanas dentro de la familia.
11. El reconocimiento de las responsabilidades de la paternidad y la prctica de la
procreacin responsable.
12. La participacin en actividades de la comunidad, asociacin con grupos organizados,
y cooperacin para el mejoramiento de la comunidad.
13. La adquisicin de conocimientos acerca de los servicios de otras organizaciones
de la comunidad que se interesen en el mejoramiento individual y comunitario, y la
utilizacin de los mismos.
14. El desarrollo de una conciencia poltica que se centre en la proteccin de los
derechos humanos y en la importancia de que todas las personas asumen sus
responsabilidades en la sociedad.
Frente a estos objetivos del programa, la evaluacin se dirigi a obtener respuesta a las
siguientes preguntas u objetivos de evaluacin:
1. En qu medida han sido efectivos los programas de ACPO en mejorar el nivel de
conocimientos en salud, actividades agropecuarias y educacin bsica de las familias
campesinas?
''
LECTURAS COMPLEMENTARIAS
2. En qu medida y hasta qu punto fueron capaces las familias campesinas de
llevar a prcticas concretas los conocimientos adquiridos en salud, agropecuarios
y educacin bsica?
3. Result el aprendizaje en un cambio de actitudes del campesino hacia la salud,
la actividad agropecuaria y la educacin bsica?
4. Tuvieron estos cambios, en conocimientos, prcticas y actitudes, consecuencias
positivas o negativas en el nivel de vida del campesino?
5. En qu medida y en qu condiciones han estado las familias campesinas utilizando
los medios de ACPO?
6. Qu elemento o combinacin de elementos ha tenido mayor repercusin en los
resultados observados?
7. En qu medida podra atribuirse a los programas de ACPO los resultados
observados? Cul ha sido la contribucin total y la contribucin relativa de las
variables de proceso, en lo que toca a explicar las diferencias en conocimientos,
prcticas y actitudes entre las familias campesinas?
8. En qu medida poda atribuirse a las condiciones en que vivan las familias, los
resultados observados? Cul ha sido la contribucin total y la contribucin relativa
de las variables de contexto en lo que atae a explicar esas diferencias?
Con el fin de obtener la informacin para cumplir estos objetivos de evaluacin se tom
una muestra aleatoria de 600 familias campesinas de 60 veredas (aldeas) de 30 municipios,
de tal modo que la misma fuera representativa tanto de 22 de los 27 departamentos de
Colombia como de las actividades de ACPO. En el trabajo de campo se utilizaron diversos
conjuntos de instrumentos para la entrevista de las familias seleccionadas en la muestra.
Los objetivos de evaluacin dieron lugar a dos tipos de anlisis: un anlisis descriptivo de
los programas de educacin de ACPO, sus objetivos, las metodologas utilizadas y las
caractersticas de cada uno de los componentes, con especial nfasis en la descripcin
de la actividad radial, el material impreso (cartilla, peridico,
libros) y los agentes
interpersonales. Se incluy, adems, una descripcin de las regiones geoculturales en
las cuales se realiz el estudio. En segundo trmino se hizo un anlisis de tipo correlacional,
!
LECTURAS COMPLEMENTARIAS
mediante el uso de tcnicas de correlacin, regresin mltiple, correlacin cannica,
anlisis de redundancia y regresin mltiple multivariada.
En general. los resultados obtenidos por la investigacin evaluativa fueron
consistentemente positivos y apoyan la conclusin de que los programas de ACPO
han tenido efectos benficos en la vida de las familias campesinas colombianas. Fue
posible conocer la contribucin de otras fuentes de aprendizaje en el sector rural
colombiano y examinar los efectos residuales atribuibles exclusivamente a ACPO
(Informe final).
En el rea de salud hay una interdependencia entre los procesos de ACPO y otros
servicios de salud de la comunidad. Cada uno contribuye en proporciones aproximadamente
iguales a explicar la varianza en las prcticas, los conocimientos, las actitudes y los
efectos generales en dicha rea.
En el rea de agropecuarios se detect una relacin significativa entre la participacin en
los programas de ACPO y una positiva conducta agropecuaria. En esta rea de variables
de contexto, otras fuentes de apoyo a la actividad agropecuaria no contribuyeron
significativamente en los efectos observados. En educacin bsica, en relacin con los
conocimientos y destrezas en lectura, escritura y matemticas, se encontr que las
familias que tenan un alto grado de participacin en los programas ACPO tendan a
mostrar un desempeo relativamente alto, y que esta relacin persista cuando los efectos
de otras variables educativas del contexto eran controladas. Un resultado paradjico fue
la baja relacin entre las actitudes acerca de la educacin y las variables de proceso de
ACPO, y las variables de contexto. En el estudio se descubri que aunque buena parte
de quienes respondieron la encuesta haban recibido su educacin bsica en la escuela
formal, la mayora de los usuarios de ACPO tendan a obtener puntuaciones altas en la
prueba utilizada para medir el desempeo de destrezas. Esto sugiere que aun en los
casos en que ACPO no sea la fuente primaria para el aprendizaje de las destrezas en
educacin bsica, s desempea un papel fundamental en el mejoramiento y
mantenimiento de esas destrezas.
Se detect que los cinco componentes de ACPO estaban altamente interrelacionados,
de tal forma que fue imposible concluir que los componentes contribuan diferencialmente
en los efectos observados. Un alto uso de los componentes de ACPO en conjunto, como
!
LECTURAS COMPLEMENTARIAS
se refleja en el ndice de utilizacin de las familias, fue ms importante para explicar los
resultados que una combinacin particular de componentes. Sin embargo, algunos juicios
emitidos por las familias acerca de la relativa importancia de los componentes sugieren
que los agentes interpersonales son el componente clave. Aunque esta afirmacin no es
confirmada por el anlisis estadstico, es consistente con el juicio del equipo del proyecto
y los entrevistadores de campo (Robert M. Morgan, Liliana Muhlman y Paul H. Mahoner.
Evaluacin de un sistema de educacin no formal a nivel nacional, Accin Cultural Popular.
Bogot, 1980, pgs. 10 y 11).
Diseos de evaluacin II
En pginas anteriores nos referimos a los distintos procedimientos que se utilizan en la
verificacin de la efectividad de un programa y proporcionamos algunos ejemplos. Desde
luego que al preparar el diseo metodolgico slo hacemos una descripcin general del
procedimiento elegido, el cual se desarrolla en el transcurso de la investigacin.
Algo similar ocurre con los otros componentes del mismo en el sentido de que durante la
etapa preparatoria basta con referirse a ellos de forma general. As lo haremos tambin
ahora, con ejemplificaciones para aclarar los aspectos tratados.
UNIVERSO DE ESTUDIO Y UNIDADES DE ANLISIS
En la investigacin evaluativa, el universo de estudio puede o no coincidir con el universo
de usuarios. El ltimo caso ocurre cuando el o los focos de evaluacin caen en solo
algunos subgrupos de los usuarios del programa. Desde luego, esta delimitacin queda
fijada en general por los objetivos de evaluacin, pero es necesario tener suficiente claridad
en este punto, ya que de l dependen otras operaciones tcnicas posteriores.
La bsqueda de la respuesta a la pregunta bsica de la evaluacin: se produjeron o no
los cambios, modificaciones o efectos anunciados en los objetivos del programa? lleva, a
su vez, a inquirir en qu niveles se tratar de encontrar las confirmaciones del caso, pues
como lo muestran objetivos de diversos o de un mismo programa, la orientacin de las
actividades instrumentales dirige algunas veces a personas consideradas individualmente,
y otras veces a grupos naturales (familias, cursos de una escuela, etc.), a categoras de
!
LECTURAS COMPLEMENTARIAS
personas (jvenes, personas de bajos recursos econmicos, etc.), a regiones geogrficas
o a varios de esos tipos de referentes. La decisin para elegir las unidades de anlisis
debe estar de acuerdo con preguntas como stas: a quines o a qu me referir cuando
termine la evaluacin?, a quin imputar los resultados: a personas consideradas
individuamente o a grupos de sujetos tomados justamente como grupos? Es fcil observar
que la informacin que se requiere para uno y otro nivel de anlisis es diferente, como
tambin lo son las tcnicas de recoleccin y tratamiento de los datos obtenidos en la
evaluacin.
Un par de ejemplos nos ayudar a comprender mejor la importancia que tiene la adecuada
eleccin de la unidad de anlisis o el uso de ms de una de tales unidades. Veamos el
primer caso: en la evaluacin del Programa de Desarrollo Rural de Mxico se recomienda
que en investigaciones futuras no se tome a la empresa agrcola como la unidad fundamental
de la agricultura campesina, sino la unidad familiar:
Slo podemos tener la esperanza de decir si el programa de Desarrollo Rural ha tenido o
no efectos de justicia y distribucin de ingreso para el pequeo productor agrcola, si esta
unidad pequea, pero compleja y dotada de un delicado equilibrio socioeconmico, que
es la unidad familiar, se constituye en la unidad de inters analtico en la evaluacin de
proyectos (Cernea, op. cit. pg. 113).
El segundo ejemplo se refiere a los distintos tipos de informacin que pueden proporcionar
dos unidades de anlisis consideradas separadamente; tambin nos hace ver los posibles
errores que podran cometerse al hacer referencias de un nivel a otro (errores que caen en
la llamada falacia ecolgica). El ejemplo es ste: si tomamos informacin de los ingresos
individuales de las personas y de la mediana de los ingresos de las familias en una
misma comunidad y si hacemos la representacin grfica de tal modo que en el eje
vertical coloquemos los porcentajes de casos en cada categora de ingresos (individuales
y colectivos), podemos obtener una figura como la siguiente (fig. 6.1):
Como se advierte, los resultados son muy diferentes, pero, por lo mismo, usados
conjuntamente pueden proporcionar informaciones muy tiles en la evaluacin.
En suma: la eleccin de las unidades de anlisis y la recoleccin de la informacin
pertinente deben permitir formular proposiciones de los siguientes tipos: a) sobre la totalidad
!!
LECTURAS COMPLEMENTARIAS
del programa: el ingreso promedio de la poblacin subi en un X por ciento; b) sobre los
ambientes de interaccin de la poblacin: el ambiente social de la escuela X es de tipo
democrtico; y c) sobre las personas consideradas individualmente, con el fin de
establecer relaciones como: la mayora de las personas de ms edad tuvieron una alta
participacin en actividades comunitarias.
Figura 6.1. Ingresos individuales y familiares
DISEOS MUESTRALES
Una vez que se ha tomado una decisin acerca de la o de las unidades de anlisis hacia
las cuales se referir empricamente la evaluacin, deben tomarse otras nuevas si existen
varias de tales unidades: tomar una, tomarlas todas o seleccionar algunas del total. Esta
ltima decisin envuelve dos posibilidades principales: a) utilizar un criterio probabilstico;
b) seleccionar las unidades a partir de algunos criterios establecidos por el evaluador. La
opcin a) equivale a decir que se utilizar un diseo muestral probabilstico; la opcin b),
que se utilizar un diseo muestral intencional o por cuotas, no probabilstco.
Como sabemos, los diseos probablisticos dan una probabilidad conocida, distinta de
cero, a cada una de las personas del universo de estudio, de entrar en la muestra. En
algunos de ellos, la probabilidad es igual para cada unidad. Estos diseos son de uso
!"
LECTURAS COMPLEMENTARIAS
obligado en las investigaciones experimentales. Sus principales ventajas son: 1.
representatividad de la muestra respecto del universo; 2. posibilidad de calcular por
anticipado la magnitud y la probabilidad de que se d el error de muestreo; 3. posibilidad
de generalizar el universo los resultados obtenidos en el anlisis de la muestra (para un
tratamiento detallado de los diversos diseos probabilsticos,
consltese a G. Briones,
op. cit., cap. V.).
Las muestras intencionales se seleccionan segn ciertos criterios definidos por el evaluador
con la finalidad principal de ubicar los focos de evaluacin en grupos a los cuales le
asigna especial importancia. Como el procedimiento empleado no es probabilstico en su
conformacin, no es posible obtener las propiedades de los diseos probabilsticos que
sealamos ms arriba. Sin embargo, en algunas situaciones es posible hacer inferencias
lgicas (pero no inferencias estadisticas, en sentido estricto) hacia poblaciones que tienen
caractersticas similares a las de la muestra generadora. Pero su principal caracterstica
consiste en posibilitar los estudios en profundidad de componentes o procesos del
programa.
A continuacin se presentan los tipos de muestras intencionales de mayor uso en la
investigacin evaluativa con diseos bsicos cuasiexperimentales y no experimentales.
1. Seleccin intencional de casos extremos. Quizs sea posible hacer una clasificacin
aproximada de las unidades que componen el programa en dos categoras, por
ejemplo, escuelas que funcionan bien y escuelas que funcionan mal. Si as fuera,
podran tomarse unas pocas escuelas de ambas categoras para estudiar otras
caractersticas diversas relacionadas con su nivel de funcionamiento.
2. Seleccin de algunos cosos tpicos. Si existe una mayora considerable que puede
ser considerada como tpica o modelo, entonces podra bastar la seleccin de
algunos casos para hacer estudios en profundidad de los aspectos que interesan
a la evaluacin, pues esos estudios representaran a la mayora de casos similares.
3. Seleccin de casos en diferentes ubicaciones geogrficas o sociales. Este tipo
queda representado por la seleccin de casos que cubren las diversas zonas de
un espacio geogrfico (escuelas urbanas - escuelas rurales; zonas centro norte-
sur-oriente-occidente) o de espacios sociales pertinentes (hogares populares, de
!#
LECTURAS COMPLEMENTARIAS
clase media, de la burguesa). Los diversos subgrupos de la muestra pueden ser
proporcionales a sus respectivos tamaos en el universo.
4. Seleccin de casos crticos. La seleccin recae aqu en casos que presenten
algunas caractersticas crticas: alta desercin, altos costos, baja eficiencia
administrativa, etc. El anlisis de situaciones como stas puede llevar a hacer
recomendaciones a todos los grupos con el fin de introducir en ellos modificaciones
que se consideren tiles o necesarias.
5. Diseo mixto. En algunas oportunidades es posible combinar una muestra
intencional con una submuestra probabilstca. Por ejemplo, si se toma cierto nmero
de escuelas en reas rurales y otro nmero en reas urbanas, entonces, en una
segunda etapa es posible tomar una submuestra probabilstica de estudiantes o
profesores en cada una de las escuelas seleccionadas intencionalmente. El diseo
probabilstico puede ser del tipo aleatorio simple, sistemtico, estratificado, etctera.
Cualquiera sea el diseo que se elija, en el diseo metodolgico de la evaluacin se har
una descripcin general de sus principales caractersticas (tamao, seleccin
probablstica, seleccin intencional, etctera).
Indicadores
Es frecuente que las variables o caractersticas que aparecen en los objetivos de evaluacin
no ofrezcan mayores dificultades para su descripcin o su medicin directa (por ejemplo
logros en el aprendizaje, elevacin del ingreso familiar, etc.). Tambin es frecuente, sin
embargo, que otras variables requieran definiciones para comprender su significado; de
indicadores que permitan su descripcin y, cuando sea posible o necesario, su medicin.
En este ltimo caso, es indispensable utilizar tcnicas ya preparadas o que el evaluador
debe desarrollar por su cuenta (pruebas, escalas, etctera).
En ocasiones una propiedad incluida en los objetivos de evaluacin queda bien representada
por uno o dos indicadores (por ejemplo, estatus socioeconmico, por la educacin y los
ingresos); otras veces la solucin es ms difcil tanto por el nmero de indicadores que es
necesario utilizar como por la forma en la cual deberan ser combinados para obtener una
representacin vlida y confiable. La tarea suele ser aun ms complicada cuando la situacin
!$
LECTURAS COMPLEMENTARIAS
que ha de evaluarse es de naturaleza estrictamente cualitativa (evaluar el aumento de la
capacidad crtica), o bien se trata de evaluar la calidad de algunos de los elementos,
procesos o resultados del programa. En tales casos se recurre a procedimientos cualitativos
como entrevistas en profundidad, evaluaciones grupales, etc., o se utilizan caractersticas,
que implican por ejemplo, variedad de recursos instrumentales empleados, contenidos de
aprendizaje, distribucin homognea de los logros obtenidos, etctera.
Los indicadores pueden referirse a variables individuales (actitudes, nivel socioeconmico,
etc.) o a variables colectivas, es decir, de los grupos (homogeneidad, igualdad de
oportunidades de clases sociales, eficiencia del programa, etc.). Pueden ser, por otro
lado, indicadores objetivos o bien indicadores subjetivos constituidos por juicios, opiniones
o estimaciones hechas por los evaluadores o las personas sometidas al proceso de
evaluacin.
En lo que se refiere a programas sociales (salud, educacin, vivienda, trabajo,
desarrollo
de la comunidad, etc.), hay listas de indicadores aceptados internacionalmente, y que
son fciles de conseguir. Sin perjuicio de su uso, de acuerdo con los objetivos de una
evaluacin determinada, la especificidad de algunos programas o las necesidades mismas
de la evaluacin pueden requerir el uso de indicadores especiales propuestos por los
evaluadores. Un ejemplo que cae en esta solucin lo encontraremos en la evaluacin del
Servicio Nacional de Aprendizaje, SENA, realizada en Colombia en 1982. Al referirse a la
evaluacin del objetivo contribuir al crecimiento dinmico del pas mediante la preparacin
de recursos humanos, se propone hacerlo de la forma siguiente:
Al nivel analtico de la sociedad en su conjunto, se tomar como criterio de evaluacin
la rentabilidad social de cada programa de adiestramiento, o valor actualizado del
aumento en el producto nacional por unidad de costo, o sea el aumento directo o el
aumento total. Este indicador, que sintetiza el aporte del curso a la funcin crecimiento,
ha sido elegido en atencin a sus consideraciones principales. (Sena. Sistema de
Planeacin de Recursos Humanos. Bogot, 1982, pgs
140 a 141).
Tambin en esta evaluacin se utilizan diversos indicadores subjetivos para evaluar otras
caractersticas del sistema de aprendizaje, como el siguiente que ilustra la clasificacin
que acabamos de presentar: Percepcin sobre la utilidad ocupacional del curso para el
egresado o desertor (pg. 145).
!%
LECTURAS COMPLEMENTARIAS
Otro ejemplo de un indicador complejo para evaluar la equidad social es el utilizado en
una investigacin acerca del funcionamiento de la educacin superior en Chile (1981). En
este caso, el indicador o ndice se defini de la siguiente manera:
Porcentaje de alumnos matriculados en la educacin
superior cuyos padres tienen las Ocupaciones X
Porcentaje de personas en la fuerza de trabajo con
ocupaciones X
La X puede representar obreros y luego profesionales, por ejemplo. La comparacin
de los dos ndices permite evaluar la equidad social. (Guillermo Briones. La distribucin
de la educacin en el modelo de economa neoliberal: 1974-1982. PIlE. Santiago de
Chile, 1983.)
En la evaluacin de efectos de la educacin funcional de adultos es interesante destacar
algunos indicadores que utilizan diversos criterios o dimensiones, de los cuales
proporcionamos otros ejemplos:
Efecto de la alfabetizacin: querer informarse y comunicar.
Criterio 1: Utilizacin de los medios de comunicacin de masas.
4.1.1. Nmero de peridicos y revistas diarios, semanarios, mensuales
comprados o ledos, por unidad estadstica (individuo, familia, comunidad) y por
unidad de tiempo.
4.1.2. Nmero de receptores de radio o televisin posedos o escuchados.
4.1.3. Nmero de escuchas, por unidad de tiempo y por tipo de emisin
(informaciones, emisiones profesionales, msica, etctera.
4.1.4. Nmero de magnetfonos y nmero de casetes posedos o escuchados por
unidad de tiempo de tipo de contenido.
!&
LECTURAS COMPLEMENTARIAS
Criterio 2: Utilizacin de otras fuentes informativas y de las fuentes de ayuda ms
adecuadas.
Por unidad de tiempo y por unidad estadstica.
4.2.1. Nmero de consejos pedidos a las organizaciones profesionales (sindicales,
etc.), cvicas, administrativas (ayuntamientos, concejos, etctera).
4.2.2. Nmero de consejos pedidos a organismos de ayuda social (seguridad social,
mutualidades, compaas de seguro, etctera).
4.2.6. Nmero de viajes emprendidos por duracin y naturaleza: razones familiares,
emigracin estacional, bsqueda de trabajo, razones religiosas, etctera.
Criterio 3: Utilizacin social e informativa de la lectura y de la escritura, por
unidad estadstica y por unidad de tiempo.
4.3.1. Nmero de cartas recibidas o enviadas, por tipo de correspondencia: familiar,
administrativa, informativa, diversa.
4.3.2. Nmero de agendas, carns, almanaques, anuarios, etc., utilizados (Couvert,
op. cit., pgs. 16 a 161. En el texto se dan otros indicadores en la lnea de los
tomados como ejemplo).
Es importante destacar que en algunas evaluaciones es necesario tener indicadores de
conductas reales o prcticas, de conocimientos y de actitudes. As podemos comprobarlo
en la evaluacin del programa de Accin Cultural Popular, ACPO, que presentamos pginas
atrs. Debido a que dan una idea de los elementos, presentaremos algunos de los
indicadores seleccionados en el rea de salud:
1. Prcticas
A. Cuidados personales
1. Nutricin
!'
LECTURAS COMPLEMENTARIAS
1.1. Frecuencia de consumo de vegetales
1.2. Frecuencia de consumo de leche o productos lcteos por los
nios
1.3. Frecuencia de consumo de frutas
2. La madre y el nio
2.1. Dieta de la mujer embarazada
2.2. Control mdico de la mujer embarazada
3. Higiene
3.1. Frecuencia con que se baan los nios
B. Cuidado del ambiente
1. Huerto casero
1.1. Nmero de vegetales que se cultivan
2. Agua
2.1. Utilizacin del filtro casero
II. Conocimientos
1. Ventajas de la huerta casera
1.1. Razones econmicas: como ingreso
1.2. Razones econmicas: como ahorro
1.3. Razones de nutricin
!
LECTURAS COMPLEMENTARIAS
2. Dieta familiar
2.1. Inclusin de vegetales
2.2. Inclusin de frutas
3. Primeros auxilios
4. Purificacin del agua
III. Actitudes
1. Consumo de vegetales
2. Cultivo de la huerta casera
3. Control mdico de la mujer embarazada
(Robert M. Morgan et al., op. cit., pgs. 197 a 201).
Una vez que se definen o eligen los indicadores, se traducen en preguntas o en indicaciones
para la observacin o su comprobacin mediante entrevistas o por su uso en otros
procedimientos para la recoleccin de informacin.
Recoleccin de informacin e instrumentos
En el diseo metodolgico de una evaluacin deben indicarse los procedimientos que se
utilizarn para la recoleccin de informaciones y el o los instrumentos que se destinan a
tal fin. En lo que toca a procedimientos, podran utilizarse observaciones, entrevistas de
todo tipo, discusiones grupales, etc. Los instrumentos, segn el caso, pueden ser
protocolos de observacin (estructurados o no), guas de entrevistas, cuestionarios,
registros de discusiones, etctera.
En algunos casos existen instrumentos construidos y validados por otros investigadores.
Un caso as vimos en la evaluacin del programa de estimulacin temprana con base en
la familia, en la cual los investigador es utilizaron la prueba de Denver, de tipo cualitativo
!
LECTURAS COMPLEMENTARIAS
con los tems para evaluar el desarrollo psicolgico de los nios de cero meses a seis
aos de edad. En otros casos, el investigador debe construir el o los instrumentos
adecuados, sea para describir o medir conductas, conocimientos y actitudes, tarea en la
cual suele ayudarse con las indicaciones pertinentes que se dan en textos de tcnicas
de investigacin social.
Trabajo de campo
Aqu, por lo general, se indica quines recogern la informacin en el terreno, cmo sern
preparadas esas personas, cul ser la distribucin del trabajo, de qu forma se llevar a
cabo la supervisin, etctera.
Anlisis de los datos
En el diseo deben mencionarse los tipos de anlisis a los cuales sern sometidos los
datos y los procedimientos que se utilizarn, sean de tipo cualitativo o cuantitativo. Por
ejemplo, en el primer caso se mencionan tipologas cualitativas, conexiones entre
procesos y resultados, etc. En el segundo, el evaluador podr referirse a anlisis
relacional y enumerar tcnicas como las de regresin, anlisis de senderos y de
redundancia, entre otras. O en diseos experimentales, tcnicas como anlisis de la
varianza, covarianza, etctera.
El informe de evaluacin
El informe de evaluacin describe la investigacin realizada y en l se puntualizan con
mayores detalles los componentes del diseo, como tambin las dificultades que se
encontraron en su aplicacin. Pero el ncleo del informe est constituido por los resultados
obtenidos, sea en la evaluacin del contexto del programa, de su estructura, de su
funcionamiento y de sus logros y efectos; con el anlisis de los factores que pudieron
facilitar o dificultar la marcha del programa y la consecucin de sus objetivos.
El informe de evaluacin culmina con sugerencias o recomendaciones basadas en los
resultados obtenidos.
!
LECTURAS COMPLEMENTARIAS
La aceptacin de las recomendaciones puede verse afectada por diversos factores entre
los cuales se destacan problemas como los citados por dos autores preocupados de
esta situacin:
Diferencias entre los roles y estilos del personal del programa y los evaluadores.
Estudios que son insuficientemente rigurosos para ser convincentes.
Demasiada sofisticacin metodolgica y poca preocupacin con los aspectos
concretos del programa.
Resultados que no estn disponibles a tiempo para la toma de decisiones.
Respuestas a preguntas en las cuales los administradores no tienen inters.
Los asuntos de la marcha y financiamiento son a menudo ms importantes que
los resultados de la evaluacin.
Los resultados de la evaluacin se comunican al personal del programa, de manera
que ellos no pueden ser usados (Ray C. Oman y Stephen R. Clitwood. Management
evaluation studies: Factors affecting the recomendations. Evoluotion Review. vol.
8, nm 3, junio de 1984, pg. 286).
De manera tpica, el informe de evaluacin contiene secciones como las siguientes:
1. Descripcin del programa (estructura, objetivos, ubicacin, etctera) .
2. Contexto socioeconmico
3. La evaluacin:
a) origen
b) propsitos
c) objetivos de evaluacin
!!
LECTURAS COMPLEMENTARIAS
d) metodologa
e) problemas en la marcha del programa
4. Resultados
5. Recomendaciones
EL DISEO EN MODELOS GLOBALES, EVALUACIN PARTICIPATIVA
El diseo de evaluacin de programas orientado por algunos de los modelos globales que
presentamos en el captulo 3 o por otros modelos similares tiene importantes diferencias
con el que hemos desarrollado en las pginas anteriores. Para comenzar, debemos decir
que ms que una descripcin especfica de las diversas fases y tareas que deberan
desarrollarse en la investigacin evaluativa, el diseo de los modelos globales consiste
en indicaciones generales acerca de cmo conducir el estudio, ya que varias de las
acciones particulares se definirn sobre la marcha.
Por otro lado, como caractersticas que se dan en muchos de los diseos figuran la
participacin de los usuarios del programa en todas o en varias etapas de la evaluacin,
y la utilizacin de indicadores subjetivos para la valoracin del desarrollo del programa y
de los resultados obtenidos (autoevaluacin, evaluacin grupal, etc.), todo ello mediante
el uso de tcnicas cualitativas, preferentemente para la recoleccin y el anlisis de la
informacin. Algunos de estos modelos ponen en el centro de la evaluacin la descripcin
de los procesos que se desarrollan en el programa, antes que la determinacin de
resultados.
Sin perjuicio de diseos mixtos que incorporan componentes de los diseos analticos,
el global contiene orientaciones en los siguientes aspectos:
1. Consulta a los usuarios del programa para establecer qu les interesa evaluar.
2. Negociacin entre los diferentes puntos de vista aparecidos en la consulta para
llegar a un acuerdo. Pueden incluirse aqu los intereses de los administradores del
programa.
!"
LECTURAS COMPLEMENTARIAS
3. Preparacin de un esquema para el trabajo de campo.
4. Trabajo de campo:
a) Observacin participante del personal encargado de la evaluacin.
b) Reuniones grupales para evaluar el funcionamiento del programa y resultados
mediante discusiones y juicios valorativos.
c) Entrevistas en profundidad a informantes seleccionados para profundizar
temas importantes detectados en a) y b).
d) Registro de experiencias personales de algunos usuarios, e historias de vida.
5. Anlisis de la informacin recogida:
a) Imgenes verbales sobre el programa y sus componentes: objetivos,
necesidades, relaciones interpersonales, etctera.
b) Determinacin de la significacin cultural de las expresiones verbales de los
usuarios.
c) Conexiones entre procesos.
d) Tipologa de comportamientos.
6. Determinacin de la efectividad del programa. Esquema de "triangulacin".
En el hecho, tal procedimiento consta de las siguientes tres fuentes de validacin:
1. Confrontacin de informacin cualitativa y cuantitativa (triangulacin metodolgica);
2. Comparacin de diversas fuentes de informacin cualitativa (triangulacin de fuentes
de informacin); y
!#
LECTURAS COMPLEMENTARIAS
3. Comparacin de las informaciones de diversos observadores (triangulacin de
investigadores).
Un ejemplo de triangulacin lo proporciona la evaluacin del Programa padres e hijos al cual
ya nos referimos en este trabajo y que, de la parte pertinente, transcribimos textualmente:
Como hemos mencionado en el captulo anterior, la triangulacin se realiz con el fin
de comprobar, a travs de procedimientos diferentes y desde distintos ngulos, la
coherencia de la idea que tenemos acerca de lo que el programa es. Se investiga si la
evidencia con que contamos es consistente con el concepto que tenemos, como
evaluadores, de cmo funciona, en este caso, el mecanismo del Programa padres e
hijos. Se procedi, entonces, a triangular la imagen verbal (contestaciones de los
usuarios). Hubo varias afirmaciones entregadas por los primeros informantes y luego
corroboradas por los grupos, que se intentaron precisar a travs de este proceso de
triangulacin. Entre stas se destacaron, por ejemplo, el mejor rendimiento de los
nios que asistan al PPH en el colegio; el mejoramiento de la nutricin de los nios;
la disminucin del alcoholismo entre los participantes...
Veamos cmo se hizo la triangulacin de uno de estos aspectos. Tomaremos, a modo
de ejemplo, el efecto del programa en los nios en edad preescolar inscritos en el PPH.
Se realizaron distintos estudios que apuntaban al problema desde perspectivas
distintas. Por una parte, se entrevistaron tres profesores de escuelas bsicas que tenan
nios que haban participado en el PPH y nios que no. Se les pidi a los profesores que
clasificaron como excelente, bueno, aceptable o deficiente a los nios de primero bsico
segn su habilidad para leer. Los profesores no estaban en conocimiento de los nios
que haban participado en el programa. El resultado fue el siguiente:
Con PPH Sin PPH Total
Excelente 5 nios 19% 2 nios 4% 7 a 9%
Bueno 15 nios 52% 17 nios 35% 32 a 42%
Aceptable 9 nios 31% 24 nios 49% 33 a 41%
Deficiente -.- 0% 6 nios 12% 12 a 6%
Total 29 nios 100% 49 nios 100% 78 a 100%
!$
LECTURAS COMPLEMENTARIAS
El cuadro muestra que la clasificacin destaca favorablemente la habilidad de lectura de
los nios con PPH. Lo confirma la distribucin porcentual de los nios con y sin PPH en
cada uno de los rubros.
Se aplic tambin el test de la figura humana (Goodenough y Harris) a un grupo de 26
nios con PPH y a un grupo de 24 sin PPH. La muestra fue elegida al azar. La evaluacin
de los resultados del test fue encomendada a un experto en psicologa del desarrollo
infantil que no tena conocimiento previo acerca del programa. El resultado de la evaluacin
de los dibujos aparece en el siguiente cuadro:
Clasificacin de dibujos
Mejor dibujo: nio del grupo de control
Grupo control Grupo PPH Total
Superior 3 2 5
Bueno 3 25% 9 42% 12
Promedio 6 10 16
Pobre 9 3 12
Inferior 3 2 5
24 nios 26 nios 50 nios
Peor dibujo: nio del grupo de control
La evidencia que muestra el cuadro complement los resultados de los otros estudios
que se fueron realizando en la triangulacin.
Es importante destacar que en la triangulacin se utilizan tcnicas de distinta ndole. Algunas
de carcter etnogrfico como las entrevistas y las observaciones; otras de carcter cuantitativo.
Todas cumplieron la funcin de investigar si las evidencias con que se contaba eran consistentes
con la imagen que se tena de lo que el programa era (Horacio Walker. Una evaluacin para
los proyectos de educacin popular. Santiago de Chile: Cide, 1982, pgs. 52 a 57).
!%
LECTURAS COMPLEMENTARIAS
De manera caracterstica, el informe de la evaluacin no formal se redacta en trminos
sencillos, con amplio uso de opiniones y relatos en las propias palabras de los participantes.
El informe puede o no terminar con recomendaciones para contribuir al mejoramiento del
programa. Convendra tambin decir que en algunas oportunidades se acompaa de grficos,
dibujos de los usuarios, diapositivas y grabaciones (diapofilm) de diversas instancias de
desarrollo del programa, etctera. (Para algunos otros detalles de la evaluacin de
programas globales se puede consultar a Thomas D. Cook and Charles S. Rechardt
(eds.). Qualitative and quantitative methods in evaluation research. Beverly Hills: Sage
Publications, s./f.)
No todas las evaluaciones de programas no formales trabajan con el enfoque presentado
ms arriba, que pretende lograr una alta participacin de los usuarios. Con frecuencia se
encuentran ejemplos en los cuales esa funcin es realizada principalmente por el personal
encargado del programa, en especial por el equipo tcnico de campo. As sucede en
proyectos de desarrollo rural, rea en la cual debemos destacar el enfoque de Oakley
con las caractersticas que este investigador seala. En resumen y de forma muy apegada
a su propia descripcin el esquema utilizado comienza por identificar los criterios e
indicadores de acuerdo con los cuales se puede apreciar el progreso del programa. Para
ello se elabora, conjuntamente con los tcnicos o monitores, una lista de caractersticas
(criterios) que los usuarios posean antes de comenzar las actividades innovadoras. Luego
se les pide caracterizar al mismo grupo de usuarios despus de cierto tiempo de la
puesta en prctica de tales acciones. Las caractersticas son las siguientes:
a) Caractersticas (criterios de los usuarios antes del desarrollo del programa):
Individualismo, que se ve reflejado en el predominio de la propiedad privada, en
el poco inters en proyectos comunitarios, as como tambin en la escasa
participacin en las decisiones.
Falta de anlisis crtico de su situacin: incapacidad para identificar las causas
de problemas estructurales y buscarles solucin.
Dependencia econmica, social y poltica del patrn y explotacin por parte del
mismo.
!&
LECTURAS COMPLEMENTARIAS
Falta de confianza en su propia capacidad para cambiar la situacin.
Ausencia de organizaciones que representen los intereses del grupo.
Falta de cooperacin.
Ignorancia, sospecha y aislamiento. La gente tiene temor de conversar y discutir
y verse involucrada.
b) Caractersticas del grupo despus de un perodo de desarrollo del programa:
Cohesin interna.
Sentido de la solidaridad.
Conciencia crtica. Facultad crtica.
Participacin activa y crtica.
Menor dependencia. Aumento de la autoconfianza.
Autogestin, autosuficiencia y autonoma del grupo.
Recursos colectivos. Reservas de capital.
Capacidad para la administracin del programa.
Demostracin del poder. Responsabilidad colectiva.
Articulacin con otras instituciones controladas por campesinos.
Inters en la creacin de grupos similares.
Capacidad para tratar con funcionarios oficiales.
!'
LECTURAS COMPLEMENTARIAS
En situaciones concretas, un grupo en evaluacin puede no presentar todas las
caractersticas indicadas; ms bien sirven de ejemplos de las que pueden darse en la
realidad. El trabajo, en todo caso, contina con la bsqueda de indicadores para tales
caractersticas. As, en relacin con los criterios del ejemplo, se sealan indicadores
como los siguientes, que el personal tcnico de programas de desarrollo rural cree pueden
utilizarse para pronunciarse acerca de los cambios que se han producido o se estn
produciendo en los usuarios:
Actividades realizadas por el grupo: obras de construccin, organizaciones, etctera.
Acciones especficas del grupo con la ayuda del monitor o sin ella. Por ejemplo:
acciones para obtener beneficios de seguridad social o para demandar el
cumplimiento de la legislacin existente.
Cambios en la conducta del grupo: tipo de reuniones, uso del lenguaje, naturaleza
de la participacin, etctera.
Naturaleza de la intervencin: cambios en las relaciones del monitor con el grupo
como resultado de que este ltimo ha asumido la responsabilidad de su propio
desarrollo.
Relaciones con otros grupos: naturaleza de las relaciones con otros grupos y
acciones conjuntas, empresas y organizaciones comunes, etctera.
En trminos operativos se sugiere que el personal del proyecto encargado de la evaluacin
o de la recoleccin de informacin para el trabajo que otro grupo ha de realizar registre
continuamente sus observaciones o rena los datos pertinentes. Para ello pueden
emplearse los siguientes mtodos:
1. Encuesta para el perfil del grupo, es decir, para establecer la situacin cuando
comienza el programa.
2. Recoleccin de datos cuantificables. Tales datos deben incluir la cantidad de
reuniones, de participantes, el nmero involucrado en actividades particulares y
las cifras bsicas relativas a cualquier actividad econmica que se lleve a cabo.
!
LECTURAS COMPLEMENTARIAS
3. Descripciones continuas y observaciones del grupo. stas implican llevar un registro
peridico basado en las cinco reas de indicadores. Los monitores deben escribir
libremente sus apreciaciones subjetivas, sin prestar mayor atencin a la estructura
o forma del informe. El nfasis debe estar en el registro de los cambios que se
observan.
4. Minutas de otras formas de registros de las reuniones de los monitores.
Una vez recolectada toda la informacin se procede a ordenarla y a interpretarla en trminos
de los cambios que se hayan producido en relacin con las condiciones iniciales, las
cuales, a su vez, ayudaron a definir los objetivos del programa. La ltima tarea consiste
en transferir los resultados y conocimientos obtenidos a todo el personal tcnico para
mejorar la marcha del proyecto (Peter Oakley. Evaluating social development: how much
or how good, Ideo RRDC Bulletin, marzo de 1982, 14, pgs. 12 a 17).
!
LECTURAS COMPLEMENTARIAS
Los autores
El doctor Jos Santiago Correa Uribe, ha sido profesor de la Universidad de Antioquia
desde el ao 1979 hasta la fecha. Se ha desempeado adems, como profesor de la
Universidad Pontificia Bolivariana y Universidad de Medelln y como profesor invitado de
las principales universidades del pas.
Ha publicado, entre otras, las siguientes obras: Introduccin a la investigacin (Medelln,
Universidad de Antioquia 1981), Currculo y calidad de la educacin superior en Colombia
(Santaf de Bogot, ICFES-COLCIENCIAS, 1987), Metodologa de la investigacin cient-
fica (Medelln, Universidad de Medelln, 1988), La innovacin en educacin (Medelln, Uni-
versidad de Antioquia-COLCIENCIAS, 1988), Evaluacin institucional aplicada a la educa-
cin (Medelln, Editorial Sagrada Familia, 1982), Metodologa de la investigacin aplicada
a la gestin bancaria (Ibagu, Universidad del Tolima, 1994).
Actualmente se desempea como asesor de la Vicerrectora de Docencia de la Universi-
dad de Antioquia, en procesos de autoevaluacin y acreditacin.
El Doctor Antonio Puerta Zapata, hizo sus estudios de Filosofa y Letras, y Licenciatura
en Trabajo Social en la Universidad Pontificia Bolivariana. Curs su Maestra en Sociologa
de la Educacin en la Universidad de Antioquia y Maestra en Trabajo Social (rea de
Investigacin) de la Universidad de Minnesota.
Se ha desempeado como profesor visitante de varias universidades colombianas y de la
Universidad Catlica de Guayaquil y es Miembro del Consejo Directivo de la Federacin
Antioquea de Organizaciones no Gubernamentales.
Ha sido asesor de: Evaluacin de programas en salud Mental y prevencin de la violencia
para Metrosalud. Medelln Participante del Grupo de Mtricas Sociales de la Federacin
antioquea de ONG y de varias investigaciones en Basf Qumica Colombiana y empresas
Varias de Medelln y ha actuado como par Acadmico del Consejo Nacional de Acredi-
tacin.
Actualmente es Profesor Titular de tiempo completo de la Universidad de Antioquia. Jefe
del Departamento de Trabajo Social y Asesor de la Vicerrectora de Docencia en los
Procesos de Autoevaluacin y Acreditacin de la misma Universidad.
Public el Libro sobre Evaluacin y sistematizacin de Proyectos Sociales; ha escrito
artculos en Revistas Nacionales de Trabajo Social, y ha publicado escritos sobre Acredi-
tacin.
El Doctor Bernardo Restrepo Gmez es profesor emrito de la Universidad de Antioquia,
institucin en la ha trabajado durante 36 aos en la docencia y la investigacin de la
educacin. Aunque esta universidad ha sido el centro de sus actividades, ha sido profesor
visitante y conferencista en varias universidades del pas. Ha actuado como consultor de
la UNESCO y del Convenio Andrs Bello y como asesor de la OEA en programas educa-
tivos; fue asesor del Ministro de Educacin, consejero del Programa de Estudios Cientfi-
cos de la Educacin de COLCIENCIAS y se desempea actualmente como consejero del
CNA, Consejo Nacional de Acreditacin de Colombia. Ha realizado un buen nmero de
investigaciones y evaluaciones de programas educativos y escrito libros y artculos en
educacin y pedagoga. Sus publicaciones ms recientes son: ABP, Aprendizaje Basado
en Problemas, en la Formacin de Profesionales de la Salud (2000), La Educacin y el
Desarrollo Sostenible en la Regin de Planificacin del Occidente Colombiano (2000), La
Investigacin Formativa en la Universidad: concepto, relacin con el pregrado y formas de
implementacin (1999), Maestro Investigador, Escuela Investigadora e Investigacin de
Aula (1999); Calidad y Eficiencia Interna de la Educacin en el Occidente Colombiano
(1998).