Usos y abusos

de la cienciometra
La produccin de artculos originales de investigacin, y
el nmero de citas que generan en los ndices internacionales, se han constituido en los indicadores ordinarios
para medir la aportacin de cada investigador al quehacer
cientfico.

En el ltimo lustro el aparato gubernamental mexicano

ha sido consistente en aplicar la mxima de que la
aportacin social de la ciencia y la tecnologa no es tan
clara y mucho menos directa. Como resultado, el apoyo
federal a las actividades cientficas ha disminuido de
manera perceptible. En forma consecuente con esta
actitud, cada vez es ms evidente la delicadeza
gubernamental por cuantificar el impacto de sus
programas de ciencia y tecnologa. En este contexto, la
mayora de las instituciones nacionales ha consolidado la
cultura de la evaluacin y del monitoreo de la
investigacin que desarrollan sus grupos de investigadores.
En particular, la produccin de artculos originales de
investigacin, y el nmero de citas que generan en los
ndices internacionales, se han constituido en los
indicadores ordinarios para medir la aportacin de cada

Miguel ngel Prez Angn Investigador titular del Departamento de

Fsica del Cinvestav, fue editor fundador del Atlas de la Ciencia Mexicana y
del Catlogo Latinoamericano de Programas y Recursos Humanos en Fsica.

investigador al quehacer cientfico. En este estado de cosas,

nos hemos acostumbrado a utilizar dos trminos casi como
sinnimos pero que es conveniente definir con mayor
precisin: bibliometra y cienciometra. La bibliometra se
restringe al estudio de los productos de investigacin
publicados en la literatura cientfica, principalmente
artculos en revistas, y las citas que generan en las revistas
incluidas en el Science Citation Index (SCI), el Social Sciences
Citation Index (SSCI) y el Arts & Humanities Citation Index
(AHCI). En cambio, la cienciometra pretende abarcar un
campo mucho ms amplio que la bibliometra e incluye el
anlisis de otros factores que pueden ser determinantes
para el desarrollo de la actividad cientfica: nmero de
investigadores, su distribucin geogrfica o por
especialidad, fuentes de financiamiento, productividad y
repercusin, etc. Es en este ltimo sentido que utilizaremos
este trmino en el presente artculo.

enero-marzo 2006 Cinvestav

1. Cienciometra

29

Miguel ngel Prez Angn

2. Usos

enero-marzo 2006 Cinvestav

30

El uso de indicadores cienciomtricos es cada vez ms

frecuente en pases desarrollados para definir sus
polticas de apoyo a las actividades cientficas y
tecnolgicas. Quizs para nosotros sean de mayor inters
los anlisis realizados en pases como Brasil, Espaa,
China o India1. En todos estos casos sobresale el
constante incremento en la produccin cientfica de sus
investigadores y el inters por alcanzar los niveles que
tienen los investigadores de pases desarrollados. Por
ejemplo, en el caso de la ciencia espaola les interes
saber en que reas y especialidades sus indicadores de
produccin e impacto son equiparables o superiores a
los del resto de los pases de la Unin Europea.
En nuestro pas, el CONACyT ha publicado de
manera sistemtica varios indicadores sobre la actividad
cientfica en Mxico y en algunos otros pases2. Sin
embargo, los datos publicados por el CONACyT son
globales y no se desglosan por rea o especialidad y
menos an por institucin. Con la idea de cubrir esta
deficiencia, la Academia Mexicana de Ciencias cre en
2002 el Atlas de la Ciencia Mexicana (ACM). La meta de este
proyecto fue integrar bancos de datos estadsticos sobre
todas las reas de la ciencia que se cultivan en nuestro
pas y hacerlos accesibles a todos los usuarios de la
actividad cientfica. Este programa slo tuvo dos aos
de actividad pero en ese periodo fue posible generar
amplia y detallada informacin estadstica sobre diez
reas de la ciencia mexicana: ciencias biolgicas, fsicas,
qumicas, de la tierra, agrociencias y biotecnologa,
medicina y ciencias de la salud, matemticas,
geociencias, ciencias sociales y humanidades3.
La informacin generada por el ACM es muy
completa y confiable gracias a la retroalimentacin que
se recibi de la comunidad cientfica y de las propias

A partir de la creacin del Sistema Nacional de Investigadores (SNI),

en 1984, prcticamente todas las reas inician un proceso de consolidacin y su produccin anual de artculos cientficos se incrementa
de manera constante.

1,400
Medicina
1,200

Biologa
Fsica

1,000

Qumica
800

C. Sociales
Agrociencias

600

Ingenieras
400

C. de la Tierra
Humanidades

200
Matemticas
0
80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

nacional y no se debe a una simple disminucin de

investigadores en las instituciones del rea
metropolitana de la ciudad de Mxico. Por ejemplo, la
UNAM contaba en 1987 con el 51% de los investigadores
con doctorado (169, y en ese entonces todos estaban
concentrados en la CU), pero para 2003 ya slo eran el
36.5% (451) y los que se ubicaban en la CU correspondan
al 27.8% (343). Otro factor que resalta de los datos
generados en el ACM es el nivel de colaboracin
internacional que han logrado los fsicos mexicanos y
que les ha permitido lograr niveles de visibilidad en el
medio internacional que antes slo haban logrado los
investigadores biomdicos: el nmero de artculos
publicados en la dcada de los aos noventa que han
generado ms de cien citas es mayor que los generados
en este nivel por la comunidad biomdica. Muchos de
estos artculos fueron producidos a partir de
colaboraciones internacionales en los grandes
laboratorios de aceleradores de partculas y centros de
observacin astronmica4. Una situacin similar ocurre
en el rea de las geociencias, donde algunos de los
artculos ms citados fueron publicados a partir de la
participacin de cientficos mexicanos en los grupos
internacionales que han explorado el crter Chicxulub
en Yucatn o han realizado estudios por medio de
tcnicas de percepcin remota con satlites terrestres.
Existe otro dato muy interesante que surge a partir
de los datos incluidos en la figura 1: a partir de la
creacin del Sistema Nacional de Investigadores (SNI) en
1984, prcticamente todas las reas inician un proceso
de consolidacin y su produccin anual de artculos
cientficos se incrementa de manera constante. Este
efecto ya ha sido detectado en otros anlisis
cienciomtricos5 y constituye un ejemplo transparente
de los usos positivos de la cienciometra.

enero-marzo 2006 Cinvestav

instituciones de educacin superior e investigacin. En

particular, se cuenta con datos sobre la planta
acadmica (adscripcin institucional, antigedad
acadmica, productividad e impacto, composicin por
gnero, nivel de estudios, nacionalidad y especialidad), y
sobre los programas de estudio de licenciatura y
posgrado (matrcula, nuevo ingreso, egreso, eficiencia
terminal), pero en este ltimo caso slo para algunas de
las diez reas cubiertas por el ACM.
Para dar una idea de los posibles usos de los
indicadores generados por el ACM, mencionar algunos
de los que se obtuvieron para el caso de las ciencias
fsicas, una de las reas mejor cubiertas por este
programa. En la figura 1 se incluye la evolucin de la
produccin cientfica (artculos en los ndices
internacionales) de las diez reas estudiadas en el
periodo 1980-1999. Entre ellas sobresale el incremento de
la produccin en ciencias fsicas por un factor de seis en
este periodo (de 200 a 1200 artculos). Este incremento
corresponde al crecimiento constante de investigadores
con doctorado en esta rea del conocimiento (en 1987 se
tenan registrados slo 337 y para 2003 ya eran 12363).
Los datos recabados por el ACM tambin sugieren una
posible explicacin de por qu los fsicos mexicanos se
convirtieron en el gremio cientfico ms productivo del
pas en un periodo tan corto: es el grupo ms
homogneo en formacin acadmica (existe un mnimo
de investigadores que slo ha terminado sus estudios de
maestra o licenciatura) y que ha sido sujeto de un
estimulante proceso de desconcentracin geogrfica: en
1987, el 70% de los investigadores con doctorado estaba
adscrito a las instituciones ubicadas en la ciudad de
Mxico, y para 2003 este nmero ya se haba reducido al
35%. Conviene resaltar que este proceso ocurri dentro
del amplio crecimiento de la planta acadmica a nivel

31

Figura 1. Nmero de artculos publicados en diez reas de la ciencia mexicana en revistas incluidas en los ndices SCI, SSCI, AHCI.

3. Abusos
Ya mencionamos algunos de los usos y aplicaciones de
los datos generados en la cienciometra, todos ellos
ubicados en la esfera macro de la ciencia y la tecnologa.
Los abusos de la cienciometra aparecen precisamente
cuando algunos resultados de tipo macro se aplican a
nivel micro, esto es, a la evaluacin de investigadores en
forma individual. Existe una amplia literatura sobre los
inconvenientes de este proceder6, a continuacin slo
mencionar algunos de ellos:
Los promedios internacionales de productividad o de
citacin cubren reas muy generales y en la mayora
de los casos no corresponden a las lneas de trabajo
de los investigadores individuales. Estos promedios
varan con el tiempo y esta posibilidad no est
contemplada en los reglamentos institucionales
utilizados para promover o contratar investigadores.
Los factores de impacto determinados para las
revistas incluidas en los ndices internacionales
varan ao con ao, y en consecuencia tambin es
variable la lista de las mejores revistas de la
especialidad7.
Existen revistas de buena calidad que no estn
incluidas en los ndices internacionales, en
particular en reas como matemticas, ciencias
sociales y humanidades. Para este tipo de revistas no
existe informacin sobre sus factores de impacto,
ndices de inmediatez, etc.

enero-marzo 2006 Cinvestav

32

Quizs el principal abuso de los indicadores

cienciomtricos se presenta en instituciones donde son
tomados de manera estricta en los procesos de promocin

La mayora de los comits dictaminadores no estn familiarizados con todos

los temas abordados por los investigadores a ser evaluados, y entonces los
indicadores cienciomtricos se convierten en la norma que debern satisfacer todos los investigadores que quieran ser promovidos o contratados.

Como muchos otros pases en desarrollo, Mxico no

cuenta con polticas claras para fomentar la compilacin
sistemtica de bancos de datos estadsticos sobre la
ciencia nacional. El caso de la ciencia mexicana es
realmente pattico y podemos ilustrarlo con dos
editoriales recientemente publicados en revistas de
circulacin internacional que se han referido al estado
de la ciencia en nuestro pas. En el primer caso,
publicado en la revista American Scientist8, la ciencia
mexicana sale bien librada porque a pesar de lo modesta
que es nuestra contribucin al nmero total de artculos

[Referencias]
1 I. Castro-Moreira, Science 301, 141 (2003); D.A. King, Nature 430, 311

(2004); M. Snchez-Ayuso, reporte del CSIC,

http://www.csic.es/hispano/preside/preside4/infor4.htm; J. Mervis, J.
Kinoshita, Science 270, 1131 (1995).
2 CONACyT, Indicadores de actividades cientficas y tecnolgicas,
http://www.conacyt.mx/indicadores.htm.
3 Atlas de la Ciencia Mexicana, http://www.amc.unam.mx/atlas.htm.
4 F. Collazo-Reyes, M.E. Luna-Morales, J.M. Russell, Scientometrics 60, 131
(2004).
5 C. Gonzlez-Brambila, F. Veloso, reporte de la U. Carnegie Mellon
(2005).
6 Vase, por ejemplo, P.O. Seglen, BMJ 314, 497 (1997); J.W. Grossman,
Notices AMS, 52, 35 (2005); A.F.J. Van Raan, Scientiometrics 62, 133
(2005); N.C. Lin, Y. Cheng, L. Lin, Scientiometrics 64, 101 (2005); J.A.
Tallin, Basic Clinical Pharmacol. Toxicol. 97, 261 (2005); D. Adam, Avance
y Perspectiva 21, 181 (2002).
7 M.H. Magri, A. Solari, Scientometrics 37, 35 (1996).
8 F.J. Ayala, Am. Scientist 93, 2 (2005).
9 Nature Medicine 11, 907 (2005).

33

4. El INEGI de la ciencia

de investigacin publicado en todo el mundo, resulta

que entre los 348 miembros extranjeros de la Academia
Nacional de Ciencias de los EUA, siete son mexicanos, un
nmero mucho mayor que los investigadores de Brasil,
China o India. En cambio, en el segundo caso, el
editorial publicado en la revista Nature Medicine del 5 de
septiembre pasado [9] critica el desempeo de los
cientficos mexicanos. Segn los editores de esta revista,
a pesar de que el apoyo a la ciencia mexicana es
suficiente para el nmero de investigadores mexicanos
y segn los estndares de los EUA, la produccin per
capita y el impacto de la ciencia mexicana son mucho
menores que los de la ciencia norteamericana. Sin
embargo, en este editorial o en el nmero de Nature
Medicine correspondiente a esa fecha no se incluyen los
datos que soporten tan drstica conclusin.
Desgraciadamente, no existe una fuente de informacin
estadstica en nuestro pas que pudiera rebatir la
argumentacin publicada en esta revista.
Como conclusin final de este artculo, espero haber
presentado suficientes argumentos sobre la necesidad de
crear, y preservar, el INEGI (Instituto Nacional de
Estadstica, Geografa e Informtica) de la ciencia
mexicana, o alguna instancia que nos permitiera contar
con datos estadsticos actualizados sobre el estado que
guarda en todo momento la ciencia mexicana. Estos datos
podran ser utilizados por los administradores de la
ciencia para realizar ejercicios reales de planeacin de
nuestra actividad cientfica, por los investigadores
interesados en estudiar la dinmica de nuestra actividad
cientfica, o bien por las propias instituciones de
educacin superior y de investigacin para retroalimentar
sus procesos de evaluacin acadmica. En pocas palabras,
para fomentar el uso correcto de la cienciometra.

enero-marzo 2006 Cinvestav

y contratacin. En la mayora de las instituciones de alto

nivel las evaluaciones acadmicas son determinadas por
especialistas que conocen los temas especficos de inters
de los investigadores evaluados (la famosa evaluacin por
pares) y los datos generados por los anlisis
cienciomtricos se consideran nicamente como material
de apoyo en el proceso de evaluacin. Pero debido a la
intensidad y frecuencia con que se realiza en Mxico la
evaluacin del trabajo acadmico, la mayora de los
comits dictaminadores no estn familiarizados con
todos los temas abordados por los investigadores a ser
evaluados, y entonces los indicadores cienciomtricos se
convierten en la norma que debern satisfacer todos los
investigadores que quieran ser promovidos o contratados.
Esto, a su vez, ha generado nuevos procedimientos de
evaluacin para analizar las apelaciones de los
investigadores inconformes con los resultados de su
propia evaluacin. Existe tambin un uso aberrante de los
indicadores bibliomtricos cuando son utilizados para
propsitos exclusivamente administrativos, pero prefiero
no abundar en ello.