Académique Documents
Professionnel Documents
Culture Documents
The role of the Effect Size Report in Data Analysis in Psychology Research
In this essay we discuss the traditional method of inferential analysis in quantitative
methodology (null hypothesis significance testing) and demonstrate its limitations and
inability to provide a measure for the practical significance of the results. The effect size is
presented as a quantitative measure of the strength of a phenomenon, and this report has
been explicitly requested by the American Psychological Association (APA) in the last three
publication manuals. Finally, we show that in our local context, there is a lack of studies
describing the application of the effect size.
138
Importancia del tamao del efecto en el anlisis de datos de investigacin en psicologa
ral aplicacin, proviene de los aportes plio nmero de autores han criticado el
de Ronald Fisher y Jerzy Neyman con exceso y las interpretaciones errneas
Egon Pearson (Cowles, 2001; Kline, de artculos que con este mtodo han
2004; Lehmann, 2011). Los anteriores sido publicados en la investigacin psi-
representan dos lneas que contribuyen colgica (Hubbard y Ryan, 2000). Por
a lo que se denomina el procedimien- ejemplo, desde los aos sesenta se tie-
to clsico de estadstica inferencial: el ne a Rozeboom (1960) y Bakan (1966);
test de significancia de la hiptesis nula. en los setenta a Carver (1978) y Meehl
Este es un procedimiento usado am- (1978); en los aos ochenta Dar (1987),
pliamente en psicologa, ciencias de la Rosnow y Rosenthal (1989), etc. En
salud, educacin, etc. los aos noventa la crtica se intensifi-
El mtodo del NHST empez a ha- ca (e.g., Cohen, 1990, 1994; Schmidt,
cerse de aplicacin generalizada en 1996; Thompson, 1999a). Los anterio-
psicologa desde la dcada de 1940, res y otros numerosos autores no solo
experimentando un incremento rpido criticaron la inadecuada interpretacin
de su aplicacin (Kline, 2004). Este au- del mtodo en mencin, sino, tambin,
mento en el uso del test de significancia su imposibilidad de brindar resultados
estadstica en artculos de revistas es- acordes a los objetivos del investigador
pecializadas en psicologa puede revi- en psicologa.
sarse con ms detalle en el estudio de La aplicacin del NHST en la inves-
Hubbard y Ryan (2000), donde se tom tigacin en psicologa tambin motiv
una muestra de 8001 artculos publica- severas expresiones por parte de reco-
dos entre los aos 1911 y 1998 de una nocidos psiclogos especialistas en in-
muestra aleatoria de 12 revistas de la vestigacin cuantitativa, los que fueron
American Psychological Association publicando a lo largo de varias dcadas
(APA). El porcentaje de aplicacin del en las ms importantes revistas interna-
mtodo de NHST fue de alrededor de cionales de psicologa. As se tiene, por
17 % entre los aos 1911 y 1929, luego ejemplo, que con el ttulo de La fala-
se da un incremento hacia el 50 % alre- cia del test significancia de la hiptesis
dedor de 1940. Este aumento continu, nula, Rozeboom (1960) se expresa sobre
con un 80 % para 1960, y excediendo el el uso del mtodo en mencin como:
90 % hacia 1970. costumbres estadsticas de un pasado
primitivo continan dominando la esce-
na local (p. 417). Cronbach (1975), pre-
Controversia del NHST
ocupado por la prctica de investigadores
A pesar de su extendido uso, el mtodo de preferir los resultados significativos,
del NHST es controversial (Nickerson, escribe: Ha llegado el momento para
2000). En las ltimas dcadas, un am- exorcizar la hiptesis nula la dicoto-
139
Ronald W. Castillo-Blanco, Alberto A. Alegre
140
Importancia del tamao del efecto en el anlisis de datos de investigacin en psicologa
141
Ronald W. Castillo-Blanco, Alberto A. Alegre
publicaciones, la APA hace una expre- el relacionar el tamao del efecto con
sin ms explcita para la presentacin el trmino de hiptesis nula, y por ende
de los tamaos del efecto: con el mtodo del NHST, debera ser
evitado ya que ambos representan di-
Los tamaos del efecto, los intervalos ferentes maneras de analizar los datos
de confianza y una extensa descrip- cuando se hacen inferencias.
cin son necesarios para transmitir el
significado ms completo de los re- De acuerdo con Kelley y Preacher
sultados Uno de los requerimientos (2012), el tamao del efecto es una
mnimos de todas las publicaciones reflexin cuantitativa de la magnitud
peridicas de la APA es una presen- de algn fenmeno, el que se usa para
tacin completa de todas las hiptesis abordar alguna cuestin de inters
examinadas y las estimaciones de ta- (p. 140). Es as que una medida del ta-
maos del efecto e intervalos de con- mao del efecto evala, ya sea en el
fianza adecuados. (APA, 2010, p. 33) anlisis de una diferencia de grupos, en
una correlacin, etc., el tamao, grado
o magnitud del fenmeno presente, en-
Definicin y clculo del tamao tendindose como fenmeno cualquiera
del efecto de los anlisis anteriores. Una expre-
Cohen (1988) define el tamao del efec- sin simplificada del tamao del efecto
to como el grado en que el fenmeno correspondera a la medida del grado en
se presenta en la poblacin (p. 9), o el que el fenmeno de inters est presen-
grado en el que la hiptesis nula es fal- te en la muestra.
sa (p. 10). Esta definicin, en la que se Para el clculo del tamao del efec-
considera al tamao del efecto a partir to se debe considerar una formulacin
de la relacin con el valor de la hip- especfica segn el fenmeno estudia-
tesis nula que corresponde al NHST, do. As, para una comparacin de dos
tambin es considerada por otros au- grupos independientes se tiene como
tores, como Grissom y Kim (2005), expresin ms comn a la diferencia de
para los que un tamao del efecto medias de los grupos en funcin de su
mide el grado en que la hiptesis nula desviacin estndar: d=(M1M2)/DE*,
es falsa (p. 4). Tambin Vacha-Hasse donde d es el tamao del efecto, M1 y
y Thompson (2004) expresan que el M2 son las medias de cada uno de los
trmino tamao del efecto lo usarn grupos, respectivamente, y DE* es la
para referirse a cualquier estadstico desviacin estndar). Se tienen tres for-
que cuantifica el grado en que los re- mas de estimar d, las que bsicamente
sultados de la muestra divergen de la difieren por la consideracin particular
hiptesis nula (p. 473). Sin embargo, que hacen para el clculo de DE*. De
y siguiendo a Kelley y Preacher (2012), esta manera se tienen las frmulas de
142
Importancia del tamao del efecto en el anlisis de datos de investigacin en psicologa
143
Ronald W. Castillo-Blanco, Alberto A. Alegre
144
Importancia del tamao del efecto en el anlisis de datos de investigacin en psicologa
145
Ronald W. Castillo-Blanco, Alberto A. Alegre
146
Importancia del tamao del efecto en el anlisis de datos de investigacin en psicologa
its statistics recommendations are Keselman, H., Huberty, C., Lix, L., Ole-
so controversial. Educational and jnik, S., Cribbie, R., Donahue, B.,
Psychological Measurement, 62(5), Levin, J. (1998). Statistical practices
749-770. of educational researchers: An analy-
Garca, J., Ortega, E., y De la Fuente, L. sis of their Anova, Manova, and An-
(2008). Tamao del efecto en las re- cova analyses. Review of Educational
vistas de Psicologa indizadas en Re- Research, 68(3), 350-386.
dalyc. Informes Psicolgicos, 10(11), Kirk, R. (1996). Practical significance: a
173-188. concept whose time has come. Edu-
Garca, J., Ortega, E., y De la Fuente, cational and Psychological Measu-
L. (2011). The use of the effect rement, 56(5), 746-759.
size in JCR spanish journals of Kirk, R. (2001). Promoting good sta-
Psychology: from theory to fact. tistical practices: some suggestions.
The Spanish Journal of Psychology, Educational and Psychological Mea-
14(2), 1050-1055. surement, 61(2), 213-218.
Glass, G. (1976). Primary, secondary, Kirk, R. (2008). Statistics: an introduc-
and meta-anlysis of research. Edu- tion (5.a ed.). Belmont, CA: Thomsom
cational Researcher, 5(10), 3-8. Wadsworth.
Goodwin, J. (2010). Research in Psy- Kline, R. (2004). Beyond significance
chology: Methods and Design (6.a testing: reforming data analysis
ed.). Toronto: John Wiley and Sons. methods in behavioral research.
Grissom, R., y Kim, J. (2005). Effect Washington, DC: American Psycho-
sizes for research. Mahwah, New logical Association.
Jersey: Lawrence Erlbaum. Lehmann, E. (2011). Fisher, Neyman,
Hernndez, R., Fernndez, C., y Bap- and the creation of classical statis-
tista, P. (2010). Metodologa de la tics. New York: Springer.
investigacin (5.a ed.). Mxico, D. F.: Meehl, P. (1978). Theoretical risks and
McGraw-Hill. tabular asterisk: Sir Karl, Sir Ronald,
Hubbard, R., y Ryan, P. (2000). The and the slow progress of soft psycho-
historical growth of statistical sig- logy. Journal of Consulting and Cli-
nificance testing in psychology and nical Psychology, 46, 806-834.
its future prospects. Educational Myers, J., y Well, A. (2003). Research
and Psychological Methods, 60(5), design and statistical analysis (2.a
661-681. ed.). Mahway, New Jersey: Lawrence
Kelley, K., y Preacher, K. (2012). On Erlbaum Associates.
effect size. Psychological Methods, Nickerson, R. (2000). Null hypothesis sig-
17(2), 137-152. nificance testing: A review of an old
147
Ronald W. Castillo-Blanco, Alberto A. Alegre
148