Introduccin a los mtodos de investigacin en Didctica de la Lengua y la Literatura. Hctor Ros. Mster de Investigacin en Didctica de la Lengua y la Literatura.

RESEARCH METHODS IN APPLIED LINGUISTICS ZOLTN DRNEY (2007) Un libro extremamente recomendable para todas aquellas personas que quieran adentrarse en el mundo de la investigacin. Sin duda, la lectura ha sido estimulante y motivadora, como cuando un entrenador de baloncesto anima a sus jugadores antes de un encuentro. La sensacin final es que cualquier persona con un poco de curiosidad hacia las cosas, sentido comn, disciplina, organizacin y buenas ideas puede realizar una buena investigacin. El libro se divide en varias partes que recorren aspectos que van desde los diferentes mtodos de investigacin, la recogida y anlisis de datos, hasta la mejor manera de publicar los resultados de la investigacin. La primera parte de esta obra est introducida por una explicacin sobre qu es la investigacin y cmo podemos introducirnos en ella. El autor habla de investigacin en trminos de investigacin cualitativa, cuantitativa y metodologa mixta. Drney nos introduce en la dicotoma entre la investigacin cuantitativa y cualitativa, y de cmo la unin de estos dos paradigmas ha dado lugar a un nuevo mtodo de investigacin, la investigacin con mtodos mixtos. Drney defiende la investigacin de mtodos mixtos desde una postura pragmtica en la que postula que los paradigmas cuantitativos y cualitativos no son extremos opuestos, sino un continuum en el que el intercambio de herramientas es beneficioso para el estudio. Drney realiza un recorrido histrico a travs de los distintos paradigmas, evidenciando las principales caractersticas, puntos fuertes y debilidades de cada uno. De un lado, de la investigacin cuantitativa destaca su sistematicidad, fuerte rigor, capacidad de ser generalizable, fiable, objetiva, y muy controlada; subrayando como aspecto negativo la poca atencin que dedica al individuo. De otro lado, de la investigacin cualitativa resalta su naturaleza exploratoria, la dedicacin que tiene hacia la comprensin de fenmenos complejos, su dinamismo y subjetividad; manifestando sus debilidades: la dificultad de generalizar los resultados y el poco rigor metodolgico. Los mtodos mixtos surgen con la aparicin del concepto de triangulacin en las ciencias sociales. La idea no es otra que la

de combinar las fuentes de datos de cada paradigma para estudiar el mismo fenmeno. De esta forma los mtodos mixtos reducen las debilidades de cada mtodo de investigacin, fortaleciendo la validez (interna y externa). An as, algunos autores nos advierten del peligro que tiene la aceptacin incondicional de que la suma de las partes da siempre un mejor resultado. Drney declara que para l es razonable y comprensible que en algunas investigaciones sea mejor utilizar un tipo de metodologa definida, pero asegura que el uso de mtodos mixtos en la investigacin aporta beneficios adicionales que nos ayudan a comprender un poco mejor el fenmeno de estudio. En el tercer captulo habla de los criterios de calidad, la tica en la investigacin, las preguntas e hiptesis de investigacin, el pilotaje, los diarios de investigacin y el tratamiento de datos. Drney nos explica que los trminos validez (validity) y fiabilidad (reliability) son los ms utilizados para definir el concepto de calidad en la investigacin. Segn Dorney, la calidad en la investigacin cuantitativa se divide en tres partes: validez en la investigacin, validez de la medicin y fiabilidad. La validez de la investigacin cubre todo el proceso de investigacin, analizando el contenido (validez interna) y generalizando los resultados (validez externa). La validez de la medicin designa la estabilidad de un instrumento de medida en base a sus resultados. Por ltimo, la fiabilidad en la investigacin cuantitativa se refiere a la consistencia de datos, puntuaciones u observaciones obtenidas a travs de herramientas de elicitacin. Drney insiste en que la fiabilidad no depende de la prueba o del instrumento, sino de los resultados obtenidos por una poblacin determinada durante una prueba especfica en un momento concreto. La mortalidad de los participantes (attrition) o disminucin de las muestras de estudio; la modificacin por parte de los participantes de hbitos, actuaciones y costumbres al ser conscientes de ser investigados (Hawtorne effect); la mejora de la actuacin de los participantes a causa de la repeticin de pruebas; el cambio o madurez de los participantes a los largo del tiempo; la intencin de los participantes de cumplir las expectativas y modificar su comportamiento; etc, son elementos que pueden afectar a la validez. En cuanto a la investigacin cualitativa, Drney recalca la enorme dificultad que existe a la hora de definir el concepto calidad. Uno de los mayores problemas reside en el hecho que los constructos de validez y fiabilidad se asocian a la metodologa cuantitativa. Una de las

caractersticas de la investigacin cualitativa es el estudio de casos individuales y la subjetividad en la interpretacin de los datos. De ah, la dificultad para definir el constructo de validez. An as, existen algunos conceptos relacionados con la calidad en la investigacin cualitativa: la calidad de los datos difciles de prever (Insipid data); la importancia de la calidad del investigador; y el riesgo de que la investigacin sea meramente anecdtica. La fiabilidad en la investigacin cualitativa se define como la certeza de que los resultados obtenidos volveran a obtenerse una y otra vez al repetirse la investigacin. Para Drney, una buena taxonomia de elementos de calidad en la investigacin cualitativa es la realizada por Maxwell (1992). Adems, el autor nos sugiere tener muy en cuenta factores como la integridad del investigador, los ajustes de validez y fiabilidad y el diseo de la investigacin. Sobre los mtodos mixtos, Drney resalta la importancia de tener en cuenta tres aspectos relacionados con la calidad en la investigacin: la lgica en la combinacin de mtodos; la lgica en el diseo del mtodo mixto elegido; y la calidad de los mtodos que conforman la investigacin. Drney cree que la tica en la investigacin debera tener ms importancia y, a su vez, ser tratada con mayor seriedad. Para el autor es sumamente importante que se aclaren conceptos ticos estrechamente ligados a la cantidad de informacin compartida, el tratamiento de datos sensibles, la relacin entre investigadores y participantes, los diferentes mtodos de recogida de datos, el anonimato, el correcto uso y control de los datos, as como la propiedad de los mismos. La investigacin nace con el tema de la investigacin. A partir de ah, continuamos con una serie de pasos (descripcin de los objetivos, motivaciones) conducentes a la aclaracin del significado de la investigacin. Una vez llegados a este punto, se formulan la/s pregunta/s de investigacin. La pregunta de investigacin facilita la lnea a seguir por los objetivos y el diseo de investigacin. Las hiptesis de investigacin surgen cuando, por el contrario, tenemos una suposicin bastante clara de cules pueden ser los resultados de la investigacin. De esta manera, el estudio se centra en confirmar o desechar la hiptesis de investigacin.

En cuanto a los estudios cuantitativos, una mayor especificacin de la pregunta de investigacin tendr como consecuencia un mayor grado de definicin del estudio. En cambio, una caracterstica de la investigacin cualitativa es la naturaleza emergente que tiene la pregunta de investigacin, siendo mucho ms vaga al principio que las preguntas de investigacin cuantitativas. Los mtodos mixtos de investigacin tienen la capacidad de realizar preguntas de investigacin que pueden ser consideradas especficas y vagas al mismo tiempo. En palabras de Drney, una buena estrategia en este tipo de estudios mixtos es la de empezar con una declaracin de objetivos. Luego, razonamos sobre cul puede ser el diseo de investigacin mixto ms apropiado, incluyendo los diferentes mtodos que utilizaremos. Por ltimo, separamos tanto los objetivos como las preguntas de investigacin con el objetivo de seleccionar los elementos de la investigacin. Drney termina este captulo declarando la importancia que tienen en la investigacin el pilotaje, el diario de investigacin y el tratamiento de los datos. Es fundamental pilotar tanto los instrumentos como los procedimientos de investigacin antes de empezar con un estudio de investigacin. De hecho, un buen pilotaje de instrumentos y procedimientos de investigacin nos ahorrar alguna que otra frustracin y bastante trabajo extra. Para Drney es muy importante comenzar el estudio con un diario de investigacin donde poder anotar las decisiones que vamos tomando a lo largo de la misma: un autntico diario de viaje. La principal diferencia entre estudios longitudinales y transversales reside en el tiempo. Mientras los estudios transversales se centran en un momento preciso en el tiempo, los estudios longitudinales se centran en varios momentos a lo largo de una lnea de tiempo. Drney indica que los datos se obtienen en dos o ms momentos diferentes en el tiempo; que los sujetos de estudio son los mismos o, por lo menos, comparables entre ellos; y, por ltimo, que el anlisis se centra en la comparacin de los datos recogidos en cada momento de la investigacin. Los estudios longitudinales tienen dos objetivos principales: describir comportamientos de cambio y explicar relaciones causales. A su vez, conllevan mucho ms tiempo que los transversales, de ah que haya mucho ms investigadores que optan por el anlisis transversal: el tiempo es oro. En la segunda parte del libro, Drney desmenuza los entresijos de los diferentes mtodos de recogida de datos. Drney dedica el primer captulo a la recogida de datos cuantitativos,

destacando cuatro aspectos fundamentales: la muestra de estudio, los cuestionarios, las investigaciones experimentales y cuasiexpermentales y la recogida de datos via Internet. La muestra seleccionada determina su propio xito. En relacin a esta, Drney seala tres conceptos fundamentales: muestra o participantes en el estudio, poblacin o grupo de personas hacia la que se dirige la investigacin, y representatividad de la muestra seleccionada en relacin a la poblacin. Para seleccionar una muestra representativa de una poblacin podemos utlizar dos herramientas: un muestreo probabilstico, que requiere enormes esfuerzos econmicos y logsticos; o un muestreo no probabilstico, ms acorde con las posibilidades de la investigacin en lingstica aplicada. Drney menciona la media estimada de componentes que debera tener cada muestra (no menos de 30 en investigaciones correlativas, 15 por grupo con instrumentos comparativos y experimentales, y 100 con instrumentos de anlisis de multiples variables). El uso de cuestionarios se ha convertido en el mayor instrumento de recogida de datos en las investigaciones, facilitando en la mayora de los casos datos cuantitativos. Drney analiza una a una las fases que componen la creacin de esta herramienta: el tipo de datos elicitados (hechos, comportamientos y actitudes de los participantes); la importancia del lenguaje en las escalas con mltiples tems; los tems de los cuestionarios escritos (respuestas cerradas en la mayora, aunque sin excluir las preguntas con respuestas abiertas); el formato de los cuestionarios, estructura (ttulo, introduccin, instrucciones, tems, informacin adicional y agradecimientos finales), longitud, diseo y secuencia de tems; el pilotaje de la herramienta (un primer pilotaje de tems que nos dar la posibilidad de seleccionar los que pasarn a un segundo pilotaje); as como la administracin de la prueba (fundamental en la calidad de los datos elicitados). Por ltimo, Drney enumera los puntos fuertes -recogida de multitud de datos en poco tiempo, procesamiento rpido de datos y versatilidad de los mismos- y dbiles -datos poco fiables y no vlidos si no se realizan con sumo cuidado y la necesidad de crear tems comprensibles para todo el mundo-. Drney contina dejando claro la importancia que tienen los diseos experimentales a la hora de buscar respuestas causales: dado dos grupos, uno experimental y otro de control, se analizan los resultados obtenidos en pruebas realizadas con anterioridad y posterioridad a la aplicacin de una variable al grupo experimental. La dificultad en este tipo de diseos

experimentales reside en la creacin de grupos comparables entre ellos. Siendo este ltimo aspecto difcil de conseguir en el mbito educativo, se ha dado paso a los diseos cuasiexperimentales. Para terminar, Drney enumera los puntos fuertes y dbiles de ambos diseos. El ltimo aspecto que Drney trata en este captulo se refiere a la recogida de datos a travs de Internet, destacando sus puntos fuertes: reduccin de costes, conveniencia en la administracin de pruebas, codificacin y grabacin de datos elicitados, alto nivel de anonimato, universalidad de acceso, as como la posibilidad de acceder a grupos muy concretos. Aunque Internet presenta aspectos positivos, Drney nos avisa de los posibles problemas tcnicos y de hetereogeneidad de la muestra que disminuyen la posibilidad de generalizacin de los resultados. El siguiente captulo est dedicado a la recogida de datos cualitativos. Ya que la naturaleza de los procesos en la investigacin cualitativa es primordialmente flexible y emergente, es difcil especificar cundo un mtodo cualitativo en concreto recoge los datos, los analiza o simplemente los combina. De hecho, los datos cualitativos aumentan a tal velocidad que la verdadera dificultad est en la capacidad de seleccionar datos eminentemente prcticos. El principal objetivo es la descripcin, comprensin y clarificacin de determinadas vivencias que nos facilite comprender la idiosincracia de una poblacin. As, Drney indica que el objetivo del muestreo es proporcionar participantes que aporten perspectivas ricas y variadas en relacin al fenmeno de estudio. Repeticin (Iteration), que Drney enumera a continuacin. La etnografa es un claro ejemplo de mtodo de invrestigacin cualitativa. El principal objetivo de la etnografa es proporcionar una descripcin precisa de la cultura objeto. A tal propsito, utliza varias herramientas de recogida de datos (observacin participativa / no participativa, entrevistas, diario personal del investigador, grabaciones audio vdeo, documentos autnticos, notas, e incluso cuestionarios estructurados a lo largo del estudio). La etnografa se centra en la comprensin del comportamiento del sujeto de estudio dentro de un ambiente natural, convirtindose, de este modo, en un enfoque emergente. La practicidad como mtodo para acceder a terrenos desconocidos y la capacidad para comprender procesos sociales a partir de la perspectiva de los participantes constituyen los convencimiento (saturation), dimensin de la muestra y estrategias de muestreo son algunos de los aspectos

puntos fuertes de la etnografa. Por el contrario, Drney evidencia como aspecto negativo la enorme cantidad de tiempo necesario para llevarse a cabo. La entrevista es el mtodo ms usado en la recogida de datos cualitativos. La entrevista ms frecuente es la denominada cara a cara (one-to-one) que se divide, en base al grado de estructuracin y al nmero de sesiones, en varios tipos: entrevista nica o de multiples sesiones; entrevistas estructuradas; entrevistas sin una estructura predefinida; y entrevistas semiestructuradas. Drney nos indica que para que esta herramienta sea efectiva el investigador tiene que prepararla y pilotarla con sumo detalle. Una buena gua permite apuntar los puntos inherentes a la investigacin que queremos tratar; tener preguntas exploratorias que podamos utilizar en caso necesario; facilitarnos enunciados apropiados; plantillas que simplifican la entrada o el cambio de argumento; etc. Adems, es importante combinarla con un diario de entradas. La entrevista es una herramienta socialmente conocida y aceptada, de manera que puede ser usada de muchas maneras y en diferentes situaciones, pero requiere mucho tiempo, tanto para la realizacin como para la puesta en marcha. El captulo contina con el anlisis de mtodos introspectivos -la tcnica think aloud y las entrevistas retrospectivas o stimulated recall- enumerando los puntos fuertes y dbiles de cada uno. Drney realiza un acercamiento a los estudios de caso, destacando la importancia, particularidad y complejidad en este tipo de estudio, as como sus caratersticas y puntos fuertes y dbiles. Repasa los estudios de diario, analizando sus caractersticas, fortalezas y debilidades. Y termina con una aproximacin a los diarios de investigacin de los propios investigadores. Drney introduce el siguiente captulo con tres preguntas que le servirn de hilo conductor. Ante la primera pregunta, por qu mezclar mtodos de investigacin?, argumenta que es posible comprender mejor un fenmeno de estudio gracias a la combinacin de mtodos y a la suplementacin de resultados, ya que se obtiene un cuadro ms amplio del objeto de estudio. Adems, declara que la combinacin de mtodos es secuencial, de modo que los resultados de uno condicionan el desarrollo del otro. Es ms, muchos investigadores utilizan los mtodos mixtos para generar discrepancias y contradicciones que conlleven a la apertura de nuevas lneas de investigacin, ampliando y enriqueciendo sus estudios. La triangulacin fortalece la validez de un estudio: si unos resultados son corroborados

mediante ambos mtodos tendrn mayor validez que aquellos resultados obtenidos a travs de un nico mtodo. Por ltimo, Drney alega que si una investigacin se lleva a cabo a travs de mtodos mixtos tendr una audencia mayor. Ante la segunda pregunta, no existe ningn peligro a la hora de combinar mtodos de investigacin?, Drney arge que todo depender de lo que se est investigando. El autor deja claro que los mtodos de investigacin mixtos no son vlidos solo porque s. Estos sern tiles nicamente si se utilizan para fortalecer los puntos fuertes y minimizar las debilidades de cada mtodo. Por ltimo, Drney responde a la tercera pregunta, cules son los diseos de mtodos ms efectivos?, analizando los principales diseos de mtodos mixtos (tipologa y caractersticas). El anlisis va desde la combinacin QUAL + QUAN, QUAL + quan, QUAN + qual, QUAN p QUAL, pasando por QUAL p QUAL, QUAL p quan, qual p QUAN, QUAN p qual, hasta llegar a la posibilidad quan p qual. El captulo termina con la argumentacin del autor sobre el bajo nmero de investigaciones que siguen un mtodo mixto. Para el autor esto ocurre por dos motivos principales. De un lado, no existe un amplio conocimiento en el uso de mtodos mixtos, de otro, faltan expertos que los implementen. De todas formas, Drney es positivo sobre el futuro de la investigacin e ndica que el camino a seguir consiste en la colaboracin y cooperacin entre investigadores. La investigacin en el aula acapara el tlimo captulo de la segunda parte del libro. El aula es primordial en la investigacin en lingstica aplicada ya que (a) identifica y mejora la comprensin que cada uno de los participantes tiene durante la interaccin y (b) analiza el impacto de la metodologa en los aprendientes de LE/SL y los factores que facilitan y promueven el aprendizaje. Existen dos dicotomas para organizar las diferentes posibilidades en las que podemos observar el aula: observacin participativa vs no participativa, y observacin estructurada vs no estructurada. Drney describe tres esquemas para la recogida de datos. FLINT (Foreign Language Intereaction Analysis), COLT (Communication Orientation of Laguage Teaching) y MOLT (Motivation Orientation in Language Teaching). La grabacin en video tambin ha aportado avances considerables, aunque est muy lejos de eliminar las dificultades asociadas con la observacin en el aula.

Para Drney las ventajas de la observacin en el aula residen en la posibilidad de ver lo que hacen las personas y en su versatilidad como herramienta. Drney subraya, por el contrario, que muchos de los procesos que ocurren en el aula son mentales por lo que no pueden ser observados. La investigacin en el aula es un espacio ideneo para el uso de mtodos mixtos. La investigacin en accin cierra el litmo captulo. La investigacin en accin, como colaboracin entre investigadores y profesores, pretende mejorar las prcticas diarias en los entornos de aprendizaje. An as, no existe mucha documentacin al respecto. Drney argumenta dos elementos causales: la falta de tiempo e incentivos por parte de profesores y la falta de apoyo a la hora de llevar a cabo la investigacin. An as, Drney cierra esta segunda parte con una actitud positiva hacia la integracin de los profesores en la investigacin. Drney dedica la tercera parte del libro al anlisis de datos. El autor analiza con sumo detalle el uso del software SPSS (Statistical Package for the Social Science) y las fases de preparacin de datos (codificacin, introduccin de datos en el software, revisin y correccin de datos y la adaptacin de los mismos al tipo de procedimiento estadstico). El anlisis de datos cuantitativos se realiza a travs de mltiples procedimientos estadsticos, siendo la pregunta de investigacin y el tipo de datos recogidos -nominal, ordinal o de intervalo- claves para la mejor eleccin del procedimiento estadstico a utilizar paramtrico (datos de intervalo) o no paramtrico (datos nominales y ordinales)-. A su vez, Drney deja constancia de la importancia que tienen en el anlisis de datos estadsticos (a) la distribucin normal de los datos, (b) tener muy claro la diferencia entre estadsticas descriptivas (organizar y describir resultados) e inferenciales (generalizar resultados), as como (b) conceptos como statistical significance, confident intervals y effects size. En cuanto a las estadsticas descriptivas, Drney presenta las categorias principales: medidicin de tendencias -Mean (M), Median y Mode- y de variabilidad -Range y Standard deviation (SD)-. El captulo contina con los diferentes mtodos utilizados en la comparacin de grupos: t-test, utilizado para comparar dos grupos; y Analysis of variance (ANOVA) que compara ms de dos grupos. El relacin entre variables o anlisis correlacional es el litmo aspecto que Drney documenta antes de pasar a describir los test no paramtricos (Chi-square test -el ms comn-, Spersman`s rank order correlation, Mann-Whitney U test, Wilcoxon signed-rank test y Kruskal-Wallis test). La ltima parte del

captulo est dedicada a procedimientos estadsticos avanzados (two-way ANOVA, Factor analysis, Cluster, Structural equation modelling SEM y Meta analysis). Drney presenta de manera detallada las cuatro caractersticas prinicpales del anlisis de datos cualitativos, a saber: (a) su naturaleza lingstica; (b) proceso iterativo que se va centrando, en base a los resultados que emergen, en la recogida, en el anlisis o en la interpretacin de datos; (c) intuicin subjetiva contra procedimientos de anlisis formalizados; y (d) metodologas especficas, grounded theory, contra procedimientos ms genricos de anlisis de contenidos, transcripicin, niveles de codificacin y anotaciones. Por ltimo, Drney analiza la importancia de CAQDAS (Computer-aided qualitative data analysis) en el anlisis de datos cualitativos. En cuanto al anlisis de datos en mtodos de investigacin mixta, Drney nos presenta la transformacin de datos como la tcnica ms comn. Tcnica que consiste en convertir datos cualitativos en cuantitativos y viceversa. El autor promueve tambin el uso de tcnicas como el anlisis de casos extremos, el desarrollo de tipologas/categoras y el anlisis por fases. La cuarta parte del Libro est dedicada a la redaccin de los resultados de la investigacin. Al igual que para otros autores, para Drney la investigacin tiene tal relevancia social que debe tener como prioridad una mejor y mayor comprensin de las problemticas sociales y educativas. Drney recomienda una redaccin de fcil comprensin, accesible y que suponga contar una historia. Para los tres tipos de investigacin analizados en el libro, cuantitativa, cualitativa y mixta, Drney ejemplifica la estructura de cada una de ellas, resaltando las diferencias existentes. Ttulo, abstract, ndice de contenidos, introduccin, recorrido que trabaja. La litma parte del libro est dedicada a las reflexiones finales del autor. Drney da una serie de consejos y recomendaciones, evidenciando la importancia del pragmatismo, el contenido de la investigacin y la audencia a la hora de elegir el mtodo apropiado. Por ltimo, el autor deja claro su punto de vista, manifiestando su inclinacin hacia estudios con mtodos de investigacin mixtos. bibliogrfico, pregunta de investigacin, participantes, herramientas, procedimientos, variables, resultados y conclusiones finales son algunos de los aspectos