UNIVERSITATEA BABE-BOLYAI

CLUJ-NAPOCA
FACULTATEA DE PSIHOLOGIE I TIINE ALE EDUCAIEI
Catedra de Psihologie Clinic i Psihoterapie

INTRODUCERE N META-ANALIZ
(I)

CS III dr. Sebastian Pintea
Introducere
Meta-analiza (Glass, 1976): analiza statistic a unei colecii de
rezultate n scopul integrrii acestora
DISCUIE: analiza datelor vs. analiza rezultatelor
Meta-analiza introduce n analiza studiilor tiinifice o rigoare
metodologic similar metodei experimentale (DISCUIE: descriptiv vs
inferenial)
Meta-analiza (cercetare secundar) reprezint o sintez cantitativ a
cercetrii primare
Sintezele non-cantitative ale literaturii tiinifice = sinteze (review)
narative (calitative)
Meta-analizele se centreaz n general pe o relaie ntre o var.
Independent (cauzal, explicativ) i o variabil dep. (rspuns,
criteriu) (DISCUIE: dou paliere ale var indep: din studiu i din
caracteristicile studiului)
DISCUIE: meta-analiza obiectivitate sau subiectivitate mprtit?
Delimitarea problematicii cercetate
Codarea variabilelor
ATENIE: subiectivitate transparent, expus criticii
Critici aduse sintezelor
narative
Compoziia eantionului de studii n sinteza narativ este mai degrab
dependent de gusturile cercettorului i frecvent dup criterii
netransparente
Sintezele narative se ntemeiaz doar pe semnificaia statistic a
rezultatelor cu care opereaz (efecte mici mascate de eantioane mari)
Sintezelor narative le lipsesc regulile inferenei statistice n generalizarea
rezultatelor
Sintezele narative nu permit analiza impactului variabilelor moderatoare
Literatura tiinific pe cele mai multe teme de cercetare a ajuns la un
volum att de mare nct de cele mai multe ori este imposibil o sintez a
rezultatelor fr apelul la principiile inferenei statistice

DISCUIE: cum ar fi dac n studiile primare am utiliza metode narative de
analiz a bazelor de date?
Categorii de meta-analize
Meta-analiza de sine stttoare rezultatul meta-
analizei este singurul obiectiv al studiului
Articole tiinifice meta-analitice


Meta-analize n circumscrierea cadrului teoretic al
unui studiu primar rezultatul meta-analizei are ca
obiectiv diagnoza cantitativ a domeniului n care
urmeaz s se desfoare studiul primar
Articole studii empirice cu suport teoretic meta-
analitic
Critici (C) aduse meta-analizelor i reacia
la critici (R)
C1: Meta-analiza adun lalolalt rezultate din studii foarte heterogene ca
design
R1: Ideea este tocmai de a vedea stabilitatea unei relaii la variaii ale
studiilor primare (tipul de studiu poate deveni var. moderatoare).
(sintezele narative au acelai neajuns)

C2: Meta-analiza este o procedur GIGO
R2: Corect. Totui, transparena procedurii permite separarea meta-
analizelor bune de cele slabe, distincie greu de fcut n cazul sintezelor
narative

C3: Meta-analizele ignor calitatea studiilor
R3: Incorect. Studiile proaste pot fi eliminate; mai mult, calitatea studiilor
poate deveni chiar o variabil moderatoare

Critici (C) aduse meta-analizelor i reacia
la critici (R) continuare
C4: Meta-analizele nu pot extrage concluzii valide ntruct n bazele de
date tiinifice sunt publicate doar rezultatele semnificative
R4: n anumite contexte i rezultatele nesemnificative pot fi relevante i
publicate; Meta-analiza include i lucrri nepublicate (ex. Teze de
doctorat, lucrri -conferine)

C5: meta-analiza este interesat doar de efectele principale
R5: sunt incluse i efectele de interaciune, tratate ca efecte de moderare

C6: Meta-analizele sunt subiectiviti prezentate riguros
R6: Sunt implicate ntr-adevr elemente de subiectivitate, dar explicite,
deschise criticii i oricum mai puine dect n sintezele narative
Etape n efectuarea unei meta-
analize
1. Formularea problemei studiate (variabilele, relaia dintre
ele)

2. Colectarea studiilor care ofer rezultate privind relaia
vizat (precizarea clar a criteriilor de includere)

3. Codarea studiilor i calcularea mrimii efectelor

4. Inspecia distribuiei mrimii efectelor i analiza impactului
variabilelor moderatoare

5. Interpretarea rezultatelor i raportarea acestora
1. Formularea problemei
studiate
n aceast faz trebuie inut cont de cteva criterii:
S existe un numr suficient de mare de studii disponibile, cu rezultate cuantificabile
Problema s aib relevan tiinific i s fie de interes pentru comunitatea
tiinific
S aduc un plus de cunoatere tiinific
1. S stabileasc prezena unui efect
2. S stabileasc magnitudinea efectului
3. S integreze diferenele ntlnite n literatur (s soluioneze o disput)
4. S identifice moderatorii relevani ai efectului
De regul (1) (2) i (3) sunt specifice meta-analizelor care circumscriu partea
teoretic a unor studii primare iar (4) meta-analizelor de sine stttoare
Se stabilesc conceptele cu care operm (var. indep i dep.)
Se stabilete tipul de mrime a efectului cu care se va opera (d pentru var
indep categorial i r pentru var indep continu)
Acolo unde se folosete d:
se va stabili care sunt condiiile experimentale ntre care va fi calculat aceast
mrime
se va stabili direcia (semnul) mrimii efectului care va fi vizat
DISCUIE: cum se pune problema semnului dac operm cu r?
1. Formularea problemei
studiate continuare
n aceast etap trebuie circumscris clar populaia (de studii) vizat

Trebuie specificate clar criteriile de includere/excludere
Populaia trebuie s fie suficient de specific pentru a identifica acelai
fenomen dar i suficient de divers pentru ca sinteza cantitativ s fie
relevant i s aduc un plus de cunoatere
Studiile trebuie s msoare var ind i dep de interes i s conin o
estimare a mrimii efectului sau elemente din care s putem calcula
mrimea efectului
Toate criteriile de includere/excludere trebuie precizate explicit i chiar
exemplificate cu studii care au fost incluse/excluse pentru ca regula s fie
ct mai clar
Criteriile de includere/excludere sunt flexibile pe parcursul colectrii
studiilor (pe msur ce ne familiarizm cu problema, criteriile pot fi
ajustate)
Trebuie pstrat lista iniial a studiilor, cele neincluse n studiu avnd
fiecare ataat criteriul pe care nu l-a ndeplinit (dac se exclud ulterior
anumite criterii, din aceast list mai pot fi incluse n analiz cteva studii)
2. Colectarea studiilor
Cutarea studiilor se face iniial dup criterii ct mai largi i
diverse pentru a cuprinde un bazin ct mai larg de selecie
(colecia final de studii reprezint doar o proportie din volumul
iniial de studii)
Iniial se recomand parcurgerea titlului, rezumatului iar dac
acestea nu ofer suficiente informaii pentru decizia de
includere, se parcurge seciunea metodologic a studiului
Acolo unde nu se gsete dect titlul sau rezumatul studiului,
se contacteaz autorii
Se recomand i cutarea studiilor
nepublicate (ex. teze de doctorat)
publicate n alte limbi (cultura poate deveni variabil
moderatoare)
2. Colectarea studiilor continuare 1
- Proceduri specifice de cutare -
n baze de date (Internet)
Identificarea cuvintelor-cheie dup care se va face cutarea (inclusiv
sinonimele acestora)
Se vor utiliza conjunciile OR (pt sinonime) i AND (pt celelalte
concepte)
Ex. mediation AND (rct OR clinical trials)
ATENIE: toate cuvintele-cheie utilizate i combinaiile acestora
precum i numele bazelor de date, intervalele temporale (anii) ntre
care se face cutarea vor fi precizate n articol
Cele mai frecvent accesate baze de date pt psihologi sunt:
1. PsycInfo
2. ERIC (Educational Resources Information Center)
3. Dissertation Abstracts Online
4. ABI/Inform (a worldwide business management and Finance database)
5. Sociological Abstracts (sociology literature)
6. MEDLINE (biomedical literature including health care, clinical psychology,
gerontology, etc.)
7. Mental Health Abstracts
2. Colectarea studiilor continuare 2
- Proceduri specifice de cutare -
Alte surse de studii n domeniul de interes:

Bibliografia studiilor deja gsite (se compar cu studiile deja gsite)
Meta-analize sau sinteze narative deja efectuate
Dac exist jurnale tiinifice n care apar multe studii n problema
vizat, se recomand inspectarea vizual a cuprinsului volumelor din
jurnalul respectiv (pe intervalul temporal vizat)
Programele diverselor ntlniri (evenimente) profesionale surs de
studii nepublicate
APA (American Psychological Association)
APS (American Psychological Society).
Contactarea autorilor studiilor gsite pt a vedea dac au i studii
nepublicate pe aceeai tem
3.1. Codarea studiilor i 3.2. Calcularea
mrimii efectelor
3.1. Codarea studiilor
Procedur

Selecia caracteristicilor ce vor fi codate
Stabilirea modalitii de msurare a fiecrei caracteristici
(scale categoriale vs continue) (Exemple?)
Elaborarea unui protocol de codare
Utilizarea a cel puin nc un cercettor cu codare
independent i calcularea fidelitatii inter-evaluatori

3.1. Codarea studiilor continuare 1
Ce se codeaz?
Identificatori (Nr., referina APA)
Caracteristicile posibil moderatoare
Caracteristici legate de calitatea studiului (fie ca moderatori, fie ca
i criterii de includere/excludere) ameninri la adresa validitii
interne
Caracteristici legate de designul studiului
Distribuirea subiecilor n grupe (randomizat/nonrandomizat)
Tipul de design experimental
Modalitatea de manipulare (intergrupal/intragrupal)
Caracteristici legate de calcularea mrimii efectului
Modalitatea de obinere a mrimii efectului (direct din text/calculat
ulterior)
Nr. de subieci pe care s-a calculat mrimea efectului (d sau r)
Grupurile ntre care s-a calculat mrimea efectului (d)
Modalitatea de msurare a var. dep. pt. care s-a calculat mrimea
efectului
Modalitatea concret de calcul a mrimii efectului
3.1. Codarea studiilor continuare 2
Cum se stabilesc potenialii moderatori?
Moderatori: caracteristici ale studiilor care ar putea explica
diferenele privind evidenierea efectelor, magnitudinea lor
Categorii de moderatori n meta-analize
Diferene metodologice majore (Ex. tip de manipulare, tip de
msurare a var. dep., tip de subieci)
Constructele teoretice
Alte caracteristici (Ex. caracteristici ale autorilor)
DISCUIE: poate fi anul publicrii un moderator?
ATENIE: e foarte important distribuia var. moderatoare (dac
nu exist variabilitate suficient a moderatoarei, analiza de
moderare nu are sens; dezechilibru de nr. de studii ntre
modalitile moderatoarei)
Setul de moderatori trebuie s fie flexibil i ajustabil pe msur ce
sunt parcurse studiile din eantion
3.1. Codarea studiilor continuare 3
Cazul unitilor de intrare multiple din acelai studiu

Nu e situaia tipic
Se datoreaz de cele mai multe ori fie utilizrii
moderatorilor n studiul primar (Ex. brbai vs femei) fie
utilizrii mai multor variabile dependente pentru
msurarea efectului (Ex. nou analgezic)
O soluie: cte o intrare pt efectul n cazul fiecrui
moderator/var dep (Ex. brbai/femei dou intrri)
Alt soluie: nregistrarea unei singure intrri val.
medie (media mrimii efectelor brbai/femei)