Vous êtes sur la page 1sur 77

TEMA V

Definicin general
Clasificacin
Caso paramtrico: anlisis estadsticos
aplicables
Formato del diseo multigrupo
completamente al azar, modelo estructural
y componentes de variacin
DISEOS EXPERIMENTALES
MULTIGRUPO
ESQUEMA GENERAL
Concepto
Los diseos multigrupo, de uso frecuente en
ciencia psicolgica y social, son estructuras de una
sola variable independiente a tres o ms valores o
niveles. Al seleccionar ms de dos valores de la
variable independiente o causal, es posible extraer
la relacin funcional entre la variable
independiente y dependiente del experimento. Por
dicha razn, estas estructuras se conocen por
experimentos funcionales o paramtricos
(Plutchik, 1968).
Clasificacin
Aleatorizacin Diseo multigrupo (de tres o ms grupos
completamente al azar
Constancia Diseo de Bloques de grupos al azar
Diseo de Cuadrado Latino
Diseo Jerrquico
El sujeto como
control propio
Diseo de medidas repetidas con tres o
ms tratamientos (Sujetos x
Tratamientos)
Tcnica de control Diseo
Diseo multigrupo al azar
Diseo multigrupo al azar

El diseo multigrupo completamente al azar
requiere la asignacin aleatoria de los
sujetos de la muestra a los distintos grupos,
sin restriccin alguna. Se trata de una
extensin del diseo de dos grupos, ya que
en esta situacin se eligen de la variable de
tratamiento ms de dos valores o
condiciones.
Formato del diseo de multigrupo
al azar
Muestra
experimental
Asignacin aleatoria
Tratamientos
.
A
1
A
2
A
j
A
a

S
u
j
e
t
o
s


S
u
j
e
t
o
s


S
u
j
e
t
o
s

Anlisis aplicables
Prueba de significacin
general
Si la V. Independiente es
categrica
Si la V. Independiente es
cuantitativa
ANOVA unidireccional
Comparaciones mltiples
Anlisis de tendencias
Caso paramtrico. Ejemplo
Supngase que se pretende probar si la cantidad de
repasos es una variable decisiva en la retencin
(memoria de recuerdo), para un conjunto de palabras
monoslabas de igual valor asociativo. De la variable
independiente o variable repaso se seleccionan los
siguientes valores: presentacin de la lista sin repaso
(condicin A
1
), dos presentaciones de la lista, siendo la
segunda presentacin un repaso (condicin A
2
), tres
presentaciones y dos repasos (condicin A
3
) y, por
ltimo, cuatro presentaciones y tres repasos (condicin
A
4
). ..//..
Se instruye a los sujetos que lean en voz alta
cada uno de los tems presentados, a un tem
por segundo. Al terminar las lecturas, los
sujetos realizan una prueba de memoria de
recuerdo consistente en restituir o recuperar
de la memoria la mayor cantidad de tems. La
medida de la variable dependiente es la
cantidad de respuestas o tems correctamente
recordados. Asumiendo que cada tem tiene la
misma dificultad de recuerdo, se considera
que la escala de medida es de intervalo.
Modelo de prueba estadstica
Paso 1. La hiptesis de nulidad asume que las medias
de los grupos experimentales proceden de una misma
poblacin y, por consiguiente, son idnticas:

H
0
:
1
=
2
=
3
=
4

Paso 2. La hiptesis experimental asume que la
cantidad media de palabras recordadas variar
positivamente en funcin de la cantidad de repasos. En
trminos estadsticos

H
1
:
1
=
2
, o
1
=
3
, o
1
=
4
, o
2
=
3
, o
2
=
4
, o

3
=
4
H
1
: por lo menos una desigualdad
Paso 3. Se aplica una prueba de significacin
general o prueba mnibus, cuyo estadstico es la F
de Snedecor. El nivel de significacin de = 0.05.
El tamao de la muestra experimental y las
submuestras de tratamiento son:
N = 20 y n = 5.
F
0.95
(3/16) = 3.24

Paso 4. Tras la ejecucin del experimento, se
calcula el valor emprico de F, a partir de la matriz
de datos.

Datos del experimento
41
8.2
33
6.6
25
5
12
2.4
9
7
8
9
8
6
7
8
7
5
4
3
5
7
6
2
1
3
4
2
A
4
A
3
A
2
A
1

TRATAMIENTOS
DISEO MULTIGRUPO
Totales:
Medias:
111
5.5
ANOVA unidireccional
MODELO ESTRUCTURAL DEL AVAR:
DISEO MULTIGRUPO
ij j ij
Y c o + + =
Especificacin de modelo del ANOVA

Y
ij
= la puntuacin del i sujeto bajo la j condicin
experimental o tratamiento.

= la media global de los datos del experimento.


j
=
j
- , es el efecto o impacto de j nivel de la variable de
tratamiento A.


ij
= Y
ij
-
j
, es el error experimental asociado al i sujeto bajo
el j tratamiento.

Para que el modelo sea vlido, se especifican las siguientes
condiciones:


j
= 0 y
ij
~ NI D(0, )
Clculo de las sumas de cuadrados

SC
total
= (2) + (1) + ... + (8) - (111)/20

= 731 - 616.05 = 114.95

SC
trat.
= [(12)/5 + (25)/5 + (33)/5 + (41)/5]

- (111)/20 = 707.80 - 616.05 = 91.75

SC
error
= (2) + (1) + ... + (8) - [(12)/5 + (25)/5 +

(33)/5 + (41)/5 ] = 23.20
CUADRO RESUMEN DEL AVAR: DISEO
MULTIGRUPO
F
0.95
(3/16) = 3.24
an-1=19 114.95 Total (T)
<0.05 21.08 30.58
1.45
(a-1)=3
a(n-1)=16
91.75
23.20
Trat (A)
Error (S/A)
p F CM g.l SC F.V.
Modelo de prueba estadstica
Paso 5. Dado que el valor observado de F es
mayor que el valor terico al 5% y en funcin
de los grados de libertad correspondientes, se
rechaza la hiptesis de nulidad y se acepta la
hiptesis alternativa o hiptesis experimental a
este nivel de significacin.
Supuesto de homogeneidad
Igualdad de las variancias de los grupos:


H
0
:
1
=
2
= ... =
j




Prueba de la homogeneidad
Hartley: cuando n por grupo es constante


mayor de las variancias s
mayor

F
max
= ----------------------------------- = -------------
menor de las variancias s
menor


Clculo de F
max
Clculo de las variancias de los grupos de tratamiento

Grupo de
tratamiento SC g.l. s

Primero (2+1+...+2)-(12/5) = 5.2 n-1=4 5.2/4 = 1.3
Segundo (4+3+...+6)-(25/5 ) = 10.0 n-1=4 10/4 = 2.5
Tercero (6+7+...+5)-(33/5) = 5.2 n-1=4 5.2/4 = 1.3
Cuarto (9+7+...+8)-(41/5) = 2.8 n-1=4 2.8/4 = 0.7

El valor de Fmax, teniendo por numerador la variancia ms grande y por denominador
la ms pequea, es

2.5
F
max
= ----- = 3.42
0.7
Prueba del supuesto de homogeneidad de las variancias
2
2
max
menor
mayor
s
s
F =
60 . 20 ) 4 / 4 (
42 . 3
7 . 0
5 . 2
95 . 0 max
max
=
= =
F
F
7 . 0
3 . 1
5 . 2
3 . 1
2
4
2
3
2
2
2
1
=
=
=
=
S
S
S
s
j/(n-1)
Resultado de la prueba
Entrando en la tabla de F
max
, con los
parmetros correspondientes y a un nivel de
significacin de 0.05, el valor terico de
F
max 0.95
(4/4) es 20.60. Dado que el valor
observado del estadstico es ms pequeo
que el de las tablas, se acepta la hiptesis
de nulidad o supuesto de homogeneidad de
las variancias.
Comparaciones mltiples
Contrastes de medias
Las comparaciones o contrastes se efectan,
por lo general, entre las medias de los grupos
de tratamiento. Genricamente, una
comparacin entre k medias es la combinacin
lineal o suma ponderada de medias. Antes de
examinar los distintos procedimientos de
comparaciones mltiples, proponemos una
clasificacin prctica para su descripcin.
Comparaciones
mltiples
A priori o
planificadas
No ortogonales
Ortogonales
A posteriori o
no planificadas
Fisher
Duncan
Tukey
Scheff
Dunnet
Newman-Keuls
Contrastes a priori o planificados

Las comparaciones a priori o planificadas se
formulan de acuerdo con los intereses previos
o tericos del investigador, y se plantean
antes de obtener los resultados del
experimento. Segn su naturaleza, las
comparaciones planificadas son no
ortogonales y ortogonales.
Contrastes no ortogonales

Suma algebraica de las medias de los
tratamientos ponderadas por unos
coeficientes que cumplen la condicin de
linealidad:
a
j
= 0_ _ _ _
c = a
1
Y.
1
+ a
2
Y.
2
+ ... + a
j
Y.
j
= a
j
Y.
j
Cinco hiptesis de nulidad para los
contrastes no ortogonales

1. H
0
=
2
-
1
= 0
Dos lecturas de la lista (condicin A
2
) no
difiere de una sola lectura (condicin A
1
).

2. H
0
=
3
-
1
= 0
Se asume la igualdad entre la condicin de tres
(A
3
) y uno (A
1
). ..//..
3. H
0
=
4
-
1
= 0
Se asume la igualdad entre cuatro lecturas
(condicin A
4
) y una sola lectura (condicin
A
1
).


4. H
0
=
3
- 1/2(
1
+
2
) = 0
Se establece la igualdad entre tres lecturas y
el promedio entre una y dos lecturas.

5. H
0
=
4
- 1/3(
1
+
2
+
3
) = 0
Se define la igualdad entre cuatro lecturas y
el promedio de las restantes.
Reformulacin de las hiptesis
nulas en combinaciones lineales

1. (-1)
1
+ (1)
2
+ (0)
3
+ (0)
4
= 0
2. (-1)
1
+ (0)
2
+ (1)
3
+ (0)
4
= 0
3. (-1)
1
+ (0)
2
+ (0)
3
+ (1)
4
= 0
4. (-1/2)
1
+ (-1/2)
2
+ (1)
3
+ (1)
4
= 0
5. (-1/3)
1
+ (-1/3)
2
+ (-1/3)
3
+ (1)
4
= 0
Comparaciones mltiples a priori: no
ortogonales
1.33 1 -1/3 -1/3 -1/3 c
5

1.5 0 1 -1/2 -1/2 c
4

2 1 0 0 -1 c
3

2 0 1 0 -1 c
2

2 0 0 1 -1 c
1

a
4
a
3
a
2
a
1

Contraste
Coeficientes
a
j
Prueba de las hiptesis de nulidad
Paso 1. Clculo del valor emprico del contraste.
c
1
= (-1)2.4 + (1)5.0 + (0)6.6 + (0)8.2 = 2.6

c
2
= (-1)2.4 + (0)5.0 + (1)6.6 + (0)8.2 = 4.2

c
3
= (-1)2.4 + (0)5.0 + (0)6.6 + (1)8.2 = 5.8

c
4
= (-1/2)2.4 + (-1/2)5.0 + (1)6.6 + (0)8.2 = 2.9

c
5
= (-1/3)2.4 + (-1/3)5.0 + (-1/3)6.6 + (1)8.2 = 3.53
Paso 2. Clculo del error estndar del contraste.

a
1
a
2
a
j


c
s
c
= \s
e
(------ + ------ + ... + ------)
n n n

CMe
= \-----------a
j

n


donde s
e
= CMe es la variancia del error o Cuadrado Medio del
error del Anlisis de la Variancia. Segn esta frmula, se
calculan los errores estndar de los distintos contrastes:
(1.45)2
s
c1
= \-------------- = 0.76
5
(1.45)2
s
c2
= \-------------- = 0.76
5
(1.45)2
s
c3
= \--------------- = 0.76
5
(1.45)1.5
s
c4
= \--------------- = 0.66
5
(1.45)1.33
s
c5
= \---------------- = 0.62
5
Paso 3. A continuacin, se prueba la
significacin del contraste mediante el
estadstico t o F. Cuando se utiliza este
segundo estadstico, es necesario calcular las
Sumas de Cuadrados de los contrastes,
aplicando la siguiente expresin:

c
SC
c
= ---------
(a
j
/n)


El valor de los respectivos estadsticos de la prueba
se obtienen de las ecuaciones siguientes:
c
t = -------, y
s
c


CMc
F = ---------
CMe

Puesto que cada contraste tiene un solo grado de
libertad, el valor del Cuadrado Medio es la
correspondiente Suma de Cuadrados.
69 . 5
62 . 0
53 . 3
39 . 4
66 . 0
9 . 2
65 . 7
76 . 0
8 . 5
53 . 5
76 . 0
2 . 4
42 . 3
76 . 0
6 . 2
=
=
=
=
=
62 . 0 =
5
33 . 1 ) 45 . 1 (
= c
66 . 0 =
5
5 . 1 ) 45 . 1 (
= c
76 . 0 =
5
2 ) 45 . 1 (
= c
76 . 0 =
5
2 ) 45 . 1 (
= c
76 . 0 =
5
2 ) 45 . 1 (
= c
5
4
3
2
1
c
s
c
t =

=
2
j
error
c
a
n
CM
s
1
1
1
1
1

g.l
3 . 32
45 . 1
84 . 46
33 . 19
45 . 1
03 . 28
58
45 . 1
1 . 84
41 . 30
45 . 1
1 . 44
66 . 11
45 . 1
9 . 16
=
=
=
=
=
84 . 46
33 . 1
) 53 . 3 )( 5 (
c
03 . 28
5 . 1
) 9 . 2 )( 5 (
c
1 . 84
2
) 8 . 5 )( 5 (
c
1 . 44
2
) 2 . 4 )( 5 (
c
9 . 16
2
) 6 . 2 )( 5 (
c
2
5
2
4
2
3
2
2
2
1
= =
= =
= =
= =
= =
error
c
CM
CM
F =
2
2
=
j
c
a
nc
SC

Cuadro resumen valores de t y F
Cuadro resumen del clculo de las Sumas de cuadrados y de los valores de t y F.

Sumas de Cuadrados Valores t F


(5)(2.6) 2.6 16.9
c
1
= ------------- = 16.9 -------- = 3.42 -------- = 11.66
2 0.76 1.45

(5)(4.2) 4.2 44.1
c
2
= ------------- = 44.1 ------- = 5.53 -------- = 30.41
2 0.76 1.45

(5)(5.8) 5.8 84.1
c
3
= ------------- = 84.1 ------- = 7.65 -------- = 58
2 0.76 1.45

(5)(2.9) 2.9 28.03
c
4
= ------------- = 28.03 ------- = 4.39 -------- = 19.33
1.5 0.66 1.45

(5)(3.53) 3.53 46.84
c
5
= ------------- = 46.84 -------- = 5.69 -------- = 32.3
1.33 0.62 1.45

Paso 4. Entrando en la tabla de t, con los grados
de libertad asociados al trmino de error del
ANOVA y a un nivel de significacin del 5%, se
tiene

t
0.95
(16) = 1.76

De igual modo, entrando en la tabla de F, se tienen

F
0.95
(1/16) = 4.49

De esto se concluye que todos los contrastes son
significativos.
Contrastes ortogonales
La propiedad bsica de las comparaciones ortogonales
es que reflejan piezas de informacin independientes
y que el resultado de una comparacin no tiene
relacin alguna con el resultado de cualquier otra.

Bajo el supuesto de ortogonalidad, dos
comparaciones son independientes cuando la suma de
los productos cruzados de los coeficientes es cero, es
decir, la condicin de ortogonalidad entre dos
comparaciones cumple la siguiente restriccin:
(a
j
a
k
= 0)
Cinco hiptesis de nulidad para los
contrastes ortogonales
1. H
0
=
2
-
1
= 0
Dos lecturas de la lista (condicin A
2
) no difiere de
una sola lectura (condicin A
1
).

3. H
0
= 2
3
(
1
+
2
) = 0
Se establece la igualdad entre tres lecturas y el
promedio entre una y dos lecturas.

5. H
0
= 3
4
- (
1
+
2
+
3
)= 0
Se define la igualdad entre cuatro lecturas y el
promedio de las restantes.
Coeficientes de los contrastes
ortogonales
12 3 -1 -1 -1 C
3

6 0 2 -1 -1 C
2

2 0 0 1 -1 C
1

a
4
a
3
a
2
a
1

Contraste
Coeficientes
2
j
a E
Supuesto de ortogonalidad entre dos
contrastes

Ejemplo: entre el contraste uno y dos:

(-1)(-1) + (1)(-1) + (0)(2) + (0)(0) = 0
Suma de cuadrados del contraste

nC
SC
C
= --------
a
j


Sumas de cuadrados

5[(-1)2.4 + (1)5.0 + (0)6.6 + (0)8.2]
SC
C1
= ------------------------------------------------- = 16.90
2

5[(-1)2.4 + (-1)5.0 + (2)6.6 + (0)8.2]
SC
C2
= --------------------------------------------------- = 28.03
6

5[(-1)2.4 + (-1)5.0 + (-1)6.6 + (3)8.2]
SC
C3
= ------------------------------------------------------ = 46.82
12
=======
SC
A
: 91.75
Razones F

16.90
F
1
= ------------ = 11.66
1.45
28.03
F
2
= ------------ = 19.33
1.45
46.28
F
3
= ----------- = 32.39
1.45
Valor terico de F

Entrando en la tabla de la distribucin F, el
valor terico del estadstico es F
0.95
(1/16) =
4.49
Caractersticas de los contrastes
ortogonales

Una propiedad caracterstica de las comparaciones
ortogonales es la descomposicin de la Suma de
Cuadrados de tratamientos del ANOVA en tantos
componentes ortogonales (independientes) como
grados de libertad de esa fuente de variacin (se
dispone de un grado de libertad por componente).
Siguiendo con el ejemplo propuesto, la Suma de
Cuadrados de tratamientos, SC
A
, tiene a - 1 grados de
libertad y, como consecuencia, tres componentes
ortogonales (siendo a igual a cuatro).
Propiedades de los contrastes
ortogonales

SC
C1
1g.l. (16.9)

SC
A
SC
C2
1g.l.(28.03)

(91.75)

SC
C3

1g.l.(46.82)

Desventajas de los contrastes a priori
o planificados
Se corre el riesgo de cometer ms errores de
Tipo I al asumir como verdadera la hiptesis de
nulidad; es decir, hay la posibilidad de realizar
ms rechazos falsos de la hiptesis de nulidad o
de no efectos. En lnea con esa problemtica, es
conveniente distinguir dos tipos de errores: Error
de Tipo I por comparacin (PC) y tasa de error
por familia (PF). El error PC, simbolizado por ,
es la probabilidad de cometer un error de Tipo I
por comparacin. ..//..
Si es 0.05, la probabilidad es 0.05. Por el
contrario, la tasa de error PF, PF, es la
probabilidad de cometer uno o ms errores
de Tipo I en un conjunto de comparaciones.
La relacin entre estos dos errores y la
probabilidad de cometer al menos un error
de Tipo I es


PF
= 1 - (1 - )
c



Clculo del error PF

As, con cinco comparaciones (c = 5), y un de
0.05, la probabilidad de cometer un error PF es 1
- 0.955 = 0.23. De forma aproximada, esa
probabilidad se calcula por (c)(), 5(0.05) =
0.25. En el caso de las comparaciones
ortogonales estudiadas, la probabilidad de
rechazar una de las hiptesis de nulidad siendo
verdadera es 1 - (0.95)
3
= 0.14. Esta probabilidad
tiende a aumentar con el nmero de
comparaciones independientes. ..//..
As, para un conjunto de comparaciones
independientes, es posible que algunas sean
significativas como resultado de la propia
metodologa. Para evitar esas dificultades
se aplican las comparaciones a posteriori,
post hoc, o comparaciones simultneas.

Cantidad de contrastes planificados
La cantidad de comparaciones planificadas a
partir de un nmero dado de tratamientos, a, es

(3a - 1)
1 + ------------- - 2
a
2 ..//..
Si, como en el experimento propuesto, a = 4
(cuatro tratamientos), entonces hay 1 + (34 -
1)/2 - 24 = 25 comparaciones. De las cuales,
[4(4 - 1)]/2 = 6, son comparaciones entre pares
y 19 son comparaciones de combinaciones de
tratamientos. En la prctica, no se formulan las
25 comparaciones posibles, sino tan slo las
que tienen inters terico. Dado que existe una
probabilidad calculada de cometer un falso
rechazo de la hiptesis de nulidad, en una de
esas comparaciones, es posible controlar el
error por conjunto o familia de comparaciones
a un nivel aceptable.
Correccin de Bonferroni o de
Dunn
Supngase, como hiptesis de trabajo, que se
efectan cinco comparaciones planificadas, con
un de 0.05. La tasa de error PF es, en este caso,
5(0.05) = 0.25. Para reducir este error, se escoge
simplemente un valor ms pequeo de , por
ejemplo 0.01. De este modo, la tasa de error PF es
ahora de 5(0.01) = 0.05. Esta correccin, conocida
como prueba de Bonferroni o prueba Dunn,
consiste en dividir tasa de error PF deseada por la
cantidad de comparaciones (0.05/5 = 0.01).
Contrastes no planificados o a
posteriori
El objetivo de los contrastes no planificados es
obtener el mximo de informacin de los datos de un
experimento. Los contrastes no planificados son
procedimientos para efectuar comparaciones a
posteriori. Estos procedimientos poseen, de otra
parte, la ventaja de mantener constante la
probabilidad de cometer errores de Tipo I cuando se
toma la decisin estadstica. Entre los distintos
mtodos, se encuentran las pruebas de Scheff
(1959), Tukey (1953), Newman-Keuls (Newman,
1939 y Keuls, 1952), Duncan (1953), y Dunnett
(1955).
Contrastes no planificados o a
posteriori
Los mtodos propuestos se conocen por
comparaciones simultneas.

Con comparaciones no planificadas, a
posteriori o post hoc, los pruebas
estadsticas citadas van encaminados a
reducir el tamao de la regin crtica, y
controlan el error PF mediante el ajuste del
valor alfa.
Contrastes no planificados o a
posteriori

Con comparaciones no planificadas o post
hoc, hay tcnicas encaminadas a reducir el
tamao de la regin crtica, que controlan el
error PF mediante el ajuste del valor alfa.
Entre las ms importantes se encuentran,
junto con la de Fisher, las pruebas de
Duncan, Tukey, Dunnett y Newman-Keuls.
Anlisis de tendencias
Concepto
Una de las tcnicas de anlisis de tendencias es el
mtodo de polinomios ortogonales. En virtud de ese
procedimiento, es posible dividir la variacin o Suma de
Cuadrados de tratamientos en una serie de componentes
independientes de tendencia como, por ejemplo, lineal,
cuadrado, cbico, etc. Cada componente ortogonal
aporta informacin particular sobre una clase de
tendencia o relacin entre la variable independiente y la
variable dependiente. Al mismo tiempo, este
procedimiento permite verificar estadsticamente la
significacin de cada componente de tendencia.
Anlisis de tendencias: Descomposicin polinmica
ortogonal de la Suma de Cuadrados Entre
tratamientos o Entre grupos.
Fuentes de variacin Grados de libertad Sumas de cuadrados
Entre Tratamientos k-1 SC
A
Lineal 1 Sc
Lin
Cuadrtico 1 SC
Cuad
Cbico 1 SC
Cub
.
k-1 1 SC
Ck-1
Coeficientes de los contrastes
polinmicos ortogonales
Coeficientes de polinomios ortogonales, k = 4

Coeficientes
Contraste a
1
a
2
a
3
a
4
a
j


Lineal -3 -1 1 3 20
Cuadrado 1 -1 -1 1 4
Cbico -1 3 -3 1 20
Clculo de las suma de cuadrados
El clculo de la Suma de Cuadrados cada
uno de estos componentes se obtiene de la
expresin,

nC
SC
C
= --------
a
j
Resultado del anlisis
Componente SC g.l. CM F p

Lineal 90.25 1 90.25 62.24 <0.05
Cuadrado 1.25 1 1.25 0.86 >0.05
Cbico 0.25 1 0.25 0.17 >0.05

Error 23.20 16 1.45

F
0.95
(1/16) = 4.49
Ventajas y desventajas
El diseo multigrupo completamente al azar
permite examinar, desde una perspectiva
amplia, las distintas estrategias de anlisis
aplicables a los datos experimentales. En
primer lugar, el anlisis unidimensional de la
Variancia o indicador general de variacin de
las medias de los grupos. ..//..
En segundo lugar, las estrategias que
prueban las microhiptesis de investigacin;
es decir, las comparaciones mltiples entre
medias. Por ltimo, para aquellas
situaciones donde la variable independiente
es cuantitativa y con valores equidistantes,
el anlisis de tendencias mediante el
procedimiento de modelacin polinmica
ortogonal.
GRFICO DE MEDIAS
0
1
2
3
4
5
6
7
8
9
A1 A2 A3 A4
V.D.

Vous aimerez peut-être aussi