Vous êtes sur la page 1sur 36

ANALISIS DEL REFERENDUM REVOCATORIO PRESIDENCIAL DE 2004 EN VENEZUELA, Y LA RELACION QUE SE DIO EN LOS CENTROS COMPUTARIZADOS ENTRE LOS

S RESULTADOS OFICIALES Y LAS FIRMAS QUE SOLICITARON EL REFERENDUM. Por Gustavo Delfino Universidad Central de Venezuela Profesor en la Escuela de Ingenier a Mec anica y Por Guillermo Salas Universidad Sim on Bolivar Ex Profesor en el Departamento de F sica
El 15 de Agosto de el a no 2 004 los Venezolanos tuvieron la oportunidad de votar en un Refer endum Revocatorio Presidencial, para decidir si quer an o no que el Presidente fuese removido de su cargo. El proceso fue ampliamente computarizado, usando un sistema de pantalla t actil. En general las papeletas de votaci on no fueron contadas manualmente. Se analiza el signicado de la elevada correlaci on lineal (0,99) que seg un los resultado ociales se dio entre el n umero de rmantes que solicitaron el Refer endum y el n umero ocial de votos opositores en los centros computarizados. Se encontr o que la auditor a que se realiz o el mismo d a, no s olo fue inefectiva, sino que adem as aument o la desconanza en los resultados ociales. Se analiza el procedimiento que se utiliz o en la segunda auditor a, encontr andose que las fallas en este, hacen que el argumento matem atico esgrimido por el Centro Carter y por la OEA para defenderla sea inefectivo. Se compararon los resultados con los de las elecciones presidenciales de 1 998 y otros eventos electorales encontr andose distorsiones.

1. Introducci on. En Venezuela los eventos electorales son organizados por el Consejo Nacional Electoral1 (CNE). El 6 de Diciembre de 1 998 el actual presidente gan o la elecciones con 3 673 687 votos (57,79 %) vs. 2 863 619 votos (42,21 %) de sus adversarios. Para ese entonces, hab a 11 001 913 electores inscritos en el registro electoral permanente (REP).
Antes de la nueva constituci on este se conoc a como Consejo Supremo Electoral (CSE) ver http://www.cne.gov.ve
1

1
file: delfino-salas-es.tex date: 8 de febrero de 2006

GUSTAVO DELFINO & GUILLERMO SALAS

En 1 999 se elabor o y se aprob o una nueva constituci on que permite a los ciudadanos convocar a un refer endum revocatorio (RR), para decidir si el Presidente debe ser removido de su cargo. Este s olo puede ser activado una vez que haya transcurrido la mitad del per odo para el cual el Presidente fue electo. Para activar el refer endum es necesario enviar al CNE una petici on rmada por lo menos por el 20 % de los electores registrados en el REP. Tambi en es posible convocar un refer endum consultivo, no vinculante, con al menos el 10 % de los electores inscritos en el REP. El 3 de Enero del a no 2 000 se design o una nueva directiva del CNE, pero al no poder realizar una importante elecci on en la fecha prevista, este CNE fue removido. Por lo tanto, el 5 de Junio de el a no 2 000 se design o otra directiva del CNE. El 30 de Julio de ese mismo a no el presidente fue reelecto para un per odo de 6 a nos con 3 757 773 votos (59,76 %) mientras la oposici on obtuvo 2 530 805 votos (40,24 %). En aquel entonces hab an 11 701 521 de inscritos en el REP. En el a no 2 002 se recogieron rmas para convocar a un refer endum consultivo, el cual se activ o en medio de una huelga nacional general. El Tribunal Supremo de Justicia inhabilit o a la nueva directiva del CNE, por lo que el refer endum consultivo no se realiz o. Los ciudadanos volvieron a recolectar las rmas, esta vez para activar un refer endum revocatorio presidencial. Este Refer endum era la gura legal que el gobierno y la oposici on acordaron utilizar teniendo a la Organizaci on de Estados Americanos (OEA) y a el o la huelga. Centro Carter como garantes[1]. Este acuerdo naliz En el a no 2 003 la Asamblea Nacional no fue capaz de lograr un acuerdo para designar la nueva directiva del CNE, por lo que el Tribunal Supremo de Justicia design o temporalmente a otra junta directiva, a un cuando este procedimiento no est a contemplado en la Constituci on. El nuevo CNE rechaz o el u ltimo grupo de rmas que hab an sido recolectadas argumentando que estas deb an ser recolectadas despu es que hubiese transcurrido la mitad del per odo presidencial. El 28 de Noviembre del 2 003 se volvieron a recolectar las rmas solicitando la activaci on del Refer endum Revocatorio, pero esta vez bajo la supervisi on del CNE. Una buena parte de las rmas fueron rechazadas, pero el 28 de Mayo del a no 2 004, un importante n umero de electores pudo reconrmar su rma en un operativo al que se le llam o reparo. Luego de todo esto, el 15 de Agosto del 2 004 se realiz o el Refer endum Revocatorio Presidencial. 2. Estructura del Sistema Electoral. Venezuela est a organizada pol ticamente en estados, municipios y parroquias. Cada centro electoral

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004.


24 Estados + Embajadas 335 Municipios 1133 Parroquias 4766 Centros Computarizados de Votacin 8142 Mesas 19664 Cuadernos 19664 Computadoras de Votacin Urna (caja)

3628 Centros Manuales de Votacin

4209 Mesas 4209 Cuadernos

Figura 1: Sistema electoral venezolano.

tiene una o varias mesas electorales, y, a su vez, cada una de estas mesas tiene uno o varios cuadernos electorales. En los centros computarizados, a cada cuaderno electoral se le asignaba una m aquina de votaci on. A cada mesa electoral se le asignaba una urna para depositar las papeletas electorales. Por lo cual las papeletas de votaci on provenientes de diferentes m aquinas, se podr an combinar en una misma urna. Obs ervese la Figura 1. Cada centro electoral posee un c odigo n umerico que, en general, ha permanecido constante en el tiempo. Esto permite comparar los resultados del Refer endum, centro a centro, con los de otras elecciones. A pesar de que el n umero de centros manuales es grande, el n umero de electores registrados en esos centros es mucho menor que el que hay en los centros computarizados. Esto se puede apreciar en la Figura 2.
Nmero 250 de centros 200 de votacin 150 100 50 2000 4000 Centros Manuales Centros Computarizados

6000 8000 Nmero de inscritos en el REP

Figura 2: Histograma del n umero de inscritos en el REP en centros electorales manuales y computarizados.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

GUSTAVO DELFINO & GUILLERMO SALAS

3. El Refer endum. Para el Refer endum se us o, por primera vez en Venezuela, m aquinas de votaci on computarizadas con sistema de pantalla t actil. Estas m aquinas imprim an unas papeletas de votaci on, que deb an ser depositadas por los electores en las urnas electorales. Estas urnas jam as se abrieron, excepto algunas de las que fueron seleccionadas para ser auditadas. Los resultados del refer endum eran enviados v a telef onica desde las m aquinas de votaci on a servidores instalados en el CNE, usando conexiones TCP/IP. Posterior a esta conexi on, las m aquinas imprimieron los resultados ociales y otro juego de papeletas de votaci on, pero en tiras sin cortar. Los centros de votaci on mantuvieron una conexi on satelital constante con el CNE, con el objetivo de recolectar las huellas digitales de los votantes y garantizar, en tiempo real, que nadie votase m as de una vez, incluso en centros distintos. Con el objetivo de generar conanza en los resultados ociales, se realizaron dos auditor as. La primera se hizo el mismo d a del refer endum (auditor a en caliente). La segunda fue hecha tres d as despu es (auditor a en fr o). La OEA y el Centro Carter supervisaron tanto el proceso de votaci on, como ambos procesos de auditor as, y en sus informes nales maniestan que no encontraron evidencias de que los resultados hubiesen sido alterados. Hab a s olo dos posibilidades de voto2 : SI y NO. Para que el Presidente fuese revocado de su cargo, el n umero de votos por el SI deb a ser mayor a 3 757 773 y mayor al n umero de votos por el NO. Los resultados ociales fueron 3 989 008 (40,64 %) votos por el SI y 5 800 629 (59,10 %) votos por el NO. El n umero total de inscritos en el REP era de 14 037 900 electores. 4. Las Firmas.

4.1. Introducci on. Con el objetivo de activar el refer endum revocatorio presidencial, a partir del 28 de Noviembre del 2 003, y durante cuatro d as consecutivos, en un evento organizado por el CNE, se recogieron rmas y huellas dactilares, en la presencia de testigos de ambas partes, del gobierno y de la oposici on. A tal n el CNE entreg o planillas en papel de seguridad que ten an n umero de serial. El CNE permiti o la instalaci on de 2 676 centros de recolecci on de rmas (CRFs). Existieron dos tipos de planillas: tipos A y B. Las planillas tipo A fueron utilizadas en los CRFs. Mientras las planillas tipo B fueron asignadas a los CRFs, pero se usaron para la recolecci on de rmas casa por casa (bajo la supervisi on de testigos del gobierno y de la oposici on). Existieron 618 800 planillas tipo A y 98 286 planillas tipo B. Cada planilla ten a espacio para
2

En los centros manuales eran posibles los votos nulos

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004.

10 rmas. El n umero de rmas requeridas para activar el Refer endum era el 20 % del total de inscritos en el REP con el que fue electo el Presidente, es decir 2 340 305 rmas (20 % de 11 701 521). La ley exig a que todas las rmas fueran publicadas en la prensa nacional, para que fuesen del conocimiento p ublico. El CNE v alido un grupo de esas rmas, rechazo otras, y otro grupo que considero sospechosas fueron enviadas al proceso de reparo para ser raticadas por el elector, de manera de alcanzar el n umero m nimo de rmas requeridas para la activaci on del Refer endum. La oposici on asegur o haber entregado 3 467 051 rmas al CNE. Una vez dentro de este se extraviaron 19 842 rmas, y otro n umero no determinado de rmas se perdi o antes de llegar al CNE. En la siguiente secci on, se comparan los resultados del refer endum con las rmas recolectadas. Esto develar a hechos relevantes. 4.2. Incertidumbre entre los votos por el SI y las Firmas. Sea k la proporci on entre el n umero de votos por el SI y el n umero de rmantes inscritos en cada centro electoral (con rmas aprobadas, reparadas o rechazadas), tal como se dene en la Ecuaci on 1: (1) k= votos SI rmas

Adem as, sea s la fracci on de rmantes de cada centro de votaci on, tal como se dene en la Ecuaci on 2: (2) s= rmas rmas = votos SI + votos NO + votos nulos votos totales

Para cada valor de s, por razones matem aticas, existe un valor m aximo posible para k , que es justamente 1/s, tal como se demuestra en la Ecuaci on 3: (3) kmax = m ax(votos SI) votos totales votos totales 1 = = = rmas rmas s votos totales s

En los centros electorales con valores elevados de s, se esperar an valores de k cercanos a 1. Esto se debe a que cada rma tiende a convertirse en un voto por el SI, y al mismo tiempo kmax es cercano a 1. Por ejemplo, en un centro de votaci on con un total de 1 000 votos y 900 rmas, el n umero esperado de votos por el SI estar a entre 900 y 1 000. En este centro s = 900/1000 = 0, 9 y kmax = 1/0, 9 = 1, 1 1. Por lo tanto, la incertidumbre sobre el valor de k ser a muy peque na, porque este deber a
file: delfino-salas-es.tex date: 8 de febrero de 2006

GUSTAVO DELFINO & GUILLERMO SALAS

estar entre 1 y 1, 1 1. (El valor de k podr a ser menor que 1, si por cualquier raz on, el n umero de votos fuera muy bajo en comparaci on al REP). La situaci on es totalmente diferente en los centros electorales con valores bajos de s. N otese que en s = 0 hay una singularidad esencial, como se muestra en la Ecuaci on 4: (4) k= votos SI/votos totales s

Esta singularidad podr a producir valores muy elevados de k en las vecindades de s = 0. Por lo cual, en los centros con valores bajos de s el nivel de incertidumbre sobre k deber a ser muy grande. Por ejemplo, en un centro de votaci on con un total de 1 000 votos y 2 rmas, el n umero esperado de votos por el SI estar a entre 2 y 1 000. En este centro tuvi eramos s = 2/1000 = 0, 002 y kmax = 1/0, 002 = 500. Por lo tanto, la incertidumbre sobre el valor de k fuera extremadamente alta, ya que k podr a estar entre 1 y 500. Las razones anteriormente mencionadas para intuir la incertidumbre sobre k son puramente matem aticas. En la pr actica, en los centros con valores bajos de s podr an ocurrir valores muy elevados de k debido a los siguientes hechos: Existieron s olo 2 676 CRFs mientras que existieron 8 394 centros de votaci on. Por lo tanto la gente que viv a lejos de alg un CRF, a un queriendo rmar, pudo dejar de hacerlo. Esto afect o sobre todo a los electores de las zonas rurales. Hubo muchas personas que no rmaron la petici on por miedo a las consecuencias negativas que les podr a suponer el rmar. En cambio el voto se supon a secreto. Hubo votos por el SI provenientes de electores que no rmaron, debido a que para el momento de la recolecci on de rmas, o no estaban inscritos en el REP, o estaban fuera del pa s. En algunos CRFs se agotaron las planillas, y no todas las personas tuvieron la capacidad de acudir a un CRF m as lejano. Un n umero no determinado de rmas de extravi o. Hubo votos por el SI provenientes de personas que no estuvieron lo sucientemente motivadas para rmar la petici on. N otese que todos estos hechos que sucedieron con las rmas no deber an afectar por igual a todos los centros electorales. Los centros con valores muy bajos de s pudieron ser m as afectados por esos factores que los centros con valores altos de s.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004.

En la Figura 3 se muestran los gr acos k vs. s. N otese que cuando s no es grande, todos los centros computarizados est an muy alejados del valor kmax , contradiciendo claramente el comportamiento no-lineal esperado de k con respecto a s. Por otra parte, los resultados de los centros manuales est an distribuidos por toda la zona permitida, sin importar el valor de s.
10 8
k

Centros Manuales

Centros Computarizados

6 4 2 0.2 0.4 0.6 0.8 1 0.2 0.4 0.6 0.8 1

(a)

(b)

Figura 3: Relaci on entre las variables k y s para los centros computarizados y para los centros manuales. El area rayada muestra la zona en la que los valores de k son matem aticamente imposibles. El valor m aximo posible para k es 1/s. En resumen, se ha mostrado que: En los centros con valores bajos de s debe haber una alta incertidumbre en los valores de k .

4.3. Correlaci on entre los votos por el SI y las rmas. La correlaci on r es una medida de la asociaci on lineal entre dos variables. Si la asociaci on lineal es muy fuerte r ser a cercano a 1. Si esta es d ebil r ser a cercano a 0. Un valor de -1 indica una dependencia tipo espejo, que en el presente contexto no tiene mayor sentido. Las correlaciones se calculan usando la f ormula de Pearson que se muestra en la Ecuaci on 5. (5) r=
i

(xi x )(yi y ) 2 ) )2 i (x x i (y y

Sea rSI la correlaci on entre el n umero de los votos por el SI y el n umero de rmantes inscritos en los electorales. El Centro Carter y la OEA en uno de sus informes[2] dicen lo siguiente:
file: delfino-salas-es.tex date: 8 de febrero de 2006

GUSTAVO DELFINO & GUILLERMO SALAS Se ha encontrado una correlaci on muy elevada entre el n umero de rmantes y el n umero de votos por el SI en cada centro de votaci on, del universo de m aquinas de votaci on automatizadas: un coeciente de correlaci on de 0,988. Esto signica que en los centros de votaci on en donde se registr o una alta asistencia de rmantes, tambi en se dio una alta votaci on por el SI.3

Lo que no dice ese informe es que para los centros manuales esta correlaci on fue 0,609, un valor mucho menor. Esta diferencia se puede apreciar otese que la l nea recta que va desde el origen a cada en la Figura 4. N punto tiene una pendiente cuyo valor es k . La alta correlaci on que se dio en los centros automatizados se traduce en que la gran mayor a de los centros computarizados tuvieron valores similares de k (pendientes similares).
Centros Manuales
600 500 4000 400 300 200 100 100 200 300 400 500 600
y = 1,786 x 45,88

Centros Computarizados
5000
y = 1,143 x + 20,79

votos SI

votos SI

3000 2000 1000


200

cin amplia

200

rmas (a)

1000 2000 3000 4000 5000

rmas (b)

Figura 4: En la totalidad de los centros manuales, la correlaci on entre los votos por el SI y las rmas fue 0,609, mientras que en los centros computarizados esta correlaci on fue 0,989. Una correlaci on igual a 1 se ver a como una l nea recta. En este caso, la elevada correlaci on implica que en los centros computarizados en los que hubo pocos rmantes, hubo necesariamente pocos votos se observa por el SI. Esto se puede apreciar en el origen de la Figura 4b. All que cuando el n umero de rmantes tiende a cero el n umero de votos por el SI tambi en tiende a cero. En cambio en la Figura 4a, se puede ver que en los centros manuales no se dio este comportamiento; hubo centros manuales
3 Se recalcul o el valor de esta correlaci on, obteni endose una diferencia de tan solo 0,001 la cual se puede considerar despreciable.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004.

con pocas rmas y con muchos votos por el SI. Lo que seg un los resultados ociales sucedi o en los centros computarizados resulta inesperado, porque la relaci on entre las rmas y los votos por el SI no deber a ser lineal, especialmente cuando la fracci on de rmantes (s) es peque na. Como se explic o en la Secci on 4.2. Cuando el n umero de rmas es elevado, se podr a esperar un n umero elevado de votos por el SI, pero cuando la fracci on de rmantes (s) decrece, el nivel de incertidumbre entre el n umero de votos por el SI y el n umero de rmantes se deber a incrementar. En el Cuadro 1, se muestran las correlaciones para los centros donde los rmantes son minor a (s 0, 5) y para los centros donde son mayor a (s > 0, 5). Obs ervese que de acuerdo a lo esperado, en los centros manuales en los que s es elevado la correlaci on (0,924) es mucho mayor que cuando s es bajo (0,613). Esto es lo esperado, porque cuando s es elevado, la incertidumbre en k deber a ser baja, por lo que la incertidumbre en el n umero de votos por el SI tambi en deber a serlo (Votos por el SI es igual a k rmas). s 0, 5 rSI # 0,613 3 488 0,982 3 928 0,953 7 416 s > 0, 5 rSI # 0,924 248 0,994 660 0,995 908 Todos rSI # 0,609 3 736 0,989 4 588 0,973 8 324

Manual Computarizado Ambos

Cuadro 1: Correlaciones entre los votos por el SI y el n umero de rmas, para los centros manuales y los computarizados de acuerdo a valor de la fracci on de rmantes s. En el caso de los 660 centros computarizados en los que s > 0, 5 la correlaci on fue 0,994, lo cual es extremadamente elevado, pero lo que llama m as la atenci on, es que en los centros computarizados en los que s < 0, 5 esta correlaci on tambi en es muy elevada (0,982). En otras palabras, en los centros computarizados parece no haberse dado el comportamiento nolineal, que era de esperarse que ocurriera entre las rmas y los votos por el SI. 4.4. Gr acos de Correlaci on. Con el objetivo de investigar en mayor profundidad el cambio de incertidumbre cuando cambia la fracci on de rmantes s, se emplea una t ecnica similar a la del promedio m ovil. La diferencia con esta, es que en vez de calcular el promedio se calcula la correlaci on. Se escogi o un ancho de ventana de 150 centros electorales, el mismo n umero de centros que fueron auditados en fr o. Para hacer esto, el primer paso es ordenar todos los centros de acuerdo a su valor de s. Luego calcularles a todos los centros ubicados entre la posici on
file: delfino-salas-es.tex date: 8 de febrero de 2006

10

GUSTAVO DELFINO & GUILLERMO SALAS

1 y la 150 la correlaci on rSI ; seguidamente, calcularles la correlaci on rSI a los centros ubicados entre la posici on 2 y la 151, y repetir este procedimiento hasta incluir todos los centros. Esto se hace por separado, para los centros manuales y para los centros automatizados. El resultado se muestra en la Figura 5.
correlacin rSI
1 0.8 0.6 0.4 0.2
15 30 10 00 20 35 25 50 0 00 00 00 00 00

Centros Manuales

1 0.8 0.6 0.4 0.2

Centros Computarizados

10 00

20 00

30 00

40 00

punto inicial en la ventana de clculo de la correlacin

punto inicial en la ventana de clculo de la correlacin

Figura 5: Gr aco de correlaci on, usando una ventana de 150 centros electorales. Para los centros manuales, la correlaci on var a fuertemente en la primera mitad de la Figura 5. Este es el resultado de centros electorales con caracter sticas extremas, que entran y salen de la ventana de los 150 centros electorales a los que se les calcula la correlaci on. Como los centros con caracter sticas extremas son parte de la data ocial, ellos no deber an ser excluidos. Lo que resulta m as conveniente para tomar en cuenta el efecto de los centros con caracter sticas extremas, es repetir los gr acos de la Figura 5 pero usando esta vez el logaritmo de las rmas y el logaritmo de los votos por el SI. El resultado de esta variante se muestra en la Figura 6.
correlacin rSI
1 0.8 0.6 0.4 0.2
00 15 00 30 00 10 00 20 00 35 25 0 50 00

Centros Manuales

1 0.8 0.6 0.4 0.2

Centros Computarizados

00 10

00 20

00 30

00 40

punto inicial en la ventana de clculo de la correlacin

punto inicial en la ventana de clculo de la correlacin

Figura 6: Gr acos de correlaci on, entre el logaritmo de las rmas y el logaritmo de los votos por el SI (ventana de 150 centros electorales). Sin importar si la correlaci on es calculada directamente (Figura 5) o usanfile: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 11

do logaritmos (Figura 6) se observa, como hecho importante, que en los centros manuales a medida que s decrece la correlaci on disminuye de modo importante, mientras que para los centros computarizados esta disminuci on es pr acticamente imperceptible. 5. La Hip otesis. Todo lo anteriormente expuesto, pareciera suciente para generar serias dudas sobre los resultados ociales de los centros electorales computarizados. Basado en ello, resulta natural considerar la siguiente hip otesis:
Hip otesis:

Los resultados ociales de los centros computarizados fueron forzados a mantener una relaci on lineal con respecto a las rmas. Si la hip otesis fuese cierta, por las razones expuestas en la Secci on 4.2, los resultados estar an distorsionados con respecto a la realidad especialmente en los centros computarizados de votaci on con valores bajos de s. En las zonas donde las rmas, por las razones explicadas en la Secci on 4.2, no capturaron bien la intenci on pol tica de los electores, suceder an dos cosas: 1. El n umero de votos por el SI, que dieran los resultados ociales, tender a a ser mucho menor que el n umero verdadero de votos por el SI. 2. Los resultados ociales de los centros computarizados fueran una mala representaci on de la intenci on pol tica de sus electores. En la siguiente secci on, se comparan los resultados del refer endum, con los resultados de las elecciones presidenciales de 1 998, para ver si esas distorsiones est an presentes. 6. Comparaci on con las Elecciones de 1 998. Se escogen las elecciones de 1 998 para hacer las comparaciones, debido a que en ellas existi o la misma polarizaci on pol tica que en el refer endum, y por que adem as, en aquel entonces el CNE no pudo haber estado bajo la inuencia del gobierno actual. 6.1. Comparaci on Centro a Centro. En la Figura 7, cada punto representa a un centro de votaci on. El eje vertical representa al porcentaje opositor en el Refer endum ( %SI), mientras que el eje horizontal representa al porcentaje opositor en las elecciones presidenciales de 1 998.
file: delfino-salas-es.tex date: 8 de febrero de 2006

12
%SI 100 % de oposicin en el Referndum 80 60 40 20 0

GUSTAVO DELFINO & GUILLERMO SALAS

(a) Todos los Centros

(b) Centros Manuales

(c) Centros Computarizados

% de oposicin en 1998

20

40

60

80

100

% de oposicin en 1998

20

40

60

80

100

% de oposicin en 1998

20

40

60

80

100

Figura 7: Comparaci on centro a centro entre los porcentajes de oposici on en 1 998 y en el Refer endum.

Lo primero que resalta es lo diferente que fueron los resultados de los centros manuales (Figura 7b) con respecto a los centros computarizados (Figura 7c). El Cuadro 2 deja claro, que la mayor a de los votos provienen de los centros computarizados. N otese que el incremento en el REP en los centros manuales fue del 33,8 % mientras que este incremento en los centros computarizados fue del 25,4 %. Cuadro 2: Resultados Electorales y REP
Refer endum NO REP 848 985 1 807 826 4 947 235 12 390 159 5 796 220 14 197 985 Elecci on de 1 998 SI NO REP 352 826 369 197 1 350 734 2 482 432 3 272 109 9 880 674 2 835 258 3 641 306 11 231 408

Manuales Computarizados Todos

SI 386 399 3 602 062 3 988 461

6.2. Correlaci on entre el porcentaje opositor en 1 998 y en el Refer endum. Al comparar los resultados electorales (porcentaje opositor) de los centros computarizados, parroquia a parroquia, se detect o que hay unas parroquias en la que los resultados guardan una gran correlaci on con respecto a los resultados de 1 998, mientras en otras esta correlaci on es muy baja. Adem as, pareciera como si en las parroquias donde la oposici on aumenta su porcentaje con respecto a 1 998, esta correlaci on es elevada, mientras que en las parroquias, donde el gobierno es quien aumenta su porcentaje, esta correlaci on se hace baja. Esta correlaci on se denominar a r1998 , y la diferencia entre el porcentaje opositor en el Refer endum y en 1 998 se denominar a %RR 1998
file: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 13

tal como se dene en la Ecuaci on 6. %RR on en el RR) ( % Oposici on en 1 998) 1998 = ( % Oposici

(6)

Para ilustrar este comportamiento, en la Figura 8 se gracan los resultados de dos parroquias. En una de ellas, la parroquia Olegario Villalobos, tanto la correlaci on de los resultados con respecto a las rmas, como la correlaci on de los porcentajes de oposici on con respecto a las elecciones de 1 998 son elevadas, rSI = 0, 988 y r1998 = 0, 984. Obs ervese tambi en, que en esta parroquia, el promedio de la fracci on de rmantes s es 0,639, por lo que en ella los rmantes fueron mayor a. Los electores de esta parroquia no parecieran haber tenido problemas para rmar, por lo que las rmas pudieron haber capturado bien la intenci on pol tica de los electores de esta parroquia. En el caso de la parroquia Vista al Sol, el promedio de la fracci on de rmantes s fue muy baja (0,126). Por lo cual, debido a las razones expuestas umero de votos por el SI y el n umero de rmanen la Secci on 4.2, entre el n tes, deber a existir una gran incertidumbre. En otras palabras, las rmas recibidas por el CNE no necesariamente tuvieron que haber capturado bien la intenci on pol tica de los habitantes de esta parroquia. Pero la incertidumbre que podr a haber en la parroquia Vista al Sol, entre los votos por el SI y las rmas no se observa en los resultados ociales. Para los nueve centros de esta parroquia (todos computarizados), la correlaci on entre los votos por el SI y las rmas fue 0,99. Adem as los resultados del refer endum lucen muy distorsionados con respecto a los de 1 998, tienen una correlaci on negativa de -0,667. En estas parroquias, seg un los resultados ociales, los centros que fueron m as opositores en 1 998 pasaron a ser los m as ocialistas y viceversa. Las dos parroquias que se muestran en la Figura 8 son consistentes con la hip otesis. La parroquia Olegario Villalobos pudo aumentar su porcentaje opositor por que en ella se pudieron recolectar muchas rmas, mientras que en la parroquia Vista al Sol no pudo aumentar su porcentaje opositor, bien porque en ella por alguna raz on se recolectaron pocas rmas, o bien por que las rmas provenientes de electores de esta parroquia no fueron recibidas por el CNE. Estas dos parroquias fueron seleccionadas de modo arbitrario. Pero si el mismo comportamiento se repitiese en el resto de los centros computarizados del pa s, es decir que r1998 sea grande cuando %RR 1998 sea grande, y que r1998 RR podr a ser bajo s olo cuando %1998 fuese bajo, en los centros computarizados las variables r1998 y %RR 1998 se hubiesen comportado como si fueran dependientes. En un proceso no perturbado estas dos variables deber an ser independientes.
file: delfino-salas-es.tex date: 8 de febrero de 2006

14

GUSTAVO DELFINO & GUILLERMO SALAS

Estado: Zulia Municipio: Maracaibo Parroquia: Olegario Villalobos


r1998 = 0,984 s = 0,639 rSI = 0,998
80 70 60 50 40
60690 60670 60740 60850 60860 61000 61040 61070 61080 61090 61100 61110 61120

% de oposicin

Estado: Bolvar Municipio: Caron Parroquia: Vista al Sol


40

r1998 = 0,667

s = 0,126

rSI = 0,990

% de oposicin

35 30 25 20 15 10
13653 13654 13655 13657 14155 13651 13652 14143 14165

Eleccin de 1998

Cdigo de centro votacin

Referndum

Figura 8: Ejemplo del comportamiento de dos parroquias. Todos los centros electorales mostrados son computarizados.

En la Figura 9 se muestra que en los resultados ociales de los centros computarizados, se produjo una fuerte dependencia entre las variables %RR 1998 y r1998 . Para el caso de los resultados ociales de los centros manuales estas variables se comportaron como si fueran independientes. El que la dependencia entre estas dos variables se haya dado para los centros computarizados y no para los centros manuales, es muy relevante adem as de ser consistente con la hip otesis. Ser a posible que esta relaci on que se ha detectado sea una simple coincidencia? 6.3. Simulaci on de Monte Carlo. Tal como se muestra en el Cuadro 3, la correlaci on r1998 para todos los centros electorales computarizados es 0,697. En esta tabla tambi en se observa que esta correlaci on es mucho m as alta en los centros en los que %RR > 0. 1998 Cuando el conjunto de los resultados se divide en subconjuntos, se espera que estos tengan una correlaci on algo diferente. La pregunta es qu e tan granfile: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 15

Centros Manuales
1.00 0.80
AMAZONAS TRUJILLO

r = 0,0139
VARGAS DISTRITO CAPITAL

Estados

Centros Computarizados
r = 0,733
MIRANDA CARABOBO LARA YARACUY BARINAS BOLIVAR PORTUGUESA FALCON NUEVA ESPARTA MONAGAS MERIDA ZULIA VARGAS ARAGUA DISTRITO CAPITAL ANZOATEGUI

1.00 0.80 0.60 0.40 0.20 0.00

r1998

0.60 0.40 0.20 0.00


BOLIVAR

MERIDA TACHIRA COJEDES ARAGUA MONAGAS YARACUY PORTUGUESA ZULIA BARINAS MIRANDA LARA ANZOATEGUI EMBAJADAS

TRUJILLO GUARICO COJEDES SUCRE

SUCRE FALCON DELTA AMACURO GUARICO APURE

TACHIRA

CARABOBO APURE DELTA AMACURO

AMAZONAS

-0.20

-30

-20

-10

10

20

-30

-20

-10

10

-0.20

1.00 0.75 0.50

r = 0,0377

Municipios

r = 0,318

1.00 0.75 0.50 0.25 0.00 -0.25 -0.50 -0.75

r1998

0.25 0.00

-0.25 -0.50 -0.75 -40 -20 0 20 -40 -20 0 20

-1.00

1.00 0.75 0.50

r = 0,0588

Parroquias

OLEGARIO VILLALOBOS

r = 0,395

1.00 0.75 0.50 0.25 0.00 -0.25

r1998

0.25 0.00

-0.25 -0.50 -0.75 -1.00 -50 -40 -30 -20 -10


1998
VISTA AL SOL

-0.50 -0.75

10

20

-50

-40

-30

-20

-10
1998

10

20

-1.00

%RR

%RR

Figura 9: Relaci on entre r1998 y %RR 1998 por estados, municipios y parroquias, para los centros manuales y para los centros computarizados. La correlaci on entre %RR endice C, se 1998 y r1998 se muestra como r . En el Ap estiman las probabilidades de que por casualidad ocurran los valores ociales de r .

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

16

GUSTAVO DELFINO & GUILLERMO SALAS

Centros Computarizados

%RR 1998 > 0 r1998 # 0,924 2 310

%RR 1998 < 0 r1998 # 0,732 2 266

All r1998 0,697 # 4 576

Cuadro 3: Correlaci ones entre los porcentajes de oposici on del Refer endum y de 1 998 (r1998 ). Adem as se muestra el n umero de centros (#) para variaciones positivas y variaciones negativas en el porcentaje opositor ( %RR 1998 ).

de puede ser la diferencia, si esta se debe simplemente al azar. Si el criterio utilizado para obtener los subconjuntos es independiente de la correlaci on r1998 , entonces la diferencia en las correlaciones se podr a comparar con las que resulten producto de simulaciones, y deber an estar dentro del rango de las que ocurran utilizando esta t ecnica. Consid erese el subconjunto de los 2 310 centros computarizados en los que RR %1998 > 0. Este subconjunto tiene una correlaci on 0,924, que es mucho m as elevada que la del conjunto de todos los centros computarizados, que es de (0,697). Esto denitivamente es muy llamativo. Por qu e habr a una dependencia tan fuerte entre r1998 y %RR ? Despu e s de todo %RR 1998 1998 puede subir y bajar independientemente de r1998 . Si no existe relaci on entre ellas, la relaci on que se dio entre ellas en el refer endum, debi o ser producto de la casualidad, y si este fuera el caso, se puede calcular la probabilidad de que la dependencia que se dio en el refer endum ocurra por simple casualidad.
50 40 30 20 10

23 Desviaciones Estndar

PDF(r)

0,924
0,70 0,75 0,80 0,85 0,90 0,95 1
r1998

Figura 10: Correlaci on de los centros computarizados con %RR 1998 > 0 vs. la funci on de densidad de la probabilidad producto de la simulaci on. El resultado de la simulaci on se comporta como una distribuci on normal, la cual se muestra con la l nea punteada. Para calcular esta probabilidad, se hizo una simulaci on de Monte Carlo con el conjunto de los 4 574 centros electorales que fueron automatizados en el refer endum y que se dispone de los resultados de 1 998. Para cada iteraci on, se seleccionaron 2 310 centros al azar. A este grupo de centros seleccionados se le calcul o r1998 . Este proceso se repiti o 10 000 veces, de
file: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 17

este modo se obtuvo la distribuci on esperada para los valores de r1998 . El resultado se muestra en la Figura 10. El resultado obtenido indica que la probabilidad de que este evento ocurra por casualidad es del orden de 10198 o menos. 7. Incertidumbre y Correlaci on entre el porcentaje opositor y la fracci on de rmantes s, para distintos eventos electorales. En o que a medida que el valor de la fracci on de rmanla Secci on 4.2, se mostr tes s disminuye la incertidumbre en k aumenta. Seg un la Ecuaci on 4 esta incertidumbre debiera estar presente en la relaci on entre s y el porcentaje de oposici on. Por lo tanto, mientras menor es el valor de s m as baja debe ser su correlaci on con respecto al porcentaje de oposici on. Debido a esto, cuando el valor de s es bajo, este no deber a determinar el porcentaje de oposici on, mucho menos limitarlo. Por el contrario, cuando el valor de s es grande, se esperar a que este tuviera una correlaci on m as alta con respecto al porcentaje de oposici on. Sea rs la correlaci on entre el porcentaje de oposici on y s, y sea s la mediana de todos los valores de s para los centros computarizados. Para el subconjunto de los centros computarizados con s s , la correlaci on ser a llamada rs,ss , y para los restantes centros computarizados, donde s > s , la correlaci on ser a llamada rs,s>s . El valor de rs,ss a ser menor que rs,s>s deber . Estas correlaciones que se han denido son calculadas para varios eventos electorales en el Cuadro 4. Cuadro 4: Correlaci on rs para los centros computarizados con s mayor y menor que la mediana s , para diferentes eventos electorales. Fecha 1998-12-06 2000-07-30 2004-08-15 2004-08-15 2004-10-31 Evento Elecci on Presidencial Elecci on Presidencial
Resultado Ocial Refer endum

Encuesta de Salida Elecci on de Gobernadores

rs,ss 0,439 0,606 0,845 0,323 0,479

rs,s>s 0,684 0,802 0,829 0,740 0,708

rs,s>s rs,ss 0,229 0,196 -0,016 0,417 0,229

La encuesta de salida a la que se hace referencia en el Cuadro 4 fue la dise nada y supervisada por Penn, Schoen, and Berland Associates. Transcurridos tan s olo 77 d as del Refer endum, se llevaron a cabo elecciones regionales para escoger gobernadores y alcaldes. Utilizando los votos en pro y en contra del candidato ocialista a gobernador de estado, se determin o el porcentaje opositor. Durante esta elecci on, se utilizaron las mismas
file: delfino-salas-es.tex date: 8 de febrero de 2006

18

GUSTAVO DELFINO & GUILLERMO SALAS

m aquinas de votaci on pero con una importante diferencia: las papeletas de votaci on fueron contadas manualmente para una m aquina de votaci on seleccionada al azar en todos y cada uno de los centros de votaci on. Los resultados de las correlaciones rs para esta elecci on se muestran en el Cuadro 4. Despu es de observar los resultados mostrados en el Cuadro 4, queda claro que u nicamente en el caso de los resultados ociales del Refer endum, no se observa la diferencia esperada en la correlaci on. Adem as n otese en la endum no hay ningun centro de votaci on con un Figura 11 que para el Refer s peque no y un porcentaje de oposici on elevado. El hecho de que u nicamente en el caso de los resultados ociales de Refer endum rs,ss no es menor a rs,s>s es consistente con la hip otesis. 8. Auditor a en Caliente. En general, las papeletas de votaci on de los centros computarizados no fueron contadas. El CNE asegur o a los Venezolanos que las m aquinas de votaci on reejar an correctamente la intenci on de voto de los electores. Prueba de esto ser a que el d a de la elecci on se seleccionar a una muestra aleatoria de 192 m aquinas de votaci on (el 1 % del total) para ser auditadas ese mismo d a, contando las papeletas de votaci on en la presencia de testigos del gobierno y de la oposici on. Esto ciertamente podr a servir para validar los resultados y para eliminar las sospechas, pero s olo en el caso de que se hubiesen cumplido una serie de condiciones: que la selecci on de los centros a auditar fuese posterior a la impresi on de las actas de resultados por las m aquinas de votaci on, y que la muestra fuese una selecci on aleatoria hecha sobre el conjunto de todas estas m aquinas, entre otras. Sin embargo la selecci on de los centros a auditar en caliente se hizo el d a del refer endum a las 4:00 p.m. en una computadora del CNE. Varias horas despu es de hecha esta selecci on, todas las m aquinas que hab an sido seleccionadas para ser auditadas se conectaron a un servidor del CNE, y s olo despu es que cada una de estas m aquinas nalizara esta conexi on, fue que estas procedieron a imprimir las actas de resultados. Adem as, el mismo d a del Refer endum, el CNE inform o que por razones log sticas la muestra iba a ser tomada de un universo restringido a s olo 20 municipios, todos urbanos, dejando de antemano exentas de la auditor a a las m aquinas de votaci on que se encontraban en 302 municipios. En ese momento la conanza en los resultados ociales se vio adversamente afectada. Sin embargo pas o algo que sembr o a un mayores dudas. De los 192 centros seleccionados para ser auditados en caliente, s olo en 26 se realiz o la auditor a de la forma como hab a sido convenida; contando las papeletas de votaci on en la presencia de testigos de la oposici on. Para ver porqu e sucedi o esto as , el

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 19

mediana
r = 0.479

Grficos de barras comparando las correlaciones

2004-10-31 Elecciones Reg. % de oposicin

80 40 20
r = 0.708 r = 0.323

2004-08-15 Encuesta de Salida % de oposicin

80 40 20
r = 0.740 r = 0.845

2004-08-15 Referndum % de oposicin

80 40 20
r = 0.829 r = 0.606

2000-07-30 Eleccin % de oposicin

80 40 20
r = 0.802 r = 0.439

1998-12-06 Eleccin % de oposicin

80 60 40 20
r = 0.684

0.2

0.4

0.6

0.8

Figura 11: Correlaci on entre el porcentaje de oposici on y la fracci on de rmantes (s) para los centros computarizados con un valor de s bajo (s s ) y alto (s > s ). Se esperar a que la correlaci on sea m as baja para los centros con un valor bajo de s. Esta diferencia esperada no est a presente en los resultados ociales del Refer endum.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

0.439 0.684

0.606 0.802

60

0.845 0.829

60

0.323 0.740

60

0.479 0.708

60

20

GUSTAVO DELFINO & GUILLERMO SALAS

siguiente extracto del informe del Centro Carter [4] resulta muy ilustrativo:
No se inform o debidamente a los auditores, miembros de mesa y personal militar, que la auditor a iba a ocurrir, ni ellos entendieron bien qu e procedimiento deb an seguir. Las instrucciones no estipulaban claramente que habr a una totalizaci on separada de los votos Si y No y en algunos centros los auditores s olo contaron el n umero total de votantes. Los observadores de la oposici on y del gobierno no tuvieron suciente tiempo para prepararse. (. . . ) Al nal, la auditor a fue muy deciente. (. . . ) No obstante, los observadores del Centro Carter pudieron presenciar seis procesos de auditor a. En solo uno de los seis se contaron realmente los comprobantes de voto. En este sitio fue el presidente de la mesa quien efectu o la auditor a, y el conteo de los comprobantes produjo exactamente el mismo resultado que el acta impresa por la m aquina de votaci on. En el resto de los sitios observados, los auditores designados por el CNE no permitieron abrir las cajas con los comprobantes, y explicaron que sus instrucciones no inclu an contar los votos SI y NO de m ultiples m aquinas. Hubo quejas acerca que los militares negaban acceso a los centros de votaci on donde se estaban efectuando las auditor as. Los observadores del Centro Carter no pudieron conrmar esas aseveraciones; . . . El CNE entreg o al Centro Carter copias de los informes de 25 centros. En esas planillas se ve a claramente que en muchos sitios, la auditor a no se hab a efectuado. Los campos de las planillas aparec an en blanco, no hab an testigos pro-gobierno u oposici on, etc. Las planillas no estaban llenas correctamente, lo cual demostraba falta de adiestramiento. Las instrucciones impartidas por el CNE eran incompletas o confusas. Esta fue la consecuencia directa de haber emitido el instructivo de auditor a solo 3 d as antes de la votaci on. El resultado nal fue que el CNE malgast o una oportunidad crucial de crear conanza en el sistema electoral y en el resultado del refer endum revocatorio.

En la Figura 12 se muestran los centros computarizados dentro de los 20 municipios a los que se redujo el universo de centros a auditar. Queda claro, en esta gura, que los centros computarizados de estos 20 municipios no son representativos de la totalidad de los centros computarizados de votaci on. Adem as de las diferencias que se muestran en la Figure 12, los resultados en los 20 municipios tambi en son diferentes cuando se observan los promedios de los valores de s y k . Para los centros computarizados ubicados en los = 1, 261 mientras que para los municipios 20 municipios s = 0, 3574 y k excluidos s = 0, 2953 y k = 1, 218. N otese que en general, cuando s decrece, k se deber a aumentar.4 Auditar u nicamente 26 de los 192 centros que fueron seleccionados para auditar, es pr acticamente la cancelaci on del proceso de auditor a. Pero cabe hacerse la siguiente pregunta Esos 26 centros auditados tienen algo en especial? Si la dr astica reducci on en el n umero de centros auditados en la presencia de testigos del gobierno y testigos de la oposici on se debi o simplemente a que la auditor a fue decientemente ejecutada, y si la deciencia en la ejecuci on de la auditor a fue independiente de los valores de s, entonces
4

Ver el Ap endice D para m as detalles a este respecto. delfino-salas-es.tex date: 8 de febrero de 2006

file:

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 21


Centros computarizados en sorteo de auditora en caliente Centros computarizados fuera del sorteo de auditora en caliente

100

100

% de votos SI en el Referndum

80 60 40 20

% de votos SI en el Referndum
20 40 60 80 100

80 60 40 20

% de oposicin en 1998

20

% de oposicin en 1998

40

60

80

100

(a)

(b)

Figura 12: Centros dentro (a) y fuera (b) de los 20 municipios a los que el CNE restringi o el grupo de centros computarizados que podr an auditar en caliente. los valores de s de los 26 centros auditados conforme a lo acordado, deber an comportarse como una muestra aleatoria dentro de los valores de s de los 192 centros seleccionados para auditar. La Figura 13, deja claro que los 26 centros que fueron auditados de acuerdo a lo convenido, tienen valores de s m as elevados que los 192 centros de donde provienen. El promedio de los valores de s de los 192 seleccionados para auditar es s seleccionados = 0, 3764 mientras que el de los realmente auditados es s auditados = 0, 5275. Adicionalmente, la distribuci on de los 192 centros seleccionados es asim etrica con tendenc a hacia los valores positivos, mientras que en los 26 centros auditados de acuerdo a lo convenido la asimetr a de la distribuci on tiene tendencia hacia lo negativo. Pero pudo este sesgo haber sido producto de la casualidad? Para evaluar esto se hizo una simulaci on de Monte Carlo, seleccionando al azar 26 de los 192 centros automatizados que hab an sido seleccionados para ser auditados. Esta simulaci on arroj o como resultado que la probabilidad de que aparezca por casualidad un s audited = 0, 5275 es del orden de 1 en 2 600 000; esta probabilidad no incluye la diferencia en la asimetr a5 . Este resultado es consistente con la hip otesis, porque fue precisamente en
5 Una prueba noparam etrica como la de KolmogorovSmirnov podr a arrojar una probabilidad a un menor.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

22

GUSTAVO DELFINO & GUILLERMO SALAS

s
0,8 0,6 0,4 0,2
Hospital Militar

26 Centros Auditados vs. 192 Selecionados

Centro auditado Centro seleccionado pero no auditado 50 100 150 192

Centros Auditados
5 78 13 2478 012233 1122557 134 4

0 1 2 3 4 5 6 7 8

7 1113344456677777788888889999 0011111222334444444445555666667778888899999 000001112333334444445555555666667778888999999 011111122222233445567888899 0000011222222333457778889 0112223555799 13459 01445

Centros Seleccionados

Hojas Tronco Hohas

Figura 13: Comparaci ones entre los valores de s de los 192 centros seleccionados y el de los 26 centros auditados. ARRIBA: El eje horizontal representa a los centros seleccionados ordenados de acuerdo al valor de s. El eje vertical representa el valor de s. ABAJO: Diagrama de troncoyhojas mostrando los valores s. Para obtener el valor de s de cada centro, basta con multiplicar el tronco, por 0,1 y la hoja por 0,01. Este diagrama es una forma alternativa de ver el gr aco superior.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 23

los centros con valores bajos de s, donde m as centros se dejaron de auditar. Se ha encontrado que los 26 centros que se auditaron de acuerdo a lo convenido (ver Figura 14), no son representativos del universo de los centros computarizados, ni tampoco del universo de los centros computarizados de los 20 municipios a los que se restringi o esta auditor a porque: 1. En estos 26 centros, el SI obtuvo el 63,47 % en comparaci on al 40,91 % que, seg un los resultados ociales, obtuvo en el universo de los centros computarizados. 2. La variaci on del voto opositor entre el Reref endum y las elecciones de RR 1 998 ( %1998 ) es mucho mayor en estos 26 centros que en el resto de los centros computarizados. 3. Tienen valores mucho mayores de s de lo que se esperar a en una muestra aleatorea. Adicionalmente a todo lo anterior, las parroquias, municipios y estados donde se ubicaron estos 26 centros, no son representativos de las otras parroquias, municipios y estados. No son representativos cuando se observan sus variaciones del porcentaje opositor %RR 1998 , y tampoco lo son cuando se observan sus correlaciones con respecto a las elecciones de 1 998 (r1998 ). Esto se puede apreciar en la Figure 15.
30 20
Promedio de los Centros Auditados

Centros Computarizados Auditados y sin Auditar

%RR 1998

10 0

Promedio de los Centros -10 no Auditados

-20 -30 0.2 0.4 0.6 0.8

Figura 14: Los resultados de los 26 centros computarizados que fueron auditados de acuerdo a lo convenido se comparan con los resultados ociales del universo de los centros computarizados. El promedio de s y el de %RR 1998 se indican con una l nea.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

24

GUSTAVO DELFINO & GUILLERMO SALAS

1.00 0.75 0.50

Estados:
VARGAS

MIRANDA ARAGUA

DTTO. CAPITAL

MERIDA

ZULIA

r1998

0.25 0.00 -0.25 -0.50 -0.75 -30 -20 -10 0

TACHIRA

1.00 0.75 0.50

Municipios:

10
. .

20

r1998

0.25 0.00 -0.25 -0.50 -0.75 -30 -20 -10 0 10 20

1.00 0.75 0.50

Parroquias:

r1998

0.25 0.00 -0.25 -0.50 -0.75 -30 -20 -10 0 10 20

Sin Auditar

%RR 1998

Incluye 1 o ms centros auditados

Figura 15: En este gr aco se resaltan las parroquias, municipios y estados donde est an ubicados los 26 centros que fueron auditados seg un lo acordado. El eje vertical indica la correlaci on entre los porcentajes de oposici on de 1 998 y de el Refer endum (r1998 ). El eje horizontal es la diferencia entre el porcentaje opositor en el Refer endum y en 1 998 ( %RR 1998 ).

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 25

9. Auditor a en Fr o. Dado que la auditor a en caliente no cumpli o su prop osito, que era el de generar conanza en los resultados ociales, tres (3) d as despu es del Refer endum se hizo una nueva auditor a. Pero esta no puede validar los resultados ociales fundamentalmente por dos razones: El ente a ser auditado, no puede ser el mismo que seleccione los centros a ser auditados. Seg un el reporte del Centro Carter y la OEA [3] La muestra fue generada por el personal del CNE en su computadora y usando su programa. No se utiliz o el mecanismo de control que se hab a implementado para certicar que las urnas electorales no fueran alteradas. Cuando se hizo la selecci on de los centros que ser an auditados en fr o, el acto fue transmitido en vivo por la estaci on ocial de televisi on, pero los resultados no se anunciaron durante la transmisi on. Usualmente el objetivo de transmitir un sorteo, es que el p ublico conozca los resultados y que vea como fueron generados los mismos. Cuando las urnas electorales eran cerradas y selladas, los precintos de estas eran rmados por los miembros de mesa y por los testigos del ocialismo y de la oposici on. Luego las urnas eran tomadas por los militares para su custodia. El siguiente extracto del informe del Centro Carter y de la OEA [3] explica el mecanismo que se us o para certicar que las urnas electorales no hubiesen sido alteradas:
Se inspeccion o la integridad f sica de cada caja anot andose las siguientes caracter sticas: 1. Si el precinto de la caja estaba intacto o no, si la cinta no presentaba rasgos de haberse retirado y colocarse nuevamente. 2. Se busc o la presencia de roturas u oricios por los que se podr an haber salido votos o se los pudieran haber insertado. Si una caja ten a defectos de precintado, roturas u oricios, se excluyeron de la auditor a todas las cajas de esa mesa, anotando tal situaci on en el acta.

Sin embargo, los testigos de los centros que hab an rmados los precintos de las urnas no fueron llamados a certicar la autenticidad de estas. Cuando esta auditor a fue cuestionada, el Centro Carter y la OEA respondieron:
Es m as, la correlaci on entre los rmantes y los votos por el SI es casi id entica en el universo que en la muestra. La diferencia entre las correlaciones es menos de 1 %: Universo Muestra Coeciente de Correlaci on 0,988 0,989

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

26

GUSTAVO DELFINO & GUILLERMO SALAS

Este hecho se podr a usar para argumentar que las cajas que se abrieron en esa auditor a son representativas de los resultados ociales, pero no puede indicar nada en relaci on a la veracidad de los resultados ociales. Ocurri o un hecho curioso: hubo 16 centros electorales comunes en el sorteo de la auditor a en caliente y en el de la auditor a en fr o. Ninguno de estos 16 centros fue auditado en caliente. Por qu e no se pudieron auditar estos centros la misma noche del Refer endum, pero si se pudieron auditar 3 d as despu es? 10. Conclusiones. Analizando el proceso computarizado de votaci on, y tomando en cuenta: 1. Que en general, no se contaron las papeletas de votaci on. 2. Que todas las m aquinas de votaci on se conectaron a un servidor central del CNE antes de imprimir las actas de resultados. 3. Que ninguna de las auditor as pudo eliminar las dudas en los resultados ociales, mucho menos certicarlos. 4. Que los centros computarizados ubicados en los 20 municipios a los que se restringi o la auditor a en caliente, no son representativos del universo de centros computarizados (ver Figura 12). 5. Que los resultados de los centros que fueron auditados en caliente de acuerdo a la forma convenida, no son representativos de los resultados ociales del universo de los centros computarizados (ver Figura 14). 6. Que las parroquias, municipios y estados donde se auditaron en caliente centros computarizados de acuerdo a la forma convenida, no son representativos de las otras parroquias, municipios y estados (ver Figura 15). 7. Que el n umero ocial de votos por el SI, en los centros computarizados, parece guardar una excesiva dependencia lineal con respecto al n umero de rmantes que solicitaron el Refer endum (Secci on 4). 8. Que los problemas que sucedieron en la auditor a en caliente parecen haber sido causados por algo m as severo a que simplemenmte la auditor a haya sido decientemente ejecutada, ya que los valores de s de los centros auditados pertenecen a una distribuci on con un valor de s mucho mayor a la de los 192 centros seleccionados (ver Figura 13). Donde la muy elevada linealidad es m as inesperada es precisamente donde la mayor a de las auditor as dejaron de hacerse. 9. Que los resultados ociales de los votos por el SI, parecen distorsionados con respecto a los de las elecciones presidenciales de 1 998 (Secci on 6). 10. Que los porcentajes de oposici on parecen estar excesivamente deterfile: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 27

minados por la fracci on de rmantes s sobre todo en los centros con bajo valor de s (ver Secci on 7). 11. Y que si la hip otesis fuese cierta, hubiese sido de esperar que todos los puntos antes mencionados hubiesen ocurrido. Se concluye que hay razones bien fundamentadas para dudar de la veracidad de los resultados de los centros computarizados, y que tanto la OEA como el Centro Carter, deber an revisar la interpretaci on que le dan al hecho, de que entre el n umero ocial de votos por el SI y el n umero de rmantes inscritos en los centros computarizados, exista un elevad sima correlaci on lineal. La interpretaci on que actualmente el Centro Carter y la OEA le dan a este hecho, est a expuesta de forma explicita en uno de sus reportes [3], cuando reri endose a los resultados de los centros computarizados concluyen:
Hay una correlaci on muy alta entre el n umero de votos por el SI y el n umero de rmas recolectadas para la solicitud del refer endum presidencial, por centro de votaci on; los lugares donde se recogieron m as rmas son as mismo los lugares donde se emitieron m as votos por el SI. No hay ninguna anomal a en los votos por el SI cuando se les compara con la presunta intenci on de los rmantes de la solicitud de revocatorio presidencial.

A.

METODOLOG IA DEL PROCESAMIENTO DE DATOS

Todos los datos fueron almacenados una base de datos MySQL 4.1. Los c alculos fueron hechos usando Mathematica 5.2 que fue conectado a MySQL usando el paquete DatabaseLink. Los resultados ociales del Refer endum y de las Elecciones Regionales de 2 004 fueron tomados de la p agina web ocial del CNE usando un programa escrito en lenguaje Perl. Los resultados de las elecciones presidenciales de 1 998 y de 2 000 se obtuvieron de un disco compacto original del CNE, y la data fue llevada de formato MS Access a el formato MySQL. El REP de Julio y de Abril de 2 004 tambi en se pas o de MS Access a MySQL. Las rmas recibidas por el CNE fueron obtenidas por medio de la organizaci on civil S umate, y son las mismas que fueron entregadas a la OEA y al Centro Carter. Esta data fue entregada en un archivo de texto simple. Comparando el n umero de la c edula de las personas, con la data del REP, fue posible encontrar el n umero de rmantes por centro de votaci on. La data para reproducir este estudio est a en internet en la siguiente direcci on: http://www.gentederedes.org/referendum/. Las simulaciones se hicieron usando un algoritmo de barajar cartas, y el generador de n umeros aleatorios que se empleo con el algoritmo fue el Wolfram rule 30 cellular automaton generator for integers, que es suministrado
file: delfino-salas-es.tex date: 8 de febrero de 2006

28

GUSTAVO DELFINO & GUILLERMO SALAS

por Mathematica. B. GRAFICOS ADICIONALES DE COMPORTAMIENTO NOLINEAL

El d a del Refer endum se realiz o una encuesta de salida bajo la supervisi on de Penn, Schoen, and Berland Associates. De acuerdo a esta encuesta de salida, la oposici on gan o por un amplio margen. Sustituyendo en el numerador de la Ecuaci on 4 por el porcentaje del SI que arrojo la encuesta de salida se puede calcular el valor kencuesta . Los resultados que se obtuvieron en los centros computarizados se muestran en la Figura 16. De un modo similar se podr a calcular k1998 , sustituyendo el numerador de la Ecuaci on 4 por el porcentaje opositor en las elecciones de 1 998. Los resultados que se obtuvieron en los centros computarizados se muestran en la Figura 17.
10

Encuestas de salida en el Referndum en los centros computarizados

kencuesta
4

0.2

0.4

0.6

0.8

Figura 16: Encuesta de salida en los centros computarizados.

C.

DE MONTE CARLO PARA LA CORRELACION SIMULACION RR ENTRE %1998 Y r1998 .

Asumiendo que %RR 1998 y r1998 son independientes, sin importar que las zonas observadas sean estados, municipios o parroquias, el grado de correlaci on que aparezca entre estas variables r debi o haberse producido por azar. Para estimar la probabilidad de que un valor de r aparezca por casualidad, es posible reordenar los valores de r1998 con respecto a los de %RR 1998 . Para
file: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 29


10

Resultados de 1998 en los centros computarizados del Referndum

k1998
4

0.2

0.4

0.6

0.8

Figura 17: Elecciones presidenciales de 1 998 en los centros computarizados.

cada caso, estos reordenamientos se hicieron 100 000 veces, y a cada reordenamiento se le calcul o la correlaci on correspondiente. En todos los casos la distribuci on que result o de la simulaci on fue gaussiana. De este modo se estimaron las probabilidades de que ocurriesen correlaciones r , como las que seg un los resultados ociales se dieron en el Refer endum. Esto se hizo para los centros manuales y para los centros computarizados, a nivel de estados, municipios y parroquias. Los resultados se muestran en la Figura 18. D. DIFERENCIAS EN LAS CARACTER ISTICAS, RESULTADOS DEL REP DE LOS 20 MUNICIPIOS OFICIALES Y VARIACION AL SUJETOS A LA AUDITOR IA EN CALIENTE, EN RELACION RESTO DE LOS MUNICIPIOS

Cuando el CNE restringi o la auditor a en caliente a 20 municipios urbanos, crearon dos grupos de centros computarizados: 1. 2040 centros computarizados, que por estar dentro de estos 20 municipios podr an ser auditados. Las variables cuando se reeran a estos centros auditables llevar an un 20 como sub ndice (20 ). 2. 2553 centros computarizados, en los que se sab a de antemano que no ser an auditados. Las variables cuando se reeran a estos centros no-auditables llevaran un como sub ndice ( ). En Figura 12 se muestra que el comportamiento de los centros computarizados ubicados en los 20 municipios, es muy distinto al comportamiento
file: delfino-salas-es.tex date: 8 de febrero de 2006

30

GUSTAVO DELFINO & GUILLERMO SALAS

Centros Manuales
p = 0.47
0.0139 8 6 4 2 -0.6 -0.4 -0.2

Estados
8 6 4 2

Centros Computarizados 4
p = 2.1 10
3.5 desviaciones estndar

0.733

0.068 desviaciones estndar

Resultado O cial

p = 0.27
0.0377 8 6 4 2 -0.6 -0.4 -0.2 0 0.2 0.4 0.6

p = 0.12
0.0588 8 6 4 2 -0.6 -0.4 -0.2 0 0.2 0.4 0.6

Figura 18: Comparaci on entre los valores de las correlaciones r que se dieron en el Refer endum y los valores esperados producto de 100 000 simulaciones, para los centros manuales y para los computarizados, a nivel de estados, municipios y parroquias. Los resultados de las simulaciones siguen una distribuci on gaussiana, que se muestra como una l nea punteada. La probabilidad de, que por casualidad, ocurran valores iguales o mayores al valor ocial de r se indican con la letra p.

Resultado O cial

0.2

0.4

0.6

r Municipios
8 6 4 2

-0.6 -0.4 -0.2

0.2

0.4

0.6

p = 2.0 10
5.1 desviaciones estndar

0.318

0.61 desviaciones estndar

Resultado O cial

Resultado O cial

r Parroquias
8 6 4 2

-0.6 -0.4 -0.2

0.2

0.4

0.6

p = 2.8 1014
7.5 desviaciones estndar

0.395 Resultado O cial

1.2 desviaciones estndar

Resultado O cial

-0.6 -0.4 -0.2

0.2

0.4

0.6

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 31

de los centros computarizados del resto de los municipios. A continuaci on se detallar an las diferencias. D.1. Diferencias en la Caracter sticas. Cuando el CNE dirigi o el proceso de recolecci on de rmas, hizo que el n umero de centros de recolecci on de rmas (CRFs) en cada municipio, fuera proporcional al n umero de electores que estos municipios ten an inscritos en el REP. En los municipios urbanos la densidad poblacional es alta por lo que en ellos se establecieron muchos CRFs. En consecuencia, el acceso desde donde la gente viv a hasta los CRFs era mucho m as f acil. En cambio, los centros de votaci on eran m as numerosos y mejor distribuidos que los CRFs a lo largo del territorio nacional. Por ejemplo, el municipio Chacao en el Estado Miranda, tiene una supercie de 27 km2 , de los cuales 19 km2 son parque nacional, y 8 km2 est an habitados. En Chacao hubo 11 CRFs y 24 centros de votaci on, todos ellos computarizados. En cambio, la Pen nsula de Macanao, en la Isla de Margarita, tiene una supercie de 330,7 km2 y cont o con tan s olo 3 CRFs. En Macanao hubo 8 centros de votaci on, todos ellos computarizados. En la Figura 19, se puede observar que en los 20 municipios los centros computarizados tienen valores m as elevados de s, lo que es consistente con las ideas expresadas anteriormente. Hubo muchos centros electorales computarizados ubicados en zonas rurales, donde era mucho m as dif cil rmar que votar. Cuando el universo de centros auditables se redujo a 20 municipios urbanos, todos los centros computarizados ubicados en las zonas rurales, que eran los centros computarizados en los que habr a una mayor incertidumbre sobre el valor k , fueron excluidos del sorteo en el que se escoger an los centros a ser auditados en caliente. D.2. Diferencia en los Resultados. Cuando el valor de s decrece, en general deber a esperarse que el valor de k aumentase, despu es de todo, kmax = 1/s. Por lo que se esperar a, que los centros computarizados de los municipios rurales tuvieran valores de k m as elevados que en los centros computarizados de los 20 municipios a los que se restringi o la auditor a en caliente, donde rmar era menos problem atico. Sin embargo, seg un los resultados ociales ocurri o exactamente lo contrario, como se muestra en la Figura 20. 20 es el promedio de los valores ociales de k para los Considerando que k es 2 040 centros de votaci on computarizados de los 20 municipios, y que k el promedio para el resto de los centros computarizados, se esperar a que 20 fuese menor que k , tal como sucedi k o en las encuestas de salida y en las
file: delfino-salas-es.tex date: 8 de febrero de 2006

32
3.5 3.0 2.5 2.0 1.5 1.0 0.5 0.2

GUSTAVO DELFINO & GUILLERMO SALAS

Todos los centros computarizados


1.0 0.8 0.6 0.4 0.2 0.2 0.4 0.6 0.8 1

fdp

0.4

0.6

0.8

fda

Encuestas de salida en centros computarizados


5.0 4.0 3.0 2.0 1.0 0.2 0.4 0.6 0.8 1 1.0 0.8 0.6 0.4 0.2 0.2 0.4 0.6 0.8 1

fdp

fda

20 municipios en el sorteo de la auditora en caliente 302 municipios excluidos del sorteo de la auditora en caliente

Figura 19: Comparaci on de la funci on de densidad de la probabilidad (fdp) y de la funci on de distribuci on acumulativa (fda) de s, para los centros computarizados dentro de los 20 municipios auditables y en los 302 municipios excluidos de la auditor a. elecciones de 1 998. Habr a que preguntarse Cu al es la probabilidad de que 20 sea mayor que k en 3,4 %?. Estas diferencias se por simple casualidad k muestran Figura 20. Como se observa en la Figura 21, la distribuci on de los valores de k de los 2 040 centros computarizados auditables es muy distinta a la de los restantes 2 553 centros computarizados noauditables. Los valores de k en los primeros tienden a ser m as elevados que en los u ltimos. La porci on de centros electorales computarizados con valores de k menores o cercanos a 1, es mucho menor en los 2 040 centros auditables que en los 2 553 centros no auditables. Esto es contrario a lo que sucedi o en las elecciones de 1 998 y en las encuestas de salida. Adicionalmente, obs ervese que la distribuci on de los valores ociales de k es mucho m as sim etrica que la de los resultados de las elecciones de 1 998 y que la de las encuestas de salida. Cu al es la probabilidad de que la funci on de densidad acumulada (fda) de k20 est e tan por debajo de la fda de k , como para que se produzca entre ellas una separaci on tan grande (D = 0, 233)? Siendo conservadores, asumiendo que las distribuciones de k20 y k provienen de una misma distribuci on continua, esta probabilidad se puede estimar utilizando la prueba para dos muestras de KolmogorovSmirnov. De esta manera se estim o que esta probabilidad est a en el orden de 2, 6 1054 . Pero por las razones previamente
file: delfino-salas-es.tex date: 8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 33

2.0 1.5 1.0 0.5

.1 .2 .3 .4 .5 .6 .7 .8 .9 1
20 1.24 = k 1.16 = k

k=

= kmax s

kma x

Resultado O cial del Referndum


0.2 0.4 0.6 0.8
kma x

2.0 1.5 1.0 0.5

k1998

1.53 = k 20 1.23 = k

Eleccin Presidencial de 1998


0.2 0.4 0.6 0.8
kma x

2.0 1.5 1.0 0.5

kencuestas

1.87 = k 20 1.69 = k

Encuestas de Salida
0.2 s = 0.328 0.4 0.6 s20 = 0.374
20 municipios en el sorteo de la auditora en caliente

0.8

302 municipios excluidos del sorteo de la auditora en caliente

Figura 20: Comparaci on entre los valores promedio de k y de s para los centros computarizados dentro y fuera de los 20 municipios a los que se ys restringi o la auditor a en caliente. Se muestran los valores de k de los resultados ociales, de la elecci on de 1 998 y de las encuestas de salida.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

34

GUSTAVO DELFINO & GUILLERMO SALAS

4.0 3.0 2.0 1.0

Resultado O cial del Referndum en los centros computarizados


1.0 0.8 0.6 0.4 0.2

fdp

fda

D = 0.233
1 1.5 2

1 2.0 1.5 1.0 0.5

1.5

Resultado O cial de la eleccin de 1998 en los centros computarizados


1.0 0.8 0.6 0.4 0.2

fdp

1 1.2 1.0 0.8 0.6 0.4 0.2

k1998

fda

1 1.0 0.8 0.6 0.4 0.2

k1998

Resultados de las encuestas de salida en los centros computarizados fda

fdp

5 encuesta 1 1 4 2 3 20 municipios en el sorteo de la auditora en caliente 302 municipios excluidos del sorteo de la auditora en caliente

kencuesta

Figura 21: Comparaci on de la funci on de densidad de la probabilidad (fdp) de k y de la funci on de distribuci on acumulativa (fda) de los centros computarizados dentro de los 20 municipios a los que se restringi o la auditor a en caliente, con las de los centros computarizados en los 302 municipios excluidos de la auditor a. La diferencia m axima, que seg un los resultados ociales se dio entre las fda (Supremun) se muestra como D.

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

ANALISIS DEL REFERENDUM REVOCATORIO EN VENEZUELA EN 2004. 35

expuestas, la distribuci on de k deber a ser mayor no igual a la de k20 . Por lo que la probabilidad real deber a ser a un mucho menor. D.3. Diferencias en la Variaci on del Registro Electoral (REP). Entre abril y julio de el a no 2 004, el n umero de inscritos en el REP aument o en 1 842 959 electores, equivalente a un 14,9 %. En los centros computarizados el n umero de electores se increment o de 10 894 321 a 12 390 159. En la Figuan diferente se distribuy o ese aumento del REP entre los ra 22 se muestra cu centros computarizados auditables y los no auditables. En la Figura 23 se puede observar que los 192 centros electorales que fueron seleccionados para ser auditados en caliente, excluyen un area bastante grande, en la que hay muchos centros computarizados, donde el gobierno aumenta fuertemente su popularidad, sin que haya un incremento importante del REP.
302 municipios excluidos del sorteo de la auditora en caliente 20 municipios en el sorteo de la auditora en caliente

REPJulio 2004 REPAbril 2004

1 Oposicin Disminuye -30 -20 -10 0 Oposicin Aumenta

1 Oposicin Disminuye 30 -30 -20 -10 0 Oposicin Aumenta 10 20 30

%RR 1998

10

20

%RR 1998

Figura 22: Variaci on del REP vs. %RR 1998 de los centros computarizados, dentro y fuera de los 20 municipios a los que restringi o la auditor a en caliente. Se incluye la l nea recta de tendencia (obtenida usando el m etodo de los m nimos cuadrados).

REFERENCIAS
[1] The Carter Center and The OAS (2003-05-23). Agreement of the Forum for Negotiation and Agreement in Venezuela http://www.cartercenter.org/doc1338.htm http://www.oas.org/OASpage/eng/Venezuela/Acuerdo052303.htm file: delfino-salas-es.tex date: 8 de febrero de 2006

36

GUSTAVO DELFINO & GUILLERMO SALAS

3
REPJulio 2004 REPAbril 2004

-40

-30

-20

-10

0 %RR 1998

10

20

30

Figura 23: La variaci on del REP vs. %RR 1998 para todos los centros computarizados, resaltando los 192 centros computarizados seleccionados para ser auditados en caliente. N otese que ninguno de estos 192 centros est a dentro del area demarcada por el rect angulo.

[2] The Carter Center and The OAS (2004-09-16). Report on an Analysis of the Representativeness of the Second Audit Sample, and the Correlation between Petition Signers and the Yes Vote in the Aug. 15, 2004 Presidential Recall Referendum in Venezuela http://www.cartercenter.org/documents/1834.pdf [3] The Carter Center and The OAS (2004-08-26). Audit of the Results of the Presidential Recall Referendum in Venezuela http://www.cartercenter.org/documents/1820.pdf http://www.upd.oas.org/lab/MOE/2003/venezuela/inf 08 26 04 eng.pdf [4] The Carter Center (2005-02-25). Observing the Venezuela Presidential Recall Referendum: Comprehensive Report http://www.cartercenter.org/documents/2020.pdf
e-mail: gdelno@gentederedes.org e-mail: gsalas@gentederedes.org

file:

delfino-salas-es.tex

date:

8 de febrero de 2006

Vous aimerez peut-être aussi