Vous êtes sur la page 1sur 58

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

AUTORA: FABIANA LUCI DE OLIVEIRA

GRADUAO 2011.2

Sumrio

Metodologia da Pesquisa e Estatstica Elementar


UNIDADE 1: CINCIA E MTODO CIENTFICO ............................................................................................................... 8 UNIDADE 2: PESQUISA EMPRICA MTODO E TCNICAS .......................................................................................... 17 UNIDADE 3: ANLISE DE DADOS E ESTATSTICA......................................................................................................... 33 UNIDADE 4 :COMUNICAO ACADMICA ................................................................................................................. 42 ANEXO I. AS RELAES ENGANOSAS ....................................................................................................................... 45 ANEXO II. O USO DE ESTATSTICAS E MATEMTICA NOS TRIBUNAIS ................................................................................ 48 ANEXO III: FUNCIONAMENTO DO JUDICIRIO ........................................................................................................... 51

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

I. APRESENTAO DO CURSO O curso de Metodologia de Pesquisa uma introduo linguagem cientfica e acadmica, e s bases metodolgicas da pesquisa em cincias humanas e sociais, entre as quais est o Direito. E o que pesquisa? Numa acepo simples, pesquisa a busca por respostas para perguntas propostas. Segundo Gil (1999)1, o ser humano valendo-se de suas capacidades e dos seus sentidos sempre procurou conhecer o mundo, a natureza das coisas e o comportamento das pessoas. E para isso ao longo dos sculos vem desenvolvendo sistemas mais ou menos elaborados que o permitam atingir esse objetivo. Mas tanto os questionamentos levantados quanto o caminho para se responder s indagaes propostas devem ser sistemticos para produzir conhecimento cientfico. A pesquisa se constitui, portanto, em uma forma de produo de conhecimento cientfico. A partir da percepo de um problema terico ou prtico, o pesquisador parte para a busca por conhecimento j produzido relacionado a este problema e sua sistematizao, levantando questes e formulando hipteses a serem testadas, faz observaes e coleta dados, para ento tirar concluses e produzir conhecimento novo. O curso objetiva justamente o desenvolvimento das competncias essenciais para o processo de pesquisa e produo de conhecimento, no se reduzindo apenas s habilidades de interpretao, escrita e apresentao de trabalhos acadmicos. Ao aprendizado destas competncias chamaremos treinamento em metodologia de pesquisa. A metodologia de pesquisa implica conhecimentos e habilidades necessrios ao pesquisador para a orientao do processo de planejamento e construo do problema, investigao, seleo de conceitos, hipteses, tcnicas de coleta e observao de dados adequados. A pesquisa baseia-se em um mtodo. O mtodo o caminho a ser seguido para se atingir um determinado objetivo. A palavra mtodo de origem grega, methodos (composta de meta, que significa atravs de, por meio de, e de hodos, que significa caminho). Mtodo implica, assim, a ordenao de um caminho, a adoo de procedimentos e tcnicas de forma racional e sistemtica. As tcnicas de pesquisa proporcionam formas adequadas de coletar e tratar os dados isto a operacionalizao. Na definio do filsofo Ren Descartes O mtodo so regras precisas e fceis, a partir da observao exata das quais se ter certeza de nunca tomar um erro por verdade, e, sem a desperdiar inutilmente as foras de sua mente, mas ampliando seu saber por meio de um contnuo progresso, chegar ao conhecimento verdadeiro de tudo do que se capaz 2. Neste curso focaremos: compreenso, interpretao, desenho, planejamento e implementao de pesquisas empricas e tambm algumas tcnicas de anlise, abordando conceitos bsicos de estatstica. O curso no vai ensinar tudo o que o aluno precisa saber, mas vai sim prepar-lo para saber como aprender a identificar e decifrar o que precisar saber. importante ressaltar que existe uma diferena entre a prtica profissional e a pesquisa acadmica. E que no transcorrer da formao em Direito o aluno ser exposto a estas lgicas distintas.

GIL, Antonio Carlos (1999). Mtodos e Tcnicas de Pesquisa Social. So Paulo: Editora Atlas. Citao extrada da obra O Discurso do Mtodo, publicada em 1637 ver DESCARTES Coleo Os Pensadores, Editora Nova Cultural, 2004.

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Segundo o socilogo Eliot Freidson (1998)3, nas diversas profisses h uma distino entre os membros a partir das atividades por eles desenvolvidas. As profisses, assim, se diferenciariam internamente em administradores (que determinam como e onde os praticantes podem atuar no caso das profisses do direito temos a OAB), praticantes (que divulgam a profisso, se relacionando diretamente com os clientes juzes, promotores, advogados, etc.) e acadmicos (que produzem o conhecimento abstrato e formal no qual a profisso se apia juristas, professores). Muitas vezes um mesmo profissional faz parte de mais de um destes grupos, podendo mesmo ser administrador, praticante e acadmico ao mesmo tempo. Neste curso trataremos da linguagem, dos mtodos e das tcnicas utilizadas por acadmicos. A diferena entre o advogado praticante e o acadmico que o advogado praticante busca defender uma causa ou tese, ele o advogado da hiptese. J o advogado acadmico busca testar uma hiptese e testar implica em que tal hiptese possa ser comprovada ou derrubada. Nas palavras de Lee Epstein e Gary King4 (2002),
Enquanto um acadmico ensinado a submeter a sua hiptese a todos os testes e fonte de dados possveis, buscando todas as provas e evidncias possveis contra sua teoria, um advogado praticante ensinado a acumular todas as provas para comprovar a sua hiptese e desviar a ateno de qualquer coisa que possa ser vista como uma informao contraditria. Um advogado que trata um cliente como uma hiptese seria expulso, um acadmico que defende uma hiptese como um cliente seria ignorado. (Epstein and King, 2002: 9-10)

O compromisso do advogado pesquisador com a descoberta e a verdade. O compromisso do advogado praticante com o seu cliente. Nas palavras do pesquisador Marcos Nobre5 (2003),
O advogado (ou o estagirio ou estudante de direito) faz uma sistematizao da doutrina, jurisprudncia e legislao existentes e seleciona, segundo a estratgia advocatcia definida, os argumentos que possam ser mais teis construo da tese jurdica (ou elaborao de um contrato complexo) para uma possvel soluo do caso (ou para tornar efetiva e o mais segura possvel a realizao de um negcio). (...) No caso do parecer, o jurista se posiciona como defensor de uma tese sem interesse ou qualquer influncia da estratgia advocatcia definida. Assim, a escolha dos argumentos constantes da doutrina e da jurisprudncia, combinada com a interpretao da legislao, seria feita, por assim dizer, por convico. Ocorre que, mesmo concedendo-se que o animus seja diverso, a lgica que preside a construo da pea a mesma. O parecer recolhe o material jurisprudencial e doutrinrio e os devidos ttulos legais unicamente em funo da tese a ser defendida: no recolhe todo o material disponvel, mas to-s a poro dele que vem ao encontro da tese a ser defendida. O parecer no procura, no conjunto do material disponvel, um padro de racionalidade e inteligibilidade para, s ento, formular uma tese explicativa, o que seria talvez o padro e o objetivo de uma investigao acadmica no mbito do

FREIDSON, Eliot. (1996). O Renascimento do Profissionalismo. So Paulo: Edusp. EPSTEIN, Lee & Gary King (2002). The Rules of Inference. University of Chicago Law Review. 69 (1): 1-133. Disponvel em http://epstein.law. northwestern.edu/research/rules.pdf (acesso em 03/01/2011) NOBRE, Marcos (2003). Apontamentos sobre a pesquisa em Direito no Brasil. Novos Estudos Cebrap. So Paulo, jul., p.145-154, p. 06

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

direito. Dessa forma, no caso paradigmtico e modelar do parecer, a resposta vem de antemo: est posta previamente investigao. (Nobre, 2003: 2)

O advogado que tem como causa questionar a constitucionalidade de uma determinada poltica pblica, por exemplo, apresentar em sua petio apenas decises favorveis a sua causa, ou seja, citar apenas a jurisprudncia que seja no sentido de corroborar a sua posio. O advogado escrevendo um trabalho acadmico, por sua vez, deve sopesar as diversas posies, contrrias e favorveis a sua tese6. Feita a distino entre academia e prtica, outra delimitao se faz necessria. Karl Larenz7 (1991) afirma que cada cincia lana mo de determinados mtodos e tcnicas com a finalidade de obter as repostas s questes por ela suscitadas. O Direito, que busca solues para questes jurdicas dentro de um ordenamento jurdico especfico e historicamente constitudo teria a jurisprudncia como mtodo por excelncia. No curso no falaremos em pesquisa de jurisprudncia, de doutrina, hermenutica, reconstruo dogmtica, etc. Focaremos antes em mtodos e tcnicas de pesquisa emprica. Por pesquisa emprica entende-se aqui a investigao que se baseia em observaes sobre o mundo, em dados e fatos (Epstein and King, 2002). Sendo que dados no so necessariamente quantitativos (ou seja, numricos), podendo assumir tambm a forma qualitativa. importante termos em mente tambm que o dado no fala por si s, mas sim atravs de teoria. O papel da teoria central. a partir dela que se constri a questo a ser pesquisada o problema de pesquisa e fornece tambm pistas para a construo das hipteses a serem testadas.

II. ESTRUTURA DO CURSO O curso est estruturado em quatro unidades. Em cada unidade teremos como exigncia a leitura da bibliografia obrigatria indicada, e a sugesto de leitura de uma bibliografia complementar (para os alunos que queiram se aprofundar no assunto). Esta apostila apenas um apoio ao contedo do curso, servindo como um guia para os estudos sendo essencial a leitura dos textos obrigatrios indicados. No curso esto previstas 15 aulas em sala (incluindo aulas expositivas, discusso em grupo e seminrios) e 6 aulas em laboratrio (realizao de exerccios prticos). Alm das aulas, leituras e exerccios, o curso prev a realizao de uma pesquisa emprica e a apresentao dos resultados da pesquisa no formato de relatrio a ser entregue ao final do curso. A distribuio das aulas poder variar de acordo com o andamento e rendimento do curso. As quatro unidades esto estruturadas da seguinte maneira: 1) Cincia e Mtodo Cientco Nesta unidade discutiremos a linguagem cientfica, a definio de cincia e do mtodo cientfico. Trabalharemos os mtodos de abordagem da investigao cientfica (dialtico, fenomenolgico, dedutivo, indutivo e

Ver OLIVEIRA, Luciano (2004), No Fale do Cdigo de Hamurabi. In: Sua Excelncia o Comissrio e outros ensaios de sociologia jurdica. Rio de Janeiro, Letra Legal LARENZ, Karl (1991). Metodologia da Cincia do Direito. Lisboa, Fundao Calouste Gulbenkian.

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

hipottico-dedutivo). A unidade se encerra com a discusso crtica do filme E a vida continua. 2) Pesquisa Emprica Mtodo e Tcnicas Nesta unidade discutiremos os fundamentos da pesquisa emprica em cincias humanas e sociais. Trabalharemos os tipos de pesquisa (de acordo com a forma de abordagem do problema, os objetivos e procedimentos tcnicos adotados). Conceitos e variveis. A elaborao de um problema de pesquisa, o planejamento da pesquisa, a construo dos instrumentos de coleta de dados e a coleta em si (campo). Como o foco principal do curso ser na pesquisa quantitativa, trabalharemos os aspectos essenciais e os principais elementos na conduo deste tipo de pesquisa, incluindo noes bsicas de amostragem. A unidade se encerra com o planejamento da pesquisa a ser conduzida pelos alunos: a) definio do problema; b) definio dos objetivos; c) identificao da populao e amostra; d) elaborao do instrumento de coleta de dados; e) planejamento e coleta (realizao do campo). 3) Anlise de Dados Quantitativos e Estatstica Nesta unidade trabalharemos com noes introdutrias de estatstica, focando na descrio e explorao de dados. O foco ser em distribuio de freqncia, organizao e apresentao dos dados (tabelas e grficos), medidas de posio (mdia, mediana e moda), medidas de disperso (amplitude, desvio padro e varincia) e medidas de associao (correlao). A unidade se encerra a partir da tabulao e anlise dos dados coletados pelos alunos na pesquisa de campo realizada na unidade dois. 4) Comunicao Acadmica Por fim, na ltima unidade do curso trabalharemos a comunicao escrita dos resultados de pesquisas empricas e a forma de estruturar um relatrio de pesquisa. A unidade se encerra com a apresentao do relatrio da pesquisa conduzida na unidade dois e da anlise de dados conduzida na unidade trs.

III. FORMAS DE AVALIAO A avaliao ser feita a partir de trs itens: 1. 2. 3. Leitura dos textos, presena e participao em sala de aula, incluindo apresentao de seminrios; Prova cobrindo o contedo terico do curso; Entrega de trabalho final.

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

O trabalho final ser baseado na realizao de um exerccio de pesquisa emprica. O exerccio consistir na definio de um problema de pesquisa, na construo do instrumento de coleta de dados, na coleta e anlise de dados e na redao do relatrio de pesquisa o detalhamento do exerccio ser dado nas unidades dois e trs do curso.

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

UNIDADE 1 CINCIA E MTODO CIENTFICO

O comeo de todas as cincias o espanto de as coisas serem o que so. Aristteles, Metafsica A crena, ou o valor subjetivo do juzo, com relao convico (que tem ao mesmo tempo um valor objetivo), apresenta os trs graus seguintes: a opinio, a f e a cincia. A opinio uma crena que tem conscincia de ser insuficiente tanto subjetiva quanto objetivamente. Se a crena apenas subjetivamente suficiente e se ao mesmo tempo considerada objetivamente insuficiente, chama-se f. Enfim, a crena suficiente tanto subjetiva quanto objetivamente chama-se cincia. Emmanuel Kant, Crtica da Razo Pura

BIBLIOGRAFIA OBRIGATRIA 1) LAKATOS, Eva Maria; MARCONI Marina de Andrade (1997). Metodologia Cientfica: Cincia e Conhecimento Cientfico. So Paulo: Atlas captulo 3: Cincia e Conhecimento Cientfico

1. INTRODUO O que cincia e o que o mtodo cientfico? Iniciamos refletindo sobre a colocao feita por Earl Babbie8 (1999)
Basicamente, toda cincia pretende entender o mundo ao redor. Trs componentes principais constituem esta atividade: descrio, a descoberta de regularidades e a formulao de teorias e leis. Primeiro, cientistas observam e descrevem objetos e eventos que aparecem no mundo. Isto pode envolver a medio da velocidade de um objeto que cai, o comprimento de onda de emisses de uma estrela distante ou a massa de uma partcula subatmica. Tais descries so guiadas pelos objetivos da exatido e da utilidade. Segundo, cientistas procuram descobrir regularidades e ordem no caos por vezes alucinante e estonteante da experincia. Em parte, isto pode envolver a coincidncia ou correlao de certas caractersticas ou eventos. Assim, por exemplo, voc pode notar que presso atmosfrica se correlaciona com altitude ou que a aplicao de fora a um objeto resulta na modificao de sua velocidade. Terceiro, cientistas tentam formalizar e generalizar as regularidades descobertas em teorias e leis. So exemplos disto a lei da gravidade de Newton e as teorias gerais e especiais da

8 BABBIE, Earl (1999). Mtodos de Pesquisas de Survey. Belo Horizonte: Ed. UFMG.

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

relatividade de Einstein. Teorias e leis so, em geral, enunciados lgicos de relaes entre caractersticas e eventos que oferecem explicaes para uma ampla faixa de ocorrncias empricas. (Babbie, 1999: 30)

A partir desta colocao podemos perceber que a cincia antes de tudo uma forma de conhecimento. Existem diversos tipos de conhecimento, sendo os mais comuns o conhecimento popular (vulgar, ou senso comum), o conhecimento religioso (teolgico), o conhecimento filosfico e o conhecimento cientfico. O conhecimento popular aquele que vem da experincia do dia-a-dia, da vida cotidiana, no metdico e que transmitido de gerao em gerao. A religio, por sua vez, um conhecimento doutrinrio, contendo proposies sagradas no passveis de verificao nem falseabilidade. Assim, apresenta princpios e verdades indiscutveis. O conhecimento filosfico tambm apresenta verdades e proposies que no so passveis de verificao, mas no por serem sagradas e sim por no serem possveis de se observar. J o conhecimento cientfico aquele obtido de mediante a aplicao de procedimentos sistemticos e rigorosos (mtodos e tcnicas). A cincia, como todo tipo de conhecimento, no una no existe uma definio consensual sobre a cincia e o mtodo cientfico. Para Karl Popper9 (1959), por exemplo, a cincia o conhecimento que pode ser falseado. A cincia progride de maneira contnua, a partir de aperfeioamentos que vo sendo adicionados por sucessivos cientistas, e avana a partir do ensaio ao erro, s conjecturas e refutaes. Thomas Kuhn10 (1962), outro historiador e filsofo da cincia, afirma que o pensamento cientfico est em constante ebulio e no evolui de forma contnua havendo sim saltos, revolues. Kuhn desenvolve, assim, a idia de ruptura de paradigmas cientficos. De acordo com Lakatos e Marconi11 (1997), em decorrncia da complexidade dos fenmenos do universo e da sociedade que os homens buscam entender e explicar, a cincia acabou originando diversos segmentos de estudo. As cincias so divididas basicamente em formais e factuais. As cincias formais estudam idias, que no havendo relao com a realidade observvel e desta forma no se valendo da realidade para convalidar suas frmulas.

POPPER, Karl (1959). A Lgica da Pesquisa Cientfica. So Paulo: Editora Cultrix. KUHN, Thomas (1962). A Estrutura das Revolues Cientficas. So Paulo: Editora Perspectiva. LAKATOS, Eva Maria; MARCONI Marina de Andrade (1997). Metodologia Cientfica: Cincia e Conhecimento Cientfico. So Paulo: Atlas.

10

11

FGV DIREITO RIO

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Lgica Formais Matemtica Cincias Naturais Factuais

Fsica Qumica Biologia, etc. Direito

Sociais

Economia Sociologia, etc.

Figura 1. Classificao e Diviso da Cincia. Fonte: Lakatos e Marconi (1997)

As cincias factuais por sua vez tratam dos fatos, recorrendo aos dados obtidos atravs da observao e da experimentao para validar suas hipteses. O conhecimento cientfico se diferencia dos demais basicamente pelas tcnicas e processos sistemticos utilizados tanto para formular quanto para resolver os problemas propostos. Apesar de no haver um mtodo nico, at mesmo por haver diversas cincias, existe um ciclo comum de atividades, uma espcie de sequncia de atos que orientam o mtodo cientfico. George Kneller12 (1980) apresenta em seu A Cincia como Atividade Humana uma histria de um problema prtico que para ser resolvido seguiu a estrutura do pensamento cientfico. O problema a seguir exemplifica bem uma sequncia de atos que orientam uma pesquisa cientfica.
Numa certa cidade, foi construda uma nova estrada, e a taxa de acidentes registrou uma subida extraordinria. Houve protestos pblicos e seguiu-se uma investigao. Os investigadores comearam com a hiptese mais bvia: a de que a nova estrada aumentou o trfego, o que, por seu turno, aumentou o nmero de acidentes. Mas verificaram que os acidentes tinham crescido de forma desproporcional. Conjecturaram ento que numa nova estrada os motoristas so mais descuidados. Mas as estatsticas referentes a outras estradas novas desmentiam essa hiptese. Admitiram, portanto, que a causa era a velocidade. Entretanto, de acordo com os registros policiais, menos motoristas tinham sido multados do que o habitual. Estivera a polcia menos ativa? No, o mesmo nmero de agentes estivera prestando servio. Ento os investigadores notaram que a maioria dos acidentes tinha ocorrido em apenas trs locais da estrada, pelo que recomendaram novas regras de trnsito para esses pontos.

12

KNELLER, George. A Cincia como Atividade Humana. Rio de Janeiro: Zahar Editores.

FGV DIREITO RIO

10

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Depois disso, o nmero de acidentes caiu muito abaixo da norma. O problema tinha sido resolvido (Kneller, 1980: 99).

De forma bastante simplificada, a estrutura bsica de pesquisa (a sequncia de atos) consiste em quatro passos: 1) identificar um problema, 2) levantar hipteses para explicar este problema, 3) observar sistematicamente a realidade em busca de evidncias, dados e informaes para verificar e validar a hiptese e 4) comunicar os resultados de tal forma que a pesquisa possa ser replicada. Ainda de acordo com Kneller (1980), o pesquisador observa fatos e registra-os na forma de dados. Essa observao mais cuidadosa e meticulosamente do que a feita pelo homem comum. O pesquisador procura pelo inesperado e no deixa passar despercebidas as excees. A observao cientfica caracteriza-se por ser sistemtica (controlada por hipteses), pormenorizada (uso de instrumentos) e variada (observa fenmeno ou fato sob diversas condies). Os fatos observados pelo pesquisador so coisas que acontecem, fenmenos, eventos, estados. E estes fatos so representados simbolicamente como dados. Os dados devem ser objetivos (ou seja, qualquer pesquisador executando as mesmas operaes chegar aos mesmos dados), idneos (recebem descrio que qualquer pesquisador observando o fato, pode aceitar) e precisos (devem descrever o fato de modo a diferenci-lo o mais possvel de fatos semelhantes). A interpretao de fatos e dados dada por conceitos.

2. MTODOS DE ABORDAGEM Os principais mtodos de abordagem que fornecem as bases lgicas investigao cientfica e que levam a formao de hipteses so: indutivo, dedutivo, hipottico-dedutivo, dialtico e fenomenolgico (LAKATOS e MARCONI, 1997; GIL, 1999). O mtodo dialtico o mtodo do dilogo, atravs do qual se busca a verdade formulando-se perguntas e respostas, argumentos e contra-argumentos. No mtodo dialtico proposto por Hegel h a apresentao de uma tese, a qual se contrape uma anttese e do embate terico entre as duas, chega-se a uma concluso, ou uma sntese.

Tese
Pretenso da verdade

Anttese
Negao da tese apresentada

Sntese
Resultado do embate entre tese e anttese

Figura 2. Mtodo dialtico. Fonte: elaborado com base em Demo (1995)

A dialtica pressupe que o mundo social um conjunto de processos, em que nada se encontra pronto, ou acabado, mas sim em processo de formao e transformao.
FGV DIREITO RIO 11

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Nada neste mundo existe de forma isolada, fatos e fenmenos esto ligados entre si interagindo, e a interao implica transformao. E a transformao no mtodo dialtico se d pela negao. O mtodo fenomenolgico o que se volta ao estudo dos fenmenos humanos, tais como vivenciados e experimentados, considerando o que est imediatamente frente da conscincia, o objeto. A realidade no nica: existem tantas quantas forem as suas interpretaes e comunicaes. O sujeito/ator reconhecidamente importante no processo de construo do conhecimento (GIL, 1999). O mtodo dedutivo o que parte do geral e vai para o particular. O raciocnio dedutivo o silogismo, que composto de trs partes: uma premissa maior (ou seja, um enunciado geral), uma premissa menor (ou seja, um enunciado particular de aplicao individual) e uma concluso que resulta dos enunciados anteriores.

Todo homem mortal. Pedro homem. Logo, Pedro mortal.

Figura 3. Mtodo dedutivo. Fonte: Gil (1999)

Popper (1959) fez diversas crticas ao mtodo dedutivo, sendo as duas principais delas a de que ele tautolgico (ele repete no predicado o que j disse no sujeito) e teria um carter apriorstico (ao partir de um enunciado geral implica que j se tenha um conhecimento prvio). J o mtodo indutivo o inverso do dedutivo, ele parte do particular e vai para o geral. O raciocnio indutivo baseia-se em premissas verdadeiras que levam a concluses provveis. Por exemplo, o cisne um branco. O cisne dois branco. O cisne trs branco. O cisne n branco. Logo, sou levado a concluir que todo cisme branco. Ou seja, partir da observao dos fatos faz-se uma generalizao atravs da lgica. Antnio mortal. Benedito mortal. Carlos mortal. Zzimo mortal. ... Ora, Antnio, Benedito, Carlos, Zzimo, so homens. Logo, todos os homens so mortais.
Figura 4. Mtodo indutivo. Fonte: Gil (1999)

FGV DIREITO RIO

12

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Popper (1959) tambm criticou o mtodo indutivo, afirmando que ele leva a uma regresso ao infinito, ou seja, para poder sustentar a afirmao de que todos os cisnes so brancos seria preciso observar todo e qualquer cisne possvel. Ao criticar os mtodos dedutivo e indutivo, Popper defende o mtodo hipottico dedutivo. O mtodo hipottico-dedutivo foi definido por Popper como aquele que consiste na construo de hipteses que devem ser submetidas ao confronto com de fatos para sua comprovao. A sequncia do mtodo hipottico-dedutivo, segundo Popper (1959), parte de conhecimento prvio (teorias existentes), a partir do qual se identifica uma lacuna, contradio ou problema; propor uma soluo para este problema no formato de hiptese; testar a hiptese; analisar os resultados frente aos quais h duas situaes: ou ocorreu o esperado (hiptese corroborada) ou no ocorreu o esperado (hiptese refutada). Em caso de refutao, volta-se a formular nova hiptese que explique satisfatoriamente o problema inicial.

Figura 5. Mtodo hipottico dedutivo. Fonte: elaborado com base em Popper (1959), Demo13 (1995) e Gil (1999).

Para Popper a principal caracterstica do conhecimento cientfico sua testabilidade e consequente falseabilidade e refutabilidade. Assim, para o autor os resultados cientficos so sempre provisrios.

13

DEMO, Pedro (1995). Metodologia Cientfica em Cincias Sociais. So Paulo: Editora Atlas.

FGV DIREITO RIO

13

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

3. DIREITO E CINCIA Discutimos at aqui o que cincia e o que o mtodo cientfico, considerando que este mtodo foi pensado para e largamente utilizado pelas cincias naturais e formais. Mas e no caso do Direito? H uma discusso at mesmo sobre se podemos afirmar ser o direito uma cincia ou no. Voltamos aqui para a questo posta inicialmente sobre a dificuldade de definio consensual sobre a cincia e seu(s) mtodo(s). Lakatos e Marconi (1997) afirmam que todas as cincias caracterizam-se pela utilizao de mtodos cientficos, mas que em contrapartida, nem todos os ramos de estudos que empregam esses mtodos so cincias, concluindo da que a utilizao de mtodos cientficos no alada exclusiva da cincia, mas que no pode haver cincia sem o emprego dos mtodos cientficos. A cincia implica o critrio de objetividade, de considerar, observar e descrever os fenmenos como eles so e no como deveriam ser. A cincia implica, portanto, neutralidade axiolgica, afastando-se assim dos valores. O direito como norma implicaria numa diretiva, descrevendo como os fenmenos deveriam ser. Da muitos afirmarem que o Direito no pode ser considerado como cincia. H mesmo uma disputa e uma discusso epistemolgica sobre os ramos de conhecimento que poderiam ou no ser cincia, com os mais radicais afirmando que apenas as naturais e formais seriam cincias (as hard sciences). Excluindo-se, portanto, todas as cincias sociais. Nossa perspectiva neste curso de que, se por cincia entendermos a busca e a produo de conhecimento a partir da observao, pesquisa e sistematizao de fenmenos e fatos do mundo social, a partir do emprego de um mtodo, no h porque no se considerar o direito como cincia. Boaventura Sousa Santos, em Um Discurso sobre as Cincias (1988), discute a crise dos paradigmas da cincia moderna e defende uma nova ordem cientfica emergente. O autor expe de forma bastante crtica esta questo, a partir de uma leitura sobre a forma como o pensamento cientfico se desenvolveu e como nos sculos XVIII e XIX esse pensamento passou a influenciar as cincias sociais. E o que um paradigma? Podemos definir paradigma, de forma simples e direta, como um modelo de representao da realidade. Um conjunto de princpios e de teorias para explicar a realidade, os fatos e fenmenos. Nesta explicao, a crtica que Boaventura faz ao paradigma dominante que ele baseado em observao e experimentao, em quantificao, e no estabelecimento de leis universais - sendo que em ltima anlise o que no quantificvel cientificamente irrelevante. No paradigma dominante as reas do conhecimento que se dedicam ao estudo dos fenmenos sociais poderiam ser classificadas como cientificamente irrelevantes, uma vez que os fenmenos sociais so historicamente condicionados e culturalmente determinados (ver Ernest Nagel, 1961, The Structure of Science). Mas Boaventura prope um novo paradigma, um modelo emergente, denominado paradigma de um conhecimento prudente para uma vida decente. Segundo este paradigma:

FGV DIREITO RIO

14

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

(1) (2) (3) (4)

Conhecimento cientfico-natural cientfico-social; Conhecimento local e total; Conhecimento autoconhecimento; Conhecimento cientfico visa constituir-se em senso comum.

Com base nestas quatro caractersticas Boaventura procura valorizar as cincias que se dedicam ao estudo dos fenmenos sociais.

4. ENCERRAMENTO DA UNIDADE Questo para discusso: A cincia neutra? Existe neutralidade na pesquisa e na produo de conhecimento?
Est fora de dvida que a reflexo crtica sobre a metodologia da investigao emprica e, em particular, sobre as continuidades e descontinuidades entre cnones metodolgicos e comportamento prtico de pesquisa constitui um bom indcio do grau de maturidade alcanado por uma disciplina acadmica. De fato, uma reflexo de tal natureza evidentemente implica a frtil premissa de que a empresa cientfica no se exaure ou no est totalmente contida na aplicao formal de princpios metodolgicos e, em consequncia, tambm na importante proposio de que a empresa cientifica ela mesma to histrica quanto os objetos aos quais ela se aplica. Em outras palavras, que a apropriao do objeto de pesquisa por parte do sujeito tem a sua prpria histria, seus eurekas e serendipities. Existe ademais outra implicao que de particular relevncia dentro do contexto atual, a saber, a conscincia de que o processo de criao cientfica tambm compartilha de uma dimenso esttica: existe na obra da cincia como na obra de arte um ingrediente de subjetividade, de iniciativa individual, de interpretao original que no esto contidas a priori nas frmulas e nos procedimentos de mtodo. Fora de dvida est tambm que a necessidade de refletir criticamente sobre as tenses e descontinuidades entre mtodo formal e investigao emprica deve-se em parte ao formalismo e mitificao do mtodo pelos quais o treinamento acadmico to responsvel. O divrcio ordinrio entre teoria e prtica, divrcio dolorosamente experimentado pelo estudante, tem levado a uma concepo do mtodo como um conjunto de frmulas cuja aplicao mecnica abracadabriza os achados. (Fernando Uricoechea14, 1978: 201-202)

14

Trecho extrado do texto Coronis e Burocratas no Brasil Imperial: Crnica Analtica de uma Sntese Histrica. In: Nunes, Edson Oliveira. (1978). A Aventura Sociolgica. Rio de Janeiro, Jorge Zahar Ed.

FGV DIREITO RIO

15

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Discusso do Filme E a vida continua (And the band played on) EUA. Dirigido por Roger Spottiswoode (1993). O filme quase um documentrio, e baseado no livro And the Band Played On: Politics, People, and the AIDS Epidemic, escrito por Randy Shilts. Retrata os primeiros momentos da epidemia da AIDS a partir da histria de pesquisadores que buscam identificar a doena, a construo de hipteses, a busca por evidncias, as disputas entre pesquisadores, a escassez de recursos, questes ticas e os diversos empecilhos no desenvolvimento de pesquisas.

BIBLIOGRAFIA COMPLEMENTAR 1. KUHN, Thomas (1979). A funo do dogma na investigao cientfica. In: DEUS, Jorge Dias de (org). A crtica da cincia: sociologia e ideologia da cincia. Rio de Janeiro: Jorge Zahar Ed. BOURDIEU, Pierre (1983). O campo cientfico. In: ORTIZ, Renato (org). Sociologia. So Paulo: tica.

2.

FGV DIREITO RIO

16

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

UNIDADE 2 PESQUISA EMPRICA MTODO E TCNICAS

Cada pea acrescentada a um mosaico contribui um pouco para a nossa compreenso do quadro como um todo. Quando muitas peas j foram colocadas, podemos ver, mais ou menos claramente, os objetos e as pessoas que esto no quadro, e sua relao uns com os outros. Diferentes fragmentos contribuem diferentemente para a nossa compreenso: alguns so teis por sua cor, outros porque realam os contornos de um objeto. Nenhuma das peas tem uma funo maior a cumprir... Howard Becker, A Histria de Vida e o Mosaico Cientco

BIBLIOGRAFIA OBRIGATRIA: Aulas tericas: 1) QUIVY, Raymond; CAMPENHOUDT, LucVan (1992). Manual de investigao em cincias sociais. Lisboa: Gradiva. Primeira Etapa (Pginas 27 a 44) e Terceira Etapa (Pginas 90 a 106). 2) RICHARDSON, R. J. (1985). Pesquisa social. Mtodos e tcnicas. So Paulo: Atlas. Captulo 7. Formulao de hipteses e Captulo 8. Variveis.

Seminrios: 1) CUNHA, Luciana Gross. Bueno, Rodrigo De Losso Silveira. Oliveira, Fabiana Luci. Morita, Rubens. Pupo, Silvia.(2010), ndice de Confiana na Justia. Relatrio ICJBrasil 3 Trimestre. 2) CUNHA, Gross Luciana Maria da Gloria Bonelli, Fabiana Luci de Oliveira e Maria Natlia B. da Silveira (2007) SOCIEDADES DE ADVOGADOS E TENDNCIAS PROFISSIONAIS revista direito GV V. 3 N. 2. P. 111 138.

3) PANDOLFI, Dulce (1999). Percepo dos direitos e participao social. IN: CIDADANIA, JUSTIA E VIOLNCIA, Ed. Fundao Getulio Vargas. 4) SADEK, Maria Tereza (2006). Magistrados. Uma imagem em movimento. Rio de Janeiro, Editora FGV. Captulo 2: Magistrados: uma imagem em movimento.

FGV DIREITO RIO

17

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

1. PENSANDO A PESQUISA EMPRICA Existem cinco pontos centrais quando falamos em pesquisa emprica. O primeiro deles o problema de pesquisa, ou seja, a definio da questo que a pesquisa pretende responder. Mais especificamente, a definio do objetivo e do problema de pesquisa. O problema de pesquisa pode ser formulado como pergunta para facilitar o desenvolvimento da pesquisa. Esse procedimento facilita a identificao do que efetivamente se deseja pesquisar. Por exemplo, se estou interessado na no funcionamento do juizado especial cvel, formular este problema em forma de pergunta torna meu objetivo de pesquisa mais claro:

PERGUNTA: Como funciona o juizado especial cvel?

Esta uma pergunta genrica, ampla demais e sugere apenas um interesse descritivo. E tambm a pergunta no apresenta recorte temporal e espacial ou seja, de que juizado especial civil estou falando? E em que momento da histria? Um problema emprico de pesquisa IMPLICA uma problematizao e mais, um recorte temporal e espacial. Por exemplo:

Pergunta: A instalao do juizado especial cvel do Rio de Janeiro contribuiu para uma atuao mais eficiente do Poder Judicirio junto populao carente? Note que esta pergunta de pesquisa envolve uma decomposio de questes: O que ser entendido por atuao eficiente do Poder Judicirio? Qual a definio de populao carente utilizada? Que tipo de servios judicirios a populao carente do Rio de Janeiro tinha antes da instalao do juizado especial civil? Qual o tipo de atuao do juizado especial civil do Rio de Janeiro junto populao carente? etc. Uma vez definidos o objetivo e o problema de pesquisa, preciso pensar em como vou responder a questo (ou s questes) proposta(s). Ou seja, que caminho metodolgico vou adotar. Definido o caminho metodolgico, tenho mais clareza de quais dados sero obtidos e qual o tipo de dados com o qual trabalharei. Tendo sido definido o tipo de dado com o qual trabalharei, tenho que pensar na forma de coletar estes dados, ou seja, na tcnica de coleta a ser adotada. Tcnicas como entrevista em profundidade (natureza qualitativa), entrevista estruturada a partir de
FGV DIREITO RIO 18

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

questionrio (natureza quantitativa), grupo de discusso focal (natureza qualitativa), documentos (natureza mista, podendo ser quantitativa ou qualitativa), observao participante (natureza qualitativa), etc. E por fim, aps definida a forma de coleta dos dados, preciso pensar o plano de anlise, ou seja, como os dados sero trabalhados para chegarmos s respostas que buscamos. Charles Ragin (1994)15 apresenta um modelo analtico de planejamento da pesquisa emprica muito apropriado. Segundo o autor, aps a definio do problema de pesquisa, o pesquisador deve responder a dez questes para elaborar seu plano de trabalho:

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Isso um caso de que tipo? Definio e delimitao do objeto Quais so as questes envolvidas? Quais os problemas que suscita? Qual a importncia disso? O que j foi dito e pesquisado sobre isso? Quais so as comparaes relevantes? Quais so as caractersticas relevantes? O que est faltando? Quais respostas preciso dar? Quais perguntas devem ser feitas para se chegar a essas respostas?
Figura 6. Modelo analtico proposto por Ragin (1994)

2. TIPOS DE PESQUISA Considerando a forma de abordagem do problema, as pesquisas podem ser classificadas basicamente em dois tipos: qualitativas e quantitativas. A pesquisa qualitativa , na definio de Richardson16 (2010), a busca por uma compreenso detalhada dos significados e caractersticas situacionais dos fenmenos. Ela tem carter eminentemente exploratrio, procurando os aspectos subjetivos dos fenmenos e as motivaes no explcitas dos comportamentos. Seu enfoque o da profundidade, ressaltando as particularidades e a complexidade dos fenmenos, comportamentos e situaes. A pesquisa quali no busca a generalizao, mas sim o entendimento das singularidades. Na perspectiva qualitativa de abordagem do problema h o pressuposto da existncia de um vnculo indissocivel entre o mundo objetivo dos fenmenos e a subjetividade do sujeito subjetividade esta que no pode ser traduzida em nmeros. As principais caractersticas da pesquisa qualitativa podem ser resumidas nos sete itens seguintes:

15

RAGIN, Charles (1994). Constructing Social Research: The Unity and Diversity of Method. Pine Forge Press. RICHARDSON, Roberto J. (2010). Pesquisa Social Mtodos e Tcnicas. So Paulo: Editora Atlas.

16

FGV DIREITO RIO

19

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

1. 2. 3. 4. 5. 6. 7.

Busca profundidade; Busca descobrir coisas comuns entre nmero pequeno de casos; Tem como metas primrias interpretar significados, dar voz, avanar teorias novas; Tem como metas secundrias testar ou refinar teoria, explorar a diversidade, identificar padres amplos; Trabalha com um arcabouo analtico fluido pergunta este um caso de que? Procura abarcar um fenmeno como um todo; Aplica bastante a induo analtica busca explicar tudo.
Figura 7. Caractersticas da pesquisa qualitativa

A pesquisa quantitativa tem como foco a dimenso mensurvel dos fenmenos, buscando traduzir em nmeros opinies e informaes. utilizada quando se sabe precisamente o que deve ser perguntado para atingir os objetivos da pesquisa. A pesquisa quanti permite a realizao de projees e generalizaes, viabilizando, tambm o teste de hipteses da pesquisa de forma precisa. Implica no uso de tcnicas estatsticas. Na perspectiva quantitativa de abordagem do problema h uma grande preocupao com mensurao, demonstrao de causalidade, generalizao e reaplicao. As principais caractersticas da pesquisa quantitativa podem ser resumidas nos nove itens seguintes:

1. 2. 3. 4. 5. 6. 7. 8. 9.

Busca descobrir e explicar a covarincia entre variveis a partir de um grande nmero de casos; Condensa dados para isso a parcimnia fundamental; Tem como metas primrias identificar padres amplos, testar e refinar teoria, fazer predies; Tem como metas secundrias explorar a diversidade e avanar teorias novas; Trabalha com um arcabouo analtico fixo; Covarincia no quer dizer causao, obviamente, mas insinua essa possibilidade; Preocupao em medir variveis corretamente validade e confiana (validity and reliability) Busca por modelos causais multivariados (caminho esquemtico); Define vetor de erro explcito.
Figura 8. Caractersticas da pesquisa quantitativa

FGV DIREITO RIO

20

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Muitos autores definem a pesquisa quantitativa por oposio qualitativa. Mas segundo Goode e Hatt (1996) a pesquisa moderna deve rejeitar como uma falsa dicotomia a separao entre estudos qualitativos e quantitativos, ou entre o ponto de vista estatstico e no estatstico. Alm disso, no importa o quo precisas sejam as medidas, o que medido continua a ser uma qualidade (1996: 398). Richardson (2010) lembra que, independente do tipo de pesquisa a ser utilizado em relao abordagem seja quantitativa ou qualitativa indispensvel pesquisa cumprir dois requisitos: o da confiabilidade e da validade. Por confiabilidade entenda-se a capacidade que devem ter os instrumentos utilizados de produzir medies constantes quando aplicados a um mesmo fenmeno. A confiabilidade externa refere-se possibilidade de outros pesquisadores, utilizando instrumentos semelhantes, observarem fatos idnticos e a confiabilidade interna refere-se possibilidade de outros pesquisadores fazerem as mesmas relaes entre os conceitos coletados com iguais instrumentos. (Richardson, 2010: 87). J a validade implica na capacidade do instrumento produzir medies adequadas e precisas para chegar-se a concluses corretas. Ou seja, temos o instrumento adequado para a questo proposta? A validade interna refere-se exatido dos dados e a adequao das concluses. A validade externa refere-se possibilidade de generalizar os resultados a outros grupos semelhantes (Richardson, 2010: 87). Simplificando

Pesquisa Quantitativa

Pesquisa Qualitativa

Busca extenso

Busca profundidade

Parte de aspectos objetivos

Parte de aspectos subjetivos

Trabalha com amostra extensa, calculada a priori e seleciona as unidades pesquisadas de forma no intencional

Trabalha com amostra mais restrita, muitas vezes calculada durante o prprio campo e seleciona as unidades de forma intencional

FGV DIREITO RIO

21

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Pesquisa Quantitativa

Pesquisa Qualitativa

Trabalha com quantidades, nmeros, indicadores e tendncias

Trabalha esmiuando valores, crenas e representaes.

Faz inferncia

D voz

Figura 9. Diferenas entre pesquisa quantitativa e qualitativa

A pesquisa tambm pode ser classificada de acordo com os seus objetivos. De acordo com Gil (1991) so basicamente trs os principais objetivos das pesquisas: 1) Proporcionar maior conhecimento e familiaridade com o fenmeno ou problema pesquisa exploratria; 2) Descrever as caractersticas do fenmeno ou problema pesquisa descritiva; 3) Identificar os elementos que contribuem e explicam a ocorrncia do fenmeno ou problema, identificando seus porqus pesquisa explicativa. ainda possvel classificar as pesquisas em tipos a partir dos procedimentos tcnicos adotados (tcnicas de coleta de dados). Alguns exemplos so: Pesquisa Bibliogrca: elaborada a partir de material j publicado (livros, artigos, teses, etc.), revisando de forma intensa a literatura existente sobre determinado assunto em questo. Pesquisa Documental: elaborada a partir da anlise de documentos que no receberam tratamento analtico. Pesquisa Experimental: consiste na realizao de experimentos, a partir da definio, observao e controle de variveis e sua influncia sobre determinado objeto. Levantamento ou survey: elaborada a partir do levantamento de dados via instrumento de coleta padronizado (questionrio ou roteiro), aplicado em contato direto com a populao (amostra ou censo) cujo comportamento se deseja conhecer.

FGV DIREITO RIO

22

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Estudo de caso: elaborado a partir de um estudo profundo e exaustivo de um ou poucos objetos de maneira que se permita o seu amplo e detalhado conhecimento. Pesquisa-Ao: realizada com vistas a uma ao para a resoluo de um problema coletivo. Os pesquisadores e participantes representativos da situao ou do problema esto envolvidos de modo cooperativo ou participativo. Pesquisa Participante: quando se desenvolve a partir da interao entre pesquisadores e membros das situaes investigadas.

3. DEFINIO DE CONCEITOS E VARIVEIS O que um conceito? Conceito a definio de um determinado termo, um forma de buscar uma mediao entre o mundo da linguagem e o mundo das coisas. Tem como objetivo representar o mundo do fenmeno da forma mais acurada possvel. Por exemplo, o conceito de populao economicamente ativa (PEA). Segundo o IBGE (Instituto Brasileiro de Geografia e Estatstica17) populao economicamente ativa so as pessoas ocupadas na semana de referncia (da entrevista) e as pessoas desocupadas nessa semana com procura de trabalho no perodo de referncia de 30 dias. Nota-se que para definir PEA, o IBGE considera os conceitos de pessoas ocupadas e desocupadas. Por pessoas desocupadas o IBGE entende pessoas que no trabalharam na semana de referncia, tomaram providncia efetiva para conseguir trabalho no perodo de referncia de 30 dias e estavam disponveis para assumir um trabalho naquela semana. Pessoas ocupadas so as pessoas que exerceram um trabalho remunerado (em dinheiro, mercadorias ou benefcios) ou sem remunerao em ajuda a membro da unidade domiciliar que era empregado, conta-prpria ou empregador, durante pelo menos uma hora, na semana de referncia Estes so os conceitos, mas para realizarmos uma pesquisa precisamos saber como transformar este conceito em uma medida, ou seja, precisamos medir a populao economicamente ativa, operacionalizar o conceito. Operacionaliz-lo implica em transform-lo em uma varivel. Uma observao se faz importante: um conceito pode ser mensurado por uma ou mais variveis. E o que uma varivel? Varivel um aspecto ou caracterstica de interesse que medida em cada caso da amostra ou populao. Como o prprio nome diz, os valores das variveis variam. H diversas formas de classificar as variveis. Quando comeamos a pensar em um problema, e na forma de operacionaliz-lo, pensamos tambm nas variveis a serem observadas e medidas. Assim, uma primeira classificao possvel se d em termos da posio da varivel na relao. Elas podem ser independentes ou dependentes. Varivel independente a que afeta outras variveis (a varivel dependente). Ela explica a(s) varivel(eis) dependente(s) cujos efeitos queremos medir.

17

O IBGE (Instituto Brasileiro de Geografia e Estatstica) o rgo de estatsticas oficiais do pas. o principal provedor de dados e informaes do pas. No que se refere s estatsticas populacionais fornece os dados oficiais sobre: 1) Perfil demogrfico da populao brasileira (nmero de habitantes no pas, principais caractersticas da populao sexo, cor, faixa etria, escolaridade, trabalho e rendimento, condies de moradia, nupcialidade e fecundidade, migrao, caractersticas dos domiclios, etc.) CENSO DEMOGRFICO (realizado a cada 10 anos) e PNAD (Pesquisa por amostragem domiciliar feita anualmente). 2) Indicadores sociais (intermediao poltica, crianas e adolescentes, educao e trabalho, mortalidade infantil, indicadores sociais mnimos, mercado de trabalho, mobilidade social, populao jovem, sntese de indicadores sociais, indicadores culturais, etc.). 3) Pesquisas suplementares (por exemplo Vitimizao e Justia 2010; Acesso a Transferncias de Renda de Programas Sociais 2006; Acesso Internet e posse de telefone mvel celular para uso pessoal 2005; Acesso e Utilizao de Servios de Sade 2003; Trabalho Infantil 2001). 4) Pesquisa de oramento familiar (Anlise da disponibilidade domiciliar de alimentos e do estado nutricional no Brasil; Aquisio alimentar domiciliar per capita Brasil e Grandes Regies; Medidas Antropomtricas de Crianas e Adolescentes; Perfil das Despesas no Brasil - indicadores selecionados; Primeiros resultados - Brasil e Grandes Regies). Todas essas bases de dados podem ser acessadas via o seguinte link no site do IBGE: http://www.ibge.gov. br/home

FGV DIREITO RIO

23

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

J a varivel dependente aquela explicada ou afetada pela varivel independente. aquela cujo efeito esperado de acordo com as causas. Ela se situa, usualmente, no fim do processo causal e definida na hiptese ou na questo de pesquisa. De forma simplificada, a varivel dependente o que se quer explicar e a varivel independente o que explica. Depois, podemos classificar as variveis de acordo com o nvel de mensurao. Elas podem ser qualitativas, ou seja, so variveis cujas respostas so encaixadas em categorias. Ou quantitativas, ou seja, variveis cujas respostas so quantidades numricas. As variveis qualitativas ou categricas podem ser classificadas em nominais, quando cada uma das respostas possveis ou categorias independente, sem ter nenhuma relao com as outras. Por exemplo, sexo (categorias so: masculino ou feminino); raa (categorias so: branco, preto, pardo, amarelo ou indgena). E podem ser tambm ordinais, ou seja, quando cada uma das respostas possveis ou categorias mantm uma relao de ordem com as outras. Por exemplo, classe social (categorias podem ser: alta, mdia, baixa ou ainda A, B, C, D ou E). As variveis quantitativas so divididas em discretas e contnuas. As variveis discretas so aquelas cujos valores so inteiros, sendo que cada valor resulta de contagem, e ela constitui um conjunto finito de valores. Por exemplo, idade em anos completos, nmero de filhos, nmero de processos em uma vara. As variveis contnuas podem tomar valores infinitos. Por exemplo, a pontuao numa escala de atitude, a nota na disciplina de mtodos de pesquisa.

Figura 10. Definio e classificao das variveis. Fonte: Desenvolvido com base em Barbetta18 (2005)

Como definir uma varivel na prtica? A definio prtica da varivel se d pela sua operacionalizao e para isso necessrio observar a varivel de forma homognea, manter a mesma unidade de medida e estabelecer respostas mutuamente exclusivas.
18

BARBETTA, Pedro Alberto. Estatstica Aplicada s Cincias Sociais. Florianpolis: Editora UFSC

FGV DIREITO RIO

24

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

4. OPERACIONALIZAO DE VARIVEIS Um exemplo: vamos considerar o caso de populao economicamente ativa. Como mensurar? Na figura sete vemos o exemplo de como o IBGE coleta esta informao, ou seja, como operacionaliza o conceito, transformando em uma informao quantificvel. PE1) O(A) Sr(a) poderia me dizer se trabalha, mesmo que no tenha carteira assinada, ou mesmo que o pagamento no seja em dinheiro? (SE SIM, CIRCULE CDIGO 1 ABAIXO) PE2) (SE NO) Mas o(a) Sr(a) por acaso trabalha, mesmo sem receber pagamento, pelo menos 15 horas por semana, em alguma instituio religiosa, beneficente, de cooperativismo, ou ento como aprendiz, ou mesmo ajudando em algum negcio da sua famlia? (SE SIM, CIRCULE CDIGO 2 ABAIXO) PE3) (SE NO) E o(a) Sr(a) chegou a trabalhar em algum momento durante a ltima semana, ou chegou a tomar alguma providncia para conseguir trabalho na ltima semana? (SE SIM, CIRCULE CDIGO 3 ABAIXO) PE4) (SE NO, LEIA OS ITENS A SEGUIR QUE SE APLIQUEM) E o(a) Sr(a) ... [desempregado(a) / dona de casa / aposentado(a) / estudante]? (CIRCULE CDIGO ABAIXO, DE 4 A 7, CONFORME A RESPOSTA)
1 2 3 4 5 6 7 Trabalha, mesmo sem carteira assinada Trabalha como aprendiz, ajudante, etc. Trabalhou ou tentou na ltima semana Desempregado(a) Dona de casa que no trabalha fora Aposentado(a) / no seguro Estudante que no trabalha (PEA) (PEA) (PEA) (NO PEA) (NO PEA) (NO PEA) (NO PEA)

Figura 11. Questo para mensurar situao econmica do respondente. Fonte: IBGE

No restante do curso vamos trabalhar mais detidamente com a pesquisa quantitativa. Mas antes de seguirmos faremos um exerccio prtico de identificao dos elementos essenciais de uma pesquisa.

FGV DIREITO RIO

25

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

EXERCCIO PRTICO 1 Com base na leitura do trecho abaixo, extrado de um artigo de Srgio Adorno (Adorno, Srgio. (1994). CRIME, JUSTIA PENAL E DESIGUALDADE JURIDICA. Revista USP, Dossi Judicirio, n.21.) identifique: a) O problema de pesquisa do autor; b) Uma possvel hiptese que pode ser inferida com base no texto; c) As variveis dependente(s) e independente(s) para testar tal hiptese. Este artigo tem por objetivo problematizar um dos axiomas fundamentais de nossa modernidade: aquele que estabelece uma correlao inexorvel e necessria entre justia social e igualdade jurdica. legado do pensamento poltico clssico o princpio da igualdade de todos perante as leis, solenemente proclamado na Declarao dos Direitos do Homem e do Cidado de 1789. Por esse princpio entende-se, por um lado, que todos os cidados devem estar submetidos s mesmas leis, independentemente de suas diferenas de classe, gnero, etnia, procedncia regional, convico religiosa ou poltica; por outro lado, que esses cidados devem gozar dos mesmos direitos assegurados constitucionalmente, vale dizer, as leis no podem discriminar privilgios e por essa via promover a excluso de uns em benefcio de outros. (...) Nas sociedades modernas onde essa experincia no se verificou ou no se consolidou, o principio da igualdade jurdica, ainda que reconhecido, permaneceu no raro contido em sua expresso simblica. Em situaes como esta, a distribuio da justia acaba alcanando alguns cidados em detrimento de outros, o acesso da populao aos servios judiciais dificultado por razes de diversas ordens e, muito dificilmente, as decises judicirias deixam de ser discriminatrias. Este artigo penetra nesta seara, pretende requalificar os termos dessa questo, propondo novo enunciado. E o faz a partir do exame de prticas de produo de verdade jurdica, cujo objeto reside no julgamento de crimes dolosos contra a vida, matria, no Brasil, de competncia do tribunal do jri. A reflexo tem por base emprica a anlise de 297 processos penais, instaurados e julgados em um dos tribunais do jri da capital de So Paulo, no perodo de janeiro de 1984 a junho de 1988. Foram coletados dados a respeito do perfil de vtimas e agressores, de testemunhas e do corpo de jurados, bem como dados a respeito da dinmica dos acontecimentos, desde a deteco do fato passvel de confisco punitivo at a proclamao da sentena decisria, em primeira instncia. (...) A pesquisa privilegiou a comparao entre o perfil social dos condenados e dos absolvidos, com vistas a verificar os mveis extralegais que intervm nas decises judicirias (...) Neste artigo, as concluses sugerem arbitrariedade na distribuio das sentenas, identificam grupos preferencialmente discriminados e apontam algumas evidncias de desigualdade no acesso justia penal.

FGV DIREITO RIO

26

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

5. ASPECTOS E ELEMENTOS ESSENCIAIS DA PESQUISA QUANTITATIVA Quando planejamos uma pesquisa quantitativa preciso considerar, segundo Barbetta (2005), sete elementos: 1. Populao assumida como determinada, livre de contexto, bem definida (entretanto, geralmente no o caso). Amostra de observaes mltiplas, equivalentes, independentes quanto mais melhor entretanto lei de diminuir lucros se aplica em alguns aspectos usada para fazer concluses sobre populao. Acessibilidade analtica aspectos podem ser medidos como variveis, quantificados medidas mutuamente exclusivas e exaustivas. Confiabilidade e validade. Interesse em variao, particularmente em explicar variao em uma varivel (varivel dependente) atravs da referenciao de outras variveis (independentes). Homogeneidade causal cada causa tem o mesmo impacto em cada caso no conjuntural pode ser modificado um pouco com condies de interao e outras tcnicas, mas ainda limitada. Meta de generalizao construir um modelo abstrato que explique todos os casos por uso de um caso genrico idealizado variveis causais so vistas em competio umas com as outras teorias de teste atravs de adjudicao um contra o outro em termos do seu poder explicativo.

2.

3.

4. 5.

6.

7.

O planejamento da pesquisa quantitativa bem ilustrado pela figura 10, desenvolvida por Barbetta (2005). Ele consiste em se orientar tanto pela teoria quanto pela estatstica: primeiro se define o problema, passa-se ao planejamento da pesquisa, a sua execuo que inclui a coleta de dados, na sequncia realiza-se a anlise dos dados e por fim a apresentao dos resultados. Com base nesse esquema, planejaremos uma pesquisa emprica.

FGV DIREITO RIO

27

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Figura 12. Etapas usuais de uma pesquisa quantitativa. Fonte: Barbetta (2005)

6. AMOSTRAGEM Em toda pesquisa temos uma populao de interesse, ou seja, um conjunto de indivduos (ou fenmenos, objetos) que apresentam pelo menos uma caracterstica em comum, cujo comportamento deseja-se analisar ou inferir.

6.1. Como fazer para estudar uma populao? Na maioria das vezes no possvel entrevistar todas as pessoas da populao de interesse (ou todos os objetos). Por isso utilizamos a amostragem. Ou seja, procuramos conhecer o todo, utilizando apenas alguns indivduos desta populao. Ao conjunto de todas as repeties possveis de um fenmeno aleatrio19 daremos o nome de populao. Por exemplo, se queremos estudar um fenmeno aleatrio: o tempo de durao de processos no Tribunal de Justia do Estado do Rio de Janeiro. Cada processo tem um tempo de durao especfico. O conjunto dos tempos de durao dos processos constitui todas as representaes possveis deste fenmeno. A todo subconjunto da populao (de processos, neste exemplo) daremos o nome de amostra. Em estatstica, populao implica em um conjunto de seres ou um conjunto de representaes. A amostragem necessria, pois ela leva a uma econmica de tempo e de dinheiro no estudo da populao. Assim, quando queremos estudar um fenmeno aleatrio, retiramos uma amostra da populao e fazemos observaes sobre os elementos que a compem. Exemplo: Objetivo: Estudar a percepo dos usurios do Juizado Especial Civil no Municpio do Rio de Janeiro sobre o atendimento recebido.

19

O objeto de estudos da estatstica so os fenmenos aleatrios. E o que so fenmenos aleatrios? Praticamente todos os fenmenos que ocorrem na natureza so aleatrios: sexo, estatura, profisso, nmero de filhos, etc. Estes fenmenos se repetem, mas nem sempre sao os mesmos, portanto existe uma variabilidade nos resultados.

FGV DIREITO RIO

28

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Pergunta: Como os usurios do JEC do Rio de Janeiro avaliam o atendimento recebido quando procuram a justia? Populao alvo: moradores do Rio de Janeiro e dos municpios atendidos pelo JEC do Rio de Janeiro. Populao de estudo: pessoas que j utilizaram o JEC no Rio de Janeiro. Amostra: um subconjunto da populao de estudo neste exemplo, um subconjunto dos usurios do JEC do Rio de Janeiro.

6.2. Conceitos importantes em pesquisas que envolvam amostragem: Parmetro: medida numrica que descreve alguma caracterstica da populao (geralmente desconhecido). Exemplo de um parmetro: durao mdia (em meses) de processos judiciais sobre desaposentao. Estatstica: uma medida numrica que descreve alguma caracterstica de uma amostra. Exemplo de uma estatstica: durao mdia (em meses) de processos judiciais sobre desaposentao, calculada com base em uma amostra de 120 processos que tramitaram no TJRJ.

6.3. Tipos de Amostra Existem diferentes tcnicas de amostragem, isto , diferentes maneiras de escolher os elementos de uma amostra. As amostras resultantes dos diferentes tipos de amostragem podem ser classificadas em probabilsticas e no-probabilsticas. Amostra probabilstica implica que todos os elementos da populao tm probabilidade conhecida, e diferente de zero, de pertencer amostra. J nas amostras no-probabilsticas, no podemos determinar a probabilidade que cada elemento tem de pertencer amostra.

6.4. Erro amostral possvel prever o erro amostral, com certo grau de preciso, em amostras probabilsticas. Por exemplo, com confiana de 95% o erro amostral de +/ 2%

FGV DIREITO RIO

29

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Existem vrios outros tipos erros em pesquisa: Erro de Cobertura (no temos mecanismos apropriados para selecionar os respondentes) Erro de Mensurao (perguntas mal formuladas ou escalas ruins) Erro Sistemtico (excluso de perfis da amostra)

7. ENCERRAMENTO DA UNIDADE PRIMEIRA ETAPA DO EXERCCIO PRTICO DE PESQUISA: DESENHO DO PROBLEMA, FORMULAO DA(S) HIPTESE(S) E COLETA DE DADOS Utilizando os conhecimentos adquiridos nesta unidade a proposta 1) 2) 3) 4) Elaborar um problema de pesquisa Levantar hipteses Desenhar o instrumento de coleta de dados Planejar a coleta de dados

Por questes operacionais, o exerccio implica a definio, a priori, da populao a ser pesquisada: os alunos do curso de Direito da FGV Direito Rio. O problema ou problemas de pesquisa dever ser construdo com base no estudo desta populao de interesse, assim como as hipteses de pesquisa. Lembrando a definio de hiptese de pesquisa, segundo Goode e Hatt (1996: 75), uma proposio que pode ser colocada a prova para determinar sua validade. Ou seja, uma suposta resposta dada ao seu problema de investigao. O instrumento de coleta de dados neste caso dever ser um questionrio. E tambm por critrios operacionais, devemos ter em mente um questionrio de auto preenchimento, ou seja, no h a interao direta entre pesquisador e pesquisado (no sero feitas entrevistas pessoais).

FGV DIREITO RIO

30

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Dicas para a elaborao do questionrio

1. 2.

Separar as caractersticas a serem levantadas Fazer uma reviso da literatura pertinente para verificar como mensurar adequadamente algumas caractersticas (uso do IBGE como referencia para variveis socioeconmicas e demogrficas) 3. Estabelecer a forma de mensurao das caractersticas a serem levantadas 4. Elaborar uma ou mais perguntas para cada caracterstica a ser observada 5. Verificar se a pergunta objetiva e simples (no ambgua) 6. Verificar se a forma de perguntar no est induzindo a uma resposta 7. Verificar se a resposta pergunta no bvia 8. Tempo de durao (quanto mais longo, menor tende a ser a confiabilidade e a qualidade das respostas) 9. Forma de aplicao: prezar pela homogeneidade de aplicao 10. Pr-testar
Figura 13. Elaborao de questionrio. Dicas elaboradas com base em Ragin (1994) e Babbie (1999)

Com relao estrutura geral do questionrio importante atentar para contedo e formato: I C0NTEDO 1) Fazer como em redaes: Organizar em tpicos/ordenao lgica Desdobrar cada tpico em pargrafos, isto , as perguntas Desenvolver cada pergunta 2) Cada pergunta deve ter, a priori, uma funo para a anlise. Deve referir-se a hipteses e objetivos da pesquisa: No sucumbir curiosidade! (colocando questes que no sero teis aos objetivos da pesquisa) Pensar em variveis dependentes e independentes 3) Guiar-se por trs palavras: SIMPLICIDADE INTELIGIBILIDADE CLAREZA Diminuir ao mximo o esforo do respondente. Cada entrevistado deve entender a pergunta que est sendo feita para ento poder respond-la. E todos os entrevistados

FGV DIREITO RIO

31

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

devem entender a pergunta da mesma forma, ou seja, deve-se procurar manter uma linguagem simples e de fcil acepo para que todos entendam a pergunta da mesma forma. Alguns erros comuns: 1. Querer que o sujeito pesquisado seja o tomador de deciso ou o formulador de estratgias e projetos (vale especialmente para governos e empresas) 2. No investigar possveis fontes de problema, mesmo que preventivamente. 3. Assumir entendimento comum sobre palavras/expresses de carter central na pergunta (sem certificar-se disto!) 4. Exigir clculos, estimativas, memrias distantes, cobrir grandes perodos (tarefas cognitivamente complicadas) 5. Lembrar que o processo cognitivo do respondente funciona por tarefas. Estgios cognitivos: compreenso, lembrana e julgamento. II FORMATO 1) ORGANIZAO VISUAL Blocos visveis Instrues de campo destacadas Espao para respostas definido (forma e quantidade) Cdigos (minimizar erros de anotao) 2) ALGUMAS DECISES DIFCEIS Pergunta Aberta x Pergunta Fechada Ponto neutro na escala ou no No opinio voluntria ou estimulada Leitura e/ou Cartes para estmulo Rodzios Releitura de alternativas Notas/Nmeros ou Categorias/Frases

BIBLIOGRAFIA COMPLEMENTAR 1. RICHARDSON, R. J. (1985) Pesquisa social. Mtodos e tcnicas. So Paulo: Atlas. Captulo. 4. Roteiro de um projeto de pesquisa. MOLHANO, Leandro (2010). Estudos Empricos no Direito: Questes Metodolgicas. IN: CUNHA, J Ricardo. Poder Judicirio Novos Olhares Sobre Gesto e Jurisdio. Rio de Janeiro: Editora FGV. BARBETTA, Pedro Alberto (2005). Estatstica Aplicada s Cincias Sociais. Florianpolis: Editora da UFSC. Captulo 2. Pesquisa e Dados.

2.

3.

FGV DIREITO RIO

32

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

UNIDADE 3 ANLISE DE DADOS E ESTATSTICA

For the rational study of the law the black letter man may be the man of the present, but the man of the future is the man of statistics and the master of economics. Holmes, Oliver Wendell, Jr. (1897). The Path of the Law It is now generally recognized, even by the judiciary, that since all evidence is probabilistic there are no metaphysical certainties evidence should not be excluded merely because its accuracy can be expressed in explicitly probabilistic terms. Posner, Richard A. (1999). An Economic Approach to the Law of Science

BIBLIOGRAFIA OBRIGATRIA 1. BARBETTA, Pedro Alberto (2005). Estatstica Aplicada s Cincias Sociais. Florianpolis, Editora da UFSC. 12. Anlise de dados categorizados ROSENBERG, Morris (1968). A lgica de anlise do levantamento de dados. So Paulo, Cultrix. Apndice A. Princpios bsicos para leitura de tabelas.

2.

1. POR QUE ESTUDAR ESTATSTICA? Por estatstica entende-se o campo do saber ou cincia de obter informaes a partir de dados. Dados so observaes ou medidas, expressas na forma de nmeros. A estatstica uma forma de quantificar incertezas. A estatstica est por todo canto da vida moderna, e somos diariamente bombardeados por informaes estatsticas de todos os tipos. Por exemplo, em 17 de dezembro de 2010 o jornal nacional dava a notcia
IBGE registra a menor taxa de desemprego no Brasil desde 2002. A taxa caiu ao longo de todo o ano e chegou a 5,7% em novembro. No ms passado, 1,3 milho brasileiros estavam desempregados. o menor ndice desde maro de 2002, quando o IBGE mudou a metodologia da pesquisa mensal de emprego. Por isso no possvel fazer comparaes com perodos anteriores a este20.
20

Ver notcia completa em http:// g1.globo.com/jornal-nacional/noticia/2010/12/ibge-registra-menortaxa-de-desemprego-no-brasil-desde-2002.html, acesso 22/12/2010

FGV DIREITO RIO

33

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Outras estatsticas fornecidas pelo IBGE21 so: Taxa de fecundidade mdia das brasileiras de 1,94 filhos por mulher (em 2009). Mulheres com at 7 anos de estudo tem, em mdia, 3,19 filhos. Isso quase o dobro do nmero de filhos (1,68) daquelas com 8 anos ou mais de estudo. O Brasil tem 94,8 homens para cada 100 mulheres. A taxa de analfabetismo das pessoas de 15 anos ou mais de idade baixou de 13,3% em 1999 para 9,7% em 2009. Em nmeros absolutos, o contingente era de 14,1 milhes de pessoas analfabetas. Destas, 42,6% tinham mais de 60 anos, 52,2% residiam no Nordeste e 16,4% viviam com salrio mnimo de renda familiar per capita. 85,2% dos adolescentes de 15 a 17 anos frequentavam a escola em 2009. Mas a taxa de escolarizao lquida (ou seja, o percentual de pessoas que frequentavam a escola no nvel adequado sua idade, neste caso o ensino mdio) era de 50,9%. Ainda assim houve melhora quando consideramos que esse percentual era de 32,7% em 1999. Em geral, as mulheres de alta escolaridade (12 anos ou mais de estudo) tem um rendimento mensal que corresponde a apenas 58% do rendimento dos homens com a mesma escolaridade. Em 2009, o total de mulheres ocupadas recebia cerca de 70,7% do rendimento mdio dos homens ocupados. No mercado formal essa razo chegava a 74,6%, enquanto no mercado informal o diferencial era maior, e as mulheres recebiam 63,2% do rendimento mdio dos homens. Todos estes dados foram extrados de uma fonte oficial e confivel, que o IBGE. H outras fontes importantes de estatsticas, como por exemplo, o Banco Mundial.

Pas

Aes/ 100 mil habitantes

Juzes 100 mil habitantes

Aes/ juiz

Itlia Inglaterra Alemanha Frana Argentina Venezuela Mxico Brasil

14.000 9.800 15.600 6.200 9.459 2.375 2.600 7.161

20 11 23 13 10,9 6,3 4 5,3

678 891 678 477 875 377 650 1.357


21

Figura 14. Dados sobre movimentao processual e juzes. Fonte: Banco Mundial, 2007 (Apud SADEK, Maria Tereza, 200822)

Ver indicadores em http://www. ibge.gov.br/home/presidencia/ noticias/noticia_visualiza.php?id_ noticia=1717&id_pagina=1 , acesso 22/12/2010 SADEK, Maria Tereza (2008). Acesso Justia Viso da Sociedade. Revista Justitia. So Paulo, 65 (198), pp. 271-279.

22

FGV DIREITO RIO

34

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Mas diariamente somos informados sobre coisas do tipo: A eficcia mdia dos preservativos como mtodo contraceptivo de 96% As chances de uma pessoa ser assaltada andando sozinha nas ruas do Rio de Janeiro a noite so duas vezes maiores do que as chances de ser assaltada andando sozinha nas ruas do Rio de Janeiro durante o dia. Carros de cor azul, preto e prateado tm probabilidade oito vezes maior de serem roubados do que carros de cor verde, vermelha ou amarela Pessoas que consomem 20 ml de vinho tinto por dia conseguem prolongar a sua vida em mais dois anos, relativamente aos que no consomem vinho tinto. H uma chance de 80% que em uma sala cheia de 30 pessoas que, pelo menos, duas pessoas iro compartilhar o mesmo aniversrio. A probabilidade de reincidncia criminal de jovens adolescentes que ficaram internados em instituies para menores infratores de 25% nos 12 meses aps o trmino do perodo de internao ou seja, de cada 100 jovens adolescentes que deixam as instituies, 25 voltam a cometer algum tipo de infrao nos 12 meses seguintes a sua sada. Como julgar estas estatsticas? Como saber se estas informaes esto corretas e fazem sentido? Como saber se estes dados so ou no confiveis? A informao estatstica extremamente poderosa, e perigosa se utilizada de forma equivocada. preciso distinguir o raciocnio estatstico correto do falho, para no estarmos suscetveis e vulnerveis a manipulaes e a decises que no so sejam de nosso interesse. Como se costuma dizer, a estatstica uma ferramenta poderosa e necessria para reagirmos inteligentemente as informaes que recebemos diariamente. Existem trs tipos de mentiras: mentiras, mentiras deslavadas e estatsticas 23. Esta frase foi atribuda por Mark Twain ao primeiro ministro britnico Benjamin Disraeli (18041881). Mas muitas vezes a estatstica no utilizada de forma manipulativa intencionalmente. Algumas vezes o que ocorre mesmo a impercia no seu uso. Vejamos. Edward Cheng24 (2009), afirma que dados estatsticos so elementos poderosos nos tribunais, usados por exemplo, quando se busca demonstrar que um perfil de DNA muito raro e nico, ou quando se busca demonstrar estimativas de valor dos bens danificados, ou ainda determinar a probabilidade de que um ru criminal reincida em seu crime e portanto defende o argumento de que ele deve ser mantido preso. Embora tenham um papel relevante nas cortes, as estatsticas levantam uma srie de desafios para o sistema judicial, incluindo a preocupao de que eles so difceis de entender, e que tem um forte poder de persuaso, recebendo grande deferncia por parte dos jurados. As estatsticas so largamente apresentadas visando dar credibilidade a um argumento ou recomendao. Mas existe algo chamado problema da classe de referncia, que resulta, na colocao de Cheng (2009), de uma constatao bsica: Quando se faz inferncias estatsticas

23

No original, There are three kinds of lies: lies, damned lies, and statistics. CHENG, Edward (2009). Law, Statistics, and the Reference Class Problem. Columbia Law Review ( http://www. columbialawreview.org/articles/lawstatistics-and-the-reference-classproblem)

24

FGV DIREITO RIO

35

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

sobre um caso especfico, as inferncias dependem criticamente sobre como agrupamos ou classificamos o caso. E exemplifica.
Imagine que o requerente desenvolva um cncer aps ter sido exposto a um vazamento qumico de um conhecido agente cancergeno. Para estabelecer que o vazamento a causa de sua condio, o requerente procura demonstrar que o seu risco de desenvolver cncer dobrou aps a exposio. At aqui, o processo parece bem simples, mas ento um dilema se coloca. Que estatstica devemos utilizar para estimar o risco de cncer do requerente? Devemos utilizar o risco para a populao em geral, ou deveramos ser mais especficos? Mulheres brancas com idade inferior a cinqenta? Moradores do condado de Littleton, sem histria familiar de cncer? Em outras palavras, ao descrever o risco de cncer, como devemos quebrar a populao: por idade, gnero, geografia, profisso, ou outra coisa? (Cheng, 200925)

preciso saber estatstica para ser capaz de efetivamente interpretar dados, realizar a pesquisa, tomar decises, entender e questionar argumentos que nos so apresentados e desenvolver habilidades de pensamento crtico e analtico. A estatstica, de forma bastante ampla, implica em entender a coleta, organizao, apresentao e interpretao de dados. A estatstica um instrumento de grande utilidade na tomada de deciso. Como disse o ministro do Tribunal Superior do Trabalho (TST) e conselheiro Nacional de Justia (CNJ) Ives Gandra Martins Filho em palestra no III Seminrio Justia em Nmeros em Braslia (24/09/2010), A informao correta fundamental para o planejamento das aes do Judicirio... Aquele que tem que decidir tem que ter informao correta, explicando a necessidade dos tribunais criarem e alimentarem bases de dados corretamente, para o Judicirio poder contar com informaes de qualidade. Existem dois grandes eixos no estudo da estatstica dos quais trataremos neste curso: a estatstica descritiva, que trata dos procedimentos utilizados na organizao, resumo e apresentao de dados. E a estatstica inferencial, que implica em mtodos e tcnicas utilizados no estudo de uma populao a partir de amostras desta mesma populao. A estatstica extremamente til, pois em geral, no h necessidade de se conhecer algumas informaes individuais. Em pesquisa, estamos na maioria das vezes interessados em questes coletivas, por exemplo: O que a maioria das pessoas pensa o que sobre o Poder Judicirio? Na percepo das pessoas, a polcia comunitria funciona? Pessoas de diferentes classes sociais vem o Poder Judicirio da mesma forma?

25

Traduo livre do trecho To illustrate, imagine that plaintiff contracts cancer after being exposed to a chemical spill of a known carcinogen. To establish that the spill is the cause of her cancer, plaintiff attempts to show that her cancer risk doubled after exposure.2 So far, the litigation seems pretty straightforward, but then we face a dilemma. What statistic should we use to estimate plaintiff s cancer risk? Should we use the risk for the general population, or should we be more specific? White females under the age of fifty? Residents of Littleton County with no family history of cancer? In other words, in describing cancer risk, how should we break down the population: by age, gender, geography, profession, or something else?

FGV DIREITO RIO

36

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

2. MEDIDAS BSICAS EM ESTATSTICA Vamos considerar o exemplo: sala de aula da FGV Direito Rio, com 10 alunos.
Nome Aluno Sexo Idade Altura

Ana Beatriz Benedito Carlos Cludio Camila Clemente Maurcio Paula Wilson

Feminino Feminino Masculino Masculino Masculino Feminino Masculino Masculino Feminino Masculino

22 20 19 21 20 20 20 18 21 19

1,60 1,67 1,72 1,66 1,74 1,74 1,70 1,70 1,60 1,74

a) Distribuio de freqncias uma contagem de caractersticas de interesse, uma forma de representao da freqncia de cada valor distinto da varivel em estudo. til para entender e interpretar a natureza dos dados. Tabela 1. Sexo dos alunos da classe X do curso de Direito
Sexo Frequncia Percentual

Homens Mulheres Total

6 4 10

60% 40% 100%

Fonte: Secretaria de Graduao Curso de Direito, 2010 Na unidade 2 discutimos o texto de Srgio Adorno (1994) CRIME, JUSTIA PENAL E DESIGUALDADE JURIDICA (publicado na Revista USP, Dossi Judicirio, n.21). Agora vamos fazer um segundo exerccio prtico com base nesse mesmo texto. A tabela a seguir foi extrada deste mesmo texto de Srgio Adorno.

FGV DIREITO RIO

37

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

EXERCCIO PRTICO 2
Tabela 3 PERFIL SOCIAL DOS RUS, POR DESFECHO PROCESSUAL Municpio de So Paulo 1984-1988

Desfecho Processual Perfil Social Sexo Masculino Feminino 219 7 96,90 3,10 61 10 85,92 14,08 Condenao % Absolvio %

Cor Branca Negra Amarela Sem informao 110 110 2 4 48,67 48,67 0,88 1,78 33 37 1 46,48 52,11 1,41

Naturalidade Nordeste Norte Centro-Oeste Sudeste Sul So Paulo Outro pas Sem informao 62 3 23 10 121 2 4 27,43 1,32 10,17 4,42 53,54 0,88 1,77 31 1 6 2 28 3 43,66 1,40 8,45 2,81 39,44 4,23

Tabela extrada de Adorno, Sergio. (1994). Crime, justia penal e desigualdade juridica. Revista USP, Dossi Judicirio, n.21.

Quais so as principais concluses que podemos tirar da leitura desta tabela?

FGV DIREITO RIO

38

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

b) Medidas de Tendncia Central Servem para termos uma idia acerca dos valores mdios da varivel em estudo. So usados para sintetizar em um nico nmero os dados observados. Mdia A mdia aritmtica calculada somando-se os valores das observaes e dividindo este valor pelo nmero total de observaes. No exemplo, se queremos saber a idade mdia dos alunos desta classe, somamos a idade dos 10 alunos (22 +20 +19+21+20+20+20+18+21+19) e dividimos o total da soma pelo nmero de observaes, ou seja, o nmero de alunos (200/10). A idade mdia neste caso de 20 anos. Mediana o valor da observao que separa 50% dos valores mais baixos dos 50% mais altos. Para localizar a mediana preciso ordenar as classificaes: 18+19+19+20+20+20+20+21+21+22 Em casos em que o nmero de observaes mpar, existe um valor central e este valor a mediana. Como nesse caso o nmero de observaes par, para obter a mediana preciso calcular a mdia entre os dois valores do meio (no caso 20+20/2). Portanto, no exemplo, a mediana 20. Moda o valor que se repete mais, que aparece com maior frequncia. Neste caso tambm 20 anos. Obs.: quando uma varivel tem distribuio simtrica, temos que mdia = mediana = moda

c) Medidas de Disperso Indicam o quo nossa amostra (ou populao) heterognea, ou seja, nos d uma medida de variao. O critrio frequentemente utilizado o que mede a concentrao dos dados em torno da mdia, sendo as medidas mais usadas o desvio mdio, a varincia e o desvio padro. Varincia Usualmente representada por S2, a medida que se obtm somando os quadrados dos desvios das observaes da amostra, relativamente sua mdia, e dividindo pelo nmero de observaes da amostra menos um.

FGV DIREITO RIO

39

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

= (x1 x) + (x2 x) + (x3 x) + . . . + (xn x) (n 1)

(x x)
i

i=1

(n 1)

No exemplo da sala de aula, se quisermos saber a varincia de idade temos o valor de 1.33. Desvio Padro Vimos que a varincia implica na soma de quadrados, assim, a unidade em que se exprime no a mesma que a dos dados. Portanto, para obter uma medida da variabilidade ou disperso com as mesmas unidades que os dados, tomamos a raiz quadrada da varincia e obtemos o desvio padro:

(x x)
i

s =

i=1

(n 1)

Assim, no caso das idades, temos que o desvio padro de 1.15 anos. Amplitude a diferena entre os valores mais alto e mais baixo da amostra. No caso das idades, temos a amplitude de 4 (22-18).

d) Medidas de associao e Anlise Bivariada Muitas vezes queremos verificar se h uma relao entre duas variveis (se as variveis so dependentes ou no). Podemos construir tabelas de freqncia com dupla entrada. Essas tabelas de dados cruzados so conhecidas por tabelas de contingncia, e so utilizadas para estudar a relao entre duas variveis. Correlao Medida utilizada para determinar se h relacionamento entre duas variveis. A presena de uma correlao pode conduzir-nos a um mtodo para estimar uma varivel a partir da outra. A correlao mede a fora, ou grau de relacionamento entre duas variveis. Quanto maior a correlao, maior a intensidade de relacionamento. Correlao positiva: as variveis x e y variam no mesmo sentido, isto , se x aumenta, y tambm aumenta Correlao negativa: as variveis x e y variam em sentido contrrio, isto , se x aumenta, y diminui.
FGV DIREITO RIO 40

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Obs.: a correlao entre duas variveis apenas mostra que essas variveis esto relacionadas, no indicando que uma varivel CAUSA a outra correlao no implica causalidade. Qui Quadrado Representado por x2, a medida qui quadrado se destina a encontrar um valor da disperso para duas variveis qualitativas, avaliando a existncia de associao entre elas. O qui quadrado compara propores, considerando as frequncias observadas e preditas para certo evento. Busca verificar se a frequncia com que um determinado acontecimento observado em uma amostra se desvia significativamente ou no da frequncia com que ele esperado.

BIBLIOGRAFIA COMPLEMENTAR TRIOLA, M.F (1999). Introduo Estatstica. Rio de Janeiro: Editora LTC.

FGV DIREITO RIO

41

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

UNIDADE 4 COMUNICAO ACADMICA

Os que escrevem com clareza tm leitores, os que escrevem de maneira obscura tm comentaristas. Albert Camus A forma pela qual dispomos o material para apresentao sempre afeta o contedo de nosso trabalho. Wright Mills, A Imaginao Sociolgica Escrever pretender a ateno dos leitores. Isso parte de qualquer estilo. Escrever tambm pretender para si um status pelo menos bastante paraser lido Wright Mills, A Imaginao Sociolgica

BIBLIOGRAFIA OBRIGATRIA RICHARDSON, R. J. (1985). Pesquisa social. Mtodos e tcnicas. So Paulo: Atlas. Captulo 19. Relatrio de Pesquisa

1. RECOMENDAES NA ESTRUTURAO DO TEXTO ACADMICO Depois de executar a pesquisa preciso comunicar os resultados. A redao acadmica muito importante. preciso ser cuidadoso com o formato, com a linguagem, as citaes, etc. A bibliografia indicada trata da estrutura e do formato da comunicao acadmica. Aqui na apostila indicaremos apenas alguns cuidados e daremos algumas dicas para a boa comunicao do trabalho de pesquisa. O objetivo da comunicao acadmica o mesmo do que qualquer outra forma de comunicao: transmitir o seu pensamento, suas idias ou argumentos a outras pessoas. Busca-se na comunicao acadmica convencer o leitor sobre o seu argumento. Desta forma clareza, objetividade e consistncia do texto so requisitos fundamentais. Um texto acadmico procura no deixar margem a interpretaes diferentes daquelas que o autor que comunicar. Um bom texto segue uma estrutura, uma seqncia lgica, com incio, meio e fim. Ou introduo, desenvolvimento do argumento (ou o corpo do trabalho) e concluso. Esta a estrutura mais simples. Alm de uma boa estrutura, o texto precisa ter unidade, coerncia e coeso. Por unidade entenda-se a interligao entre partes do texto, que devero convergir para um direcionamento nico.

FGV DIREITO RIO

42

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

A coerncia do texto, implica que as idias apresentadas no sejam contraditrias. E a coeso implica que os elementos do texto, de cada frase, devem estabelecer os nexos entre as partes do texto em linguagem objetiva, suprimindo palavras desnecessrias (adjetivos e advrbios). preciso tomar muito cuidado com a redao: prestar ateno na gramtica e na concordncia. Utilizar corretamente a lngua, o texto deve ser escrito em linguagem simples e direta, no utilizar linguagem rebuscada nem muitos jarges da rea (evitar juridiqus, sociologus, economs, etc.). A reviso gramatical antes de entregar o texto essencial. No enfeitar o pavo! (ou seja, no rebuscar o texto nem exagerar nos qualificativos, no exagerar procurando mostrar erudio. Diga apenas o necessrio para demonstrar o que foi feito e demonstrar seu argumento No reinventar a roda! (ou seja, no ignore os trabalhos j realizados sobre o tema que voc est estudando). Recomenda-se a utilizao de frases curtas. E prestar muita ateno pontuao. Evitar achismos preciso fundamentar as posies e os argumentos apresentados no texto. Explicitar os conceitos, definir quando preciso (no corpo do texto ou nota de rodap). Por exemplo, se estou falando do acesso da populao carente aos servios da justia, preciso deixar claro o que entendo por populao carente. Quando falo em classe social, existem diferentes definies, preciso deixar claro para o leitor qual a definio com a qual estou trabalhando. Quando escrevemos estamos comunicando, contando uma histria precisamos dar todas as informaes necessrias para isso (mas no precisamos dar informaes em excesso). Um bom exerccio de reviso do texto para cada seo perguntar-nos: O que quis dizer com isso? Por que importante dizer isso? Este o melhor local para dizer isso? Para isso tambm interessante que se organize o texto por idias. Uma sugesto fazer uma estrutura prvia do que ser o texto e um resumo do que cada seo tratar. importante tambm evitar julgamentos de valor (bom, ruim, perfeito, etc.). Utilize citaes, elas so importantes e enriquecem o texto. preciso SEMPRE dar crdito quando citamos as idias de outros autores ainda que indiretamente. CUIDADO COM O PLGIO! E por fim, preciso ter um mente que o texto que comunica uma pesquisa acadmica essencialmente diferente do texto de um parecer ou uma petio.

FGV DIREITO RIO

43

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

2. DIFERENAS ENTRE A PRTICA ACADMICA E A PRTICA PROFISSIONAL NA COMUNICAO ESCRITA O relatrio de pesquisa e texto acadmico no igual a um parecer ou uma petio. O texto acadmico produto de uma investigao cientfica, faz uma anlise crtica, descomprometida com causas e construdo com base na metodologia cientfica, que busca testar uma hiptese. J o parecer ou a petio voltado para uso estratgico e direcionado ao interesse do cliente e busca defender uma causa ou ponto de vista, valendo-se de argumentos convenientes a essa defesa e da persuaso retrica. O texto acadmico procura mapear vises contrrias e favorveis ao seu argumento, havendo uma ponderao, um sopesamento de opinies (sejam decises, posies doutrinrias e jurisprudncia). J no parecer o autor escolhe apenas as opinies favorveis ao seu ponto de vista ou argumento. No texto acadmico no h uma posio correta, mas posies possveis, com os argumentos contrrios sendo trazidos tona. J no parecer ou petio existe a busca pela posio correta para confirmar a tese pretendida. Voltamos aqui a diferena essencial entre o advogado acadmico e o advogado profissional: o advogado acadmico busca testar a hiptese e o advogado profissional busca defender uma tese (atuando como advogado da hiptese).

BIBLIOGRAFIA COMPLEMENTAR ECO, Umberto (2005). Como se Faz uma Tese. So Paulo: Ed. Perspectiva. GIL, Antnio Carlos (1996). Como Elaborar Projetos de Pesquisa. So Paulo: Atlas.

FGV DIREITO RIO

44

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

ANEXO I. AS RELAES ENGANOSAS Neste anexo apresentamos uma notcia publicada no jornal Folha de S. Paulo em 1998 em que so discutidas algumas associaes estatsticas enganosas. Atenta para o fato importante de que correlao estatstica no signica necessariamente uma relao de causa e efeito entre dois fenmenos (por exemplo, estudando acontecimentos em uma cidade num determinado perodo de tempo pode notar-se que houve um elevado aumento no consumo de sorvete e na mesma proporo no nmero de assaltos, ainda que nenhum seja causa ou efeito do outro neste caso uma explicao para ambos poderia ser a poca do ano, por exemplo, vero, em que as pessoas esto mais nas ruas, etc.).

So Paulo, domingo, 11 de janeiro de 1998 LUIZ EUGNIO A.M. MELLO especial para a Folha Dentre as mais comuns publicaes de achados cientficos que atraem o interesse dos jornais e do pblico esto aquelas que apresentam uma correlao. Um exemplo recente a maior incidncia de filhos do sexo masculino quando o pai tem mais de 60 anos, isto , pais mais velhos tenderiam a ter mais filhos homens que pais mais jovens. Outro exemplo, publicado no ms passado, relata que uma frequncia de orgasmos maior que oito vezes por ms aumenta a expectativa de vida dos homens. Possveis piadas parte, nenhum dos dois achados deve ser entendido ao p da letra. Em ambos os casos, est sendo apontada uma correlao e no uma relao de causa e efeito. Na verdade, relaes causa-efeito so extremamente difceis de serem demonstradas quando comparadas com correlaes. evidente que a meno da palavra estatstica pode significar para muitos a possibilidade de burlar dados, alterando, por exemplo, a inflao ou o reajuste de salrios. Mas a no se trata de estatstica, e sim dos famosos planos (Vero, Collor, Cruzado etc.) do nosso pas. A imerecida fama da estatstica gera comentrios do tipo: estatstica aquela cincia que diz que se eu comer um frango e voc no comer nenhum, teremos cada um comido meio frango. Na verdade, a estatstica mal elaborada que gera concluses como a da piada acima. De maneira sria, uma base de amostra de duas pessoas, em geral, no permite inferir concluses (como a que cada um comeu meio frango). Assim, a leitura de quaisquer resultados com tratamento estatstico merece sempre lentes e filtros especiais. Principalmente, quanto s concluses. Voltando ao caso das correlaes, podemos pegar um exemplo concreto e didtico. Digamos que eu esteja estudando o problema da calvcie masculina. Em meu estudo, quero descobrir quais os possveis fatores associados calvcie.

FGV DIREITO RIO

45

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Entre as primeiras coisas a se fazer, est a definio de uma populao de estudo. Com certeza, vou excluir as mulheres e as crianas desse grupo e ficar com um grupo de homens adultos. Digamos, acima dos 30 anos de idade. Defino tambm onde vou estudar: um bairro, os funcionrios de uma empresa, qual seja essa amostra. Iniciado o estudo, decido medir vrios fatores. Desses fatores, alguns so obviamente qualitativos: ser ou no ser calvo. Esses podem at virar semiquantitativos: calvcie intensa, moderada, leve e sem calvcie. Outros so quantitativos: peso, altura, idade etc. Terminada a etapa de coleta dos dados, vou para o computador e comeo a avaliar os dados. Nessa avaliao, encontro que o peso tem uma alta correlao direta com a calvcie. Isto , que indivduos mais gordos so mais calvos. No dia seguinte, os jornais publicam meu achado e a populao em geral passa a acreditar nesses dados. Afinal de contas, foi uma experincia cientfica e at os jornais deram destaque. Na verdade, uma notcia como essa pode fazer sentido intuitivamente. sabido que a calvcie pode ter um fundo hormonal. tambm sabido que a obesidade pode ter um fundo hormonal. Assim, nada mais natural que um maior peso corporal estar associado calvcie. Esse achado seria extremamente relevante, pois o peso corporal um fator que pode ser controlado. Assim, alm de mantermos o peso controlado para diminuir problemas de corao, de presso arterial, de diabetes e de coluna, nos casos dos homens, haveria o adicional da calvcie. Estaria tudo muito bonito se o meu estudo no tivesse encontrado tambm que os homens mais velhos so geralmente mais gordos. O problema, nesse caso, que todos sabemos que a calvcie mais frequente e intensa em indivduos mais velhos. Com isso, minha concluso totalmente nova e interessante seria trocada por outra j conhecida desde tempos imemoriais: a idade um fator de risco para a calvcie. Ou, de outra forma, quanto mais velhos ficamos maior a nossa chance de desenvolver calvcie. Nada a se fazer no caso do envelhecimento. No d para deixar de envelhecer. A no ser procurar a fonte da juventude ou se deixar enganar por charlates que dizem t-la encontrado. Quanto calvcie, ainda sobram alguns tratamentos srios, um deles lanado h pouco nos EUA, e vrios outros que parecem piada. Essa situao esclarece bem a realidade das correlaes. Muitas delas so assim. O ponto importante que pode haver uma correlao entre calvcie e maior peso corporal. Mas isso no necessariamente significa que ser mais gordo facilita o desenvolvimento de calvcie, ou vice-versa. Ainda que pudesse ser formulada uma teoria sugerindo que a calvcie deprime os homens, estes mais deprimidos descarregariam suas frustraes na geladeira, resultando aumento de peso.
FGV DIREITO RIO 46

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

A verdade que teorias podem ser formuladas aos montes e podem explicar qualquer coisa. Assim, independente da qualidade dos fatos, as teorias tm de ser sempre vistas com cuidado. Voltando correlao entre orgasmos e mortalidade, ela tambm apenas uma correlao. Muitos outros estudos precisam ser feitos antes de se mostrar uma relao de causa e efeito, se que existe uma nesse caso. A correlao entre beber um copo de vinho por dia e a menor chance de infarto do miocrdio outro bom exemplo na mesma linha. Estudos recentes mostram que ela no se deve ao vinho e ao lcool, mas sim ao betacaroteno, corante contido na uva. Para a infelicidade de muitos, tomar suco de uva d o mesmo resultado que beber vinho tinto. No caso dos orgasmos talvez se demonstre que no necessariamente o orgasmo, mas sim qualquer outra varivel. Como tudo, as informaes cientficas tambm dependem de um esprito crtico para interpret-las e dar-lhes um tratamento adequado. Quando esse no existir nos autores de um trabalho cientfico ou nos jornalistas, ou ainda for deturpado por qualquer parte geradora da notcia, resta ainda o ltimo filtro que o consumidor da notcia: voc, o leitor. Luiz Eugnio A. M. Mello, 40, professor do Departamento de Fisiologia da Universidade Federal de So Paulo (Unifesp).

FGV DIREITO RIO

47

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

ANEXO II. O USO DE ESTATSTICAS E MATEMTICA NOS TRIBUNAIS O trecho a seguir foi extrado de MLODINOW, Leonard (2009). O Andar do Bbado Como o Acaso Determina Nossas Vidas. Rio de Janeiro, Jorge Zahar Ed. um relato de um caso ocorrido nos Estados Unidos em que um casal foi a julgamento acusado de um crime onde as principais evidncias eram estatsticas e matemticas.
Em 18 de junho de 1964, ao redor das 11h30 da manha, a Sra. Juanita Brooks, que fizera compras, voltava para casa por uma travessa na regio de San Pedro, na cidade de Los Angeles. Carregava nas costas uma cesta de palha contendo mercadorias, e deixara sua bolsa em cima das embalagens. Ela usava uma bengala. Quando se abaixou para apanhar uma caixa de papelo vazia, foi subitamente empurrada ao cho por uma pessoa que no chegou a ver, e cuja aproximao no notou. Ficou atnita pela queda e sentiu alguma dor. Conseguiu erguer os olhos e viu uma mulher jovem que fugia da cena. Segundo a Sra. Brooks, a mulher parecia pesar cerca de 70kg, vestia uma roupa escura e tinha cabelo entre loiro escuro e loiro claro, porm mais claro que a cor do cabelo da r, Janet Collins, quando esta se apresentou ao julgamento. Imediatamente aps o incidente, a Sra. Brooks percebeu que sua bolsa, contendo entre US$ 35 e US$ 40, havia desaparecido. Aproximadamente no mesmo momento do roubo, John Bass, que vivia na rua ao fim da travessa, estava em frente a sua casa, regando a grama. Sua ateno foi atrada por muitos gritos e choro que vinham da travessa. Ao olhar naquela direo, viu uma mulher, que fugiu correndo e entrou num automvel amarelo estacionado do outro lado da rua. No conseguiu distinguir a marca do carro. O motor foi ligado imediatamente, e o carro teve que contornar outro veiculo estacionado, de modo que, na rua estreita, passou a menos de 2 metros do Sr. Bass. Este viu ento que o motorista do carro era um homem negro que tinha barba e bigode.... Outras testemunhas apresentam descries variadas do carro, dizendo que era amarelo, amarelo com teto acinzentado, e amarelo com teto branco. Segundo a descrio, o carro tinha tamanho entre mdio e grande. Alguns dias depois do incidente, um policial de Los Angeles vislumbrou um Lincoln amarelo com teto acinzentado em frente casa dos rus e falou com eles, explicando que estava investigando um assalto. O policial notou que o suspeitos se encaixavam na descrio do homem e da mulher que haviam cometido o crime, a no ser pelo fato de que o homem no usava barba, embora admitisse que s vezes a deixava crescer. Mais tarde, nesse mesmo dia, a polcia de Los Angeles prendeu os dois suspeitos, Malcolm Ricardo Collins, e sua mulher, Janet. As provas contra os dois eram escassas, e o caso se baseava fortemente na identificao dos suspeitos pela vtima e pela testemunha, John Bass. Infelizmente, para o advogado de acusao, nenhum dos dois demonstrou muito talento no banco das testemunhas. A vtima no foi capaz de identificar Janet como a perpetradora do crime, e no chegou a ver o motorista em nenhum momento. John Bass no havia visto a perpetradora, e disse, no momento
FGV DIREITO RIO 48

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

da identificao dos suspeitos, que no poderia determinar com segurana se Malcolm Collins era o motorista. Assim, o caso parecia estar se despedaando. Entre a testemunha principal, descrita pela Suprema Corte da Califrnia simplesmente como um professor assistente de matemtica numa faculdade estadual. Essa testemunha afirmou que o fato de que os rus fossem uma mulher caucasiana com rabo de cavalo loiro... [e] um negro com barba e bigode que dirigia um automvel parcialmente amarelo era suficiente para condenar o casal. Para ilustrar essa idia, a acusao apresentou a seguinte tabela, citada aqui exatamente como apresentada na deciso da Suprema Corte
Caracterstica Probabilidade individual

Automvel parcialmente amarelo Homem com bigode Homem negro com barba Garota com rabo de cavalo Garota loira Casal inter-racial num carro

1/10 1/4 1/10 1/10 1/3 1/1 mil

O professor assistente de matemtica chamado pela acusao disse que a regra do produto se aplica a estes dados. Multiplicando todas as probabilidades, conclumos que a chance de que um casal se encaixe em todas estas caractersticas distintivas de 1/12 milhes. Da mesma forma, falou, podamos inferir que a chance de que o casal fosse inocente era de 1/12 milhes. O advogado de acusao ressaltou que tais probabilidades individuais eram estimativas, e convidou os jurados a apresentarem seus prprios palpites e fazerem as contas. Pessoalmente, afirmou, acreditava que fossem estimativas conservadoras, e a probabilidade que encontrou ao utilizar os fatores estimados por ele prprio era mais prxima de 1/1 bilho. O jri caiu na histria e condenou o casal. O que h de errado nessa situao? Em primeiro lugar, como vimos, para determinarmos uma probabilidade combinada pela multiplicao das probabilidades individuais, as categorias devem ser independentes, e, neste caso, est claro que no so. Por exemplo, a tabela afirma que a probabilidade de vermos um homem negro com barba de 1/10, e a de um homem com bigode de 1/4. Porm, a maior parte dos homens com barba tambm tm bigode, e assim, se virmos um homem negro com barba, a probabilidade de que ele tenha bigode no mais de muito maior. Essa questo pode ser sanada se eliminarmos a categoria homem negro com barba. Nesse caso, o produto das probabilidades cai para cerca de 1/1milho. Existe outro erro na anlise: a probabilidade relevante no a citada acima a de que um casal escolhido ao acaso se encaixe na descrio dos suspeitos. Na verdade, a probabilidade relevante de que um casal que se enFGV DIREITO RIO 49

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

caixe em todas estas caractersticas seja o casal culpado. A primeira pode ser de 1/1 milho. Mas quanto segunda, como a populao da regio prxima ao local do crime era de muitos milhes, seria razovel considerarmos que haveria 2 ou 3 casais na regio que se encaixavam na descrio. Nesse caso, a probabilidade de que um casal que se encaixava na descrio fosse o culpado, com base apenas nestes indcios (que eram basicamente tudo o que a acusao possua) de apenas ou 1/3. Muito alm de uma dvida razovel. Por estes motivos, a Suprema Corte revogou a condenao de Collins. O uso da probabilidade e da estatstica nas cortes modernas ainda um tema controverso. No caso de Collins, a Suprema Corte da Califrnia ridicularizou o que chamou de julgamento pela matemtica, mas deixou espao para aplicaes mais adequadas de tcnicas matemticas. Nos anos seguintes, as cortes raramente consideraram argumentos matemticos, porm, mesmo quando advogados e juzes no citam probabilidades explcitas ou teoremas matemticos, frequentemente empregam esse tipo de raciocnio, assim como os jurados ao avaliarem as provas. Alm disso, os argumentos estatsticos esto se tornando cada vez mais importantes em virtude da necessidade de avaliarmos provas por exame de DNA. Infelizmente essa maior importncia no foi acompanhada de um maior entendimento por parte dos advogados, juzes e jurados. Como explicou Thomas Lyon, que d aulas de probabilidade no direito na universidade no Sul da Califrnia, poucos alunos fazem um curso de probabilidade no direito, e poucos advogados acreditam que tal curso merea ter seu lugar. Nessa e em outras reas, a compreenso da aleatoriedade pode revelar camadas ocultas da verdade, mas apenas para os que possurem as ferramentas para desvend-las. (Mlodinow, 2009: 46-49)

BIBLIOGRAFIA COMPLEMENTAR TRIOLA, M.F (1999). Introduo Estatstica. Rio de Janeiro: Editora LTC.

FGV DIREITO RIO

50

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

ANEXO III: FUNCIONAMENTO DO JUDICIRIO As trs notcias abaixo foram extradas do jornal O Globo, publicadas em junho de 2011. Tratam-se de duas reportagens iniciais sobre uma srie que o jornal fez a respeito do Judicirio brasileiro. A cada dia, 18 novas leis no pas. Maioria delas, porm, no cumprida e ajuda a emperrar o Judicirio no Brasil Domingo, 19 de junho de 2011 D-me os fatos e te darei as leis, diz a mxima sobre o trabalho de um juiz. Pois os juzes brasileiros tiveram de lidar com muitas na ltima dcada: de 2000 a 2010, o pas criou 75.517 leis, somando legislaes ordinrias e complementares estaduais e federais, alm de decretos federais. Isso d 6.865 leis por ano o que significa que foram criadas 18 leis a cada dia, desde 2000. Mas, em vez de contribuir para a aplicao do Direito, boa parte dessa produo s serviu para agravar os problemas da mquina judiciria. A maioria das leis considerada inconstitucional e acaba ocupando ainda mais os tribunais com a rotina de descart-las. Outras, mesmo legtimas, viram letra morta, pois o juiz as desconhece ou prefere simplesmente ignor-las. E outras tm a relevncia de, por exemplo, criar o Dia da Jia Folheada ou a Semana do Beb. Embora as mazelas da Justia sejam, muitas vezes, associadas falta de leis apropriadas, justamente o excesso delas um dos fatores que emperram o Judicirio. Outro motivo seria a baixa qualidade da produo legislativa uma lei que no se liga realidade social, ou outra que no se baseia em princpios constitucionais. H ainda os problemas enfrentados pelo Judicirio no seu trabalho, ao lado da prpria falta de compreenso da sociedade sobre a Justia. O GLOBO discute essas questes numa srie de reportagens que comea hoje, sobre o seguinte tema: por que uma lei no pega no Brasil? Das 75.517 leis criadas entre 2000 e 2010, 68.956 so estaduais e 6.561, federais. Minas Gerais foi o maior legislador do perodo: criou 6.038 leis. Em seguida, Bahia, criadora de 4.467 leis; Rio Grande do Sul, com 4.281; Santa Catarina, com 4.114; e So Paulo, com 4.111. O Rio de Janeiro criou 2.554 leis nesse perodo. Esse total de 75 mil leis nem leva em conta as municipais o que faria subir consideravelmente esse nmero, j que, segundo a Confederao Nacional dos Municpios, existem atualmente no pas 5.500 Cmaras municipais e 55 mil vereadores. No Rio, 80% de leis inconstitucionais. A inconstitucionalidade um dos principais problemas na qualidade das leis, sobretudo as estaduais e municipais; uma lei tem sua constitucionalidade questionada por meio de uma Ao Direta de Inconstitucionalidade (Adin). De 2000 a 2010, o Supremo Tribunal Federal (STF) julgou 2.752 Adins, relativas a leis federais e estaduais; de 1988 at agora, 20,5% dessas foram julgadas inconstitucionais. Nos estados, s o Tribunal de Justia de So Paulo, por exemplo, julgou, em 2010, 338 Adins questionando leis estaduais e municipais. Da lei que institui o Dia do Motoboy no estado
FGV DIREITO RIO 51

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

que exige times femininos jogando nas preliminares das rodadas decisivas do campeonato estadual de futebol, 80% das leis que chegam para a sano do governador Srgio Cabral so consideradas inconstitucionais pela Procuradoria Geral do Estado. Especialistas estimam que esse percentual mdio se repita em outros estados. Muitas vezes, porm, o veto do governador norma no resolve o problema. Se a Assemblia Legislativa cassa o veto, a questo acaba batendo porta do Tribunal de Justia do Rio. Algumas leis so folclricas, como a que probe a abertura de lan houses a menos de um quilmetro das escolas. Outras so consideradas inconstitucionais mesmo a contragosto dos pareceristas, que reconhecem as boas intenes do legislador, mas so obrigados a fazer a correta interpretao da lei. Um dos casos a lei que dispe sobre a proibio de celulares e aparelhos de transmisso no interior das agncias bancrias. O objetivo era o de coibir o crime da saidinha de banco, mas a procuradoria alertou ao governador que a lei feria o direito fundamental liberdade de comunicao. Outro problema a relevncia do que aprovado. Minas, em 2010, criou 560 leis que declaram a utilidade pblica de alguma entidade (ONGs, associaes etc.), o que equivale a cerca de 77% do total criado ano passado no estado. J So Paulo, em 2010, criou pelo menos 145 leis de declarao de utilidade pblica, e outras 180 que do denominao a algum espao pblico (rua, escola, viaduto); a soma dessas duas categorias d cerca de 78% das leis criadas ano passado no estado e a elas ainda se somam leis que criam datas comemorativas como a 14.153/2010, que institui o Dia das Estrelas do Oriente (em 31 de agosto), ou a 14.109/2010, que cria o Dia da Joia Folheada (toda ltima tera de agosto). O jurista Hlio Bicudo acrescenta outro complicador para a qualidade da produo legislativa brasileira: a baixa autonomia do Legislativo, principalmente o federal: Essa tripartio de poderes (Executivo, Legislativo e Judicirio), na prtica, no vale nada. Quem d a orientao sobre o que o Congresso vai votar ou no o Executivo. uma ditadura do Executivo. Essa dominncia do Executivo sobre o Legislativo, pelo menos na esfera federal, apontada ainda por dados da cientista poltica Argelina Figueiredo, professora do Instituto de Estudos Sociais e Polticos da Uerj (Iesp) e coordenadora da rea de poltica e sociedade do Cebrap: S 15% dos projetos que viram lei no Congresso foram propostos pelos parlamentares; cerca de 85% so leis que vieram de projetos do Executivo. Os deputados do entrada num nmero muito maior de proposies do que o Executivo, mas aprovam muito menos propostas prprias do que ele. Deputado federal no seu dcimo mandato, Miro Teixeira (PDT-RJ) acredita que, diante da possibilidade de declarar inconstitucional uma lei aprovada pelos parlamentares, o Judicirio o nico dos trs poderes verdadeiramente independente, pois pode interferir nos efeitos das deliberaes do Executivo e do Legislativo. Miro reconhece que, muitas vezes, o Parlamento abre caminho para essa possibilidade ao votar e aprovar leis em conflito com a Constituio: H uma enorme distncia entre a organizao constitucional e a prtica do processo legislativo.

FGV DIREITO RIO

52

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Justia lotada, direito mais longe. Julgamentos no STF crescem 1.044% em 30 anos; para o cidado, la longa demais Segunda-feira, 20 de junho de 2011

Um nmero resume a superlotao crescente dos tribunais brasileiros nos ltimos 30 anos: de uma mdia de 9,5 mil processos protocolados e de 9 mil julgamentos em 1980, o Supremo Tribunal Federal teve 71 mil processos e 103 mil julgamentos em 2010; este ano, j foram 27 mil processos e 39 mil julgamentos. Em 30 anos, portanto, o nmero de processos protocolados cresceu 647%, e o de julgamentos, 1.044%. Quase oito milhes de novos processos foram abertos em 1 instncia na Justia estadual no pas, apenas em 2009. Somados aos que, naquele ano, deram entrada na 2 instncia (1,78 milho), chega-se a um total de 9,38 milhes de casos para os cerca de 14 mil juzes estaduais, que o pas tinha em 2009, julgarem, ou seja, 670 novos processos para cada magistrado. Os dados do Conselho Nacional de Justia (CNJ) so uma amostra das dificuldades enfrentadas pelo Judicirio, entre elas o excesso de aes. O trabalho do Judicirio a segunda reportagem de uma srie sobre o cumprimento das leis que O GLOBO iniciou ontem. Com o Judicirio sobrecarregado, quem mais sofre o cidado comum, que encontra problemas a cada dia maiores para conseguir seus direitos: A gente sabe que tem direitos, mas chegar a eles difcil. s vezes, por no saber onde encontrar Justia. E, quando voc vai procur-la, tem de chegar cedo, esperar. O ideal que tivesse ncleos de Justia espalhados nos bairros. Que as pessoas tivessem informao, olha, ali que voc busca esse direito diz a orientadora educacional Lauricy Ftima de Jesus, que mora em Duque de Caxias, na Baixada Fluminense, e, na ltima quinta-feira, procurou a Defensoria Pblica, no Centro do Rio, atrs de ajuda para o filho, portador de Sndrome de Asperger (variao do autismo), ter apoio pedaggico na faculdade onde estuda. Morador da Ilha do Governador, Zona Norte do Rio,
FGV DIREITO RIO 53

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Jos do Nascimento Silva, de 45 anos, j foi trs vezes Defensoria Pblica com a irm, tentando conseguir para ela Riocard de acompanhante. Ele tem problemas visuais e no pode andar sozinho no nibus: Fui ao mdico, ele me deu um laudo, mas a Fetranspor no aceita, pede mais laudos. Disseram para vir aqui (na Defensoria). Sei que tenho esse direito, tenho um Riocard especial. Mas no consigo resolver, no sei o que fazer, se tem que ter advogado. Estou h mais de um ms na luta. Uma estrutura em fase de adaptao Hoje, so 13.735 juzes estaduais, de acordo com a Associao dos Magistrados do Brasil (AMB), e mais 1.492 federais, segundo a Associao de Juzes Federais (Ajufe). Mesmo assim, pases desenvolvidos, como os europeus, tm at o triplo do total de magistrados que o Brasil possui, afirma o secretrio-geral da Ajufe, Jos Carlos Machado, que atua em Belo Horizonte (MG). Alm do problema de recursos humanos, a legislao processual precisa ser revista. Ela carece de reformas que permitam adequar a velocidade da prestao do servio s demandas diz Machado, citando a criao dos juizados de Pequenas Causas (estaduais) e Especiais Federais como exemplos de instrumentos que melhoraram o atendimento populao. Machado cita outros obstculos: Estamos julgando com base em leis de dcadas atrs, e temos que lidar com casos de legislao muito recente, como biomedicina ou direitos civis de casais homossexuais. Isso numa sociedade que, com a internet, faz conflitos surgirem mais rapidamente. Temos de responder usando uma estrutura que est se adaptando. O presidente do Tribunal de Justia do Rio, desembargador Manoel Alberto Rebelo dos Santos, reconhece que os magistrados no conhecem todas as leis. Na Constituio, h normas programticas na Sade e na Educao que no se concretizam por falta de infraestrutura. O problema se repete nas leis processuais, que estabelecem prazos para decises judiciais que so incumprveis pelo excesso de processos diz o advogado Sergio Bermudes.

FGV DIREITO RIO

54

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

Mais da metade do pas sem defensores Alm de falhas no servio de Defensoria, Brasil tem conciliao estruturada em s 14 Tribunais de Justia estaduais Tera-feira, 21 de junho de 2011 Mandaram entregar isso aqui. O que vai acontecer agora? queria saber a cabeleireira e manicure Felipa Gimenes, ao chegar Central de Relacionamento com o Cidado da Defensoria Pblica do Rio. Felipa queria entender como poderia ficar com parte de uma herana que o ex-marido tinha recebido quando ainda eram casados porque, no meu entendimento de leiga, tenho esse direito. Na cabine ao lado, Alexandre de Souza, casado e com quatro filhos, ficou preso um ms porque no teve como pagar 50% de sua renda de vendedor de cloro nas ruas como penso para um quinto filho que teve com outra mulher fora do casamento; queria ajuda, porque seno os outros quatro (filhos) ficam s com metade. Moradores de mais da metade das cidades brasileiras, porm, no tm um defensor ao qual recorrer para tentar chegar at a Justia. Apesar de a Defensoria ser obrigatria desde a Constituio de 1988, 58% dos municpios hoje no contam com defensores, segundo a Associao Nacional de Defensores Pblicos. A associao afirma que, no Cear, por exemplo, o nmero de defensores suficiente apenas para 37% das cidades do estado. J em Santa Catarina, a Defensoria no foi implantada at hoje, diz a entidade, pois quem realiza o servio a OAB. Professora da USP e diretora do Centro de Pesquisas e Estudos Judiciais, Maria Tereza Sadek v nas falhas do servio de Defensoria no pas um dos principais direitos da Constituio ainda no alcanados: O Rio tem a Defensoria mais antiga do pas, mas o Paran, por exemplo, s foi criar a sua este ano. Isso afeta diretamente o acesso Justia, a Defensoria o lugar para onde vai quem no conhece os direitos ou no tem recursos. J ouvi tenho direito a uso cambio (usucapio), quero me separar do meu inquilino... A pessoa sabe que algo est errado, mas no sabe a traduo disso na lei, nem como chegar ao seu direito diz a defensora pblica Adriana Quinhes, da Defensoria do Rio. Assim como ensinam nos colgios, por exemplo, educao sexual, deveriam ensinar noes jurdicas bsicas, para a pessoa saber o que faz um juiz, um promotor... Outra alternativa de acesso Justia para a populao e que hoje est aqum do necessrio a prtica da conciliao. Ela s est estruturada em um ncleo como exige a resoluo 125/2010 do Conselho Nacional de Justia, que criou a Poltica Nacional de Conciliao em metade dos Tribunais de Justia do pas, segundo o CNJ. Somando TJs a Tribunais Regionais Federais e Tribunais Regionais do Trabalho, o CNJ registra 42 Ncleos de Conciliao para um pas que tem 91 tribunais. Alm de oferecer ao cidado alternativa menos custosa e mais rpida, a conciliao ainda considerada uma forma de diminuir a pilha de aes que sobrecarrega o Judicirio. Na primeiFGV DIREITO RIO 55

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

ra audincia de todo processo, o juiz orientado a tentar uma conciliao. Mas a o processo j foi aberto. Muitos tribunais ainda precisam criar um setor de conciliao diz Pablo Cerdeira, professor da Escola de Direito da FGV-Rio. Cerdeira participou de uma pesquisa do Direito da FGV-Rio sobre o Supremo que mostra que o poder pblico ainda custa a recorrer conciliao. Segundo a pesquisa, 87% das partes que mais entravam com recurso no STF vinham do Executivo; e que a Telemar a nica empresa privada entre os 12 maiores responsveis por processos que chegam ao STF. Outra das instituies que podem melhorar a relao entre sociedade e Justia, o Ministrio Pblico assumiu um protagonismo que no tinha antes da Constituio de 88, afirma o procurador da Repblica Alexandre Camanho, presidente da Associao Nacional de Procuradores da Repblica, para quem o MP ganhou ares de um quarto poder, um poder fiscal: O MP ampliou suas funes a partir de 88, indo do criminal para o cvel, meio ambiente, patrimnio cultural, a ponto de se tornar sinnimo de denncia. O cidado de escolaridade mdia, em vez de dizer vou Justia, passou muitas vezes a dizer vou ao MP. Maria Tereza Sadek, da USP, destaca, alm da atuao do MP, a criao da Secretaria da Reforma do Judicirio, no primeiro governo Lula. Ela cita ainda outro debate que precisa ser feito: a discusso atual sobre a PEC dos Recursos, se se deve diminuir ou no o nmero de recursos. A questo que, do jeito que est, o Judicirio no tem mais condies de continuar. H, em mdia, um processo para cada trs habitantes!

FGV DIREITO RIO

56

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

FABIANA LUCI DE OLIVEIRA Professora de Metodologia de Pesquisa e Coordenadora do Ncleo de Pesquisa do Centro de Justia e Sociedade da FGV DIREITO RIO. Possui Doutorado e Mestrado em Cincias Sociais pela Universidade Federal de So Carlos, com doutorado sanduche em Sociologia pela Northwestern University, em Chicago. Ps-doutorado em Cincia Poltica pela Universidade de So Paulo e especializao em Metodologia de Pesquisa pela University of Michigan. Desenvolve pesquisas na rea de Judicial Politics e Opinio Pblica.

FGV DIREITO RIO

57

METODOLOGIA DA PESQUISA E ESTATSTICA ELEMENTAR

FICHA TCNICA

Fundao Getulio Vargas Carlos Ivan Simonsen Leal PRESIDENTE FGV DIREITO RIO
Joaquim Falco DIRETOR Srgio Guerra
VICE-DIRETOR DE PS-GRADUAO

Evandro Menezes de Carvalho


VICE-DIRETOR DA GRADUAO

Thiago Bottino do Amaral


COORDENADOR DA GRADUAO

Rogrio Barcelos Alves


COORDENADOR DE METODOLOGIA E MATERIAL DIDTICO

Paula Spieler
COORDENADORA DE ATIVIDADES COMPLEMENTARES E DE RELAES INSTITUCIONAIS

Andre Pacheco Mendes


COORDENADOR DE TRABALHO DE CONCLUSO DE CURSO

Marcelo Rangel Lennertz


COORDENADOR DO NCLEO DE PRTICA JURDICA CLNICAS

Cludia Pereira Nunes


COORDENADORA DO NCLEO DE PRTICA JURDICA OFICINAS

Mrcia Barroso
NCLEO DE PRTICA JURDICA PLACEMENT

Diogo Pinheiro
COORDENADOR DE FINANAS

Rodrigo Vianna
COORDENADOR DE COMUNICAO E PUBLICAES

Milena Brant
COORDENADORA DE MARKETING ESTRATGICO E PLANEJAMENTO

FGV DIREITO RIO

58

Vous aimerez peut-être aussi