Os resultados que se seguem decorrem de anlises estatsticas de todos os dados
oriundos do processo de avaliao dos Testes Psicolgicos. No total, foram recebidos 111 Testes Psicolgicos, enviados ao CFP em funo da Resoluo CFP n 025/2001, no perodo de janeiro de 2002 a maro de 2003. A partir de 26 de maro de 2003 at maio de 2004, atendendo Resoluo CFP n 002/2003, foram recebidos mais 23 testes. Durante esse tempo, 28 testes no foram contemplados nas anlises porque foram retirados do sistema de avaliao, pois no eram testes; a editora responsvel deixou de publicar; ou simples- mente porque o processo de avaliao ainda no havia sido concludo, no podendo ser inseridos nos dados reportados neste relatrio. Assim, este relatrio est fundamentado em uma amostra de 106 testes psicolgicos listados no anexo 1 - Relao dos testes psicolgicos utilizados na amostra. Foram realizadas as seguintes anlises estatsticas: descritivas, consistncia interna dos itens do formulrio de critrios mnimos e correlaes, todos embasados nas informaes preenchidas no formulrio de Avaliao da Qualidade de Testes Psicolgicos (Anexo 1 da Resoluo CFP n 002/2003). Os detalhes dos resultados so apresentados a seguir. Descrio Geral dos Testes Psicolgicos (Parte A do formulrio de Avaliao da Qualidade de Testes Psicolgicos) Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a natureza do teste Natureza do Teste Psicolgico Total No-projetivo Projetivo Avaliao Final Desfavorvel Favorvel Freqncia Percentual 39 36,8% 12 11,3% 51 48,1% Freqncia Percentual 57 44,3% 8 7,5% 55 51,9% Total Freqncia Percentual 86 81,1% 20 18,9% 106 100% V - Resultados lvaro Jos Lel, Audrey Setton de Souza, Gislene Maia de Macedo, Jos Carlos Tourinho e Silva, Maurcio Miranda Sarmet, Regina Snia Gattas Fernandes do Nascimento, Ricardo Primi e Rodrigo Barroso Vasconcelos 32 Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente, neste relatrio Requerente Freqncia Percentual CEPA 33 31,1 Vetor 26 24,5 Casa do Psiclogo 25 23,6 LabPAM 6 5,7 CETEPP 5 4,7 Livro Pleno 3 2,8 Cognio 3 2,8 Terceira Margem 1 0,9 EDITES 1 0,9 LAMP/PUC Campinas 1 0,9 Gohmes 1 0,9 EDITORIAL PSY 1 0,9 Total 106 100,0 No total, foram analisados 106 testes, editados por nove editoras, dois laboratrios e um pelo prprio autor. Quanto s editoras, observamos que a grande maioria dos testes que chegaram para avaliao so da CEPA (31%), Vetor (24%) e Casa do Psiclogo (24%). As demais editoras apresentaram um nmero inferior a 6% relativo a cada. Ao fazer a correlao entre a aprovao do instrumento e a editora, encontramos os seguintes resultados: Entre os testes da editora CEPA, em um total de 33 testes, 31 (94%) foram avaliados como desfavorveis e 2 (6%), favorveis. Da Casa do Psiclogo, entre os 25 testes recebidos, 17 (68%) foram aprovados e os demais (32%) foram considerados desfavorveis. Da Vetor, entre os 26 testes recebidos, 16 (61%) receberam parecer favorvel e os demais (38%), desfavorvel. Das demais editoras, observou-se que, algumas vezes, a porcentagem era muito eleva- da, seja como favorvel ou como desfavorvel, mas essa porcentagem ca comprometida em funo do nmero restrito de testes relativo a cada uma delas. V - Resultados 33 Publicao dos Manuais no Brasil Tabela 4: Data da ltima publicao do manual no Brasil Data da ltima pu- blicao do manual no Brasil Freqncia Porcentagem Porcentagem vlida At 1980 De 1981 a 1985 De 1986 a 1990 De 1991 a 1995 De 1996 a 2000 A partir de 2001 7 5 1 11 39 37 6,6 4,7 0,9 10,4 36,8 34,9 7 5 1 11 39 37 Total 100 94,3 100 Dados faltosos 6 5,7 Total 106,00 100,00 Na Tabela 4, possvel observar que seis manuais no apresentam data de publicao. Entre os restantes, percebemos que a maioria (36,8%) foi publicada entre os anos 1996 a 2000, seguida pelos ltimos anos, ou seja, a partir de 2001 (34,9%). Entre 1986 a 1990, temos somente a publicao de um teste. No geral, podemos dizer que a maioria dos testes tm uma publicao bastante recente e que, na dcada de 1980, temos o menor nmero de publicaes, talvez por ter sido uma dcada em que se deu pouca importncia aos Tes- tes Psicolgicos. V - Resultados 34 Classicao das Variveis que os Testes Psicolgicos pretendem medir Grco 1: Classicao das variveis que o teste pretende medir de acordo com a avaliao nal do CFP Inteligncia Habilidades especficas Psicomotricidade Classificao das variveis que o teste pretende medir Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total % % % f f f Funes neuropsicolgicas Personalidade 100 75 50 25 0 19,6 90,9 25,5 19,6 25,5 22,6 7,8 0 3,8 7,8 14,5 11,3 37,3 30,9 34 Os nmeros do Grco 1 indicam a porcentagem de avaliao favorvel, desfavorvel e totais por varivel. Grco 1: Classicao das variveis que o teste pretende medir de acordo com a avaliao nal do CFP (continuao) Motivao Atitudes Interesses Valores Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total % % % f f f Outros Total 100 75 50 25 0 2 0 0,9 3,9 1,8 2,8 9,8 1,8 5,7 17,6 0 0 0 29,1 23,6 100 100 100 V - Resultados 35 Quanto s variveis que o teste pretende medir (Grco 1), encontramos 34% dos instrumentos que se destinam avaliao da personalidade; 25,5%, medio da inteli- gncia; 22,6%, a habilidades; 11,3%, avaliao das funes neuropsicolgicas; e 3,8%, para psicomotricidade. Encontramos apenas um teste para avaliar motivao (que no est em condies de uso) e nenhum para medida de valores. Destacamos que, entre os 27 testes para avaliao de inteligncia, a maioria (62,9%) foi considerada favorvel, enquanto 37% dos testes foram avaliados como desfavorveis. Para a avaliao de habilidades especcas, temos 14, entre os 24 testes apresentados (58,3%), que esto apropriados para utilizao. Entre os testes para avaliao de funes psicomotoras, no encontramos nenhum apropriado para utilizao. Dos 12 testes destinados avaliao de funes neuropsico- lgicas, 8 (66,6%) esto apropriados para utilizao. J entre os testes (36) destinados avaliao da personalidade, 19 (52,7%) foram considerados inadequados para a utilizao, enquanto 17 (47,3%) esto em condies de uso. Finalmente, entre os 6 testes para avaliar interesses, apenas 1 (16,6%) foi considerado favorvel, enquanto os outros 5 (83,3%) no esto adequados para utilizao. Ressaltamos que essas classicaes, como as do item anterior, foram realizadas exclusivamente pelas informaes contidas no manual. reas de Aplicao Tabela 5: Relao entre a avaliao nal dos Testes Psicolgicos e suas respectivas reas de aplicao Avaliao nal desfavorvel Avaliao nal favorvel Total F % F % F % rea de aplicao Psicologia Clnica 32 62,70 44 80,00 76 71,70 Psicologia Escolar ou Educa- cional 36 70,60 30 54,50 66 62,30 Neuropsicologia 9 17,60 11 20,00 20 18,90 Psicologia Forense 2 3,90 7 12,70 9 8,50 Psicologia do Trabalho e das Organizaes 28 54,90 29 52,70 57 53,80 Psicologia do Esporte 0 0 0 0 0 0 Social/Comunitria 2 3,90 2 3,60 4 3,80 Psicologia do Trnsito 2 3,90 15 27,30 17 16,00 Psicologia Hospitalar 6 11,80 7 12,70 13 12,30 Outros 4 7,80 5 9,10 9 8,50 N 51 100,00 55 100,00 106 100,00 Total 51 100,00 55 100,00 106 100,00 V - Resultados 36 A rea de aplicao de um instrumento foi classicada apenas pelas informaes conti- das no manual. Portanto, se algum utilizou um teste para outro propsito, mesmo que por informaes de outra literatura, estas no foram consideradas. A leitura da Tabela 5 indica-nos que, quanto rea de aplicao, a maioria dos testes so destinados s reas mais tradicionais da Psicologia, ou seja, rea clnica (71,7%), segui- da da rea escolar (62,3%) e da Psicologia do Trabalho (53,8%). As demais reas concentram menor nmero de instrumentos. Contudo, ainda que restrita, j apresenta uma quantidade signicativa de instrumentos destinados Neuropsicologia (18,9%), Psicologia do Trnsito (16,0%), Hospitalar (12,3%) e Forense (8,5%). Para a rea social, encontramos um nmero reduzido de provas (3,8%). Cabe salientar que, entre os testes recebidos, nenhum se dizia destinado Psicologia do Esporte. A distribuio relativa a ser desfavorvel ou favorvel, em geral, apresenta-se muito se- melhante, com pequenas excees, a saber, uma quantidade maior de testes favorveis em relao aos desfavorveis nas reas da Neuropsicologia e da Psicologia do Trnsito, possi- velmente por se tratar de instrumentos mais recentes. Caractersticas Gerais do Manual Tabela 6: Caractersticas gerais do manual Avaliao Final Caractersticas gerais do manual Natureza do Teste Psicolgico Total No- projetivo Projetivo F % F % F % Desfavorvel Fundamentao terica 23 59,00 12 100,00 35 68,60 Estudos de preciso brasileiros 14 35,90 1 8,30 15 29,40 Estudos de validade brasileiros 14 35,90 1 8,30 15 29,40 Sistema de correo e interpretao dos escores brasileiro 30 76,90 8 66,70 38 74,50 Informaes sobre a aplicao 38 97,40 12 100,00 50 98,00 Informaes sobre a correo 38 97,40 11 91,70 49 96,10 Informaes sobre como interpretar os resultados do teste 30 76,90 12 100,00 42 82,40 Indicao da literatura cientca rela- cionada ao instrumento 18 46,20 11 91,70 29 56,90 Indicao da populao alvo 28 71,80 11 91,70 39 76,50 N 39 100,00 12 100,00 51 100,00 Total 39 100,00 12 100,00 51 100,00 V - Resultados 37 Avaliao nal Caractersticas gerais do manual Natureza do Teste Psicolgico Total No- projetivo Projetivo Favorvel Fundamentao terica 47 100,00 8 100,00 55 100,00 Estudos de preciso brasileiros 46 97,90 7 87,50 53 96,40 Estudos de validade brasileiros 47 100,00 8 100,00 55 100,00 Sistema de correo e interpretao dos escores brasileiro 47 100,00 8 100,00 55 100,00 Informaes sobre a aplicao 47 100,00 8 100,00 55 100,00 Informaes sobre a correo 47 100,00 8 100,00 55 100,00 Informaes sobre como interpretar os resultados do teste 44 93,60 8 100,00 52 94,50 Indicao da literatura cientca rela- cionada ao instrumento 45 95,70 8 100,00 53 96,40 Indicao da populao alvo 46 97,90 8 100,00 54 98,20 N 47 100,00 8 100,00 55 100,00 Total 47 100,00 8 100,00 55 100,00 Como podemos observar na Tabela 6, os manuais dos testes que no foram conside- rados favorveis apresentam muitas lacunas de informao fundamental, enquanto os favorveis apresentam muito mais informaes. Observamos, por exemplo, que apenas um dos testes projetivos, entre os considerados desfavorveis, apresentam estudo de preci- so e um estudo de validade no Brasil, como tambm apenas 23 dos testes no-projetivos apresentaram fundamentao terica. Entre os testes favorveis, encontramos praticamen- te 100% em todas as informaes. Nota-se, tambm, que todos os testes projetivos, independentemente da avaliao nal, possuem informaes sobre a fundamentao terica, aplicao e interpretao dos resultados. V - Resultados 38 Requisitos Tcnicos (Parte B do formulrio de Avaliao da Qualidade de Testes Psicolgicos) Fundamentao Terica Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a avaliao nal para testes projetivos e no-projetivos Avaliao Final Qualidade da Fundamentao Terica No- projetivos Projetivos Total F % F % F % Desfavo- rvel Nvel C (insuciente) * Nvel B (suciente) ** Nvel A (excelente a bom) *** 18 19 2 46,20 48,70 5,10 1 8 3 8,30 66,70 25,00 19 27 5 37,30 52,90 9,80 Total 39 100,00 12 100,00 51 100,00 Favorvel Nvel B (suciente) ** Nvel A (excelente a bom) *** 26 21 55,30 44,70 3 5 37,50 62,50 29 26 52,70 47,30 Total 47 100,00 8 100,00 55 100,00 *: As informaes so insucientes ou no contm as informaes sobre o constructo que se pretende medir, do procedimento de mensurao e das principais reas de aplicao. **: Contm sumariamente essas informaes. ***: Descrio muito clara e documentada do constructo que se pretende medir, do procedimento de mensurao e das principais reas de aplicao. Quanto fundamentao terica apresentada nos manuais, encontramos a seguin- te distribuio: entre os 51 testes considerados desfavorveis, 19 (37,3%) apresentaram uma fundamentao terica considerada insuciente (nvel C), sendo 18 no-projetivos e apenas um projetivo; 27 (52,9%) apresentaram informaes sucientes (nvel B), sendo 19 no-projetivos e 8 projetivos; enquanto 5 (9,8%) testes obtiveram uma avaliao excelente nesse aspecto, dos quais 3 so projetivos e 2, no-projetivos. Entre os 55 considerados favorveis, encontramos: 52,7% avaliados com o nvel B, ou seja, apresentam informaes sucientes, dos quais 26 so no-projetivos e 3, projetivos; 47,3% obtiveram o nvel A (excelente a bom), dos quais 21 so no- projetivos e 5 so pro- jetivos. V - Resultados 39 Estudos de Validade e Preciso Tabela 8: Quantidade de estudos de preciso e validade relacionados com a avaliao nal e a natureza do Teste Psicolgico Avaliao nal Estudos de Preciso e Validade Teste No- Projetivo Teste Projetivo Total F % F % F % Desfavor- vel Preciso Equivalncia (formas paralelas) 2 5,10 0 0 2 3,90 Consistncia interna 9 23,10 0 0 9 17,60 Estabilidade (teste-reteste) 8 20,50 0 0 8 15,70 Preciso de avaliadores 0 2 16,70 2 3,90 Coecientes so calcu- lados para diferentes gru- pos de sujeitos 2 5,10 0 0 2 3,90 Total 39 100,00 12 100,00 51 100,00 Validade
Validade de contedo 8 20,50 0 0 8 15,70 Correlao com outros testes ou validade con- vergente-discriminante 9 23,10 1 8,30 10 19,60 Diferenas entre grupos 5 12,80 0 0 5 9,80 Matriz multitrao-multi- mtodo 0 0 0 0 0 Anlise fatorial (explora- tria ou conrmatria) / consistncia interna 2 5,10 0 0 2 3,90 Delineamentos experimentais 2 5,10 0 0 2 3,90 Outros 0 0 0 0 0 Concorrente 5 12,80 0 0 5 9,80 Preditiva 3 7,70 0 0 3 5,90 Total 39 100,00 12 100,00 51 100,00 V - Resultados 40 Avaliao nal Estudos de Preciso e Validade Teste No- projetivo Teste Projetivo Total F % F % F % Favorvel Preciso Equivalncia (formas paralelas) 7 14,90 1 12,50 8 14,50 Consistncia interna 39 83,00 2 25,00 41 74,50 Estabilidade (teste-reteste) 20 42,60 3 37,50 23 41,80 Preciso de avaliadores 10 21,30 6 75,00 16 29,10 Coecientes so calcu- lados para diferentes grupos de sujeitos 8 17,00 1 12,50 9 16,40 Total 47 100,00 8 100,00 55 100,00 Validade
Validade de contedo 16 34,00 3 37,50 19 34,50 Correlao com outros testes ou validade con- vergente-discriminante 29 61,70 5 62,50 34 61,80 Diferenas entre grupos 28 59,60 7 87,50 35 63,60 Matriz multitrao-multi- mtodo 1 2,10 0 0 1 1,80 Anlise fatorial (explora- tria ou conrmatria) / consistncia interna 22 46,80 1 12,50 23 41,80 Delineamentos experimentais 4 8,50 2 25,00 6 10,90 Outros 0 0 0 0 0 0 Concorrente 27 57,40 5 62,50 32 58,20 Preditiva 2 4,30 0 0 2 3,60 Total 47 100,00 8 100,00 55 100,00 Quanto aos estudos de preciso e validade, encontramos os seguintes delineamentos de pesquisas realizadas no Brasil: Preciso: encontramos 23 estudos de preciso entre os testes desfavorveis. Destes, a maior parte de consistncia interna (nove referncias) e de estabilidade teste-reteste (oito referncias), sendo esses estudos, principalmente, relativos aos testes no-projetivos. Os nicos estudos de preciso dos testes projetivos considerados desfavorveis foram dois estudos de concordncia entre avaliadores. Validade: 35 estudos de validade foram encontrados para os testes que no foram aprovados. Entre os testes no-projetivos, 23,1% so estudos de correlao com outros tes- V - Resultados 41 tes; 20,5%, de estudos de validade de contedo; 12,8% so estudos para avaliar diferenas entre grupos; 5,1%, anlises fatoriais; e 5,1%, delineamentos experimentais. Para os testes projetivos no aprovados, encontramos apenas uma citao de estudo de validade (cor- relao). No que se refere validade preditiva ou concorrente, temos 12,8% pesquisas de validade concorrente e 7,7% de validade preditiva, todos atribudos a testes no-projetivos. De um modo geral, podemos dizer que foram poucos os estudos de validade e preciso para os 39 instrumentos desfavorveis no-projetivos, e ainda maior a carncia para os 12 projetivos considerados desfavorveis. J encontramos um quadro muito diferente para os 47 testes no-projetivos e oito pro- jetivos considerados favorveis. Preciso: Testes no-projetivos: dentre estes, os mais citados nos manuais so os estudos de consistncia interna, em 83% dos testes favorveis. Em seguida, encontramos 42,6% de estabilidade teste-reteste. Com quantidade menor de referncias, 21,3%, encontram-se os estudos de concordncia entre avaliadores e 14,9% de pesquisas de equivalncia (formas paralelas). Testes projetivos: 75% dos estudos de preciso de concordncia entre avaliadores, seguidos de estudos de estabilidade (37,5%), e depois de estudos de consistncia interna (25%). Validade: Testes no-projetivos: entre os 47 testes considerados favorveis, encontramos 61,7% dos estudos de diferenas entre grupos, 59,6% de estudos de correlao, 46,8% de anlises fatoriais, 8,5% de desenhos experimentais e 2,10% de estudos de matriz multitra- o-multimtodo. Alguns dos instrumentos apresentam mais de um estudo de validade. Entre os estudos, encontramos 57,4% referncias a estudos de validade concorrente e apenas 4,3% de validade preditiva. Testes projetivos: dos testes projetivos favorveis, 87,5% apresentam, para eviden- ciar sua validade, delineamentos de comparao entre grupos; 62,5%, estudos de correla- o com outros testes ou validade convergente-discriminante; 37,5%, estudos de validade de contedo; 25%, delineamentos experimentais; e 12,5%, estudo fatorial. V - Resultados 42 V - Resultados Qualidade dos Estudos de Validade Nvel D (insuciente) * Nvel C (insuciente) ** Nvel B (suciente) *** Nvel A (excelente a bom) **** F % F % F % F % F % Desfavorvel Validade de con- tedo 5 38,50 1 50 Correlao com outros testes ou validade conver- gente-discrimi- nante 8 61,50 1 50 Diferenas entre grupos 3 23,10 1 50 Matriz multitra- o-multimtodo Anlise fatorial / consistncia interna Delineamentos experimentais 2 15,40 Outro Concorrente 4 30,80 1 50,00 Preditiva 2 15,40 N 36 100,00 13 100,00 2 100,00 Favorvel Validade de con- tedo 10 37,00 9 32,10 Correlao com outros testes ou validade conver- gente-discrimi- nante 15 55,60 19 67,90 Diferenas entre grupos 10 37,00 25 89,30 Matriz multitra- o-multimtodo 1 3,70 Anlise fatorial consistncia interna 10 37,00 13 46,40 Delineamentos experimentais 1 3,70 5 17,90 Outro Concorrente 12 44,40 20 71,40 Preditiva 2 7,10 N 27 100,00 28 100,00
Tabela 9: Qualidade dos estudos de validade *: No tm estudos de validade. **: Tm pelo menos um estudo de validade, mas com data superior a 20 anos. ***: Tm pelo menos um estudo de validade com data inferior a 20 anos. ****: Tm pelo menos dois estudos de validade com data inferior a 20 anos. Avaliao Final Tipos de estudo 43 Esses resultados mostram que, nas pesquisas brasileiras, observa-se que os estudos de correlao com outros testes e diferenas entre grupos (categorizados como validade de constructo) so mais comuns, independentemente do Teste Psicolgico ser projetivo ou no-projetivo. Outro dado importante que a anlise fatorial mais freqentemente empregada nos estudos com testes no-projetivos e a diferena entre grupos, nos testes projetivos. Considerando-se, de um modo geral, os estudos de validade, encontramos apenas 3,9% dos instrumentos desfavorveis que apresentaram estudos de validade considerados su- cientes (nvel B), ou seja, h pelo menos um estudo de validade com data inferior a 20 anos, 25,5% receberam nvel C (no tm estudos de validade), porm 70,6%, entre os 51 desfavo- rveis, apresentaram pelo menos um estudo de validade, mas com data superior a 20 anos (nvel C). Entre os instrumentos favorveis, 49% apresentaram estudos de validade considerados sucientes (nvel B), e 51% instrumentos foram avaliados com o nvel A, apresentando pelo menos 2 estudos, podendo ser considerados bons ou excelentes. Tabela10: Qualidade dos estudos de preciso Qualidade dos Estudos de Preciso Avaliao nal Tipos de Estudos Nvel D (insuciente) * Nvel C (insuciente) ** Nvel B (suciente) *** Nvel A (excelente a bom) **** F % F % F % F % Desfavorvel Equivalncia 1 8,30 1 20,00 Consistncia interna 6 50,00 3 60,00 Estabilidade 5 41,70 3 60,00 Preciso de avaliadores 1 20,00 Total 34 100,00 12 100,00 5 100,00 Favorvel Equivalncia 6 13,60 2 Consistncia interna 32 72,70 9 100,00 Estabilidade 18 40,90 5 55,60 Preciso de avaliadores 13 29,50 3 33,30 Total 1 100 1 100 44 100,00 9 100,00 *: No h evidncias. **: H evidncias, mas os estudos foram realizados h mais de 20 anos. ***: H evidncias de preciso, mas alguns esto abaixo de 0,60 ou tm coecientes altos, mas no foram calculadas para vrios grupos. ****: H evidncias de preciso e em vrios grupos. V - Resultados 44 Quanto a estudos de preciso, encontramos, entre os desfavorveis, 5 instrumentos que apresentam o nvel B (suciente, ou seja, evidncia de preciso, mas com alguns resultados abaixo de 0,60), 12 com nvel C, ou seja, apresentam estudo, mas este superior a 20 anos, e 34 que tm o nvel D, ou seja, no apresentam evidncia de preciso. Entre os testes favorveis, encontramos 74 estudos de preciso, correspondentes a 44 instrumentos e 19 estudos para 9 instrumentos, avaliados com nvel A nesse requisito, ou seja, testes que apresentam evidncias de preciso com mais de um grupo. De acordo com a Tabela 10, observa-se, tambm, que, dos testes desfavorveis analisados, 23,5% possuem estudos de preciso, mas foram realizados h mais de 20 anos, e 15,7% apresentaram estudos de preciso satisfatrios (nvel B). Estudos de Padronizao Tabela 11: Sistema de correo e interpretao dos escores obtidos nos estudos referenciados norma ou em outros sistemas V - Resultados Avaliao nal Desfavo- rvel Sistema de Correo e Interpretao Qualidade do Sistema de Correo e Interpretao dos Escores Obtidos nos Estudos Sistema Referenciado Norma e Outro Sistema Nvel D (Insuciente)* Nvel C (Insuciente)** Nvel B (Suciente)*** Nvel A (Excelente a Bom)**** F % F % F % F % Referen- ciado norma Caractersticas da amostra de padronizao 4 16,70 7 46,70 6 54,50 1 100,00 Comparao de caractersticas sociodemogrcas Nmero de sujeitos do estudo de padronizao 4 16,70 14 93,30 9 81,80 1 100,00 Outro sistema Embasamento terico do sistema 7 29,20 2 13,30 2 18,20 Embasamento terico baseado em estudo de validade 5 20,80 1 9,10 N 24 100,00 15 100,00 11 100,00 1 100,00 45 Avaliao nal Sistema de Correo e Interpretao Qualidade do Sistema de Correo e Interpretao dos Escores Obtidos nos Estudos Sistema Referenciado Norma e Outro Sistema Nvel D (Insuciente)* Nvel C (Insuciente)** Nvel B (Suciente)*** Nvel A (Excelente a Bom)**** F % F % F % F % Favorvel Referen- ciado norma Caractersticas da amostra de padronizao 39 81,30 6 85,70 Comparao de caractersticas sociodemogrcas 1 2,10 1 14,30 Nmero de sujeitos do estudo de padronizao 42 87,50 4 57,10 Outro sistema Embasamento terico do sistema 5 10,40 1 14,30 Embasamento terico baseado em estudo de validade 5 10,40 1 14,30 N 48 100,00 7 100,00 *: No h estudo, ou h, mas insuciente. **: H estudos, mas as datas de realizao so superiores a 15 anos. ***: Referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade. Outro sistema: pelo menos um estudo de validade sustentando as interpretaes. ****: Referncia norma: seleo aleatria de sujeitos, diversas normas em funo da idade, sexo, escolaridade, nvel cultural e/ou outras caractersticas relevantes, N>= 1000. Outro sistema: vrios estudos de validade sustentando as interpretaes. A Tabela 11 apresenta a distribuio dos testes na nota que avalia a qualidade do sistema de correo e interpretao dos escores. Como esse sistema pode ser ou no refe- renciado norma, a tabela divide os instrumentos, fazendo essa diferenciao. Como dito anteriormente, os sistemas referenciados norma, mais comuns nos testes no-projetivos, quanticam atributos psicolgicos comparando os resultados do sujeito com resultados de grupos normativos. J existem testes que no usam esse sistema e apiam-se, basicamente, nos estudos de validade como uma parte dos testes projetivos. O que podemos observar que, entre os testes reprovados, 24 foram avaliados com o nvel D, ou seja, no h estudos, e 15 com nvel C, isto , h, mas so insucientes. Entre os referenciados norma, 4 apresentaram caractersticas da amostra e 4, as caractersticas da amostra com esse nvel de avaliao. Entre os que no so referenciados norma, 7 ou no apresentaram embasamento terico do sistema, ou apresentaram, mas so insucientes, e 5 apresentam embasamento terico baseado em estudos de validade insucientes, ou no apresentaram esses estudos . Com nvel C, tambm considerado insuciente por haver estudos, mas as datas de reali- zao serem superiores a 15 anos, encontramos 15 testes, dos quais 7 so nvel C pelas ca- V - Resultados 46 ractersticas da amostra de padronizao e 14 esto com o nmero de sujeitos da amostra de padronizao inadequado. Entre os que no so referenciados norma, encontramos 2 com problemas no embasamento terico do sistema. Nenhum dos testes desfavorveis apresentou comparao de caractersticas sociode- mogrcas. Nos nveis C e D, apenas pudemos encontrar instrumentos considerados reprovados. Obtiveram nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade; outro sistema: pelo menos um estudo de validade sustentando as interpretaes) 11 testes desfavorveis e 48 favorveis. Entre os desfavorveis, referenciados norma, encontramos 6 que relatam as caracters- ticas da amostra de padronizao e 9 que apresentam o nmero de sujeitos do estudo de padronizao adequados. Entre os testes referenciados a outros sistemas, encontramos 2 que apresentam embasamento terico e 1 com embasamento terico baseado em estudo de validade (pelo menos um estudo de validade sustentando as interpretaes). Quando observamos o desempenho, nesse quesito, dos testes favorveis, encontramos, com o nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de repre- sentatividade; outro sistema: pelo menos um estudo de validade sustentando as interpre- taes), 39 testes que apresentam caractersticas da amostra de padronizao e 42 testes com nmero de sujeitos adequados, e um deles com comparao de caractersticas socio- demogrcas. Entre os que no so referenciados norma, encontramos 5 com embasa- mento terico e 5 com embasamento terico baseado em estudos de validade. Poucos instrumentos obtiveram o nvel A. Destes, inclusive, temos alguns que foram considerados desfavorveis. Distribuem-se da seguinte maneira: um desfavorvel, com ca- ractersticas da amostra nvel A, e um com nmero de sujeitos do estudo de padronizao tambm nvel A (estes dois indicadores podem referir-se ao mesmo instrumento). Entre os referenciados a outro sistema de correo e interpretao, no encontramos nenhum teste, entre os desfavorveis. Na Tabela 11, observa-se que mesmo os testes considerados desfavorveis apresentam, em algum nvel, estudos de padronizao referenciados norma ou a outro sistema. Note- se, no entanto, que, dos 51 testes desfavorveis, 47% no possuem ou possuem estudos de padronizao, mas so insucientes (nvel D). V - Resultados 47 Tabela 12: Nmero de sujeitos dos estudos de padronizao pela natureza do teste Tamanho da amostra Natureza do teste Total No-projetivo Projetivo Menor que 299 sujeitos Freqncia Percentual 6 9,80 2 22,20 8 11,40 Entre 300 a 999 sujeitos Freqncia Percentual 26 42,60 4 44,40 30 42,90 Entre 1000 a 5000 sujeitos Freqncia Percentual 25 41,00 3 33,30 28 40,00 Maior que 5000 sujeitos Freqncia Percentual 4 6,60 0 0,00 4 5,70 Total Freqncia Percentual 61 100,00 9 100,00 70 100,00 Um dos quesitos para avaliar a adequao dos estudos normativos a quantidade de sujeitos que estes apresentam. Para vericar esse item, realizamos um levantamento dessa condio ou exigncia para um bom estudo. Ao observar a Tabela 12, encontramos os seguintes dados: Dos 70 testes, 11,4% apresentaram estudos com menos de 300 sujeitos. Entre 300 e 999 sujeitos, 42,9% dos instrumentos apresentaram o nmero de sujeitos dentro dessa faixa amostral. Entre 1000 sujeitos at 5000, 40% dos testes apresentaram essa referncia. Com mais de 5000 sujeitos, encontramos 5,7% referncias, todas relativas a testes no-projetivos. A diferena entre o nmero de sujeitos entre os testes projetivos e no-projetivos esperada, uma vez que muito trabalhoso realizar pesquisa com instrumentos projetivos, j que necessitam quase sempre de aplicaes individuais e, muitas vezes, bastante demora- das, precisando de um bom preparo por parte do prossional para aplicar tais instrumentos. Em resumo, dos manuais que apresentaram informaes sobre o tamanho da amostra no estudos de padronizao, 83,6% de testes no-projetivos e 77,7% de projetivos utiliza- ram, em suas pesquisas, de 300 a 5000 sujeitos. V - Resultados 48 Estudos de Validade, Preciso e Padronizao por Perodos Nas Tabelas 13, 14 e 15, esto dispostos os dados de 66 testes que informaram, em seus manuais, as datas referentes ao estudo de validade, 62 que apresentaram as datas referentes ao estudo de preciso e 68 que apresentaram as datas referentes ao estudo de padronizao. Essas tabelas indicam que, at 1984, existiam poucos estudos de validade, preciso e padronizao (16,7%, 17,7% e 19,1%, respectivamente). De 1985 a 1995, o nmero de estudos de validade, preciso e padronizao indicados nos manuais foram ainda menores (10,6%, 12,9% e 10,3%, respectivamente). De 1996 a 2004, perodo de oito anos, observa-se maior preocupao em inserir as informaes dos estudos de validade, preciso e padronizao nos manuais (72,7%, 69,3% e 70,6%, respectivamente). A situao era bastante diferente, ao se observar o perodo de 1972 (data que consta como sendo a da primeira publicao de Teste Psicolgico na amostra analisada) a 1995 (22 anos), quando havia pouca informao nos manuais sobre os estudos de validade, preciso e padronizao (27,3%, 30,6% e 29,4%, respectivamente). Esses dados, bem como os de estudo de validade, fazem-nos pensar que a comunida- de cientca vem incorporando, cada vez mais, a necessidade de realizar pesquisas com os Testes Psicolgicos, havendo maior exigncia de instrumentos adequados para uso. Por outro lado, o avano da tecnologia, a familiaridade com computadores e programas de aplicao de estudos estatsticos podem, tambm, ter facilitado a incorporao dessa maior exigncia, resultando na realizao de estudos de Psicometria que incrementam a qualidade dos instrumentos de Avaliao Psicolgica. V - Resultados 49 Tabela 13: Perodos de execuo dos estudos de validade por tipo de teste Perodo Natureza do teste Total No-projetivo Projetivo At 1984 Freqncia Percentual 9 15,80 2 22,20 11 16,70 1985-1988 Freqncia Percentual 2 3,50 0 0,00 2 3,00 1989-1995 Freqncia Percentual 4 7,00 1 11,10 5 7,60 1996-2000 Freqncia Percentual 19 33,30 4 44,40 23 34,80 Total Freqncia Percentual 57 100,00 9 100,00 66 100,00 Tabela 14: Perodos de execuo dos estudos de preciso por tipo de teste Perodo Natureza do teste Total No-projetivo Projetivo At 1984 Freqncia Percentual 9 16,70 2 25,00 11 17,70 1985-1988 Freqncia Percentual 2 3,70 1 12,50 3 4,80 1989-1995 Freqncia Percentual 4 7,40 1 12,50 5 8,10 1996-2000 Freqncia Percentual 19 35,20 0 0,00 19 30,60 Aps 2000 Freqncia Percentual 20 37,00 4 50,00 24 38,70 Total Freqncia Percentual 54 100,00 8 100,00 62 100,00
V - Resultados 50 Tabela 15: Perodos de execuo dos estudos de padronizao pela natureza do teste Perodo Natureza do teste Total No-projetivo Projetivo At 1984 Freqncia Percentual 12 20,70 1 10,00 13 19,10 1985-1988 Freqncia Percentual 2 3,40 0 0,00 2 2,90 1989-1995 Freqncia Percentual 3 5,20 2 20,00 5 7,40 1996-2000 Freqncia Percentual 19 35,80 4 40,00 23 33,80 Aps 2000 Freqncia Percentual 22 37,90 3 30,00 25 36,80 Total Freqncia Percentual 58 100,00 10 100,00 68 100,00 Anlise de Consistncia Interna do Formulrio de Avaliao dos Testes Um ponto importante que pode trazer informaes sobre a qualidade do processo e avaliao refere-se consistncia do instrumento usado para avaliar os testes. O formu- lrio de avaliao coleta vrias informaes sobre os testes, sendo algumas mais objeti- vas, como, por exemplo, se o manual relata estudos de validade, mas h , tambm, outras menos objetivas, como a valorao se a fundamentao terica excelente, suciente ou insuciente. Pode-se questionar se todas essas informaes formam um conjunto coeren- te que, quando agregadas, passam a indicar nveis crescentes de qualidade que, quanto maiores, maior a chance de o instrumento em anlise ser considerado favorvel. Para isso, vericamos a consistncia interna dos principais indicadores selecionados do instrumento, descritos na Tabela 16. V - Resultados 51 Tabela 16: Indicadores do formulrio, selecionados para anlise de consistncia interna, e estatsticas descritivas para os 106 testes analisados Aspecto avaliado Itens do Formulrio Mdia Desvio Padro 1. Qualidade geral do manual Item A16 1(insuciente) a 4 (excelente a bom). * 3,03 0,80 2. Qualidade geral do ins- trumento Item B1 1(insuciente) a 4 (excelente a bom). * 3,57 0,57 3. Qualidade da fundamen- tao terica Item B3 1(insuciente) a 4 (excelente a bom). * 3,11 0,68 4. Qualidade dos estudos de validade Item B5.5 1(insuciente) a 4 (excelente a bom). 2,46 1,21 5. Qualidade dos estudos de preciso Item B6.3 1(insuciente) a 4 (excelente a bom). 2,30 1,03 6. Qualidade do sistema de correes Item B7.6 1(insuciente) a 4 (excelente a bom). 2,48 0,93 7. Caractersticas gerais das informaes do manual Item A15 Variando de 0 (nenhuma informao) a 1 (100% das informaes) em razo do nmero de itens de informao presentes no manual que so indagados nesse indicador. Nos testes estrangeiros, considerou-se uma proporo de 12 itens, e, nos testes brasileiros, 9 itens. 0,81 0,21 8. Quantidade de estudos de validade Item B5 Variando de 0 (nenhum estudo) a 1 (100% dos tipos indagados) em razo da diversidade de estudos de validade no Brasil. Esse indicador representa uma proporo de 9 possveis tipos de evidncia (correlao com outros testes, diferena entre grupos etc.). 0,20 0,19 9. Quantidade de estudos de preciso Item B6 Variando de 0 (nenhum estudo ) a 1 (100% dos tipos de evidncia de preciso) em razo da diversidade de estudos de preciso no Brasil. Esse indicador representa uma proporo de 5 possveis indica- dores, dos quais 4 indicam diferentes tipos de evidncia, confor- me o item B6.1 (equivalncia, consistncia etc.), e indicando se os coecientes so calculados para diferentes grupos de sujeitos, como descrito no item B6.2. 0,23 0,22 10. Quantidade de estudos relacionados ao sistema de interpretao. Item B7 Variando de 0 (nenhuma informao) a 1 (100% das informaes) em razo da qualidade das informaes sobre o sistema de interpretao. Refere-se ao nmero de respostas sim aos itens B7.1 - B7.5. Alm disso, criou-se um indicador associado ao nmero de sujeitos na amostra de padronizao, obedecendo ao seguinte critrio: 0,25 para N<299; 0,50 para N entre 300-999; 0,75 para N entre 1000-5000 e 1 para N>5000. Esse item, portanto, indica a proporo de 6 itens ligados quali- dade do sistema de interpretao dos escores. 0,33 0,17 *: Essas variveis possuem trs nveis de avaliao, cujos valores para as anlises variaram de 2 a 4. V - Resultados 52 Como se observa na Tabela 16, os itens referentes validade, preciso e padronizao so os indicadores mais baixos na amostra analisada, tanto nos aspectos quantitativos quanto nos qualitativos. Isso mostra que, em muitos manuais, esses estudos so inexisten- tes e pouco diversos. Esses so os aspectos mais crticos dos instrumentos, como tem sido apontado pela comunidade cientca. Em seguida, o indicador referente ao sistema de correo tambm apresenta baixa pontuao. Os itens com maior pontuao referem-se qualidade do manual e ao da impresso dos instrumentos. Nesses itens, a mdia situa-se ao redor do valor suciente. Tabela 17: Matriz de correlao entre os indicadores 1 2 3 4 5 6 7 8 9 10 1. Qualidade geral do manual 1,000 2. Qualidade geral do instrumento 0,593 1,000 3. Qualidade da fun- damentao terica 0,730 0,447 1,000 4. Qualidade dos estu- dos de validade 0,685 0,528 0,536 1,000 5. Qualidade dos estu- dos de preciso 0,571 0,471 0,428 0,814 1,000 6. Qualidade do siste- ma de correes 0,521 0,489 0,365 0,655 0,697 1,000 7. Caractersticas ge- rais das informaes do manual 0,751 0,574 0,619 0,695 0,656 0,535 1,000 8. Quantidade de estudos de validade 0,610 0,391 0,458 0,729 0,552 0,484 0,599 1,000 9. Quantidade de estudos de preciso 0,581 0,329 0,479 0,634 0,768 0,505 0,619 0,635 1,000 10. Quantidade de estudos de relacio- nados ao sistema de interpretao 0,507 0,487 0,447 0,447 0,446 0,581 0,519 0,346 0,428 1,000 V - Resultados 53 Tabela 18: Correlao item-total dos indicadores do instrumento Indicadores Correlao item-total Alfa de Cronbach se o item for deletado 1. Qualidade geral do manual 0,772 0,845 2. Qualidade geral do instrumento 0,608 0,861 3. Qualidade da fundamentao terica 0,610 0,860 4. Qualidade dos estudos de validade 0,841 0,846 5. Qualidade dos estudos de preciso 0,792 0,845 6. Qualidade do sistema de cor- rees 0,695 0,854 7. Caractersticas gerais das infor- maes do manual 0,796 0,869 8. Quantidade de estudos de validade 0,693 0,872 9. Quantidade de estudos de preciso 0,714 0,870 10. Quantidade de estudos rela- cionados ao sistema de interpre- tao 0,593 0,875 Como pode ser observado na Tabela 17, as correlaes entre os indicadores so, na sua maioria, de moderadas para altas. A mdia das correlaes entre os itens foi de 0,55. A me- nor foi de 0,323 e a maior, de 0,81. Isso se reete nos altos ndices de correlao itemtotal mostrados na Tabela 18. Como resultado dessa associao entre os itens, observamos um alto coeciente de consistncia interna do instrumento de 0,93 (Alfa de Cronbach). Confor- me a Tabela 18, todos os itens foram importantes para a consistncia da escala, j que a eliminao de qualquer um deles acarretaria a diminuio do Alfa. V - Resultados 54 Nota Global de Qualidade dos Testes Psicolgicos Avaliados Foi calculada uma nota para cada instrumento (ESC_G), considerando os dez itens avalia- dos descritos na Tabela 16. Essas notas variam de 0 a 10 e indicam o nvel global de qualida- de, levando em conta os 10 itens descritos, isto , para cada teste, somaram-se os pontos ob- tidos nos 10 indicadores, compondo-se uma nota global indicativa da qualidade. Na Tabela 19, esto dispostas as estatsticas descritivas gerais, calculadas para os 106 testes analisados. Como pode ser observado, as notas variaram de 2,69 a 8,88, com mdia 5,8. Tabela 19: Estatsticas descritivas da Nota Global de Qualidade dos testes N Mnimo Mximo Mdia Desvio Padro ESC_G 106 2,69 8,88 5,80 1,65 Foi calculada, tambm, a correlao entre essas notas e a avaliao nal do instrumento. Os testes desfavorveis receberam a pontuao zero, e os favorveis, 1, na varivel referente avaliao nal. A correlao entre a Nota Global de Qualidade e a avaliao nal foi de 0,88 (N=106, p < 0,001). Pode-se concluir, ento, que os indicadores do formulrio possuem alta coerncia e, quando agregados, compem uma escala que indica a qualidade dos instrumentos, asso- ciando-se avaliao nal da condio de favorvel. De fato, uma anlise ROC indica que, se utilizado o ponto de corte 5,78, pode-se identicar 100% dos testes favorveis, com uma proporo de falsos positivos de aproximadamente 6% V - Resultados