Desmistificando o problema: uma rpida introduo ao estudo dos indicadores

Maria das Graas Rua

1. Surgimento e evoluo Na dcada de 1920, nos EUA, comeou a surgir a idia de que a sociedade deveria ter dados que permitissem uma imagem precisa de si prpria e de suas mudanas. Em 1929 foi criado um comit presidencial com a tarefa de produzir um relatrio detalhado denominado Tendncias Sociais Recentes. Por trs da expresso tendncias sociais ou indicadores a nica idia existente era a de que estes deveriam expressar um esforo ativo e deliberado para selecionar um conjunto de medidas de mudana social. O relatrio do comit teve poucos impactos imediatos, mas levantou essas idias e, a partir de ento, alguns dados passaram a ser coletados e sistematizados segundo as preocupaes ali apresentadas. Bem mais tarde, aps a Segunda Guerra, consolidou-se o conceito de indicadores sociais, que deveriam representar uma alternativa ao foco exclusivo sobre o crescimento econmico e em 1953 j havia uma ampla coleo de dados estatsticos, sobre taxas de desemprego, crimes, nveis de consumo etc. A busca de indicadores sociais baseava-se numa concepo que poderia ser expressa nos seguintes termos: Ns sabemos que certas situaes so insatisfatrias. Se coletarmos um boa quantidade de dados talvez venhamos a saber como as coisas so e tenhamos uma idia do que fazer. Tratava-se de uma abordagem exploratria, empiricista, intuitiva, sem fundamento em teorias consistentes. Na dcada de 1960 vrios pases j tinham comeado a compilar regularmente os dados para compor indicadores sociais e firmou-se a concepo de que era preciso entender as conseqncias de segunda ordem, ou seja, os efeitos no antecipados sobre extensas reas da vida social, poltica e econmica, que necessitariam amplas intervenes.Porm demorou-se a perceber que as medidas por si s no traziam solues para os problemas. E que a definio do problema, a anlise, o planejamento, e o envolvimento com a gesto teriam que amadurecer junto com os indicadores. Em meados da dcada de 1960, uma pesquisa da NASA chegou concluso de que havia uma quase absoluta ausncia de conceitos e de metodologia para a construo de indicadores, os quais foram definidos pelo diretor do projeto, Raymond Bauer, como estatsticas e sries estatsticas e todas as outras formas de evidncia que nos capacitem a avaliar em que ponto estamos e para onde estamos indo com relao aos nossos objetivos e valores. Em seguida, na dcada de 1970 a pesquisa envolvendo indicadores sociais se disseminou para vrios pases e organismos internacionais. A OCDE e as Naes Unidas comearam a adota-los e desenvolveram-se novos conceitos e metodologias para sua elaborao. Nessa poca, pela primeira vez comeou-se a discutir se o maior objetivo das sociedades ocidentais desenvolvidas deveria ser o crescimento econmico. Os custos sociais do crescimento econmico e a pobreza como a outra face da moeda, tornaram-se

o foco do debate politico. Passou-se a questionar cada vez mais a idia de que mais significa o mesmo que melhor, e surgiu uma demanda pblica de qualidade, em oposio a quantidade. Foi quando se desenvolveu a discusso sobre qualidade de vida. Passaram a se diferenciar os indicadores sociais objetivos e os subjetivos. Os primeiros correspondem a estatsticas que representam fatos sociais, independentemente de avaliaes pessoais. So eles, por exemplo, renda per capita, taxas de desemprego, taxa de pobreza, extenso mdia da jornada semanal de trabalho, taxa de mortalidade perinatal, etc. Os indicadores subjetivos, por sua vez, enfatizam as percepes individuais e avaliaes das condies sociais. So eles: satisfao com a vida, com o trabalho, percepo de justia distributiva, aspiraes quanto ao futuro, etc Este perodo caracterizou-se pela constituio de grandes e complexos sistemas de informao social, baseados em inmeras pesquisas sobre qualidade de vida e desenvolvimento social. Entretanto, ao final da dcada de 1970 devido crise econmica decorrente do choque do petrleo reduziu-se o interesse pelos indicadores sociais, de tal forma que, ao final da dcada de 1980 a sua utilizao declinou e o seu desenvolvimento estagnou-se, permanecendo a nfase apenas nos indicadores econmicos. Somente na dcada de 1990 ressurgiu o interesse pelos indicadores, no somente econ^micos, mas tambm sociais e gerenciais. Ocorreu sua revalorizao tanto na esfera das polticas pblicas e seus resultados substantivos, como na esfera da gesto governamental. Passaram a ser discutidos e adotados tanto no nvel subnacional (estados e municpios), como nacional e supranacional, especialmente com o estabelecimento de novas instituies de monitoramento e avaliao e de bases de informao dotadas de sofisticada infra-estrutura tecnolgica. Ao final da dcada de 1990, especialmente com o avano e disseminao dos sistemas informatizados de gerenciamento de dados, e a formao de redes virtuais de participao e controle social, fortaleceu-se a idia da utilizao dos indicadores sociais e gerenciais com a finalidade de apoiar o monitoramento e a avaliao das aes governamentais como um todo. 2. O debate conceitual Existem diversos conceitos de indicadores, expressando perspectivas sutilmente diferenciadas. Existem tambm diferentes adjetivos utilizados para caracterizar os indicadores: econmicos, sociais, gerenciais, de desempenho, de processo, de produto, de qualidade, de impacto, etc dependendo muito do tipo de interveno e do aspecto a ser avaliado, da metodologia de avaliao e do foco desta, entre outras coisas. Porm, h um consenso em que todo tipo de monitoramento e avaliao baseia-se no exame de indicadores. Indicadores no so simplesmente dados, mas uma balana que nos permite pesar os dados ou uma rgua, que nos permite aferir os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos dos eventos. Os indicadores so medidas, ou seja, so uma atribuio de nmeros a objetos, acontecimentos ou situaes, de acordo com certas regras. Enquanto medidas, os indicadores referem-se s informaes que, em termos conceituais, so mensurveis,

independentemente de sua coleta obedecer a tcnicas ou abordagens qualitativas ou quantitativas. Indicadores sempre so variveis, j que podem assumir diferentes valores. Porm, nem todas as variveis so indicadores. Enquanto medidas, os indicadores devem ser definidos em termos operacionais, ou seja, mediante as categorias pelas quais eles se manifestam e podem ser medidos. Muitas podem ser as tipologias dos indicadores. Para facilitar a compreenso do assunto aqui vamos distinguir entre: a)Indicadores simples ou brutos: so aqueles expressos em valores absolutos, que s permitem comparao se forem referidos a um parmetro externo. Exemplo: nmero de matrculas no ensino fundamental em Braslia. b) Indicadores relativos: So tambm chamados de ndices relativos ou ndices simples. So aqueles que expressam uma razo ou proporo, permitindo comparaes entre situaes no tempo e no espao. Dizendo de outra forma, consistem em relaes observveis entre variveis ou entre uma varivel e uma constante. Por exemplo, o nmero de analfabetos por grupos de 100 indivduos uma relao entre uma varivel e uma constante. A informao proporcionada por este tipo de ndice mostra-se mais til quando possvel estabelecer comparaes. J os ndices que expressam relaes entre variveis contm, em si mesmos, informaes relevantes, ainda que a comparao possa enriquecer a anlise. Por exemplo, a proporo de alunos aprovados sobre alunos matriculados expressa a relao entre duas variveis e traz informao sobre o desempenho de uma classe, uma escola, um professor, uma metodologia, etc De modo geral, esses indicadores servem, entre outras coisas, para avaliar uma situao especfica em relao s suas congneres e para estimar o avano ou retrocesso em relao a uma meta. c)Indicadores complexos: so tambm chamados de ndices Agregados, pois combinam um conjunto de dimenses e suas respectivas variveis, ou seja, so sintticos e multidimensionais. Podem envolver ou no - a ponderao dessas dimenses. Alguns dos trabalhos mais significativos no campo da avaliao de mudanas na situao social mundial foram realizados em agncias da Organizao das Naes Unidas (ONU) trazendo importantes avanos na construo de ndices. Desses trabalhos duas vertentes de avaliao multidimensional emergiram. A primeira trabalha ampliando o conjunto de indicadores utilizados com o objetivo de aumentar a preciso das avaliaes1. o caso, por exemplo, do ndice de Progresso Social (IPS). Este baseado em uma concepo determinada de necessidades sociais e materiais bsicas das diversas populaes mundiais e levanta 44 indicadores considerados relevantes para o bem-estar social para compor 11 subndices, os quais, ponderados, compem o IPS: Educao (4 pontos), Sade (3 pontos), Condio da Mulher (5 pontos), Esforo de Defesa (1 ponto), Demografia (5 pontos), Geografia (3 pontos), Estabilidade
1

Vantagens:permite avaliar variaes incrementais, de pequena escala. serve para embasar decises cuja possibilidade de erro deve ser nula Desvantagens: problema metodolgico da ponderao; oneroso; exige demasiadas informaes

Poltica (5 pontos), Participao Poltica (6 pontos), Diversidade Cultural (3 pontos) e Esforos de Bem-estar Social (5 pontos). A outra vertente busca a simplicidade na composio dos ndices, como o caso do ndice de Qualidade de Vida Fsica (IQVF), composto por Mortalidade Infantil, Esperana de Vida ao Nascer e Analfabetismo entre Adultos. Esse tipo de ndice pode ser criticado porque ignora diversas esferas importantes do bemestar humano, mas h razes para se buscar essa simplicidade: ndices de baixa complexidade minimizam alguns problemas conceituais e metodolgicos decorrentes de sua composio, podem ser calculados para um grande nmero de regies, so facilmente compreensveis e, portanto, podem servir de complemento ou mesmo alternativa s analises baseadas em indicadores de produto, como o PIB. O ndice de Desenvolvimento Humano (IDH) pertence a esta ltima vertente. Criado por uma das agncias especializadas da ONU, o Programa das Naes Unidas para o Desenvolvimento (PNUD), o IDH possui componentes referentes sade, educao e poder aquisitivo que so combinados para a comparao do nvel de desenvolvimento dos indivduos nas diversas naes. A maior parte dos ndices multidimensionais enfrenta diversas dificuldades. Uma delas estabelecer a ponderao dada a cada uma das dimenses. Sintetizar a informao de vrios aspectos da vida humana em um nico ndice (isto , criar um indicador sinttico) exige a definio de uma regra que atribua peso especfico a cada uma dessas dimenses. Um ndice sinttico como o IDH, por exemplo, deve combinar indicadores de escolarizao, PIB e esperana de vida para gerar um resultado (nmero) nico. Ao fazer isso o IDH precisa, em ltima instncia, determinar a quantos dlares equivale um ano de vida para, assim, ponderar variaes na renda em relao variaes na esperana de vida ao nascer. Embora ndices sintticos como o IDH sejam amplamente aceitos, muito pouco provvel que a comunidade de analistas que o utiliza alcance um consenso razovel se o sistema de ponderao desses ndices for colocado em debate. Isso, porm, no motivo para descartar a sua utilidade, especialmente quando utilizados em perspectiva comparativa, diacrnica ou sincrnica. 3. Caractersticas dos diferentes tipos de indicadores2 Atualmente, no Brasil, as diferentes instncias de governo realizam esforos para modernizar a gesto pblica, reduzindo custos e melhorando a qualidade dos servios prestados. Os princpios bsicos que se procura colocar em prtica so a busca de resultados e o foco no cidado. Um elemento essencial na gesto com foco em resultados o uso de indicadores em todo o ciclo de gesto: planejamento, tomada de decises, implementao e controle. Neste texto so examinados os principais conceitos e caractersticas dos diferentes tipos de indicadores.

Adaptado de Eduardo Ramos Ferreira da Silva.

Indicadores Os indicadores so utilizados para Internalizar na organizao pblica as necessidades e expectativas dos clientes; Possibilitar o estabelecimento e desdobramento das metas de uma interveno; Embasar a anlise crtica dos resultados da interveno e do processo de tomada de deciso; Contribuir para a melhoria contnua dos processos organizacionais;

Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de mtricas-padro e pela apurao dos desvios ocorridos com os indicadores; e

Viabilizar a anlise comparativa do desempenho da organizao em intervenes diversificadas.

Indicadores de Desempenho Consistem na representao objetiva de caractersticas de uma ao, organizao, processo, etc, que devem ser examinadas a fim de avaliar e melhorar o seu desempenho. Medem a eficincia e a eficcia dos processos. So os seguintes: a) indicadores da qualidade e eficcia b) indicadores de produtividade e eficincia c) indicadores de capacidade Indicadores de Qualidade O que hoje conhecemos como Indicadores da Qualidade tem dois significados. Compreendem os Indicadores da Satisfao dos Clientes, que medem como o produto ou servio percebido pelo cliente e a capacidade do processo em atender aos requisitos dos clientes. Podem ser aplicados para a organizao como um todo, para um processo ou para uma rea. Devem ser baseados em pesquisa de opinio. Compreendem tambm medidas de Eficcia, no diretamente ligadas ao ndice de satisfao; Para obt-las devemos comparar a Qualidade do que foi produzido com o total produzido.

Estes indicadores podem ser definidos de duas formas, como Indicadores da NoQualidade ou Indicadores da Qualidade. Para que possam ser calculados, suas frmulas propem que comparemos o que foi produzido (denominador) com o que foi feito corretamente (numerador). Total de produtos perfeitos Total de produtos

X 100

O resultado da aplicao deste indicador para um processo que produziu 2000 produtos dos quais 10 foram considerados defeituosos, igual a : 10 2000 Exemplos: n. de cartas corretas Total de cartas digitadas
X 100 = % de cartas corretas

X 100 = 0,5% de produtos defeituosos

n. de problemas solucionados X 100 = % de soluo Total de problemas identificados n. de pessoas aprovadas total de pessoas treinadas
X 100 = % de aproveitamento

A comparao do resultado obtido na medio de um Indicador da Qualidade com um padro de aceitao (ou seja, ndice desejado) chamado de Eficcia. ndice da qualidade obtido ndice da qualidade desejado

X 100 = %

Como o ndice desejado na medio um Indicador da Qualidade de 100%, principalmente quando pensamos em termos de Qualidade Total, o nmero resultante da medida de um Indicador da Qualidade o mesmo do da medio da Eficcia.

Indicadores de Produtividade Os Indicadores de Produtividade so ligados eficincia, tratam da utilizao dos recursos para a gerao de produtos e servios. Os Indicadores de Produtividade so

muito importantes, uma vez que permitem uma avaliao precisa do esforo empregado para gerar os produtos e servios. Alm disso, devem andar lado a lado com os Indicadores de Qualidade/Eficcia, formando, assim, o equilbrio necessrio ao desempenho global da organizao. Por exemplo: com uma classe de apenas cinco alunos um professor teria condies de conseguir oferecer servios de altssima Qualidade seus alunos receberiam muito mais ateno. A produtividade , entretanto, estaria comprometida: a proporo de um professor para cinco alunos obrigaria a escola a contratar mais profissionais e aumentar seus custos. Por outro lado, um professor para cem alunos teria poucas condies para fazer um bom trabalho. Embora a produtividade aumentasse muito, a Qualidade do ensino provavelmente cairia. Observe, portanto, que deve ser dada igual importncia aos Indicadores da Qualidade e da Produtividade, de modo que, ao melhorar um deles, o outro tambm melhore. Deve se ter em mente que a crena de que a melhoria da qualidade se reflete negativamente na produtividade infundada. A verdadeira melhoria da Qualidade vai melhorar tambm a Produtividade. Para quantificarmos a Produtividade (interna organizao), devemos comparar o que foi gerado, com os recursos empregados para isso acontecer. O resultado indicar o quanto est sendo consumido ou utilizado para cada unidade do que foi produzida, entregue ou prestada. Frmula dos Indicadores da Produtividade TOTAL PRODUZIDO RECURSOS UTILIZADOS

ou

RECURSOS UTILIZADOS TOTAL PRODUZIDO

Como vemos, ao contrrio dos resultados dos Indicadores da Qualidade que aparecem na forma de percentual, os Indicadores da Produtividade so uma relao entre 2 unidades de medida diferentes, uma que quantifica os recursos consumidos ou utilizados e outra que quantifica as sadas produzidas. O ndice resultante de um Indicador da Produtividade no deve sair em forma de frao, mas pelo resultado desta diviso acompanhada da unidade de medida, por exemplo 50.000 reais gastos 1.000 treinamentos realizados

logo o ndice de produtividade foi de 50 reais/treinamento. Obs.: Para os indicadores envolvendo dinheiro, alguns preferem coloc-lo na relao matemtica como numerador ao invs de denominador, como mostrado acima. Exemplos de Indicadores de Produtividade Receita total (R$) Total de servidores Custo total (R$) Total de clientes atendidos Total de clientes atendidos Custo total (R$) Total de produtos produzidos Energia eltrica consumida Receita total (R$) Custo total (R$) = R$ de receita por servidor = R$ de gasto/cliente atendido = nmero de clientes/R$ de custo = produtos produzidos/KWH = R$ de receita/R$ gasto

de extrema importncia que os indicadores sejam montados aps a identificao das sadas e dos recursos do processo que vai ser medido. Sadas de um processo so muitas vezes recursos de outros. Por exemplo, pessoas treinadas de uma organizao so sadas do processo de treinamento, mas devem ser consideradas como recursos disponveis para os demais processos. Assim como os indicadores da Qualidade, os resultados dos Indicadores da Produtividade (ndices da produtividade) devem ser comparados com parmetros ou padres preestabelecidos considerados como os valores aceitveis para o que est sendo medido. Chamamos de Eficincia a relao entre o resultado obtido na medio de um Indicador de Produtividade e o ndice estabelecido como padro . A Eficincia pode ser calculada de duas formas, dependendo de como os Indicadores da Produtividade foram calculados, e so as mostradas a seguir. Para ndices calculados como recursos utilizados por sadas, temos:

ndice previsto ndice obtido

Recursos previstos/sadas Recursos utilizados/sadas

X 100 = % Eficincia

Logo podemos considerar que para uma mesma quantidade de sadas boas produzidas, Eficincia : Recursos previstos Recursos utilizados Assim sendo, este percentual poder ser maior ou menor que 100%. Este valor poder ser maior que 100% quando alguma melhoria no processo for introduzida e o mesmo passar a consumir menos recursos que o previsto. Por exemplo, um processo consumia 5 litros de gua por pea fabricada, com a substituio dos equipamentos usados no processo , passou a gastar 4 litros, a eficincia na utilizao do recurso gua passou a ser de 5/4 x 100 = 125%. Quando isto ocorrer os padres usados precisam ser revisados e novos padres estabelecidos de acordo com as mudanas ocorridas no processo. A outra forma de clculo da Eficincia, quando consideramos os ndices calculados como sadas por recurso utilizado, o seguinte ndice obtido ndice previsto X 100

sadas/recursos utilizados Sadas/recursos previstos

X 100 = % Eficincia

sadas sadas

Recursos previstos Recursos utilizados

X 100 = ==

Recursos previstos Recursos utilizados

X 100 = ==

O que o mesmo que na forma de clculo mostrada anteriormente. CLCULO DE EFICINCIA Eficincia a relao entre: o ndice de produtividade obtido e o ndice considerado como padro. Dependendo de como os ndices foram definidos, ser igual a: Recursos previstos/sadas Recursos utilizados/sadas Ou Sadas/recursos utilizados

X 100

X 100

Sadas/recursos previstos O que o mesmo que: Recursos previstos Recursos utilizados

X 100

Diferenas entre os Indicadores de Produtividade e Qualidade. Indicadores Produtividade Qualidade Dizem respeito a Medem Foco Seus ndices Racionalidade na utilizao Consecuo dos objetivos, dos recursos Satisfao dos clientes Eficincia No esforo, custo Eficcia Nos resultados, efeitos

Tem no denominador o Expressam o grau de aceitao de fator a ser avaliado. uma caracterstica

Indicadores da Capacidade Os Indicadores da Capacidade medem a capacidade de resposta de um processo ou uma organizao, por meio da relao entre as sadas produzidas por unidade de tempo. So muito teis para compor linhas de base de avaliaes. Exemplos de Indicadores da Capacidade n. de peas produzidas / hora n. de atendimento / ms n. de correspondncias enviadas / dia n. de clientes visitados / ano

Principais Atributos dos Indicadores

10

Para que os indicadores se tornem viveis e prticos, devem possuir alguns atributos especiais. Adaptabilidade capacidade de resposta s mudanas de comportamento e exigncias dos clientes. Os indicadores podem tornar-se desnecessrios ao longo do tempo e devem ser imediatamente eliminados ou substitudos por outros de maior utilidade.

Representatividade captao das etapas mais importantes e crticas dos processos, no local certo, para que seja suficientemente representativo e abrangente. Devem ser fidedignos: os dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa ateno, pois indicadores muito representativos tendem a ser mais difceis de ser obtidos. Deve-se, portanto, haver um certo equilbrio entre a representatividade e a disponibilidade para coleta.

Simplicidade facilidade de ser compreendido e aplicado tanto pelos executores quanto e principalmente pelos que recebero seus resultados. Os nomes e expresses devem ser conhecidos e entendidos por todos os envolvidos de forma homognea, garantindo transparncia e validade.

Rastreabilidade facilidade para identificao da origem dos dados, seu registro e manuteno. Sempre que possvel, deve-se transformar os resultados em grficos para um acompanhamento mais preciso, o que permite a comparao com desempenhos anteriores.

Estabilidade garantia de que gerado em rotinas de processo e permanece ao longo do tempo, permitindo a formao de srie histrica.

Disponibilidade facilidade de acesso para coleta, estando disponvel a tempo, para as pessoas certas e sem distores, servindo de base para que decises sejam tomadas. Economia no deve ser gasto tempo e recursos demais procurando dados, muito menos pesquisando ou aguardando novos mtodos de coleta. Os benefcios trazidos com os indicadores devem ser maiores que os custos incorridos na medio.

Praticidade garantia de que o indicador realmente funciona na prtica e permite a tomada de decises gerenciais. Para isso, deve ser testado no campo e, se necessrio, modificado ou excludo.

Indicadores de Projeto So indicadores para acompanhar e avaliar a execuo de projetos

11

Exemplo: Projeto de Dessanilizao Trata-se de um projeto que visa dessanilizar e tratar fontes de gua no-potvel com potencial para uso adequado. Perodo: Maro/2003 Dez. 2005 Resultados esperados

gua potvel em quantidade e qualidade satisfatrias disponvel Uso sustentado pela populao residente no municpio X da gua potvel nas atividades

Clientes usurios

Populao residente no municpio X e no seu entorno

Indicadores de Resultados(outcomes)

% de potabilidade e uso atingido relativamente ao previsto n. de habitantes e % da populao beneficiada

Atividades/Mdulos

identificar fontes de gua potenciais dessanilizao para acesso e uso sustentado viabilizar infra-estrutura adequada de implantao, tratamento e uso vivel de gua

Indicadores de Produtos(outputs)

nmero de fontes de gua do municpio com potencial para dessanilizao identificadas instalaes fsicas construdas % das fontes identificadas dessanilizadas

Metas

at maio de 2003, 100% das fontes de gua do municpio com potencial para dessanilizao identificadas at dezembro de 2005, 100% das instalaes necessrias construdas: 30% no primeiro ano do projeto (2003) 30% no segundo ano do projeto (2004) 40% no terceiro ano do projeto (2005)

Os Indicadores de Projeto podem limitar-se aos produtos (outputs) e resultados (outcomes) obtidos com o projeto. Ou, dependendo do caso, podem abranger tambm os seus impactos, compreendidos como as consequncias, de mdio e longo prazo, dos resultados obtidos. Essas consequncias podem ser previstas ou imprevistas, desejveis ou no. Usualmente os impactos so mensurados por meio de indicadores complexos ou ndices agregados, conforme mtodos especficos.

12

Bibliografia
CAMPOS, Vicente Falconi. Gerenciamento da Rotina do Trabalho do Dia-a-Dia. Belo Horizonte: Fundao Christiano Ottoni, 1992.

13