MELHORIA DA GESTO PBLICA POR MEIO DA DEFINIO DE UM GUIA REFERENCIAL PARA MEDIO DO DESEMPENHO DA GESTO, E CONTROLE PARA O GERENCIAMENTO

PARA O GERENCIAMENTO DOS INDICADORES DE EFICINCIA, EFICCIA E DE RESULTADOS DO PROGRAMA NACIONAL DE GESTO PBLICA E DESBUROCRATIZAO

PRODUTO 4: GUIA REFERENCIAL PARA MEDIO DE DESEMPENHO E MANUAL PARA CONSTRUO DE INDICADORES

Braslia,Dezembrode2009

SUMRIO

APRESENTAO.........................................................................................................3

1.

CONCEITOS:DAGOVERNANAPARARESULTADOSMENSURAODO

DESEMPENHO............................................................................................................5 1.1. 1.2. 1.3. 2. GOVERNANAEGOVERNANAPARARESULTADOS.......................................................5 GESTOEMENSURAODODESEMPENHO................................................................9 MODELOSEINDICADORES.....................................................................................11 UM(META)MODELOPARAMENSURAODODESEMPENHO:ACADEIADE

VALOREASSEISDIMENSESDODESEMPENHO(6ES).............................................14 2.1. 2.2. 2.3. 2.4. 2.5. 3. ELEMENTOSDACADEIADEVALOREDIMENSESDODESEMPENHO................................17 SUBDIMENSESDOS6ESDODESEMPENHO..............................................................20 APLICAODOMODELODOS6ESDODESEMPENHO..................................................23 DESEMPENHOTIMOEESTRUTURADEPONDERAO................................................33 FORMULAODEINDICADORES..............................................................................39 CONSTRUINDOINDICADORESDEDESEMPENHO..........................................40

3.1. PASSO1IDENTIFICAODONVEL,DIMENSO,SUBDIMENSOEOBJETOSDE MENSURAO.................................................................................................................43 3.2. PASSO2ESTABELECIMENTODEINDICADORES..........................................................46 3.3. PASSO3VALIDAOPRELIMINARDOSINDICADORESCOMASPARTESINTERESSADAS......49 3.4. PASSO4CONSTRUODEFRMULAS,ESTABELECIMENTODEMETASENOTAS..............49 3.4.1.Construodefrmulas.................................................................................49 3.4.2.Estabelecimentodemetas.............................................................................52 3.4.3.Definiodenotas .........................................................................................56 . 3.5. PASSO5DEFINIODERESPONSVEIS ..................................................................58 . 3.6. PASSO6GERAODESISTEMADECOLETADEDADOS..............................................60 3.7. PASSO7PONDERAOEVALIDAOFINALDOSINDICADORESCOMASPARTES INTERESSADAS..................................................................................................................60

3.8. 3.9. 3.10. 3.11. 4.

PASSO8MENSURAODODESEMPENHO..............................................................69 PASSO9ANLISEEINTERPRETAODOSINDICADORES.............................................71 PASSO10COMUNICAODODESEMPENHO...........................................................71 PAINISDECONTROLE..........................................................................................72

LISTADEVERIFICAODACONSISTNCIADOMODELODEMEDIODE

DESEMPENHO..........................................................................................................81

5.

CONSIDERAESFINAIS...............................................................................84

BIBLIOGRAFIA..................................................................................................................85 ANEXO1.DIMENSESEINDICADORESDEDESEMPENHO........................................88

ANEXO2.DICIONRIODEINDICADORESDASREASDEGESTODESUPORTE ...... 02 . 1

ANEXO3.MODELOSDEPLANILHASPARAAMODELAGEMDEINDICADORES......... 07 1

Apresentao
O propsito de um guia orientar a realizao ou alcance de algo, oferecendo um caminho a ser seguido. No se trata de um manual cujaestritaeacrticaobedincialevaraomelhorresultadopossvel. Tratase da proposio de uma metodologia conceitualmente embasada que para render os melhores resultados possveis requer apropriao:devefazersentidoparaquemaaplicae,noobstante basearse em princpios firmes, ser flexvel o bastante para ser aplicadaemvastavariedadedecasos. com este esprito que a Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto lana a primeira edio deste Guia Referencial para Medio de Desempenho na Administrao Pblica. Tratase de um referencial metodolgico que permitir a governos (Federal, estaduais e municipais), reas ou domnios de polticaspblicas,conjuntosdeorganizaes,organizaespblicase suas unidades definirem e mensurarem seu desempenho assumindosequeesteumprimeiroedecisivopassoparaagesto do desempenho, possibilitando, em bases metodologicamente anlogas, sua pactuao, avaliao, divulgao em momentos posteriores. Dentrodoespectrodasiniciativasdepolticasdegestoatualmente deslanchadas pela SEGES, acreditase que esta contribuio metodolgica possa no apenas complementar o GESPPLICA proporcionando uma reflexo e direcionamento mais finalstico ao MEGP, mas alinhase com outras iniciativas tais como avaliao institucional,contratualizaoderesultados,avaliaodeestruturas etc. Nessesentido,esteGuiasealinhaecomplementaoutrasconcepes demensuraodedesempenhoqueseaplicamaoutrosobjetos,tais como programas ou governos em geral (includos os trs poderes), em desenvolvimento pela SPI e IPEA, respectivamente. Acima de tudo,acreditasequeapresentemetodologiapossacontribuirparaa construodeumacordosobreoconceitodedesempenhonosetor pblico dentro do Ministrio do Planejamento, de tal sorte sua atuaopossasercadavezmaisintegrada.

A construo da metodologia baseouse no estado da arte da literaturagerencialsobregestododesempenhoebuscouencontrar um difcil equilbrio entre complexidade e simplicidade. A complexidade est, primeiramente, no tema, suscitando controvrsias sobre o conceito de desempenho e sua mensurao, questes estas que tem merecido na literatura tcnica no apenas tratamento variado, mas sujeito a razovel confuso semntica e conceitual. Mas a complexidade tambm est nos objetos de aplicao, de distintos portes, naturezas de atividades, pblicos e contextos de atuao. A sada foi a concepo de um metamodelo, um modelo que oriente a construo de modelos especficos de definioemensuraododesempenhocasoacaso,respeitandose conceitos e princpios bsicos. Dessa forma, buscouse ao mesmo tempo reconhecer a complexidade e perseguir a simplicidade, renunciandose busca de solues exaustivas ou universalmente vlidas. Ademais, esta iniciativa constitui a primeira edio do Guia, que, alem das virtudes e limitaes inerentes a qualquer modelo, necessitadeaplicaesparaseucontnuoaperfeioamento. Buscouseconstruirumtextomaissucintopossvel,comexemplosde aplicaoeilustraesquepossamfacilitaracompreenso.Otexto estdivididoem5partes.Aprimeiraparteconceitualecontextual, buscando elaborar uma aproximao ao tema, situando a mensurao do desempenho na gesto para resultados e esta na governana contempornea. A segunda parte apresenta o metamodelo, o conceito de desempenho elaborado e os princpios, elementosgeraiseescopodametodologiademensurao.Aterceira parte est focada da mensurao propriamente dita, concentrando se na construo de indicadores. A quarta parte apresenta sucintamente um conjunto de questes que permitem uma rpida avaliao da aplicao da metodologia. A quinta e ltima parte elabora algumas consideraes finais a respeito da aplicao da metodologiaeosresultadosesperados.

1. Conceitos: da governana para resultados mensurao do desempenho

O propsito deste captulo introdutrio elaborar o pano de fundo conceitual subjacente mensurao do desempenho, abordando conceitos como governana, governana para resultados, gesto e mensurao do desempenho e indicadores, a fim de estabelecer os elementos fundamentais para a compreenso do guia e sua adequadaaplicao.

1.1. Governana e Governana para Resultados

A Governana e a Governana para Resultados so expresses em ascendenteusonaliteraturagerencialnosetorpblicoquepossuem fortes e centrais significados para o processo de mudana organizacionaleparaamensuraododesempenho. OtermoGovernanabuscaexpandiresuperaroatualparadigmade administrao pblica. Hoje o termo administrao pblica est associadoaumpapelpreponderantedoestadocomoexecutordireto nodesenvolvimento,nagestodepolticaspblicasenoprovimento de servios. O modelo de gesto alinhavase principalmente com modelos burocrticos ortodoxos, espelhados em modelos organizacionais mecanicistas, dotados de caractersticas de hierarquia,verticalizao,rigidez,insulamento. A Governana pblica, por sua vez, baseiase em mltiplos arranjos com a participao de diversos atores (estado, terceiro setor, mercadoetc.)nodesenvolvimento,nagestodepolticaspblicase no provimento de servios. Este modelo no diminui a importncia do estado, mas qualificao com o papel de orquestrador, direcionador estratgico, indutor e fomentador absolutamente essencial para a ativao e orientao das capacidades dos demais atores.Esteparadigmapromoveaadoodemodelosdegestops ouneoburocrticos,taiscomo:redes,modelosdegestoorgnicos (flexveis, orientados para resultados, foco no beneficirio), mecanismosamplosdeaccountability,controleepermeabilidade.

A orientao para resultados uma fixao deste novo paradigma, ou seja, o que est em foco so as novas formas de gerao de resultados em um contexto contemporneo complexo e diversificado. Nesse contexto, uma boa gesto aquela que alcana resultados, independentemente de meritrios esforos e intenes. E, alcanar resultados,nosetorpblico,atendersdemandas,aosinteressese s expectativas dos beneficirios, sejam cidados ou organizaes, criandovalorpblico. Noentanto,osresultadosnoacontecemporacaso,poisgovernos, organizaespblicas,polticas,programaseprojetosnosoauto orientados para resultados. Assim como, tambm no basta apenas definirbemosresultados,poisnosoautoexecutveis.Portanto,a implementaopassaaseravarivelcrtica. Diferentes pesos so atribudos a diversos fatores promotores de resultados, tais como conscincia estratgia (formulao compartilhada e comunicao da estratgia), liderana (capacidade de influenciar e mobilizar pessoas), estrutura (definio clara de competncias, reas e nveis de responsabilidade), processos (definio detalhada de procedimentos), projetos (desdobramento deresultadosemaesqueperpassamestruturaseprocessosquese submetemaregimesintensivosdemonitoramento),contratualizao (pactuaoderesultadosmediantemecanismosdemonitoramentoe avaliao, e incentivos), pessoas (dimensionamento de equipes, capacitao, comprometimento, alinhamento de valores), tecnologias de informao e comunicaes (inovao e integrao tecnolgicas, automao), recursos financeiros (disponibilidade, previsoeregularidadedefluxo). Assim,aprincipalquestoconcentraseemcomofazerosresultados seremobtidose,paraisso,fazsenecessrioharmonizartodosesses fatores sob o abrigo de um modelo robusto de gesto para resultados. Por sua vez, o conceito de Gesto para resultados no se restringe apenas em formular resultados que satisfaam s expectativas dos legtimos beneficirios da ao governamental de forma realista, desafiadora e sustentvel. Requer, tambm, alinhar os arranjos de implementao (que envolvem intrincados conjuntos de polticas, programas, projetos e organizaes) para alcanlos, alm de

envolveraconstruodemecanismosdemonitoramentoeavaliao quepromovamaprendizado,transparnciaeresponsabilizao. Arevisodeliteratura1realizadasobrediversosconceitosetipologias degestopararesultados,ressalta,apartirdaanlisedeabordagens metodolgicas2,casosreferenciais3eseuscontextosdeatuao,um conjuntodeatributosessenciaisqueumbommodelodegestopara resultados deve possuir, tais como: ser dinmico, abrangente e multidimensional. Ser dinmico significa no se limitar apenas em definir e mensurar resultados, mas sim, em definir resultados (a partir de um planejamento abrangente), alcanlos (mediante processos claros deimplementao),monitorloseavalilos(apartirdecontroles, acompanhamentos e ajustes decorrentes). Em sntese, tratase de uma viso de gerao e incorporao das informaes sobre desempenho nos processos decisrios tanto internos quantos externos da organizao, criando demandas para estas informaes (situaodeinstitucionalizao). Alm disso, ser abrangente basearse num conceito amplo de desempenho que englobe tanto os esforos quanto os resultados propostos, presumindo que no h resultados sem alinhamento de esforos, assim como, esforos desalinhados s promovem desempenhoporcontadoacaso.Portanto,gerirodesempenhono significa somente monitorar resultados, mas tambm promover o alinhamentodosesforosparaosresultadosesperados.
DocumentodenominadodeMapeamentoBibliogrficoedoEstadodaArte sobre Indicadores de Gesto, disponvel no stio eletrnico do GesPblica. Endereo de acesso: https://www.gespublica.gov.br/folder_publicacoes/pasta.200904 23.1308768764/produto_1_indicadores_versao_final_110809.pdf. 2 Dentre as quais destacamse: Balanced Scorecard (BSC) (Kaplan & Norton, 2004); Bain & Company (Gottfredson & Schaubert, 2008); Prisma de Performance(nfaseemstakeholders)(Neely&Adams,2002);HoshinKanri (Akao, 1991); Rummler & Brache (variveis de desempenho em objetivos, projeto e gesto)(Rummler & Brache, 1995); Quantum (medidas de tempo, qualidadeecusto)(Hronec,1993);CadeiadeValordePorter(Porter,1985); Total Quality Management TQM (Creech, 1995); PMBOK (reas do conhecimento e ciclo de vida do projeto) (PMI, 2004); e Suply Chain Management,(Lambert&Knemeyer,2005). 3 Experincias em gesto do desempenho: Reino Unido, Austrlia, Nova Zelndia, EUA, Canad, Frana, Chile, Colmbia, Argentina, Minas Gerais e Curitiba.
1

Porltimo,masnomenosimportante,ummodeloidealdegesto para resultados deve ser multidimensional, isto , considerar as mltiplas dimenses de esforo (processos, recursos, estruturas, sistemas informacionais e pessoas) para alinhlos aos resultados. Paraisso,deveseevitardefiniesreducionistaseunidimensionais, em que aspectos significativos do esforo e do resultado sejam deixados de fora, ou aspectos pouco significativos permaneam dentrodomodelodegestopararesultados. Em suma, a concepo e a implementao de modelos de gesto pararesultadosdinmicos,abrangentesemultidimensionaissoum desafio. Os fatores e elementos detalhados representam variveis basilares de modelos de desempenho. Segundo a linha de evoluo demonstrada por Boukaert&Halligan (2008), os modelos ilustrados noquadro1aseguir,quevodesdeummodeloprperformance, caracterizado pela ausncia de agenda estratgica, estruturas autocentradasesemfocodeatuao,eausnciademecanismosde monitoramentoeavaliaoderesultados,evoluindoparaummodelo de Governana para o Desempenho, o mais completo, caracterizado pela integrao das agendas, alinhamento das estruturas implementadoras a partir de redes de governana e integrao sistmica interna e externa, e mecanismos claros de monitoramento e avaliao, que fortalecem o uso social e a conscinciaestratgica. Quadro1.LinhadeevoluodosmodelosdeGestodoDesempenho

Fonte:AdaptadodeBouckaert&Halligan,2008

1.2.

Gesto e Mensurao do Desempenho

Desempenhoumtermosujeitoainmerasvariaessemnticase conceituais,emboraexistamalgunsconsensosmajoritriosemtorno de uma definio. Segundo uma abordagem abrangente, o desempenho pode ser compreendido como esforos empreendidos nadireoderesultadosaseremalcanados.Aequaosimplificada : desempenho = esforos + resultados; ou desempenho = esforos resultados. Assim, a definio sinttica e ao mesmo tempo ampla para o desempenho estabelecida pela atuao de um objeto (uma organizao, projeto, processo, tarefa etc.) para se alcanar um resultado. Logo, desempenho um conceito peculiar, um construto especfico,paracadaobjeto. Entretanto,aconstruodedefiniespeculiaresdedesempenho,a partirdasquaismodelosdemensuraododesempenhopossamser concebidos caso a caso, devem respeitar algumas regras e consideraes metodolgicas, tais como: i) evitar definies reducionistas e unidimensionais; ii) incluir os aspectos e dimenses significantesnomodelo;e;iii)deixarosaspectosedimensespouco significativasforadomodelo. Para isso, tornase necessria a concepo de um metamodelo de definio e mensurao do desempenho que seja robusto o suficiente para ser capaz de unir as mais diversas abordagens, bem comoorientaraconstruodemodelosespecficosparaadefinioe mensuraododesempenho.Pormeiodeummetamodelopodese indicarmdulosapartirdosquaisosmodelosespecficospossamser configurados. Umavezdefinidodesempenho,oconceitodegestododesempenho precisa ser qualificado. A gesto do desempenho constitui um conjunto sistemtico de aes que buscam definir o conjunto de resultados a serem alcanados e os esforos e capacidades necessriosparaseualcance,incluindoseadefiniodemecanismos de alinhamento de estruturas implementadoras e de sistemtica de monitoramentoeavaliao. A mensurao parte essencial de um modelo de gesto do desempenho. Mas, no apenas a ao que apura, em sentido

estrito,pormeiodeindicadores,valoresoumedidasdosesforose resultados. Um sistema de mensurao deve ir alm da gerao de indicadores (que, em princpio, nunca trivial) e permitir: a) a gerao de indicadores em distintas dimenses de esforos e resultados, com diferentes pesos entre estes (uma vez que representam medidas de distintas importncias); e b) a gerao de umanotaparacadaindicador(oquerequerernoapenasapuraro valordoindicadornoatodamedio,mascompararovalorapurado comumvalormeta,sejacorrespondenteaumametapropriamente dita, seja correspondente a um benchmark), que expresse uma medida relativa (medida atual em relao a uma medida ideal). Tratase, assim de uma mensurao agregada e ponderada que permitir a gerao de uma medida sntese do desempenho, uma nota global, que, de certa forma, carrega consigo um componente avaliativo(dorealapuradoemrelaoaumideal). Valedestacarqueconceitoscomocapacidadetangenciamoconceito de desempenho. Os termos capacidade, capacidade institucional e outrosderivados,tambmsesujeitamamuitasvariaessemnticas e conceituais podendo oscilar do domnio de recursos, competncias, habilidades e atitudes at a prontido para efetiva atuao (realizao de esforos orientados para resultados) em funodeoutrosatributostaiscomopoder,legitimidadeeurgncia. Em todo caso, este Guia no inclui o conceito de capacidade como partedoconceitodedesempenho;trataocomopressupostodobom desempenho, embora algumas das dimenses do desempenho, tal comoaexcelncia,possamtratardeatributoscomunsrelacionados capacidade,comoserdemonstradomaisadiante. Em sntese, o escopo deste Guia a medio/mensurao do desempenho, parte essencial da gesto do desempenho. Buscando clarificar bem este propsito e as expectativas em torno dele, o quadro 2 apresenta alguns dos principais mitos, posturas e imposturasacercadamensuraododesempenho.

10

Quadro2.Principaismitos,posturaseimposturasdamensuraododesempenho
1. O mito da medio absoluta: preciso medir tudo. Quem pretende medir tudo acaba no medindo nada! Por detrs deste mito, est o fetiche do panopticon, que gera a impostura, movida por uma necessidadeobsessiva,demonitorarecontrolartudoetodosaomesmotempoenamesmahora.Gerir odesempenhoumaformadecontrole,masquedeveserextremamenteseletivo.Aposturacorreta altaseletividade.Medirapenasoqueimportante,oquesignificativo,oquevaleapena.Medircusta tempo e dinheiro! E algumas medidas so perecveis s fazem sentido se puderem gerar decises tempestivas. 2. Para medir o que importa, preciso gerar todas as informaes, coletar dados de forma exaustiva e precisa.Quemsepreocupaemgerartodasasinformaesprovavelmentemorrerafogadonummarde informaes,cheiodeinformaesinviveiseinteis.Porumlado,ageraodeindicadores(medidas) relevantesrequererdadoseinformaesespecficoscujaobtenoetratamentodemandaromais ou menos tempo e representaro custos. A postura correta , sempre que possvel, trabalhar com aproximaes, buscando construir indicadores a partir de dados j existentes e tratados dentro de padresaceitveisdequalidadeapostandoseque,namaioriadoscasos,adisponibilidadededadose informaesnooproblemafundamental. 3.Primeirovamosmedir,depoisvamosveroquefazemoscomasmedidas.Inicialmente,medidasno podem ser vistas como modismos ou obrigao. Medese para controlar/melhorar o desempenho. Medidas tmque ser teis,fazer sentidopara orientara gesto no dia a dia. A medio tem que ser orientada para a melhoria do desempenho e a melhoria do desempenho tem que ser orientada pela medio. 4. Preciso, sobretudo, do sistema informtico perfeito para isto. Voc precisa, acima de tudo, de um bommodelodemensurao,quepermitaumaboadefinioespecficadoqueoseudesempenhoe,a partir da, como mensurlo. Primeiro a sistemtica, depois o sistema. Sistemas informacionais so instrumentos que devem estar a servio de uma lgica no o contrario, sua lgica de definio e mensurao no pode estar a servio de um sistema. H muitas solues de sistemas (de prateleira, baratos, amigveis e acessveis) para sistemticas de mensurao. Lembrese do mandamento: no adorarsferramentasinformticas4!

1.3.

Modelos e Indicadores

Ummodeloumrecursoanalticocomopropsitoderepresentara realidade a partir da definio de um conjunto de variveis (ou aspectos da realidade que se pretende representar, aspectos estes que podem ser vistos/definidos/medidos de forma quantitativa ou
4

Toledo,David.Decalogodelossistemasdeinformacin.Clad,2004.

11

qualitativa, por meio de indicadores). Assumese que a realidade um todo complexo e os modelos, ao inclurem apenas algumas variveispararepresentla(buscandodescrever,explicarouprever algo), sero sempre recursos limitados, revelando e escondendo, deixando de fora muitas variveis potencialmente importantes e contendolimitaesparaestabelecerospadresdecomportamento entreasvariveis.Emsuma,todomodelolimitado,masalimitao deve ser sempre minorada por meio da escolha das variveis mais relevantes:incluiroquemaisimportaeexcluiroquenoimporta. A construo de modelos, a partir da escolha das variveis e seus padres(hipteses)derelacionamento(causao),podeseguirvrias lgicas: relaes causais verificadas empiricamente ou lgica dedutiva. O desafio deste Guia proporcionar a construo de modelos especficos de mensurao do desempenho. Logo, inicialmente isto implica a definio de variveis (aspectos ou dimenses) do desempenho que devem ser consideradas (includas no modelo). Tratase, portando, de um modelo lgicodedutivo, que inclui variveis sugeridas pela literatura e estabelece uma ordem de causalidadeentreelas:desempenho=aspectosrelativosaosesforos +aspectosrelativosaosresultados;ouseja,umconjuntodeesforos que(presumivelmente)causamumconjuntoderesultados. Modelos so, portanto, um conjunto de indicadores relacionados. Indicadores so mtricas que proporcionam informaes sobre o desempenho de um objeto (seja governo, poltica, programa, organizao, projeto etc.), com vistas ao controle, comunicao e melhoria. Osindicadoressoinstrumentosdegestoessenciaisnasatividades de monitoramento e avaliao das organizaes, assim como seus projetos,programasepolticas,poispermitemacompanharoalcance das metas, identificar avanos, melhorias de qualidade, correo de problemas,necessidadesdemudanaetc. Assim sendo, podese dizer que os indicadores possuem, minimamente,duasfunesbsicas:aprimeiradescreverpormeio dageraodeinformaesoestadorealdosacontecimentoseoseu comportamento;asegundadecartervalorativoqueconsisteem analisarasinformaespresentescombasenasanterioresdeforma arealizarproposiesvalorativas.

12

De forma geral, os indicadores no so simplesmente nmeros, ou seja, so atribuies de valor a objetivos, acontecimentos ou situaes,deacordocomregras,quepossamseraplicadoscritrios deavaliao,como,porexemplo,eficcia,efetividadeeeficincia. Dessaformaosindicadoresservempara: mensurarosresultadosegerirodesempenho; embasar a anlise crtica dos resultados obtidos e do processodetomadadeciso; contribuir para a melhoria contnua dos processos organizacionais; facilitaroplanejamentoeocontroledodesempenho;e viabilizar a anlise comparativa do desempenho da organizao e do desempenho de diversas organizaes atuantesemreasouambientessemelhantes.

Emsuma,conformeapresentadoaolongodocaptulo,oconceitode desempenho especfico para cada organizao, e justamente por serpeculiarrequerdasorganizaesautilizaodeummetamodelo dinmico, abrangente e multidimensional que permita a construo casoacasodeseuprprioconceitodedesempenho. Nessesentido,oprximocaptulotemcomoobjetoaproposiode ummetamodelocapazdeunirosmaisdiversosaspectos,dimenses, eabordagens,orientandoaelaboraodemodelosespecficosparaa definioemensuraododesempenhodasorganizaes.

13

2. Um (Meta) Modelo para Mensurao do Desempenho: a Cadeia de Valor e as seis dimenses do Desempenho (6Es)
Conforme apresentado no captulo anterior, existem mltiplos aspectos nas dimenses de esforo e do resultado que devem ser consideradosemummodeloparaamediodedesempenho. Nesse sentido, foi utilizado como metamodelo uma concepo de cadeia de valor5 que identifica seis dimenses do desempenho, permitindoqueseidentifiqueemcadadimensodistintosobjetosde mensurao, oriente a modelagem de indicadores (sem prejuzo de se identificarem, em alguns casos, indicadores j consagrados) e permita a construo de painis de acompanhamento da gesto. O metamodelo preconiza assim regras bsicas para construo de modelosespecficosdemensuraodedesempenho. O metamodelo, portanto, permite s instituies (re) pensarem os seusconceitosdedesempenhocombasenametodologiadacadeia de valor, com alguns aprimoramentos. A cadeia de valor possui algumas limitaes que foram atenuadas: i) a linearidade, pois a cadeia de valor no considera outros fatores que influenciam os efeitos, porexemplo, fatores que produzem impactos e fatores que concorrem com produtos que a organizao gera, esta restrio foi minimizada ao introduzir no modelo a abordagem de redes de organizaes e na definio de indicadores com base na teoria do programa; ii) a unidimensionalidade, pois o bloco das "aes/atividades" representa apenas processos e estrutura (o lado mais visvel das organizaes), esta restrio foi minimizada ao contemplarasdimensesquepossuempapisimprescindveisparaa promooderesultados,taiscomoaculturaorganizacional,relaes
5

A cadeia de valor definida como o levantamento de toda a ao ou processo necessrio para gerar ou entregar produtos ou servios a um beneficirio. uma representao das atividades de uma organizao e permitemelhorvisualizaodovaloroudobenefcioagregadonoprocesso, sendo utilizada amplamente na definio dos resultados e impactos de organizaes.(Bennett,1976;Wholey,1979).

14

de poder, questes ticas entre outras dimenses que podem vir a serconsideradas. O modelo da Cadeia de Valor e os 6Es do Desempenho permite a construo das definies especificas de desempenho para cada organizaodemodoaexplicitarasdimensesdosresultados(mais a montante da cadeia de valor) e dos esforos (mais a jusante da cadeia de valor), alm de sugerir o necessrio alinhamento entre ambasasperspectivas.Emsntese,omodelomensuraoquesedeve realizarparaseproduzirumresultadosignificativonofuturo. OmodelodaCadeiadeValoredos6EsdoDesempenhoconstituise das dimenses de esforo e de resultado desdobradas em outras dimenses do desempenho. As dimenses de esforo so economicidade,execuoeexcelncia;easdimensesderesultado soeficincia,eficciaeefetividade. Valeressaltarqueometamodelopodeseraplicvelemvriosnveis da administrao pblica, tais como, nvel macro (Governo), nvel meso(polticapblicaousetordegoverno),nvelmesomicro(redes deorganizaes),nvelmicro(organizaes)envelnano(unidadede organizao). A figura 1 a seguir ilustra o metamodelo denominado Cadeia de valoreos6EsdoDesempenho.

15

Figura1.Cadeiadevaloreos6EsdoDesempenho

Dimenses do Resultado

Eficincia

Eficcia

Efetividade

Insumos (inputs)

Outros tica Poder Cultura Aes/Atividades

P r o j e t o s

Produtos (outputs)

Impactos (outcomes)

Organizaes

Economicidade

Excelncia

Execuo

Dimenses de Esforo

Fonte:Martins&Marini.GuiadeGovernanaparaResultados.

16

2.1.

Elementos da Cadeia de Valor e dimenses do desempenho

O presente modelo prope uma tipologia de seis categorias de indicadores, conforme apresentado anteriormente, que esto relacionadossdimensesdeesforoeresultado. As seis categorias de indicadores esto relacionados a algum dos elementos da cadeia de valor, que representa a atuao da ao pblica desde a obteno dos recursos at a gerao dos impactos provenientesdosprodutos/servios.Oselementosdacadeiadevalor so: Insumos(inputs); Processos/Projetos(aes); Produtos/servios(outputs) Impactos(outcomes).

Mensurar o desempenho da organizao (ou outros objetos) com base nesses elementos da cadeia de valor permite que as organizaes analisem suas principais variveis associadas ao cumprimento dos seus objetivos: quantos e quais insumos so requeridos, quais aes (processos, projetos etc.) so executadas, quantos e quais produtos/servios so entregues e quais so os impactosfinaisalcanados. A figura 2 a seguir mostra a relao entre os elementos que compem a cadeia de valor e sua contribuio para os resultados finais, tambm relaciona a pergunta que os indicadores associados procuramresponder:

17

Figura2.ElementosdaCadeiadeValoresuascontribuies
Quaismudanasos produtos/serviostrazemparaos beneficirioseasociedade?

Impactos(outcomes)

Produtos(outputs)

Quaisosprodutos/serviosgerados? Quantidadedeprodutos/servios? Qualidadedoproduto/servio?

tica Poder Cultura Aes/Atividades

P r o j e t o s

Quaissoasaes,processose projetosexecutados? Tempomdiodeciclodoprocesso? Qualocustodoprocesso?

Organizaes

Insumos(inputs)

Quaissoosrecursosnecessrios paragerarosprodutos/servios estabelecidos? Quantidadederecursosnecessria?

A figura 3 a seguir mostra as duas categorias de dimenses que compem os 6Es do Desempenho, assim como os tipos de indicadoresqueascompem:

18

Figura3.Dimensesqueconstitue m emos6EsdoDesempe enho

Uma combinao dos ele ementos da cadeia de valor com as dimensesdodes sempenhopermiteide entificarseis scategorias sbsicas deindicadoresde edesempen nho: Efetividade so os impactos gerados pelos produtos s/servios,p processoso ouprojetos. .Aefetivida adeest vinculada aaograudesatisfao oouainda aovalorag gregado. Por exem mplo, se a mesma campanha de vacina a ao do exemplo acima realmente imu unizou e dim minuiu a in ncidncia de deter rminada do oena entre as criana a campa e as, anha foi efetiva. Indicadores de efetivid s dade podem ser enco ontrados nadimen nsoestrat gicadoPlanoPlurianu ual(PPA); Eficcia a quantid dade e qualidade de p produtos e servios entregue ao usurio (beneficirio diret dos pro es to odutos e servios da organizao). Por exemplo, s a meta de uma se campanh de vacinao imu ha unizar 100.0 criana e este 000 as nmero foi alcanado ou supe erado, a ca ampanha fo eficaz. oi Indicador de efic podem ser encontrados na Carta de res cia m C serviosd dorgo; Eficincia a rela entre o produto a o os os/servios gerados (outputs) com os in ) nsumos em mpregados, usualment sob a te forma de custos ou produt tividade. Por exempl uma lo: campanh de vacin ha nao ser mais eficie ente quanto menor o forocust to,ouseja,quantome enorforoc custodacam mpanha, mantend dose os objetivos propostos. Indicado ores de eficincia podem se encontrados na Car de servios com a er rta

19

seus elementos de custos e em informaes de sistemas estruturantesdoGoverno,comooSIAFI; Execuo referese realizao dos processos, projetos e planos de ao conforme estabelecidos. Indicadores de execuo podem ser encontrados no monitoramento das aesdoPPA; Excelncia a conformidade a critrios e padres de qualidade/excelncia para a realizao dos processos, atividades e projetos na busca da melhor execuo e economicidade;sendoumelementotransversal.Indicadores epadresdeexcelnciapodemserencontradosnoModelo deExcelnciaemGestoPblica(MEGP);e Economicidadeestalinhadaaoconceitodeobtenoeuso de recursos com o menor nus possvel, dentro dos requisitos e da quantidade exigidas pelo input, gerindo adequadamenteosrecursosfinanceirosefsicos.Indicadores de economicidade podem ser encontrados nas unidades de suprimentos.

2.2.

Subdimenses dos 6Es do Desempenho

Os 6Es do desempenho podem ser desdobrados em subdimenses que qualificam e auxiliam na caracterizao de tipologias de indicadores a serem utilizados. O quadro 3 apresenta as principais subdimensesidentificadasesuasrespectivasdescries. Quadro3.Dimensesesubdimensesdos6EsdoDesempenho Dimenso Subdimenses 1.1.ImpactoFinal:oresultadogeradopelosprodutoseservios deumdeterminadosistema(organizao,programa,poltica pblica,redeetc.)nobeneficiriofinal,ouseja,nasociedade. Exemplos:ndicedeDesenvolvimentoHumano(IDH);PIBpercapita; CoeficientedeGini. 1.2.ImpactoIntermedirio:oresultadointermediriogerado pelosprodutoseserviosdeumdeterminadosistema(organizao, programa,polticapblica,setorredeetc.emseubeneficirio direto.Exemplos:Coeficientedemortalidadeinfantil;Expectativa mdiadevidadapopulaoHabitantes/domiclio;Taxade Homicdios.

E1Efetividade

20

Dimenso

E2Eficcia

E3Eficincia

Subdimenses 2.1Quantidade/Volume:onveldeofertaedisponibilidadede umbensouserviosgeradoporumdeterminadosistema (organizao,programa,polticapblica,redeetc.).Exemplo: Nmerodejovenseadultosalfabetizados;Quantidadede habitaesconstrudas;ExtensodaMalharodoviriapavimentada. 2.2Qualidadedoproduto/servio:representaaadequaoentre ascaractersticasdosprodutoseserviosentregues,eosrequisitos enecessidadesdosbeneficirios.Exemplos:Qualidadepercebida (Percepo/Expectativa),durabilidade,esttica,Confiabilidade, Tempestividade,Inovaoetc. 2.3AcessibilidadeeEquidade:acapacidadededisponibilizarbens eserviosequitativamenteeforneclosdeformaequnime, atendendoigualmenteasnecessidadesdosbeneficiriosea sociedade. 2.4Cobertura:corresponderelaoentreapopulaoatendida sobreaquedeveriaseratendidacombensouserviospblicos geradosporumdeterminadosistema(organizao,programa, polticapblica,redeetc.). 2.5Risco:avaliaaprobabilidadequeumdeterminadosistema asseguraraentregadebenseserviosparadeterminados beneficirioseapopulao. 3.1Custoefetividade:relaoentreosinsumosparaaprestaode umdeterminadoservioouelaboraodeumprodutoea efetividade,ouseja,entendesepelograudecontribuiodeum programaouaonaconsecuodemetaseobjetivosdeimpacto fixadosparareduzirasdimensesdeumproblemaoumelhorar umadadasituao. 3.2Produtividade:relaoentreonveldeproduo(serviose produtos)eosrecursosutilizados,sejaocapitalhumano, imobilizado,investimentoseotempo. 3.3Tempo:tempodecorridoentreoinicioeofimdeum determinadoprograma,projetoouprocesso.Exemplos:Tempode ciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovos benseservios,Desperdcioetc. 3.4Custounitrio:conjuntodecustos(fixos,variveis,reais, atribudos,especficosenoespecficos)aserimputadosauma atividadeporcadaunidadedeprodutoouserviogerado.

21

Dimenso

E4Execuo

E5Excelncia

Subdimenses 3.5Custobenefcio(qualidadedogasto):relaoentreos dispndiosrealizadosporumdeterminadosistemaeosretornos obtidosporcontadessesdispndios,apresentaarelaoentreos insumoseosprodutosgerados. 4.1Execuofinanceira:relaoentreovolumederecursos disponibilizadospelooramentoeonveldeutilizaodesses recursosvisandoatenderrealizaodeetapase/ouatividadesde umprograma,projetoouprocesso(finalsticosoudesuporte). Exemplo:taxadeexecuofinanceira. 4.2Execuofsica:relaoentreovolumedeprodutosprevistos paraserementreguespelooramentoeonveldeentregadesses produtos,visandoatenderrealizaodosprojetose/ouatividades. Exemplo:taxadeexecuofsica. 5.1Conformidadeemrelaoapadresdeexcelnciagerencial.O MEGPumexcelenteproxyparaamediodaexcelnciade organizaespblicas.umindicadorcompostoqualitativoe quantitativoqueabrangecritrioscomo:Liderana,Estratgiae Planos,Cidados,Sociedade,InformaoeConhecimento,Pessoas, Processos. 5.2Conformidade:representaaadequaodosprojetos,aese processosaospadreserequisitosdefinidos.Exemplos:retrabalhos, erros,responsabilidadeambiental,infraestrutura(confortoetc.), medidaseespecificaes,segurana(acidentesporhoras trabalhadas),transparncia,confidencialidade,acessibilidade, confiabilidade,inovao,prazoetc. 5.3Riscos:avaliaaprobabilidadedeocorrnciadefalhasoua entregadeprodutosforadasespecificaesestabelecidasnos processosounosprogramas,demodoqueissopossaprovocara insatisfaodaspartesenvolvidas. 5.4Causalidade:aavaliaodefatoresprecedentesqueimpactam ouinfluenciamocomportamentoouresultadosubseqente,sendo, destemodo,indicadoresqueavaliamaadequaopadres, normaseespecificaes.Exemplo:ndicedereajustesdevidoa falhasnoprocesso.Nestecaso,asfalhasnoprocessogeram impactosnegativosnaexecuodeprocessoseentregadeservios.

22

Subdimenses 5.5Comunicao:aavaliaodafluxosdeinformaoeseus canais,averiguandoaexistnciaounodefalhasnoprocessode comunicao.Exemplo:percentualdepessoascomacesso informaescrticasdaorganizao. 6.1Quantidadederecursos:onveldeofertaedisponibilidadede umprodutoouserviogeradoporumdeterminadofornecedorou sistema(organizao,programa,polticapblica,setorredeetc.). 6.2Qualidadedosrecursos:representaaadequaoentreas caractersticasdosprodutoseserviosadquiridos,eosrequisitose necessidadesdaorganizao(ouGoverno).Exemplos:durabilidade tcnica,esttica,Qualidadepercebida(Percepo/Expectativa), Confiabilidade,Tempestividade,Inovaoetc. 6.3Acessibilidade:acapacidadedecaptarbenseservios E6Economicidade equitativamenteeforneclosdeformaequnime,atendendo igualmenteasnecessidadesdosbeneficirioseasociedade. 6.4Cobertura:aavaliaodonveldeabrangnciadeum determinadoinsumocrticoparaaexecuodeprogramas, projetos,processos,sendodestaformauminsumoquerequeralta disponibilidade.Exemplo:quantidadedefornecedoresdeum determinadoinsumo. 6.5Risco:Avaliaapossibilidadedeocorrnciadefalhasno fornecimentoderecursosparaproverprogramas,projetose processos.Exemplo:graudepropensodenorecebimentode insumoscrticos.

Dimenso

2.3.

Aplicao do Modelo dos 6Es do Desempenho

Cada dimenso e subdimenso do desempenho foi desdobrada em nveis com o intuito de direcionar a construo de indicadores de desempenhodedistintosobjetos,sejamgovernos,polticas,conjunto deorganizaes,organizaesouunidadesorganizacionais.Oquadro 4, a seguir, apresenta a relao entre os 6Es do Desempenho e os nveismacro(Governo),meso(polticapblicaousetordegoverno), mesomicro (redes de organizaes), micro (organizaes) e nano

23

(unidade de organizao), no qual em cada clula (interseco da linha e coluna) so detalhadas as subdimenses e ilustrados por alguns indicadores representativos segundo as caractersticas do nvel de Governo estabelecido. Os nveis so concebidos pela necessidade de tratar das especificidades concernentes a cada contexto de aplicao, criando aproximaes a fim de evitar um tratamentoigualpararealidadesdistintas. Os anexos 1 e 2 deste Guia contemplam alguns exemplos de indicadoreslevantadosemoficinascomrgoscentraisdoGoverno Federa e em pesquisas documentais representados segundo as mltiplasdimensesdodesempenho.

24

Quadro4.MatrizsntesedomodelodeMediododesempenhosegundoas6dimensesenveisdeaplicao Dimenso Macro Governo Nveis Meso Micro Setorialdepolticapblica Organizaesemrede

Subdimenso: 1.2ImpactoIntermedirio ResultadosdePolticaPblica, impactosintermediriosde desenvolvimentoetc. ExemplosdeIndicadores: TaxadeAnalfabetismode15 anosoumais Coeficientedemortalidade infantil Expectativamdiadevidada populao Habitantes/domiclio TaxadeHomicdiosPercentual dapopulaoinfectadapelo vrusHIV ndicededistoroIdade/ Srie Taxadeconclusodoensino mdionaRededeEnsino Subdimenso: 1.2Impacto Intermedirio Resultadosemtemasde PolticasPblicas, impactosintermedirios depolticaspblicasetc. Exemplosde Indicadores: ndicede desenvolvimentoSocial Regional ndicedeVulnerabilidade Social ndicedeconvergncia competitiva

Micro Organizao
Subdimenso: 1.2ImpactoIntermedirio Resultadosintermedirios dedesenvolvimento, polticaspblicasoutemas depolticaspblicas, Satisfaodosstakeholders, MelhoriadaGestoetc. ExemplosdeIndicadores: todosdosnveisanteriores.

Nano Unidade
1.2Subdimenso: Impactoinicial, Resultadosda organizao. Exemplosde Indicadores: todosdosnveis anteriores.

Subdimenso: 1.1ImpactoFinal Nvelgeraldebem estar, desenvolvimento (social,econmicoe scioambiental), igualdadesocialetc. Exemplosde Indicadores: ndicede Desenvolvimento Humano(IDH) E1Efetividade PIBpercapita CoeficientedeGini

25

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenses: Servios,bensevalores entreguesporvriosdomnios depolticaspblicas 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovaoetc. 2.3AcessibilidadeeEquidade 2.4Cobertura ExemplosdeIndicadores: Nmerodejovenseadultos alfabetizados Quantidadedehabitaes construdas ExtensodaMalharodoviria pavimentada Redehidroviriaadequada Domicliosatendidosporgua tratada Nmerodedepsitode patentesderesidentes Percentualdedomicliosda zonaruralatendidosem energiaeltrica

Micro Organizao
Subdimenses: Servios,bensevalores entreguespelaorganizao. Acartadeserviosdispe dosserviosprestadospela organizao. 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: ndicedeSatisfaodos usurioscomosserviosda organizao Nmerodepontosde culturainstalados Quantidadedenovas escolasconstrudas

Nano Unidade
Subdimenses: Servios,bensevalores entreguespelaunidade finalstica.Acartade serviosdispeosservios prestadospelaunidade finalstica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: Quantidadedeaesde fiscalizaorealizadas

Subdimenses: Consolidaoda quantidade,coberturae qualidadedosServios entreguespeloGoverno 2.1Quantidade/ Volume 2.2Qualidadedo servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. E2Eficcia Exemplosde Indicadores: ndicedeQualidadede VidaUrbana Percepodapopulao quantoconfiananas instituiespblicas Qualidadeglobaldos serviosprestados Quantidadedeservios pblicosofertadosao cidado

Subdimenses: Servios,bensevalores entreguesrelacionadosa umtemadepoltica pblica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura ExemplosdeIndicadores: Nmerodeescolade Educaobsicacom conexodeBandaLarga Quantidadede Telecentrosinstalados Percentualdoterritrio comcoberturavegetal nativa CoberturadoSadeda Famlia Coberturadeservios bsicosdesade

26

 Dimenso Macro Governo Meso Setorialdepolticapblica

Subdimenses: 3.1Custoefetividade Relaocustoefetividadede vriosdomniosdepoltica pblica 3.2Produtividadedevrios domniosdepolticaspblicas 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue ExemplosdeIndicadores: Custoefetividade (outcomes/custo) Volumedogastopblico (despesaoramentria)em relaoaoPIB RelaogastospblicoseIDH

Nveis Mesomicro Organizaesemrede

Subdimenses: 3.1Custoefetividade Relaocustoefetividade devriostemasdepoltica pblica 3.2Produtividadede vriostemasdepolticas pblicas 3.4Utilizaoderecursos Custounitriodo servio/bem/valor entregue ExemplosdeIndicadores: Custoefetividade (outcomes/custo) Volumedogastopblico (despesaoramentria) emrelaoaoPIB Relaogastospblicose IDH Customdiodeconexo debandalargaporescola Customdiopor telecentroinstalado

Micro Organizao
Subdimenses: 3.2Produtividadeda organizao 3.3Tempo Tempodeciclo,Freqncia deentrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (qualidadedogasto) ExemplosdeIndicadores: Custosunitriosdeservios estratgicos Tempomdiode atendimentoao cidado Tempomdioparaabrirum negcio EficinciaOramentria

Nano Unidade
Subdimenses: 3.2Produtividadedaunidade finalstica CargadeTrabalho,Consumo, Desperdcioetc. 3.3Tempo Tempodeciclo,Freqnciade entrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (Eficinciadosgastos) ExemplosdeIndicadores: Custoporaodefiscalizao Tempomdiodeatendimento sdemandas(emdias) Custocom combustvel/peas/servios porperodo Custoporunidadedoservio prestado(custounitriopor cirurgia,porhoraaula,por kmpavimentado)

Subdimenses: 3.1Custo efetividade Relaocusto efetividadeda atuao governamental 3.4Utilizaode recursos Exemplosde Indicadores: Custoefetividade (outcomes/custo) Volumedogasto E3Eficincia pblico(despesa oramentria)em relaoaoPIB RelaoPIB/capitae IDH Relaogastos pblicoseIDH

27

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira ExemplosdeIndicadores: Graudeimplementaodos ProgramasdaAgendade Governo PercentualdeProgramas comataxadeexecuofsica adequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxadeexecuo fsica/financeira) Percentualdeprojetos completadosdentrodoprazo eoramento Taxadeexecuodos processosdecontratao Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira 4.2Processosfinalsticos ExecuofsicaeExecuo financeira ExemplosdeIndicadores: Graudeimplementao dosProgramasdaAgenda deGoverno PercentualdeProgramas comataxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Taxadeexecuodos processosdecontratao

Micro Organizao
Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira 4.2Processosfinalsticos ExecuofsicaeExecuo financeira 4.3ProcessosdeSuporte ExecuofsicaeExecuo financeira 4.4EficciadosProcessosde Suporte Quantidadeequalidadedos servios,bensevalores entreguesaosprocessos finalsticos 4.4.1Quantidade/Volume 4.4.2Qualidadedo produto/servio Durabilidadetcnica,esttica, Qualidadepercebida (Percepo/Expectativa), Confiabilidade,Tempestividade, Inovaoetc. 4.4.3AcessibilidadeeEquidade 4.4.4Cobertura 4.4.5Risco

Nano Unidade
Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira 4.2Processos finalsticos Execuofsicae Execuofinanceira 4.3Processosde Suporte Execuofsicae Execuofinanceira Exemplosde Indicadores: %deexecuofsica doProjetodecriao donovoPortalda organizao %deprojetoscom licenaambiental (unidaderesponsvel porobterlicenas ambientaisparaos projetosda organizao)

Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira agregadas Exemplosde Indicadores: Graudeimplementao dosProgramasda AgendadeGoverno PercentualdeProgramas comataxadeexecuo E4Execuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsico financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Taxadeexecuodos processosde contratao

28

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Micro Organizao
ExemplosdeIndicadores: Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedas informaesoramentrias, financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadeda informao Graudeacessopblicoas informaesdecompras (editais,solicitaesde propostas,outorgasde contrato) Percentualdecontratocom nveldeserviocontratualizado Graudeadequaoaomarco legaleregulatriodecompras pblicas(conformidades detectadas) Percentualdeavaliaes prviasderiscos

Nano Unidade

29

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

ExemplosdeIndicadores: Percentualdeorganizaes pblicasdaadministrao diretaeindiretacandidatas noPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaes pblicasdaadministrao diretaeindiretacomsistema degestodaqualidade implantado Subdimenses: 5.1CritriosdoMEGP OMEGPumexcelente proxyparaamedioda excelnciade organizaespblicas. umindicadorcomposto qualitativoequantitativo Exemplosde Indicadores: Percentualde organizaespblicasda administraodiretae indiretacandidatasno PrmioNacionalda GestoPblicaPQGF Porcentagem organizaespblicasda administraodiretae indiretacomsistemade gestodaqualidade implantado

Micro Organizao
Subdimenses: OMEGPumexcelenteproxy paraamediodaexcelncia deorganizaespblicas.um indicadorcompostoqualitativo equantitativo 5.1CritriosdoMEGP Liderana,EstratgiaePlanos, Cidados,Sociedade, InformaoeConhecimento, Pessoas,Processos 5.2Conformidade Retrabalho,Erros, ResponsabilidadeAmbiental, Infraestrutura(confortoetc.), Medidaseespecificaes, Segurana(acidentesporhoras trabalhadas),Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao,Prazo etc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao ExemplosdeIndicadores:

Nano Unidade
Subdimenses: OMEGPumexcelente proxyparaamedioda excelnciadeunidades organizacionais.um indicadorcomposto qualitativoequantitativo 5.1CritriosdoMEGP Liderana,Estratgiae Planos,Cidados, Sociedade,Informaoe Conhecimento,Pessoas, Processos 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao ExemplosdeIndicadores:

Exemplosde Indicadores: Percentualde organizaes pblicasda administraodireta eindiretacandidatas noPrmioNacional daGestoPblica PQGF Porcentagem organizaes pblicasda administraodireta eindiretacom E5Excelncia sistemadegestoda qualidade implantado

30

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede Micro Organizao

Nano Unidade
Pontuaonoscritriosde excelnciaemgesto (MEGP) Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadaspor instituiesreconhecidas

Pontuaonoscritriosde excelnciaemgesto(MEGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrncias emauditorias Percentualdecontratoscom AcordosdeNveldeServios (ANS)pactuados

31

 Dimenso Macro Governo

Subdimenso: 6.1Quantidadede recursos Exemplosde Indicadores: Gastototalde comprasdoGoverno Gastosdecusteioe outrosgastos administrativos Custodaatividade finalsticade Governo/custototal E6Economicidade

Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenso: 6.1Quantidadederecursos 6.2Qualidadedosrecursos Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco ExemplosdeIndicadores: Gastospblicospercapitacom asade GastoscomProgramase ServiosSociais Gastoscommerendaescolar Subdimenso: 6.1Quantidadede recursos 6.2Qualidadedos recursos Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco Exemplosde Indicadores: Custodemedicamentos comvalidadevencida

Micro Organizao
Subdimenso: 6.1Quantidadederecursos 6.2Qualidadedosrecursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. ExemplosdeIndicadores: Economiacomatividade meio Custodasatividadesde suporte/Custototal ndicedequalidadedos produtoseservios adquiridos ndicedeeconomiadas aquisies

Nano Unidade
Subdimenso: 6.1Quantidadede recursos 6.2Qualidadedos recursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco Exemplosde Indicadores: Ndeadmisses conformeoperfil Requeridorealizadas duranteoperodo

32

2.4.

Desempenho timo e Estrutura de Ponderao

Segundoestemodelo,aotimizaododesempenhorequeratuao ao longo de toda a Cadeia de Valor. Existe o risco de modelos construdosfocarememalgunsEsdodesempenho(eficinciaouna economicidade, por exemplo) em detrimento dos demais Es. A nfase puramente no E da eficincia (desconsiderandose os Es daeficciaedaefetividade)tendeatornarprecriooatendimentoe a qualidade dos servios prestados ao cidado. Para tanto, importanteressaltaroquantonegativoprivilegiaraeconomicidade, aexecuo,aexcelnciaeaeficincia,enocontemplaraeficciae aafetividadeemmodelosdemensurao. Nessesentido,necessriopensarsenobalanceamentodos6Esdo Desempenho. O desempenho timo aquele que efetivo, eficaz, eficiente, excelente, econmico e cuja execuo de aes e atividades ocorre em conformidade com requisitos e prazos definidos. Embora haja precedncia da dimenso efetividade (e sucessivamente, eficcia e eficincia, excelncia, execuo e economicidade, da direita para a esquerda da cadeia de valor), problemas em qualquer uma das dimenses impe padres sub timosdedesempenho. Portanto,omodelodedesempenhotimorepresentadopor:

Considerandoque: Efetividade(E1):E1estpresente=1,E1noestpresente=0; Eficcia(E2):E2estpresente=1,E2noestpresente=0; Eficincia(E3):E3estpresente=1,E3noestpresente=0; Execuo(E4):E4estpresente=1,E4noestpresente=0; Execuo(E5):E5estpresente=1,E5noestpresente=0; Economicidade(E6):E6estpresente=1,E6noestpresente=0.

33

Ouseja, Desempenhotimo=E1+E2+E3+E4+E5+E6=6; Desempenho Subtimo = E1+E2+E3+E4+E5+E6 < 6, isto , h ausnciadeumoumaisE. Alm de necessidade de possuir todos os Es no modelo, h uma ponderao entre eles para a gerao de uma medida final do desempenho (uma nota global) e sua disposio em um Painel de Controle(Scorecard).HaprecednciadepesosentreosEs: Prioridades:[E1>E2>E3]>[E4E5E6]. A estrutura de ponderao proposta prioriza o resultado sobre o esforo.Paraisso,duasalternativassopropostas: Alternativa1Ponderaocomgraudeflexibilidade: Resultado=[E1+E2+E3]60%/70%;sendoque,PE1>PE2>PE3; Esforo=[E4+E5+E6]40%/30%,sendoque,PE4PE5PE6. Alternativas2Ponderaofixa: DimensodoDesempenho Efetividade(E1) Eficcia(E2) Eficincia(E3) Execuo(E4) Excelncia(E5) Economicidade(E6) Totaldospesos Peso 2,5 2 1,5 1,5 1,5 1 10 Proporo 60% resultado 40%Esforo 100%

Algicadestaponderaoinicialrelativamentesimpleseintuitiva: resultados valem mais que esforos. Entre situaes limite hipotticas, organizaes que se esforam menos, mas alcanam melhoresresultadosdevemsermelhorpontuadasqueorganizaes queseesforammais,masfalhamemobterresultadossatisfatrios. Logo, a regra de ouro poderia ser pontuar os resultados acima dos 50% da nota. O quo acima? A proporo 60/40 apenas um patamarpossvel. Assimcomoexisteponderaesparaasdimenses,tambmdeveser aplicada a lgica de pesos para os indicadores dentro de cada dimenso. Propese que a ponderao do indicador seja realizada combasenaMatrizdeAvaliaoQuantitativadeIndicadorespara

34

estabelecer pesos (entre 1 a 5) segundo critrios de seleo de indicadores, propiciando obter maior sensibilidade no processo de priorizao. A frmula de clculo para a formao do peso do indicador ser aprofundada no item 3.7. Passo 7 Ponderao e ValidaofinaldosindicadorescomaspartesenvolvidasdesteGuia. O quadro 5 ilustra a sntese do modelo de ponderaes. O modelo envolve algumas instncias de agregao de valores que requer formulasdeclculoespecficas,apresentadassegundoasreferncias aseguir: (A) Nota ponderada do indicadorx= Peso do indicadorx* Nota do indicadorx; (B) Nota da Dimenso = (Nota ponderada do indicador1 + Nota ponderadadoindicador2+...+Notaponderadadoindicadorn)/(Peso doindicador1+Pesodoindicador2+...+Pesodoindicadorn); (C) Nota ponderada da Dimenso: Peso da Dimensox * Nota da Dimensox;;e (D) Nota do Desempenho Agregado: das Notas ponderadas das Dimenses.

35

Quadro5.Exemplodeponderaesenotasaplicadasaosindicadoresesuanotaconsolidadafinal
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volumedogastopblicoemeducao(despesaoramentria)emrelao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoMEGP Pontuaonoscritriosdeexcelnciaemgesto(MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada (A) 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso (B) Nota ponderada daDimenso (C)

E1Efetividade

2,5

8,18

20,44

E2Eficcia

7,91

15,82

E3Eficincia

1,5

7,50

11,25

E4Execuo

1,5

7,71

11,57

E5Excelncia

1,5

8,38

12,56

E6 Economicidade

7,67

7,67

NotadoDesempenhoAgregado(D)

79,31

36

Acerca do modelo de desempenho e ponderaes, duas principais condies ideais so ressaltadas: a) que seja possvel a modelagem deindicadoressignificativoserepresentativosnasseisdimenses;b) quesejapossvelgerarumanotaparacadaindicador.Emcondies reais,algumasvezes,possvelquenemtodasasseisdimensesdo Desempenhopossamsercontempladas(tendoemcontaproblemas na disponibilidade de dados que inviabilizem a gerao de indicadores)comotambmpossvelquenoseconsigageraruma notaparacadaindicador. Omaisimportantediantedasinevitveisdificuldadesdomundoreal apostura:precisoesforo,imaginaoehonestidadeintelectual para resolver ou atenuar as limitaes. A seguir, so comentadas algumaspossveiscomunslimitaeseoquefazeremrelaoaelas: Indicadoresdeefetividade: i) O problema: a questo menos gerlos (h muitos indicadores consagrados de polticaspblicas)emaisassumiloscomo integrantesdoconceitodedesempenho problema este maior nos nveis organizao e unidade organizacional. O que est em questo o grau de atribuio de responsabilidade (diretamente relacionado governabilidade)emrelaoaindicadores deefetividadeinerentementesujeitosa fatoresrivaisetemporalidade; ii) A soluo: tentar decomplos em impactos intermedirios e identificar aqueles impactos onde haja uma relao de atribuio de responsabilidade maior de

37

acordo com a teoria do programa6 em questo; Geraodenotaparacadaindicador: i) O problema: bastante provvel que muitas medidas possam ser feitas, mas sem um correspondente parmetro de comparao, tal como uma meta ou um benchmark em relao ao qual se possa mediradistnciarelativaeseestabelecer umanota(dealcance); ii) A soluo: o estabelecimento de metas incrementais (aumentar 20% no perodo seguinte)pelotemponecessrioparaque se compreenda a curva de desempenho doindicadoremquesto,permitindouma fixaorealistaedesafiadorademetas; Indicadoresdasdemaisdimenses: i) O problema: ainda que haja dificuldades na identificao e na coleta de dados para gerao de indicadores em geral (principalmentenadimensoeficincia), ii) A soluo: a postura correta utilizar aproximaes e, sobretudo, comear a medir para incorporar ao modelo no momentoseguinte. Em suma, prefervel que haja aproximaes a lacunas. Mas o fundamental aprimorar o modelo de mensurao ao longo do tempo, tendose em conta que se trata de um processo que
Os pressupostos sobre os recursos e aes e como esses levam aos resultados esperados so freqentemente referidos como a teoria do programa. As hipteses so de que os recursos adequados sero transformados em aes necessrias para beneficirios do pblicoalvo, e isso,emumcontextofavorvel,irlevarparaosresultadosqueoprograma pretende alcanar. Tornar explcitas as hipteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referncia principal em que se baseia a gesto e o seu instrumento imprescindvel de avaliao. Vejase Disoc/IPEA, Teoria do Programa e Modelo Lgico, IPEA, mimeo.
6

38

dificilmente se inicia com o pleno atendimento de todos os requisitos.

2.5.

Formulao de Indicadores

Aformulaodeindicadorespodeserrealizadaporumconjuntode passos necessrios para assegurar que os princpios da qualidade e do sistema de medio do desempenho estejam em conformidade comodesejadopelaorganizao.Ospassosso: Identificaodonvel,dimenso,subdimensoeobjetosde mensurao; Estabelecimentodosindicadoresdedesempenho; Validao preliminar dos indicadores com as partes interessadas; Construodefrmulas,estabelecimentodemetasenotas; Definioderesponsveis; Geraodesistemasdecoletadedados; Ponderao e validao final dos indicadores com as partes interessadas; Mensuraodosresultados; Anliseeinterpretaodosindicadores;e Comunicaododesempenhoegerirmudana.

Oobjetodoprximocaptuloaapresentaodospassosprincipais para a concepo e implantao dos indicadores a partir da metodologiadaCadeiadeValoreos6EsdoDesempenho.

39

3. Construindo Indicadores de desempenho

Oprocessodeconstruodeindicadoresdedesempenhonopossui umprocedimentonicoouumametodologiapadro.Noentanto,a partir da reviso das principais experincias de construo de indicadoresparaosetorpblicoeprivado,sugereseumconjuntode etapas (Figura 4) que asseguram a coerncia da formulao e implementaodoconjuntodeindicadoresqueseplanejaconstruir. Emsequncia,afigura5apresentaodesdobramentodasetapasnos passoscorrespondentes.

40

Figura4.Etapasdemedioeos10passosparaaconstruodeindicadores
Passo10 Comunicaodos resultados Passo1 Identificaodonvel,dimenso, subdimensoeobjetosdemensurao

Passo2 Estabelecimentode indicadoresdedesempenho Comunicao Oque mensurar?

Passo9 Anliseeinterpretao dosindicadores

Anlise dos dados

Como mensurar?

Passo3 AnliseeValidao intermediriadosindicadores comaspartesenvolvidas

Mensurao

Coleta de informaes

Passo4 Construodefrmulas, mtricaseestabelecimentode metas

Passo5 Definiode responsveis Passo6 Geraodesistemade coletadedados Passo8 Mensuraodos resultados Passo7 Ponderaoe Validaofinaldosindicadores comaspartesenvolvidas

41

Figura5.Os10passosparaaconstruodeindicadores

O que Mensurar?

1. Identificao do nvel, dimenso, subdimenso e objetos de mensurao

Como mensurar?

2. Estabelecimento de indicadores

3. Validao preliminar dos indicadores com as partes interessadas

4. Construo de frmulas, estabelecimento de metas e notas

Coleta de informaes

5. Definio de responsveis

6. Gerao de sistema de coleta de dados

7. Ponderao e validao final dos indicadores com as partes interessadas

Mensurao

8. Mensurao do desempenho

Sim

Indicadores OK?

No

Anlise

9. Anlise e interpretao dos indicadores

Comunicao

10. Comunicao do desempenho

42

3.1. Passo 1 - Identificao do Nvel, Dimenso, Subdimenso e Objetos de Mensurao

Definiroquesermensuradoconstituiareflexoinicialdoprocesso de criao de indicadores de desempenho. No entanto, cabe responderaalgumasquestessignificativaspreliminarmente. Primeiro, devese definir em qual nvel da administrao pblica desejase criar medidas. Ou seja, para quem ser construdo o indicador e quem ser o responsvel pelo desempenho da unidade monitorada.Podeserapenasumaunidadedeorganizao,umnvel de poltica pblica ou mesmo o Governo como um todo. Os nveis principaispropostossoos:macro(Governo),meso(polticapblica ou setor de governo), mesomicro (redes de organizaes), micro (organizaes)enano(unidadedeorganizao). Umavezidentificadoqualonveldemensurao,necessriodefinir para cada dimenso dos 6Es suas possveis subdimenses nas quais sedesejacriarosindicadores. Adefiniodasubdimensoprocuraexplorarasmedidaspossveise cabveisdeseremextradasapartirdadimensoescolhida.Ouseja, oquemaisimportantesermensuradoparaadimenso? Em alguns casos, alm da definio da subdimenso, poder ser requerida a definio precisa do que ser mensurado qual , especificamente, o objeto de mensurao. Este caso pode ser identificado, por exemplo, no nvel meso (poltica pblica) da subdimenso Impacto Intermedirio da dimenso Efetividade, isto,asubdimensonodetalhaouexplicitaodomniodapoltica pblica a ser mensurado (sade, educao, segurana etc.). Para tanto, recomendase o uso da cadeia de valor por ser um instrumento facilitador da representao do universo de anlise, contribuindoparaumamelhorcompreensodoambienteinternoe externo, bem como para explicitao dos resultados e impactos pretendidospelaorganizao,programaougoverno. Os elementos essenciais da cadeia de valor, segundo apresentados no item 2.1. Elementos da Cadeia de Valor e dimenses do desempenho, so: entradas, aes transformadoras (processos, projetosetc.),sadas(produtos/servios)eimpactos. Estetipoderepresentaopermitetambmqueseidentifiquemas partes interessadas que atuam ao longo da cadeia de valor de uma poltica pblica ou organizao, permitindo explicitar os pblicos

43

interessados no desempenho da unidade sob anlise. A figura 6 abaixorepresentaesteinstrumento. Figura 6. Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos de mensurao

Conformeressaltaocaptuloanterior,recomendasebuscarabarcar todasasdimensesdos6EsdoDesempenho,devendosequestionar quaissoasmedidasdesejveisparacadadimensodometamodelo. O desenho da cadeia de valor do objeto auxilia a identificar os elementosdemensuraesparaasseisdimenses. Estepassoconduzidocomacontribuiodacadeiadevalorecom basenaMatrizsntesedomodelodeMediododesempenho(vide quadro4anterior). O quadro 6 a seguir ilustra o extrato da Dimenso Efetividade e o quadro 7 posterior registra seu desdobramento, apresentando exemplosparaosnveismacroemeso.

44

Quadro6.Extratodoquadro2DimensoEfetividade
Meso Dimenso Macro Setorialde Governo polticapblica Subdimenso: Subdimenso: 1.1Impacto 1.2Impacto Final Intermedirio Nvelgeralde Resultadosde bemestar, PolticaPblica, desenvolviment impactos o(social, intermedirios E1 econmicoe de Efetividade scio desenvolviment ambiental), oetc. igualdadesocial etc. Nveis Mesomicro Organizaes Micro emrede Organizao Subdimenso Subdimenso: : 1.2Impacto 1.2Impacto Intermedirio Intermedirio Resultados Resultados intermedirios emtemasde de desenvolviment Polticas o,polticas Pblicas, pblicasou impactos intermedirio temasde sdepolticas polticas pblicasetc. pblicas, Satisfaodos stakeholders, Melhoriada Gestoetc.

Nano Unidade 1.2 Subdimenso : Impacto inicial, Resultadosda organizao.

Quadro7.Definiodonvel,dimenso,subdimensoeobjetosdemensurao Nvel Dimenso Subdimenso

1.1 ImpactoFinal

Objetodemensurao Desenvolvimentoeconmico, esperanadevidaeeducao

MacroGoverno E1Efetividade

E2

Intermedirio

1.2 Impacto

Meso SetorialE1Efetividade
depoltica pblica

Resultado de Poltica Pblica deeducao

Vale destacar que o critrio recomendado para direcionar a identificao e seleo das subdimenses e dos objetos de mensuraosoosobjetivoseprioridadesestratgicasdoGoverno, da poltica, da organizao ou da unidade. O entendimento dos

45

objetivos estratgicos so direcionadores para a criao de indicadores coerentes que reflitam de maneira clara e vlida o quanto da estratgia foi alcanado no nvel definido (Governo, polticaetc.).AsorganizaesouGovernosquepossuemumaagenda estratgica detalhada e legtima dispem de informaes importantesparasubsidiaraescolhadassubdimenseseobjetosde mensuraoparacadaumdos6Esdodesempenho.

3.2. Passo 2 - Estabelecimento de Indicadores

Apsrealizaropasso1,ossubsdiosprincipaisparaaelaboraodo indicador(comomedir)jestodefinidos. Os indicadores devem ser especificados por meio de mtricas estatsticas,comumenteformadosporporcentagem,mdia,nmero bruto,proporoendice. Oscomponentesbsicosdeumindicadorso: Medida: grandeza qualitativa ou quantitativa que permite classificarascaractersticas,resultadoseconseqnciasdos produtos,processosousistemas; Frmula: padro matemtico que expressa forma de realizaodoclculo; ndice (nmero): valor de um indicador em determinado momento; Padro de comparao: ndice arbitrrio e aceitvel para umaavaliaocomparativadepadrodecumprimento;e Meta: ndice (nmero) orientado por um indicador em relaoaumpadrodecomparaoaseralcanadodurante certoperodo.

Naidentificaoeseleodeumindicadorimportanteconsiderar um conjunto de critrios bsicos, para garantir a sua posterior operacionalizao.Oscritrioscentraisparaumindicadorso: Seletividade ou importncia: fornece informaes sobre as principais variveis estratgicas e prioridades definidas de aes,produtosouimpactosesperados; Simplicidade,clareza,inteligibilidadeecomunicabilidade:os indicadoresdevemsersimplesecompreensveis,capazesde levar a mensagem e o significado. Os nomes e expresses

46

devem ser facilmente compreendidos e conhecidos por todosospblicosinteressados; Representatividade, confiabilidade e sensibilidade: capacidadededemonstraramaisimportanteecrticaetapa de um processo, projeto etc. Os dados devem ser precisos, capazesderesponderaosobjetivosecoletadosnafontede dados correta e devem possibilitar a pronta avaliao dos efeitosdedeterminadainterveno; Investigativos:osdadosdevemserfceisdeanalisar,sejam estes para registro ou para reter informaes e permitir juzosdevalor; Comparabilidade: os indicadores devem ser facilmente comparveis com as referncias internas ou externas, bem comosrieshistricasdeacontecimentos; Estabilidade:procedimentosgeradosdeformasistemticae constante,semmuitasalteraesecomplexidades,umavez querelevantemanteropadroepermitirasriehistrica; e Custoefetividade: projetado para ser factvel e economicamentevivel.Osbenefciosemrelaoaoscustos devem satisfazer todos os outros demais nveis. Nem todas as informaes devem ser mensuradas, preciso avaliar os benefciosgeradosemdetrimentodonusdespendido.

Almdisso,necessrioidentificarseaescolhadoindicadoratende s expectativas de seus pblicos de interesse, como os rgos setoriais, rgos centrais, rgos de controle e outros possveis interessados, de modo a assegurar a relevncia do indicador proposto. O quadro 8, abaixo, apresenta o desdobramento da dimenso dos 6Es em indicadores, perpassando pela definio da categoria da subdimenso.

47

Quadro8.Desdobramentodadimensodos6Esemindicadores
Nvel MacroGoverno Dimenso E1Efetividade Subdimenso 1.1 ImpactoFinal Objetodemensurao Desenvolvimentoeconmico, esperanadevidaeeducao E2Eficcia E3Eficincia E4Execuo E5Excelncia E6Economicidade 1.2 Impacto Intermedirio Indicador ndice de Desenvolvimento Humano (IDH)

Meso Setorial de E1Efetividade polticapblica E2Eficcia E3Eficincia

Resultado de Poltica Pblica de TaxadeAnalfabetismode15anosou educao mais

48

3.3. Passo 3 - Validao Preliminar dos Indicadores com as Partes Interessadas

Selecionar e validar os indicadores com as partes interessadas fundamental para a obteno de um conjunto significativo de indicadores que propicie uma viso global da organizao e represente o desempenho da mesma. O processo de validao conduzido visvis com a anlise dos critrios de avaliao do indicador. Durante a validao so levados em conta diversos critrios apresentados (ver passo 2 Estabelecimento de indicadores), tais como: seletividade; simplicidade e clareza; representatividade; rastreabilidade e acessibilidade; comparabilidade; estabilidade; custoefetividade. Esses critrios serviro de base para a deciso de manter, modificar ou excluir os indicadoresinicialmentepropostos.

3.4. Passo 4 - Construo de Frmulas, estabelecimento de Metas e Notas

Uma vez definido o conjunto de indicadores e, por sua vez, analisados a luz dos critrios (principalmente, seletividade e viabilidade),opassodeconstruodefrmulaseestabelecimentode metasenotaspodeseriniciado.

3.4.1.Construodefrmulas
A frmula descreve como deve ser calculado o indicador, possibilitandoclarezacomasdimensesaseremavaliadas.Afrmula permite que o indicador seja: inteligvel; interpretado uniformemente;compatibilizadocomoprocessodecoletadedados; especficoquantointerpretaodosresultadoseaptoemfornecer subsdiosparaoprocessodetomadadedeciso. Nesse sentido, recomendase evitar frmulas de alta complexidade ou que no respondam as questes necessrias. A frmula do indicadordeve,sobretudo,serdefcilcompreensoenoenvolver dificuldadesdeclculooudeuso,proporcionandoaobtenodeum resultado, numrico ou simblico, facilmente comparvel com valores predeterminados, posteriores ou anteriores, para apoiar o processodecisrio.

49

Cada frmula possui uma unidade de medida que confere um significadoaoresultado.Asunidadesdemedidapodemserdiversas, contudo, sua composio deve seguir uma linha de raciocnio, possibilitandoaanlisedoresultadoobtidoeacomparaocomuma seriehistrica. Asunidadesdemedidamaiscomunsso: IndicadoresSimples:Representamumvalornumrico(uma unidadedemedida)atribuvelaumavarivel.Normalmente, so utilizados para medir eficcia, ou seja, a quantidade de determinado produto ou servios entregue ao beneficirio. Noexpressaarelaoentreduasoumaisvariveis. Exemplos: Nmerosdealunosmatriculadosnoensinomdio; Nmerodealunosaprovadosnoensinofundamental; Nmerodenovospostosdetrabalhoscriados. Indicadores Compostos: Os indicadores compostos expressamarelaoentreduasoumaisvariveis.Deacordo com as relaes entre as variveis que os constituem e a forma como so calculadas, so denominados de maneiras especficas. Assim tmse quatro tipos de indicadores compostos: i) ProporoouCoeficiente:oquocienteentre o nmero de casos pertencentes a uma categoriaeototaldecasosconsiderados. Esse quociente tambm chamado de coeficiente,representandoarazoentreo nmero de ocorrncias e o nmero total (nmerodeocorrnciasmaisonmerode noocorrncias). Exemplos: Coeficiente de natalidade = nmero de nascidos/populaototal; Coeficiente de mortalidade = nmero de bitos/populaototal;

50

Coeficiente de evaso escolar = nmero de alunosevadidos/nmeroinicialdematrculas realizadas. ii) Porcentagem: Obtida a partir do clculo das propores,simplesmentemultiplicandoo quociente obtido por 100. As porcentagens e propores tm por objetivo principal criar comparaes relativas destacando a participao de determinadapartenotodo. Exemplo: Porcentagem de alunos matriculados na 1 srie do ensino mdio = (n de alunos matriculados na primeira srie do ensino mdio / n total de alunos matriculados no ensinomdio)x100. iii) Razooundice:ArazodeumnmeroAem relaoaoutronmeroBsedefinecomo A dividido por B. As propores representam um tipo particular de razo. Entretanto, o termo razo usado normalmente quando A e B representam categorias separadas e distintas. Este quociente tambm chamado de ndice, indicando tratarse de razo entre duas grandezastaisqueumanoincluiaoutra. Exemplos: Densidade demogrfica = Populao / superfcie;e Rendapercapta=Renda/populao. iv) Taxa: So coeficientes multiplicados por uma potncia de 10 e seus mltiplos para melhoraracompreensodoindicador. Exemplos: Taxa de mortalidade = Coeficiente de mortalidadex1.000;

51

Taxa de natalidade = Coeficiente de natalidadex1.000;e Taxa de evaso escolar = Coeficiente de evasoescolarx100. Afrmuladeclculoeaunidadedemedidafornecemsubsdiospara identificar o comportamento esperado do indicador, ou seja, se o indicador maiormelhor, menormelhor ou igualmelhor. Dessa forma,ainterpretaodoindicadorinformaseobomdesempenho alcanado quando o resultado do indicador est aumentando, diminuindooupermanecendoomesmo.Tratasedeumainformao integrantequeorientaaanlisecrticadodesempenhodoindicador. Por exemplo, o IDH representa um bom desempenho quanto mais prximode1,aferindoumamelhorqualidadedevidadapopulao daregio. Concomitantemente construo da frmula do indicador, necessriodefiniraorigemdeondeosdadossoextrados,ouseja,a fonte de dados, podendo ser de um setorial, organizao, unidade organizacional,sistemainformatizadoououtrafontecomorelatrios oupesquisasdeorigemexterna.Exemplosdealgumasfontessoas bases estatsticas de indicadores sociais, econmicos, entre outros: IPEA, INEP, Banco Mundial, PNUD, OCDE. Vale destacar que a identificao da fonte dos dados um importe direcionador para a definiodemetas.

3.4.2.Estabelecimentodemetas
Umavezestabelecidasasfrmulaseasfontesdosdados,segueseo estabelecimento de metas. A meta uma expresso numrica que representaoestadofuturodedesempenhodesejado. Todososindicadoresdedesempenhodevemtermetas,podendoser definida mais de uma meta por indicador. As metas tm como objetivo serem suficientes para assegurar a efetiva implementao da estratgia, por exemplo, de Governo (nvel macro), de poltica (nvelmeso)oudeorganizao(nvelmicro). Asmetascontmumafinalidade,umvaloreumprazo.Afinalidade decadametaenunciadanodetalhamentodoindicadoreexpressa umpropsitodaorganizao.Umestadodefuturoesperadoemum determinado perodo. Para isso, as metas devem ser: alcanveis; desafiadoras; diretas; negociveis; fundamentadas em sries histricas,tendnciasebenchmark.

52

Recomendase buscar referenciais comparativos (benchmarks) pertinentes quando tratar de indicadores consagrados e de ampla utilizao.Osobjetivosdousodeinformaescomparativasso: Forneceroentendimentodaposiorelativadaunidadede anliseemrelaoexperinciasreferenciaisexistentes; Melhoraroentendimentodeseusdesempenhos;e Fornecersubsdiosparaoprecisoestabelecimentodemetas, eparadirecionarmelhoriasemudanassignificativas.

Asinformaesdebenchmarkspodemserobtidasinternamenteou externamente unidade de anlise a partir de referenciais como outra organizao, processo, servios, produtos ou resultado considerados de notrio destaque; envolve o levantamento de mdiassetoriais,organizaessimilaresnamesmaregiogeogrfica ou que fornecem tipos semelhantes de servios e produtos em distintas regies. Em sntese, o benchmark visa sugerir valores referenciais para comparao do desempenho da organizao (ou Governo)emrelaoacadaindicadorestabelecido. No caso de indicadores especficos, como o caso de indicadores concernentes a um contexto singular, em geral, devem ser construdasasmetascombase,principalmente,emsrieshistricas de desempenho, e que estejam alinhados com os objetivos estratgicospretendidos. Algunscuidadosdevemsertomadosaoestabelecermetas,asaber: considerarosdesempenhosanteriores; descreverocenrioemqueseinsereoobjetodoindicador; possuir uma compreenso clara do estgio de referncia inicial, ou seja, da linha de base (Vo). Exemplo: ltimo ano, valordaltimaaferiofeita,mdiadatendnciaetc.; definir metas factveis, levandose em considerao a disponibilidadedosrecursosrequeridos; considerarosfatores:ovolumederecursosdisponveispara o projeto, as condicionantes do ambiente (polticas, econmicas,capacidadeorganizacional)etc.; tratandose de um indicador novo (nunca utilizado anteriormente), ser cauteloso para no estabelecer metas

53

audaciosas. Neste caso, recomendase utilizar uma srie de metasestabelecidasconformecenriosprevistos. Oquadro9aseguirapresentaasntesedasetapasdaconstruodo indicadoratestaetapa.

54

Quadro9.Modelosntesedeconstruodoindicador
Nvel Macro Governo E1Efetividade Dimenso Subdimenso Objetode mensurao Indicador Frmula Interpretao/ Unid. sentido Maiormelhor Desenvolvimento ndicede econmico, Impacto esperanadevida Desenvolvimento Humano(IDH) Final eeducao (Longevidade+ Educao+ decimal Renda)/3 PNUD 0,794 0,816 Canad=0,966 Chile=0,878 0,823 0,843 Srie Vo histrica Fonte 2005 2007 Benchmark Metas 2010 2011

E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial de poltica E Efetividade 1 pblica Totalde analfabetosna Resultadode Taxade Impacto PolticaPblicade Analfabetismode15faixaetria/total dapopulaocom Interme educao anosoumais amesmafaixa dirio etria Menormelhor %

IBGE

10,9

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

E2Eficcia E3Eficincia

55

3.4.3.Definiodenotas
A nota deve refletir o esforo no alcance da meta acordada, por indicadoremparticular,oqueimplicarnadeterminaodevalores de 0 (zero) a 10 (dez) para cada um, conforme a relao entre o resultado observado e a meta acordada. Sugerese o uso de uma escalapadroouescalasespecificasparacadaindicador. Valedestacarqueescalasespecficasparacadaindicadordevemser fixadas em funo dos valores correspondentes grandeza da medida, de maneira que o instrumento de medio tenha preciso adequada a sua utilizao, primando por captar a variao do estmulo correspondente. Por exemplo, um indicador anual de disponibilidade de energia eltrica deve possuir escala delineada entre90%e100%.Poroutrolado,umindicadordetaxadeexecuo fsica de programa deve apresentar escala com variao entre 0% e 100%, e sua respectiva interpolao de notas. A adequao da sensibilidade da escala ao indicador fundamental para evitar interpretaes enviesadas na anlise de valores aferidos pela mensurao. Oquadro10ilustraumexemplodeescaladenotas. Quadro10.Escaladenotas Resultadoobservadono alcancedameta 96%oumais 91%a95% 81%a90% 71%a80% 61%a70% 51%a60% 41%a50% 40%oumenos Notaatribuda 10 9 8 7 6 5 4 Zero

O resultado da multiplicao do peso pela nota corresponder ao totaldepontosatribudosacadaindicadordentrodecadadimenso. Oquadro11aseguirapresentaoestabelecimentodaescaladenotas porindicador.

56

Quadro11.Definiodaescaladenotasporindicador
Indicador Frmula Unid. Srie Vo Interpretao/ Fonte histrica sentido 2005 2007 Maiormelhor Benchmark Metas 2010 2011 10 9

Taxadealcance/nota
8 7 6 5 4

ndicede Desenvolvimento Humano(IDH)

(Longevidade+ Educao+ Renda)/3

decimal

PNUD

0,794

0,816

Canad=0,966 0,823 0,843 100% Chile=0,878

99,86% 99,75% 99,60% 99,46% 99,3% 99,16% 99,99% 99,85% 99,74% 99,59% 99,45% 99,29%

Menormelhor

Totaldeanalfabetos Taxade nafaixaetria/total Analfabetismode15 dapopulaocoma anosoumais mesmafaixaetria

IBGE

10,9

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

99% 100%

97,01% 96,01%95,01%94,01% 93,01% 97% 96% 95% 94% 98,9%

57

3.5. Passo 5 - Definio de Responsveis

Osindicadoresdedesempenhosedesdobramparatodaorganizao epossuemcomoobjetivocentralentregarinformaessobreograu de cumprimento das metas. Portanto, o passo seguinte aps a construodasfrmulaseestabelecimentodasmetasestabelecer osresponsveispelaapuraodoindicador. Nesta fase necessria a indicao do responsvel pela gerao e divulgao dos resultados obtidos de cada indicador. Em alguns casos, o responsvel de pela apurao e pelo desempenho do indicador podem ser os mesmos. Indicadores sem responsveis por sua coleta e acompanhamento no so avaliados, tornandose sem sentidoparaaorganizao. Uma vez identificado o responsvel pela coleta, definida a periodicidade de coleta do indicador, ou seja, descrita a periodicidade temporal em que os resultados conexos ao indicador devem estar disponveis para serem apurados. Exemplos, semanal, mensal,semestral,anual. Oquadro12aseguirapresentaoestabelecimentoderesponsveise periodicidadeporindicador.

58

Quadro12.Estabelecimentoderesponsveiseperiodicidadeporindicador
Indicador Frmula Unid. Interpretao/ Sentido/ Periodicidade Maiormelhor Srie Vo histrica Responsvel 2005 2007 Fonte/ Benchmark Metas 2010 2011 10 9

Taxadealcance/nota
8 7 6 5 4

ndicede (Longevidade+ Desenvolvimento Educao+ decimal Humano(IDH) Renda)/3

PNUD

0,794

0,816

Canad=0,966 0,823 0,843 100% Chile=0,878

Anual

99,86% 99,75% 99,60% 99,46% 99,3% 99,16% 99,99% 99,85% 99,74% 99,59% 99,45% 99,29%

Taxade Analfabetismo de15anosou mais

Totalde analfabetosna faixaetria/total dapopulao comamesma faixaetria

Menormelhor % IBGE 10,9

Anual

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

99% 97,01%96,01%95,01%94,01%93,01% 100% 98,9% 97% 96% 95% 94%

59

3.6. Passo 6 - Gerao de Sistema de Coleta de Dados

A sistemtica de coleta de dados determina os requisitos para o levantamento de informaes sobre os indicadores. Essa etapa complexa, uma vez que h necessidade de se coletar dados acessveis,confiveisedequalidade. Aidentificaodosdadosvariadeacordocomotempoeosrecursos disponveis, assim como o tipo de informao necessria. De modo geralasprincipaistcnicasdecoletadedadosso: Tradicionais: aplicao de questionrios, realizao de entrevistas,observaodireta,anlisedocumental(fsicose virtuais); Em grupo: oficinas, brainstorm, reunies em equipe (por exemplo,JointApplicationDesignJAD7); Deprototipao:simulaoeexperimentao; Cognitivas:anlisemental,deduoeinferncias;e Contextuais: anlise social, anlise do ambiente interno e anlisedoambienteexterno.

Aps definidos os mtodos de coleta das informaes necessrio seguir para o prximo passo, de validao dos indicadores pelas partesinteressadas.

3.7. Passo 7 - Ponderao e Validao Final dos Indicadores com as Partes Interessadas
A ponderao e validao final dos indicadores com as partes interessadas so fundamentais para a obteno de uma cesta de indicadores relevante e legtima que assegure a viso global da organizaoe,assim,possarepresentarodesempenhodamesma.O processo de validao conduzido visvis uma sistemtica de ponderaes em que so definidos pesos para as dimenses do
7

JAD um mtodo originrio em 1977 destinado a extrair informaes de altaqualidadedosusuriosemcurtoespaodetempo,atravsdereunies estruturadasquebuscamdecisesporconsenso(AUGUST,1993).

60

desempenhoeparacadacritriodeseleodoindicador,avaliando o grau de relevncia de dimenses e de indicadores para a mensuraododesempenhodaorganizao(ouGoverno). A ponderao da dimenso do desempenho realizada segundo recomendaes apresentadas no item 2.3. Desempenho timo e EstruturadePonderao. Umavezdefinidosospesosdasdimenses,necessrioponderaros critriosdeseleodoindicadorparaseobterumconjuntoseletode indicadores por dimenso. Recomendase que a definio do conjunto final de indicadores validada no possua mais que quatro oucincoindicadorespordimensodos6EsdoDesempenho. AseleodosindicadoresfeitacombasenametodologiadaMatriz de Avaliao Quantitativa8, elaborada pela SPI e adaptada ao contextodoGuia. Os critrios de seleo so fundamentados nos atributos dos indicadores(item3.2)eservemparaestabelecerumranqueamento das medidas propostas, permitindo uma seleo coerente e segura. Oscritriosdeseleosoapresentadosnoquadro13aseguir.

MetodologiadesenvolvidapelaSecretariadePlanejamentoeInvestimentos Estratgicos(SPI)doMinistriodoPlanejamento,OramentoeGesto.Guia MetodolgicoparaaConstruodeIndicadores,verso2.1,2009.

61

Quadro13.Critriosdeseleodoindicador No Critrios 1 Representatividade(proximidadecomoobjetivodaunidadede anlise) 2 Atendimentosnecessidadesdeinformaodaspartesinteressadas 3 Confiabilidademetodolgica 4 Confiabilidadedafonte 5 Simplicidade 6 Objetividade,ClarezaeComunicabilidade 7 Exequibilidadedemensurao 8 Economicidadedeobteno 9 Estabilidadeaolongodotempo 10 Investigativos(rastreabilidadeaolongodotempo) 11 Tempestividade 12 Comparabilidade 13 Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.

Definidos os critrios de seleo do indicador, necessrio o estabelecimento de pesos (variando entre 1 e 5 para obteno de umamaiorsensibilidade)paracadaindicadorsugerido,segundoseu grau de importncia no contexto. A anlise dos indicadores realizada a partir da Matriz de Avaliao Quantitativa, ilustrada no quadro14.Oindicadoratendendoaumdeterminadocritriorecebe o nmero 1 em sua respectiva clula e, caso contrrio, recebe o nmero0.Oquadro14representaumexemplodaMatrizemque a coluna Peso ponderado total resulta da soma ponderada dos pesosassinaladosparacadaindicador. Afrmuladeclculoparaopesoponderadototaldosindicadores: Pesoponderadototal=[(Critrio1 *Peso1)+(Critrio2 *Peso2)++ (Critrion*Peson)]/10; Considerando que os pesos devem ser atribudos entre 1 e 5 e o somatriodospesossejaiguala50. Essatcnicapermiteestabelecerumranqueamentodosindicadores, utilizandoounoorecortepordimensoeclassificandoossegundo umaordemdeprioridade.

62

Valeressaltarqueamatrizdeavaliaonoanicadeterminante daseleodeindicadores,mastambmoutroscritrios,sendoeles objetivos ou subjetivos, como experincia, opinies de especialistas etc.podemserutilizados. A definio de pesos se faz til tambm quando h um conjunto extenso de indicadorespara um determinadoobjetivo ou dimenso dos6Esdodesempenho,requerendoousodeummtodoadequado depriorizao.

63

Quadro14.MatrizdeAvaliaoQuantitativadeIndicadores
CritriosePonderaes Indicador IDH Dimenso 1
Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

10 1 1 1

Peso

11 1 1 1

Peso

12 1 1 1

Peso

13 1 1 0

Peso

Peso ponderado total 5,0 5,0 3,2

Efetividade 1

5 1 5 1 5 0

4 1 4 1 4 1

4 1 4 1 4 1

4 1 4 1 4 1

4 1 4 1 4 0

5 1 5 1 5 1 5 1 5 1 5 1

3 1 3 1 3 1

3 3 3

3 3 3

3 3 3

3 3 3

4 4 4

Taxade analfabetismode15 Efetividade 1 anosoumais Nmerodehorasde Excelncia 0 capacitao/servidor 1 2 3 4 5 6 7 8 9 10 11 12 13

Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade

Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.

64

Aps a ponderao das dimenses e dos indicadores, sugerese utilizar conceitos da teoria do programa para exprimir as interrelaes entre os indicadores.Tratase de uma avaliao qualitativa de probabilidade e impacto de condicionantes mapeadas.Paraisso,deveseidentificarosprincipaispadrescausais existentesentreosindicadores. Assim, possvel verificar os indicadores contribuidores para o alcance dos resultados desejados a partir de uma abordagem metodolgicabaseadaemhiptese.Ashiptesesapiamasrelaes deinflunciaentreasvariveisquerelacionamosindicadores. No obstante, alguns cuidados devem ser tomados quando se trata de modelos causais lgicos, visto que, na maioria dos casos, o indicadorpossuiapenasumapartenainflunciasobreoresultadode seuindicadorsubsequente.Ouseja,existeumavariedadedefatores externos desconhecidos e que so desconsiderados da anlise. O principal objetivo compreender a dinmica da abordagem das conexes causais. Por exemplo, por um lado, o IDH diretamente influenciadopelosindicadoresdeExpectativadevidaaonascer,Taxa dealfabetizao,TaxadematrculaePIBpercapita.Poroutrolado, portratarsedeumindicadordeimpactofinal,noinfluenciaoutros indicadoressubjacentesaele. Adefinioderelaesqualitativaspareceseramaisapropriada,no entanto, h tambm mtodos quantitativos. As relaes causais identificadas por metodologias quantitativas (estatsticas) so experimentos ou quaseexperimentos projetados que frequentementesodispendiosose/ouinexequveis. Por fim, vale ressaltar que modelos lgicos de causalidade so somente modelos e no a realidade; todavia, mesmo modelos simples so teis, pois ajudam a qualificar relaes esperadas, direcionar ou testar princpios, proposies, e gerar ao e aprendizado. O quadro 15 apresenta o modelo de resultados consolidados das ponderaes de dimenses e indicadores e relaes de causalidade correspondentes.

65

 Quadro15.PonderaodeDimenseseIndicadoreserelaesdecausalidade
Nvel Macro Governo E1Efetividade Dimenso Pesoda Subdimenso Dimenso Objetode mensurao Indicador Frmula Unid. Srie Vo histrica

Peso Indicadores Indicadores ponderado Benchmark pelosquais que do 2010 2011 influenciado influencia 2005 2007 Indicador Metas Expect.de vidaao nascer; Taxade 0,823 0,843 alfabetizao; Taxade matrcula; PIBpercapita

2,5

Desenvolvimento Canad ndicede (Longevidade econmico, =0,966 Desenvolvimento +Educao+ decimal 0,794 0,816 ImpactoFinal esperanade Chile Humano(IDH) Renda)/3 vidaeeducao =0,878

E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial de poltica pblica E1Efetividade

2 1,5 1,5 1,5 1

Taxade escolarizao entrejovens de15a17 anos; Nomatrculas 9 entreos jovensde15 a17anos; Nmero absolutode analfabetos

2,5

Taxade Resultadode Impacto Analfabetismo PolticaPblica Intermedirio de15anosou deeducao mais

Totalde analfabetos nafaixa etria/total da populao coma mesmafaixa etria

10,9

Chile=3,5 Reino 9,9 Unido=1 Japo=1

9,2

IDH

E2Eficcia

66

Uma vez selecionados e validados os indicadores prioritrios, os atributos descritivos de cada indicador devem ser corretamente formalizados,deformaaassegurarauniformizaodoentendimento pela organizao, bem como sua estabilidade e confiabilidade ao longo do tempo. O quadro 16 exemplifica um modelo de detalhamentodoindicador.

67

 Quadro16.Detalhamentodoindicador9

E1Efetividade/ ImpactoFinal ndicedeDesenvolvimentoHumano(IDH) Desenvolvimentoeconmico,sadeeeducao Mdiaaritmticadeindicadoresnormalizadosdezeroaumdeeducao(alfabetizaoetaxadematrcula), Frmuladeclculo longevidade(expectativadevidaaonascer)erenda(PIBpercapta) Unidadedemedida Valordecimalentre0e1 Periodicidade Anual Fonte/Formadecoletadedados ProgramadasNaesUnidasparaoDesenvolvimento(PNUD) Comomdiadevaloresentre0e1,ovalordeescaladoIDHtambmvariade0a1.Quantomaisprximode Interpretaodo indicador/Recomendaes 1,melhoraqualidadedevidadapopulaodaregio. Responsvelpelaapuraodo Responsvelpelodesempenho Governo PNUD indicador Peso 5 Benchmark Canad=0,966;Chile=0,878. Indicadorespelosquaisinfluenciado Expectativadevidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita. Indicadoresqueinfluencia OIDHumindicadordenaturezaestrutural,porissopoucosujeitoaalteraesnocurtoprazo.Nessa Observao perspectiva,importaanalisarastendnciasdosIDHinternacionais,querevelamoprocessodereduodas desigualdadesnograudedesenvolvimentohumanoentreospases. SrieHistrica/Metas 2005 2006 2007 2008 2009 2010 2011 Previsto 0,794 0,805 0,8015 0,821 0,829 0,837 0,843 Realizado 0,794 0,803 0,816 0,823 Dimensodoindicador/ Subdimenso Indicador Objetodemensurao

9AfichadedetalhamentodoindicadorapresentapartedosdadosextradosdoRelatriodeAvaliaoPlanoPlurianual20092011eoutra partedosdadosdisponibilizadoscomcartermeramenteilustrativo.

68

3.8. Passo 8 - Mensurao do Desempenho

Aps a execuo de todos os passos bsicos para a criao do indicador e sua sistemtica, tornase necessrio medir o que se deseja. Esse passo iniciado com a coleta de dados e o clculo do indicador, e finalizado com a converso do valor obtido na nota correspondente. De forma a facilitar a mensurao e a ponderao relativas a cada indicador, o quadro 17 a seguir exemplifica o modelo de desempenhoconsolidadodaunidadedeanlisecomdestaquepara as notas atribudas por indicador, por dimenso e o valor do desempenho agregado mensurados em um determinado ciclo de monitoramentoeavaliao.

69

Quadro17.Exemplodeponderaesenotasaplicadasaosindicadoresesuaconsolidao
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volumedogastopblicoemeducao(despesaoramentria)emrelao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoMEGP Pontuaonoscritriosdeexcelnciaemgesto(MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso Nota ponderada daDimenso

E1Efetividade

2,5

8,18

20,44

E2Eficcia

7,91

15,82

E3Eficincia

1,5

7,50

11,25

E4Execuo

1,5

7,71

11,57

E5Excelncia

1,5

8,38

12,56

E6 Economicidade

7,67

7,67

NotadeDesempenhoAgregado

79,31

70

3.9. Passo 9 - Anlise e Interpretao dos Indicadores

Promoveraanliseeainterpretaodosdadosaspectoprimordial para o processo decisrio, pois, caso contrrio, a existncia de uma sistemticademonitoramentoeavaliaonoproporcionaganhose benefciosparaaorganizao,havendoapenasdispndiodetempoe derecursos. A anlise e a interpretao de dados podem ocorrer de diversas formas,apsaprviacoletaemensuraodasinformaes. Asprincipaisformasdeanliseeinterpretaoocorrempormeiode: Reuniesgerenciais; Reuniesoperacionais; Intercmbiodeinformaesesolues;e Nagestododiaadia.

3.10. Passo 10 - Comunicao do Desempenho

A comunicao um fator preponderante para a integrao da organizao e o desdobramento dos resultados em todos os nveis, internamenteeexternamente.Ummitocomrelaocomunicao e a tomada de deciso que, atualmente, no h tempo para repassarinformaeserealizarconsideraes. Ainteraoentreasequipeseoalinhamentodeconhecimentoscria sinergiaeumsensocomumdeatuao.Oprocessodecomunicao move as aes, estimula a mudana, gera a conscincia e o engajamento,emantmoritmodaorganizaonabuscadomelhor desempenho. Pararealizaracomunicaododesempenhoasorganizaespodem adotar as mais diversas ferramentas existentes, cujas mais comuns so: Apresentao institucional colaboradores; de resultados para os

Painel de indicadores com seus respectivos resultados (Centralderesultados);

71

Banners com faixas de desempenho (vermelho, amarelo, verdeeazul); Reuniesdeavaliaodedesempenho; Relatriosanuais(fsicosevirtuais);e Avaliaoexterna(prmiosdeexcelncia).

3.11. Painis de Controle

Aetapadecomunicarodesempenhoenvolveesforodetransmitiro mximo de informao no menor tempo. Para isso, so concebidos painisdecontroleparaadisponibilizaodeumconjuntorelevante e necessrio de indicadores expostos sob a forma de grficos e tabelas com sinalizadores de modo que as informaes sobre o desempenho possam ser repassadas s partes interessadas, para seremconsumidaseabsorvidasnosprocessosdecisrios. Dessaforma,osprincipaisrequisitoscrticosdeumpaineldecontrole soforma,disposioeacessoasinformaes. Umbompaineldecontrolepodeserelaboradoedisponibilizadode mltiplas formas: webpages, banners, monitores, displays, cartazes e/ousistemasinformatizados. Aosetratardemodelosdepainistimosqueavaliamorelevante, algunsatributosdevemserconsiderados: seletividade: escolha dos objetos segundo critrios de significncia; coerncia:alinhamentoentreobjetoemetodologia; simplicidade: escolha e desenvolvimento de instrumentos segundocritriosdefuncionalidade; uso e apropriao: aproveitamento da informao no processogerencialeviamecanismosdetransparncia confiabilidade: credibilidade das informaes e explicaes geradas; legitimidade:envolvimentodospblicosdeinteresse;e contestabilidade: confrontao de informaes, verificaes cruzadaseauditoriadedados.

72

Osquadros18a22mostram,respectivamente,aestruturadepainis por nveis: macro (Governo), meso (poltica pblica ou setor de governo),mesomicro(redesdeorganizaes),micro(organizaes) enano(unidadedeorganizao).Emsequncia,afigura7ilustraum modelo de Painel de controle com a apresentao de grficos e sinalizadoresparaasseisdimensesdodesempenho.

73

Quadro18.EstruturadoPaineldeIndicadoresNvelMacroGoverno
E1Efetividade Painel1 E2Eficcia E3Eficincia

ndicedeQualidadedeVidaUrbana Percepodapopulaoquanto ndicedeDesenvolvimentoHumano confiananasinstituiespblicas (IDH) Qualidadeglobaldosservios PIBpercapita prestados CoeficientedeGini Quantidadedeserviospblicos ofertadosaocidado E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E5Excelncia Percentualdeorganizaespblicas daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado

Custoefetividade(outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaoPIB/capitaeIDH RelaogastospblicoseIDH

E6Economicidade GastototaldecomprasdoGoverno Gastosdecusteioeoutrosgastos administrativos Custodaatividadefinalsticade Governo/custototal

74

Quadro19.EstruturadoPaineldeIndicadoresNvelMesoPolticaPblicaouSetordeGoverno
Painel2 E1Efetividade E2Eficcia Nmerodejovenseadultos TaxadeAnalfabetismode15anosou alfabetizados mais Quantidadedehabitaes Coeficientedemortalidadeinfantil construdas Expectativamdiadevidada ExtensodaMalharodoviria populaoHabitantes/domiclio pavimentada TaxadeHomicdios Redehidroviriaadequada Percentualdapopulaoinfectada Domicliosatendidosporgua pelovrusHIV tratada ndicededistoroIdade/Srie Nmerodedepsitodepatentesde Taxadeconclusodoensinomdio residentes naRededeEnsino Percentualdedomicliosdazona ruralatendidosemenergiaeltrica E4Execuo E5Excelncia Percentualdeorganizaespblicas Graudeimplementaodos daadministraodiretaeindireta ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa candidatasnoPrmioNacionalda GestoPblicaPQGF deexecuofsicaadequada Porcentagemorganizaespblicas Taxadeempenho daadministraodiretaeindireta Taxadeliquidao comsistemadegestodaqualidade Taxadeexecuooramentria implantado Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E3Eficincia

Custoefetividade (outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaogastospblicoseIDH

E6Economicidade Gastospblicospercapita comasade GastocomProgramaseServios Sociais Gastocommerendaescolar

75

Quadro20.EstruturadoPaineldeIndicadoresNvelMesomicroRededeOrganizaes
E1Efetividade Painel3 E2Eficcia NmerodeescoladeEducao bsicacomconexodeBandaLarga QuantidadedeTelecentros instalados Percentualdoterritrio comcoberturavegetalnativa CoberturadoSadedaFamlia Coberturadeserviosbsicosde sade E3Eficincia

ndicededesenvolvimentoSocial Regional ndicedeVulnerabilidade Social ndicedeconvergnciacompetitiva

Custoefetividade(outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaogastospblicoseIDH Customdiodeconexodebanda largaporescola Customdioportelecentro instalado

E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao

E5Excelncia E6Economicidade Percentualdeorganizaespblicas Custodemedicamentoscom validadevencida daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado

76

 Quadro21.EstruturadoPaineldeIndicadoresNvelMicroOrganizao
E1Efetividade Painel4 E2Eficcia

E3Eficincia

Todosdosnveisanteriores

ndicedeSatisfaodosusurioscom osserviosdaorganizao Nmerodepontosdecultura instalados Quantidadedenovasescolas construdas

Custosunitriosdeservios estratgicos Tempomdiodeatendimentoao cidado Tempomdioparaabrirumnegcio EficinciaOramentria

E4Execuo Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedasinformaes oramentrias,financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadedainformao Graudeacessopblicoasinformaes decompras(editais,solicitaesde propostas,outorgasdecontrato) Percentualdecontratocomnvelde serviocontratualizado Graudeadequaoaomarcolegale regulatriodecompraspblicas (conformidadesdetectadas) Percentualdeavaliaesprviasde riscos

E5Excelncia Pontuaonoscritriosdeexcelncia emgesto(MEGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrnciasem auditorias PercentualdecontratoscomAcordos deNveldeServios(ANS)pactuados

E6Economicidade Economiacomatividademeio Custodasatividadesdesuporte/ Custototal ndicedequalidadedosprodutose serviosadquiridos ndicedeeconomiadasaquisies

77

 Quadro22.EstruturadoPaineldeIndicadoresNvelNanoUnidadeOrganizacional
E1Efetividade Painel5 E2Eficcia

E3Eficincia

Todosdosnveisanteriores

Custoporaodefiscalizao Tempomdiodeatendimentos demandas(emdias) Custocom Quantidadedeaesdefiscalizao combustvel/peas/serviospor realizadas perodo Custoporunidadedoservio prestado(custounitrioporcirurgia, porhoraaula,porkmpavimentado)

E4Execuo %deexecuofsicadoProjetode criaodonovoPortalda organizao %deprojetoscomlicenaambiental (unidaderesponsvelporobter licenasambientaisparaosprojetos daorganizao)

E5Excelncia Pontuaonoscritriosde excelnciaemgesto(MEGP) Nmerodeatividadesqueseguem estritamenteospadres organizacionais Nmerodeatividadescertificadas porinstituiesreconhecidas

E6Economicidade Ndeadmissesconformeoperfil Requeridorealizadasduranteo perodo

78

 Figura6.ModelodePaineldeControlecomilustraesgrf d e ficas

79


Execuo
Graudeimplantao dasaesdo PlanejamentoEstratgico

Excelncia
Pontuaonoscritriosdeexcelncia emGesto(MEGP)
Liderana Processos Estratgiae Planos Cidados Sociedade

Economicidade
Gastomdioanualporaluno
1000 800 600 400 200 0 EnsinoInfantil Ensino EnsinoMdio Fundamental Brasil Nordeste

1. 1. 1. 0. 0. 0.

Pessoas Informaoe Conhecime

OrganizaoA

OrganizaoB

CronogramadosProgramas Estratgicos
PrInfncia CriaodoIdeb Aesdeeducao nocampo Qualificaoda sadeescolar Eletrificaodas escolaspblicas

R$ 2.155,00

Gastomensaltransporteescolar Em milhares
R$ 1.811,00 R$ 2.586,00

Norte Nordeste Sudeste Sul

Realizado Ematraso Arealizar

R$ 11.246,00

100% 95% 90% 85% 80% 75%

TaxadeExecuo Oramentria 95% 1 0,8 0,6 83% 0,4 0,2 0

Gastomdiocommerendaescolar Previsto Realizado

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

Empenhado

Pago

Nota:77

Nota:84

Nota:76

Notaponderada final:79

2008

80

4. Lista de verificao da consistncia do Modelo de Medio de Desempenho

Aseguirapresentadaumalistadequestesquepermiteverificara existncia dos requisitos mnimos para a implementao da sistemticademensuraodedesempenho. Antecedentes e condies mnimas previstas para a mediododesempenho Existe um nmero mnimo de profissionais que podem conduzirostrabalhosdemediododesempenho? Encontrase nas equipes profissionais capacitados e conhecedoresnatemticademediododesempenho? Possui se identificados todos os elementos e fatores relevantes para a implementao do modelo, e existe interessedamaioriaemlevaradianteomodelodemedio dedesempenho? Possui acesso a informao necessria e suficiente para compreender as origens e os fins que se persegue com a implantaodamensuraodedesempenho? Verificao da robustez do modelo de medio do desempenhodefinido O atual sistema de medio de desempenho avalia os aspectosessenciaisdaorganizao? O modelo contempla as 6 dimenses do desempenho, ou seja,possuiummodelotimodedesempenho? A ponderao do modelo respeita as condies da precednciadoresultado(60%)sobreoesforo(40%)? Omodelorespeitaasprioridades:[(E1>E2>E3)>(E4E5 E6)]? Quantidademximade5indicadoresparacadadimensodo desempenho? Quando h o Planejamento Estratgico, os objetos de mensurao e, por sua vez, os indicadores esto contidos e/oucoerentescomaestratgia?

81

Houve envolvimento do corpo diretivo e gerencial na concepoevalidaodeindicadores? H a definio com preciso dos prazos dos de entrega dos produtos intermedirios pelos profissionais que esto conduzindoaimplantaodomodelo? Est especificado o valor da ponderao de cada critrio e subcritrio(categoriasdesubdimenses)damensuraode desempenho? Os indicadores validados so claros e comunicam com preciso sua finalidade, evitando ambigidades de interpretaes? A cesta de indicadores validada possui metas alcanveis; desafiadoras;diretas;negociveis;fundamentadasemsries histricas,tendnciaebenchmarks? O sistema de mensurao contm medidas objetivas e subjetivas? Aorganizaopossuigovernanaecontrolesobreoalcance de metas definidas em suas metas para indicadores e progressodeaes? visvelaexistnciadepontosalinhadosobservadosentreo sistema de medio do desempenho e a estratgia organizacional? O corpo gerencial e os funcionrios em geral e suas respectivasunidadessoresponsabilizadospelaprecisode dadoscoletadosedasinformaesdisponibilizadas? Asistemticadecoletadedadoseinformaesdacestade indicadoresdefinidosevalidadoseficienteemrelaoaos custosebenefcios? Os dados e informaes so apresentados graficamente, para facilitar a identificao de tendncias e anlises importantes? H o acompanhamento do desempenho de resultados (indicadoresdeeficincia,eficciaeefetividade)? H o acompanhamento do desempenho de esforos (indicadoresdeexecuo,excelnciaeeconomicidade)?

82

H uma sistemtica de incentivos vinculada aos resultados mensuradospelosistema,noqualomaudesempenhogera perdas, punies, desprestgio etc. e o bom desempenho geraganhos,reconhecimento,prestgioetc.? Verificaodosbenefcios

Asinformaesobtidassobreodesempenhodaorganizao so/sero importantes para o processo decisrio e a realizao de ajustes na estratgia, o que promover aprendizadoeamelhoriadosresultadosaolongodotempo? Todos os atores usurios do sistema compreendem as mtricasutilizadasparaavaliarodesempenho? O sistema de medio do desempenho propicia, aos atores envolvidos, condies de facilmente obter uma viso de todas as reas de resultadoschave relacionadas de forma crtica? Aorganizaointeressadanosistemaeemseusresultados disponibilizados? Avaliao de Concluso dos passos da metodologia de MediodoDesempenho

O ciclo de concepo, implementao, mensurao e comunicao,segundoos10passosdoguia,foiconcludo? H continuidade (estabilidade) da cesta de indicadores definidaevalidada? Os resultados coletados ao longo dos ciclos de mensurao doindicadordemonstrammudanadainstituioemfuno dosesforosdemensurao?

A resposta ideal de todas as perguntas deve ser sim. Se algumas respostassonegativas,omodelodeverserreavaliadoatpossuir condiesmnimasnosaspectosquereflitamasrespostasnegativas.

83

5. Consideraes Finais
Amediodedesempenhonagestopblicaestentreosprincipais instrumentos para subsidiar os gestores e os dirigentes em suas decises e escolhas. Atualmente, h a exigncia cada vez maior em aperfeioarosnveisdeesforoseresultadosdasorganizaes,bem como gerar e fortalecer os mecanismos de transparncia e responsabilizaoparaoscidadosepartesinteressadas,sendoestes os fundamentos bsicos para impulsionar o desenvolvimento e implementao de indicadores de desempenho nas instituies pblicas. No mbito geral, os indicadores de desempenho fornecem informaessobretemasfundamentaisdagestopblica,taiscomo nvel de efetividade, eficcia, eficincia, qualidade, economia de recursos e produtividade dos produtos/servios, alm de apontar o graudemelhoriadagesto. Nesse contexto, o propsito principal deste documento a apresentao de um guia referencial no exaustivo, mas representativoosuficienteparapossibilitaradiversasorganizaesa definio do seu desempenho, subsidiar com conceitos e metodologiasparaaconstruodeseusindicadoresdedesempenho e a elaborao de painis de controle para o acompanhamento da gesto. O Guia contemplou a definio dos conceitos de desempenho e de medio do desempenho, a metodologia da Cadeia de Valor e dos 6Es do Desempenho, as etapas do modelo de definio e implementao de indicadores (aderente a metodologia dos 6Es do Desempenho), e consideraes sobre o desenho de painis de indicadoresparaacomunicaododesempenhodasorganizaes. Por fim, o documento se props a desenvolver de maneira didtica aspectos conceituais e metodolgicos envolvidos da formulao e implementaodeindicadoresdedesempenhonombitodagesto pblica para implementar a objetiva e efetiva mensurao dos resultadosnasorganizaespblicas.

84

Bibliografia
AKAO, Y. Kanri: policydeployment for sucessfulsuccessful TQM. Productivity.Press,Cambridge.1991. AUGUST, Judy H. JAD Joint Application Design.Makron Books, SP, 1993. AustralianPublicServiceCommissioner 2006/07.2007. (APSC). Annual Report

BENNETT, C. Analyzing impacts of extension programs, ESC575. Washington, D.C.: Extension ServiceU.S. Department of Agriculture, 1976. BOUCKAERT, Geert e HALACHMI, Arie. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. BOUCKAERT, Geert e HALLIGAN, John. Managing Performance: InternationalComparisons.Routledge.2008. BOYNE, George et al. Public Service Performance: Perspectives on MeasurementandManagement.CambridgeUniversityPress.2006. CREECH,Bill.ThefivepillarsFivePillarsofTQM:HowtoMakeTotal QualityManagementWorkworkforYou.Plume.1995. Departament of States United States. Department of State Annual PerformanceReportFiscalYear2008. FERLIE,Ewan,MCLAUGHLIN,Kate,OSBORNE,StephenP..Newpublic management:currenttrendsandfutureprospects.Routledge,2002. GIOPP, Alejandro Medina. Fortalecimiento de los sistemas de monitoreoy evaluacin (M&E) em AmricaLatina. Banco Mundial, CLAD,2009. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Como Elaborar Modelo LgicodeProgramas:umroteirobsico.NotaTcnica,IPEA,2007. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelolgicodoprogramasegundotempo.IPEA,2009. GOTTFREDSON, Mark; SCHAUBERT, Steve. Administrao de Alto Impacto: como os melhores gestores alcanam resultados extraordinrios.CampusElsevier.2008. GovernmentofAustralian.ReportonGovernmentService.2008.

85

Government of Canada. Canadas Performance 200708, the GovernmentofCanadasContribution.2008. GovernmentofUnitedKingdom.PublicServiceAgreement.2007. HALACHMI, Arie e BOUCKAERT, Geert. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. KAPLAN, Robert; NORTON, David. Mapas Estratgicos: convertendo ativosintangveisemresultadostangveis.CampusElsevier.2004. LAMBERT, Douglas. Supply Chain Management: Processes, Partnerships, Performance, processes, partnerships, performance. SupplyChainManagementInstitute.2005. MARTINS, Humberto; MARINI, Caio. Guia de Governana para Resultados.Ed.Publix,2010. MARINI, Caio; MARTINS, Humberto. Um Governo Matricial: estruturas em rede para a gerao de resultados de desenvolvimento. In: Congreso Internacional del Clad sobre la ReformadelEstadoydelaAdministracinPblica,9.Madrid.2004. MARINI, Caio e Guimares, MARTINS, Humberto Falco, VILHENA, Renata, T. B. O Choque de Gesto em Minas Gerais: polticas da gesto pblica para o desenvolvimento. Belo Horizonte: Editora UFMG.2006. Ministredelconomie,dsFinancesetdelIndustrie.LaDmarche dePerformance:Stratgie,Objectifs,Indicateurs.2004. Ministerio de Hacienda, Direccin de Presupuestos. Sistema de Control de Gestin y Presupuesto por Resultados La Experiencia Chilena.GobiernodeChile,2003. MinistriodoPlanejamento,SecretariadeGesto.Instrumentopara AvaliaodaGestoPblicaCiclo2008/2009. 2008. Ministrio do Planejamento, Oramento e Gesto, Secretaria de PlanejamentoeInvestimentosEstratgicos(SPI).GuiaMetodolgico paraaConstruodeIndicadores.Verso2.1,2009. MOYNIHAN,DonaldP.Thedynamicsofperformancemanagement: constructinginformationandreform.2008. NEELY, Andy. Business Performance Measurement: unifying theory andintegratingpractice.2ed.CambridgeUniversityPress,2007.

86

NEELY, Andy; ADAMS, Chris. The performance prism. Performance Prism.FinancialTimesPrenticeHall.2002. PMBOK.ProjectManagementInstitute.Four.Campus.2004. POLITANO,AntthonyL..ChiefPerformanceOfficer.2003. PORTER, Michael. Competitive Advantage: creating and sustaining performance.FreePress.1985. Relatrio de avaliao Plano Plurianual 20082011 : avaliao da dimensoestratgica:exerccio2009anobase2008/Ministrio doPlanejamento,OramentoeGesto,SecretariadePlanejamento eInvestimentosEstratgicos.Braslia:MP,2009. RUMMLER, Gary; BRACHE, Alan. Melhores Desempenhos das Empresas: uma abordagem prtica para transformar as organizaesatravsdaReengenharia.MakronBooks.1994. ThePrimeMinisterCabinetOfficeofUnitedKingdom.CabinetOffice AnnualReporteAcounts200809.2008. United States GeneralServices Administration. Annual Performance andAccountabilityReport.2008. WALTON, Mary. The Deming Management Method. New York: PerigreeBooks,1988. WHOLEY,J.Evaluation:promiseandperformance.Washington,DC, UrbanInstitute.1979.

87

Anexo 1. Dimenses e indicadores de Desempenho

ApartirdereuniesderealizadascomosrgoscentraisdoGoverno Federal e pesquisas bibliogrficas foram identificados alguns exemplos de indicadores para as dimenses do desempenho, com destaque para as reas visitadas que compem os processos de suporte,taiscomo:OramentoeFinanas,TecnologiadaInformao, ServiosGerais,CompraseContratos,EstratgiaeMonitoramento& Avaliao. A seguir so apresentadas as dimenses do desempenho, suas subdimenses e os indicadores para os cinco nveis (macro, meso, mesomicro,microenano.

88


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

1.1ImpactoFinal Igualdadesocial, Desenvolvimentoscio ambiental, Desenvolvimento econmico, Sustentabilidadeetc.

Macro Governo ndicedeDesenvolvimento Humano(IDH) PIBpercapita CoeficientedeGini

Micro Organizao

Nano Unidade

E1Efetividade 1.2ImpactoIntermedirio ResultadodePoltica Pblica,Satisfaodos stakeholders,Melhoriada Gestoetc.

2.1Quantidade/Volume E2Eficcia

Quantidadedeservios pblicosofertadosao cidado

TaxadeAnalfabetismo de15anosoumais Coeficientede mortalidadeinfantil Expectativamdiade vidadapopulao Habitantes/domiclio TaxadeHomicdios Percentualdapopulao infectadapelovrusHIV ndicededistoro Idade/Srie Taxadeconclusodo ensinomdionaRede deEnsino Nmerodejovense adultosalfabetizados Quantidadede habitaesconstrudas ExtensodaMalha rodoviriapavimentada Nmerodedepsitode patentesderesidentes

ndicede desenvolvimento SocialRegional ndicede Vulnerabilidade Social ndicede convergncia competitiva

todosdosnveis anteriores.

todosdosnveisanteriores.

Nmerodeescolade Educaobsicacom conexodeBanda Larga Quantidadede Telecentros instalados

Nmerodepontosde culturainstalados Quantidadedenovas escolasconstrudas

Quantidadedeaesde fiscalizaorealizadas

89


Meso Setorialdepoltica pblica Redehidroviria adequada Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo ndicedeQualidadedeVida Urbana Percepodapopulao quantoconfiananas instituiespblicas Qualidadeglobaldos serviosprestados

2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc.

2.3Acessibilidadee Equidade

Percentualdedomiclios dazonaruralatendidos emenergiaeltrica

Percentualdo territrio comcobertura vegetalnativa CoberturadoSade daFamlia Coberturade serviosbsicosde sade

Micro Organizao ndicedeSatisfaodos usurioscomosservios daorganizao %debeneficiriosmuito satisfeitos Graudeconformidade dosservioseprodutos entregues Pontualidade (tempestividade)dos produtosentregues Percentualde atendimentosrealizados noprazo ndicedecumprimento dosnveisdeservio acordados(ANS) Nmerode servios/produtos oferecidosemparceria (PPPetc.) Percentualde entrevistadosque declararamterimagem positivasobrea responsabilidadepblica daorganizao

Nano Unidade

2.4Cobertura

90


Meso Setorialdepoltica pblica Custoefetividade (outcomes/custo) Relaogastospblicos eIDH Volumedogastopblico (despesaoramentria) emrelaoaoPIB Nveis Meso Organizaesem rede Custoefetividade (outcomes/custo) Relaogastos pblicoseIDH Volumedogasto pblico(despesa oramentria)em relaoaoPIB

Dimenso

Subdimenso 2.5Risco 3.1Custoefetividade

Macro Governo Custoefetividade (outcomes/custo) Relaogastospblicose IDH Volumedogastopblico (despesaoramentria)em relaoaoPIB RelaoPIB/capitaeIDH

Micro Organizao

Nano Unidade

Custosunitriosde serviosestratgicos

3.2Produtividade

3.3Tempo Tempodeciclo,Freqncia deentrega,Tempode desenvolvimentodenovos benseservios, Desperdcioetc.

Tempomdiode atendimentoaocidado Tempomdioparaabrir umnegcio

Custoporaode fiscalizao Custoporunidadedo servioprestado(custo unitrioporcirurgia,por horaaula,porkm pavimentado) Tempomdiode atendimentosdemandas (emdias)

E3Eficincia

3.4Utilizaoderecursos

Customdiode conexodebanda largaporescola Customdiopor telecentroinstalado

Custocom combustvel/peas/servios porperodo

3.5Custobenefcio (Eficinciadosgastos)

EficinciaOramentria

91


Meso Setorialdepoltica pblica Graudeimplementao dosProgramasda AgendadeGoverno Percentualde Programascomataxa deexecuofsica adequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuo fsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Nveis Meso Organizaesem rede Graude implementaodos Programasda AgendadeGoverno Percentualde Programascoma taxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira) Percentualde projetos completadosdentro doprazoe oramento Taxadeexecuo dosprocessosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira)

Dimenso

Subdimenso

4.1ProgramaseProjetos ExecuofsicaeExecuo financeira

Macro Governo Graudeimplementao dosProgramasdaAgenda deGoverno PercentualdeProgramas comataxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento

Micro Organizao Implantaodasaes doPlanejamento Estratgico

Nano Unidade %deexecuofsicado Projetodecriaodonovo Portaldaorganizao %deprojetoscomlicena ambiental(unidade responsvelporobter licenasambientaisparaos projetosdaorganizao) Temporealdeprogramase projetossobreotempo previsto Custorealdeprogramase projetossobreocusto previsto

E4Execuo Taxadeexecuodos processosdecontratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuofsica/financeira) Taxadeexecuodos processosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuo fsica/financeira)

Implantaodasaes doPlanejamento Estratgico

4.2Processosfinalsticos ExecuofsicaeExecuo financeira

4.3ProcessosdeSuporte

Execuofsicados planosdeao Execuofinanceira Taxadeatrasono pagamentodedespesas Tempomdiodeatraso dopagamento

Execuofsicadosplanos deao Execuofinanceira Taxadeatrasono pagamentodedespesas Tempomdiodeatrasodo pagamento

92


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesde Crdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentoda foradetrabalhoda unidade ndicederecuperao dainformaopoltica deredundnciae backup Tempomdiodociclo decompras(oude contratao) Tempomdiodo processolicitatrio Divulgaodas propostasepublicao dasoutorgas Tempodepreparao daspropostas Tempoparaavaliao daspropostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea

Nano Unidade Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesdeCrdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentodafora detrabalhodaunidade ndicederecuperaoda informaopolticade redundnciaebackup Tempomdiodociclode compras(oude contratao) Tempomdiodoprocesso licitatrio Divulgaodaspropostase publicaodasoutorgas Tempodepreparaodas propostas Tempoparaavaliaodas propostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea assinaturadocontratoea atuaodoprocessode contratao Tempomdiopara

93


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao assinaturadocontratoe aatuaodoprocesso decontratao Tempomdiopara respostasaosprotestos Despesaexecutadacom pessoal Percentualdereunies defeedbacksde desempenhorealizadas (sobreoplaneado) Tempomdiode soluodereclamaes Percentualde cumprimentodoplano detreinamento ndicedecarnciada receita Montantede pagamentosde despesasemmora ndicedecusto benefciodageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento Proporode Modalidadede Aplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo

Nano Unidade respostasaosprotestos Despesaexecutadacom pessoal Percentualdereuniesde feedbacksdedesempenho realizadas(sobreo planeado) Tempomdiodesoluo dereclamaes Percentualde cumprimentodoplanode treinamento

4.4EficciadoProcessosdeSuporte 4.4.1Quantidade/Volume (serviosebens)

ndicedecarnciada receita Montantedepagamentos dedespesasemmora ndicedecustobenefcio dageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento ProporodeModalidade deAplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo oramentototal ProporodeDespesas

94


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao oramentototal ProporodeDespesas Correntessobre DespesasdeCapital ndicedeEconomiadas aquisies Percentualdereduo dovalorpor renegociaode contratos Nmeromdiode concorrentes participandodocertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreo totaldecontratos efetuados Nmerodereclamaes recorrentesegraves Percentualde indicadoresque melhoraramos resultadosdentreototal deindicadores existentes Percentualde indicadoresque atingiramovalor planejadodentreototal deindicadores existentes Percentualde atendimentosrealizados noprazo ndicedecargos comissionados Custodoscargos

Nano Unidade CorrentessobreDespesas deCapital ndicedeEconomiadas aquisies Percentualdereduodo valorporrenegociaode contratos Nmeromdiode concorrentesparticipando docertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreototal decontratosefetuados Nmerodereclamaes recorrentesegraves Percentualdeindicadores quemelhoraramos resultadosdentreototal deindicadoresexistentes Percentualdeindicadores queatingiramovalor planejadodentreototalde indicadoresexistentes Percentualde atendimentosrealizadosno prazo ndicedecargos comissionados Custodoscargos comissionadosefunes gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargospor carreirasnaorganizao Quantidade cargos/empregosportipo

95


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Nano Organizao Unidade comissionadosefunes devnculo gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargos porcarreirasna organizao Quantidade cargos/empregospor tipodevnculo

96


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso 4.4.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc.

Macro Governo

Micro Organizao Graudecumprimento dasnormas oramentrio financeiras Quantidadede conformidadess normasoramentrio financeirasdetectadas ndicedevariaodo custounitrioplanejado eorealizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodas despesas Graudeconfiabilidade dasinformaes oramentrias, financeirasecontbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrios comasatividades desempenhadas Graudeadequaoas normasdetecnologiada informao

Nano Unidade Graudecumprimentodas normasoramentrio financeiras Quantidadede conformidadessnormas oramentriofinanceiras detectadas ndicedevariaodocusto unitrioplanejadoeo realizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodasdespesas Graudeconfiabilidadedas informaes oramentrias,financeiras econtbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrioscom asatividades desempenhadas Graudeadequaoas normasdetecnologiada informao ndicedeintegraode sistemasdeinformtica

97


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao ndicedeintegraode sistemasdeinformtica Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidades paraatenderas necessidadesda organizao Quantidadedefalhas identificadasem sistemascentrais Graudeadequaodo planejamentode compras Graudecartelizaodo mercado Graudeadequaoao marcolegale regulatriodecompras pblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodo oramentoem contribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadeda entrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados

Nano Unidade Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidadespara atenderasnecessidadesda organizao Quantidadedefalhas identificadasemsistemas centrais Graudeadequaodo planejamentodecompras Graudecartelizaodo mercado Graudeadequaoao marcolegaleregulatrio decompraspblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodooramento emcontribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadedaentrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados ndicedecumprimento pelosfornecedoresdos nveisdeservioacordados (ANS) Graudeadequaodos ANSasrequisitos contratuais

98


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao ndicedecumprimento pelosfornecedoresdos nveisdeservio acordados(ANS) Graudeadequaodos ANSasrequisitos contratuais Avaliaode conformidadeentreo editaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica (porcentagemde servidorescapazesde identificarasprioridades estratgicasdaunidade, programaou organizao) Nmerodehorasde treinamentopor servidor

Nano Unidade Avaliaodeconformidade entreoeditaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica(porcentagem deservidorescapazesde identificarasprioridades estratgicasdaunidade, programaouorganizao) Nmerodehorasde treinamentoporservidor

99


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

4.4.3Acessibilidadee Equidade

4.4.4Cobertura 4.4.5Risco 5.1CritriosdoMEGP Liderana,Estratgiae Planos,Cidados, Sociedade,Informaoe Conhecimento,Pessoas, Processos

Percentualdeorganizaes pblicasdaadministrao diretaeindiretacandidatas noPrmioNacionalda GestoPblicaPQGF

Percentualde organizaespblicasda administraodiretae indiretacandidatasno PrmioNacionalda GestoPblicaPQGF

Percentualde organizaes pblicasda administraodireta eindiretacandidatas noPrmioNacional daGestoPblica PQGF

Micro Organizao ndicedeacessibilidade esatisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias, financeirasecontbeis Graudeacessopblico asinformaesde compras(inclusive editais,solicitaesde propostas,outorgasde contrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelncia emgesto(MEGP) Lacunadeliderana (porcentagemde atributosdomodelode competnciaavaliados abaixodolimite)

Nano Unidade ndicedeacessibilidadee satisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias,financeiras econtbeis Graudeacessopblicoas informaesdecompras (inclusiveeditais, solicitaesdepropostas, outorgasdecontrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelnciaem gesto(MEGP) deocorrnciasem auditorias

E5Excelncia

100


Meso Setorialdepoltica pblica Porcentagem organizaespblicasda administraodiretae indiretacomsistemade gestodaqualidade implantado Nveis Meso Organizaesem rede Porcentagem organizaes pblicasda administraodireta eindiretacom sistemadegestoda qualidade implantado

Dimenso

Subdimenso 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc.

Macro Governo Porcentagemorganizaes pblicasdaadministrao diretaeindiretacom sistemadegestoda qualidadeimplantado

Micro Organizao ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistrode ocorrnciasem auditorias AcordosdeNvelde Servios(ANS) pactuados ndicedeprontidodo CapitaldaInformao

Nano Unidade ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistro Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadasporinstituies reconhecidas

5.3Riscos 5.4Causalidade 5.5Comunicao

Gastospblicosper capitacomasade GastoscomProgramase ServiosSociais Gastoscommerenda escolar

Custode medicamentoscom validadevencida

Custodasatividadesde suporte/Custototal ndicedeeconomiadas aquisies Economiacom atividadesmeio ndicedequalidadedos produtoseservios adquiridos

Ndeadmissesconforme operfilRequerido realizadasduranteo perodo

Gastototaldecomprasdo Governo Gastosdecusteioeoutros 6.1Quantidadederecursos gastosadministrativos Custodaatividade finalsticadeGoverno/custo total 6.2Qualidadedosrecursos Qualidadepercebida E6Economicidade (Percepo/Expectativa), Durabilidadetcnica, esttica,Confiabilidade, Tempestividade,Inovao etc. 6.3Acessibilidade 6.4Cobertura 6.5Risco

101

Anexo 2. Dicionrio de Indicadores das reas de Gesto de Suporte

Interpretao/ sentido Quantidadededespesaspagasematraso/totaldedespesas Percentual menormelhor pagasnoperodo Frmula Unid. Quantidademdiadediasdeatrasopordespesa Valordareceitainternarealizadasobreaestimativade receitadooramentooriginalaprovado Proporodomontantededespesaspagoemmorasobre despesastotais Percentualdecrescimentomdioanual Razodasdespesasobrigatriassobrediscricionrias Razodasdespesascompessoalsobreooramentototal Quantidadedeconformidadessnormasoramentrio financeirasdetectadas/totaldeitensdeanlise dias menormelhor Fonte/ Periodicidade Responsvel Sistemasdegesto Semestral dooramento Sistemasdegesto Semestral dooramento Sistemasdegesto Semestral dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Semestral Anual Anual Anual Semestral

Subdimenso

Indicador Taxadeatrasonopagamentode despesas Tempomdiodeatrasodo pagamento ndicedecarnciadareceita

Percentual

Montantedepagamentosde despesasemmora ndicedeevoluodooramento Proporodedespesasobrigatrias readeGesto sobrediscricionrias deSuporte: Proporodedespesascompessoal Oramentoe sobreooramentototal Finanas Graudecumprimentodasnormas oramentriofinanceiras ndicedaqualidadedaproposta oramentria

Percentual menormelhor Percentual maiormelhor Percentual Percentual menormelhor Percentual maiormelhor

Graudecoernciadapropostaoramentriacoma estratgiaecomacapacidadedeexecuo.Vnculoentreo oramentodeinvestimentocomestratgiasrelevantes

maiormelhor

Sistemasdegesto Anual dooramento

Graudeconfiabilidadedas informaesoramentrias, financeirasecontbeis

Informaesntegrasetempestivassobreooramento (qualitativa).Avaliaodaprecisodosdados,quantidadede questionamentossobreosdadosdisponibilizados

maiormelhor

Sistemasdegesto Anual dooramento

102


Subdimenso Indicador ndicedequalidadedogasto Frmula Unid. AvaliaodoConsumo(quantidadesconsumidasvolume); ndice doPreo(valoresfinanceiroscontratadospelosservios);e daSituao(desempenhodadespesa) dias Interpretao/ maiormelhor

Fonte/ Periodicidade Sistemasdegesto Anual dooramento

ndicedeprontidodocapitalda Tempomdioentreorecebimentodasolicitaode informao(graudetempestividadeeinformaocrticaearespectivaresposta acessoinformaese conhecimentoscrticos)

menormelhor

Relatriosde monitoramentoe avaliao

Semestral

ndicedeformaodecomunidades Quantidadedecomunidadesdeconhecimentoestabelecidas Nmero deconhecimento absoluto readeGesto ndicedequalidadedainformao deSuporte: Informaoe Conhecimento Graudeacessosinformaes oramentrias,financeirase contbeis Avaliaodecaractersticasderelevncia,cobertura, abrangncia,integridade,confiabilidade,disponibilidade, tempestividadededadoseinformaes

maiormelhor

Atas e relatriosSemestral publicados pelas comunidades Pesquisa Anual

maiormelhor

Avaliaodadisponibilizaodeinformaes,taiscomo: documentaodooramentoanual;dosrelatriosda execuodooramentoduranteoexerccio;demonstraes financeirasdefinaldeexerccio;relatriosdeauditoria externa;adjudicaodecontratos;eoutros

maiormelhor

Pesquisa

Anual

ndicedeprevisodeaposentadorias Ndepessoascomprevisodeaposentadoriaparaos prximos5anos/ndepessoas ndicedeinvestimentoem treinamentos

anos

Maiormelhor

Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Pesquisa Anual

recursosoramentriosinvestidoemtreinamento/recursos Percentual Maiormelhor oramentriosdisponveis Percentual

Proporodooramentopor Oramentototal/Totaldefuncionrio readeGesto funcionrio deSuporte: Pessoas ndicedefuncionrioscomgraduao Percentualdefuncionrioscomgraduao

Percentual Maiormelhor

ndicedeabsentesmo

Nmerodediasnotrabalhados/(Nmerodefuncionriosx ndice Nmerodediasteis)

Menormelhor

ndicededimensionamentoidealda RelaoentrequantitativorealdainstituioeoquantitativoPercentual Igualmelhor foradetrabalho idealdasdiversasunidadesorganizacionais

103


Subdimenso Indicador Climaorganizacional Amplitudedecomando Frmula Avaliaasatisfaodofuncionriocomaorganizao,com superioresecomseuspares Unid. ndice Interpretao/ maiormelhor

Fonte/ Periodicidade Pesquisa deAnual satisfaointerna Pesquisa Anual

(NmerodefuncionriostotalNmerodefuncionriosem Percentual posiodechefia)/Nmerodefuncionriosemposiode chefia Quantidadedeperfiscomformaoadequadacomsuas responsabilidadessobreototaldepessoasnaorganizao Tempodedisponibilidadedossistemas/tempototal Percentual maiormelhor

Graudeadequaodoperfildos funcionrioscomasatividades desempenhadas Disponibilidadedossistemas informacionais

Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Pesquisa deAnual satisfao Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos

Percentual maiormelhor

readeGesto ndicederecuperaodainformao Sistemascommecanismosderecuperaoimplantados deSuporte: polticaderedundnciaebackup sobreototaldesistemas Tecnologiada Quantidadedefalhasidentificadas Quantidadedefalhasidentificadasemsistemascentrais Informao emsistemascentrais ndicedeacessibilidadeesatisfao Graudesatisfaodosusurioscomosstioseletrnicos dosusurioscomosstioseletrnicos Nmeromdiodeconcorrentes participandodocertame

Percentual maiormelhor Nmero absoluto menormelhor maiormelhor maiormelhor

NmeromdiodeconcorrentesqueapresentarampropostasNmero emcadaprocessodelicitao absoluto

Percentualdeprocessosdelicitao Percentualdeprocessosdelicitaodeclaradosnulosantes Percentual menormelhor cancelados daassinaturadocontrato Tempomdiodoprocessolicitatrio Mdiadostemposdecorridosentreaaberturadoeditalea dias adjudicaodocontrato menormelhor

readeGesto deSuporte: Comprase Divulgaodaspropostase Contratos publicaodasoutorgas

PercentualdepropostasparaosquaisoeditaleosresultadosPercentual maiormelhor deoutorgaforamdivulgadospublicamente dias menormelhor

Tempodepreparaodaspropostas Nmerosdediasentreoeditaleaaberturadaspropostas

Tempoparaavaliaodaspropostas Nmerodediasentreaaberturadaspropostasea publicaodaoutorga

dias

menormelhor

104


Subdimenso Indicador ndicedeprotestosapropostas apresentadas Frmula Proporoentreonmerodeprotestoseonmerode propostasapresentadas Interpretao/ Unid. Percentual menormelhor

Fonte/ Periodicidade Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Pesquisa Anual

Tempomdiodociclodecomprasou Mdiadostemposdecorridosentreaassinaturadocontrato dias decontratao eaatuaodoprocessodecontratao Tempomdiopararespostasaos protestos Graudecartelizaodomercado Nmerodediasentreasubmissoearespostafinaldos protestos Avaliaodeempresascommesmoendereo,scioscom sobrenomesiguais,entreoutros dias

menormelhor

menormelhor

menormelhor

Graudeadequaodoplanejamento quantidadedeitensplanejadoecomprados/totaldeitens Percentual maiormelhor decompras comprados Graudeadequaoaomarcolegale Avaliaodoatendimentoaospadresacordadosecumpre regulatriodecompraspblicas comasobrigaesaplicveis.Quantidadedeconformidades detectadas Percentualdecontratoscomacordos NdeANSpactuadassobretotaldecontrataes denveldeservioassinados(ANS) GraudeadequaodosANSas requisitoscontratuais readeGesto deSuporte: ndicedeconscinciaestratgica Estratgia Quantitativodecargosefetivospor carreirasnaorganizao readeGesto ndicedeevoluodoscargos deSuporte: comissionados Estrutura Organizacional Custodoscargoscomissionadose funesgratificadas AvaliaodeconformidadeentreoeditaleoANS maiormelhor

Percentual maiormelhor maiormelhor maiormelhor

Sistemas de gestoAnual deContratos Sistemas de gestoAnual deContratos Pesquisa Anual

Avaliaaporcentagemdeservidorescapazesdeidentificaras prioridadesestratgicasdaunidade,programaou organizao Nmeros,porexemplo,analistasdeplanejamentoe oramento,engenheiros,tcnicosemplanejamentoetc. Cargoscomissionadosdoperodoatual/Cargos comissionadosdoperodoanterior Nmero absoluto Nmero absoluto

Sistema Informaes Organizacionais Sistema Informaes Organizacionais Sistema Informaes Organizacionais

deTrimestral

deTrimestral

Custoanualdecargoscomissionadosefunesgratificadas/ Nmero Custototaldedespesaexecutadacompessoal absoluto

deTrimestral

105


Subdimenso Indicador ndicedecargoscomissionados Interpretao/ Frmula Unid. Quantidadedecargoscomissionadosefunesgratificadas/ Percentual menormelhor TotaldefuncionriosdaOrganizao Nmerosdecargosporvnculo,porexemplo,ativo Nmero permanente,cedido,celetista,contratotemporrio,locao absoluto provisria,requisiodeoutrosrgos,requisitadoetc.

Fonte/ Sistema Informaes Organizacionais Sistema Informaes Organizacionais

Periodicidade deSemestral

Quantidadecargos/empregospor tipodevnculo

deTrimestral

106

Anexo 3. Modelos de planilhas para a modelagem de indicadores

1.CadeiadeValor Insumos

Processos

Produtos

Impactos

107

 2.Estabelecimentodeindicadores
Nvel Dimenso Subdimenso Objetodemensurao No

Indicador

E1Efetividade

1.1.ImpactoFinal 1.2.ImpactoIntermedirio 2.1Quantidade/Volume 2.2Qualidadedoproduto/ servio 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco 3.1Custoefetividade 3.2Produtividade 3.3Tempo 3.4Custounitrio 3.5Custobenefcio 4.1Execuofsica 4.2Execuofinanceira 5.1Conformidadeem relaoapadresde excelnciagerencial(MEGP) 5.2Conformidade 5.3Riscos 5.4Causalidade 5.5Comunicao 6.1Quantidadederecursos 6.2Qualidadedosrecursos 6.3Acessibilidade 6.4Cobertura 6.5Risco

E2Eficcia

E3Eficincia

E4Execuo

E5Excelncia

E6Economicidade

108

 3.Construodefrmula,metaseescalasdenotas
No Indicador Frmula Un Interpretao/sentido/ periodicidade Fonte/ Responsvel Srie histrica t3 t2 t1 Vo Benchmark

Metas t1 t2 t3 10

Taxade alcance/nota 9 8 7 6

109

 4.MatrizdeAvaliaoQuantitativadeIndicadores
Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia
1 2 3 4 5 6 7 8 9 10 11 12 13

CritriosePonderaes

Indicador

1 Peso 2 Peso 3 Peso 4 Peso 5 Peso 6 Peso 7 Peso 8 Peso 9 Peso 10 Peso 11 Peso 12 Peso 13

Peso

E6Economicidade

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

Peso ponderado total 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0

110

 5.Ponderaeserelaesdecausalidade
Dimenso Pesoda Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia Indicador Frmula

Indicadores Peso Indicadores Unid. Interpretao/sentido Fonte/Responsvel Periodicidade pelosquais ponderadodo queinfluencia influenciado Indicador

111

 6.ConsolidaodosIndicadoreseaplicaodenotas
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) Pesodo indicador Notado indicador

Nota ponderada 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Notada Dimenso

Nota ponderada daDimenso

E1Efetividade

E2Eficcia

E3Eficincia

E4Execuo

E5Excelncia

E6 Economicidade

NotadeDesempenhoAgregado

112