III Congresso Consad de Gesto Pblica

GUIA REFERENCIAL DE MENSURAO DO

DESEMPENHO NA ADMINISTRAO PBLICA

Bruno Palvarini

Painel 12/047

Governana para resultados: metodologias e experincias recentes

GUIA REFERENCIAL DE MENSURAO DO DESEMPENHO

NA ADMINISTRAO PBLICA
Bruno Palvarini

RESUMO
A Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto
apresenta a primeira edio do Guia Referencial para Medio de Desempenho na
Administrao Pblica. Trata-se de um referencial metodolgico que permite a
governos (Federal, estaduais e municipais), reas ou domnios de polticas pblicas,
conjuntos de organizaes, organizaes pblicas e suas unidades definirem e
mensurarem seu desempenho assumindo-se que este um primeiro e decisivo
passo para a sua gesto, permitindo, assim, em bases metodologicamente
anlogas, sua pactuao, avaliao, divulgao. A construo da metodologia
baseou-se no estado da arte da literatura gerencial sobre gesto do desempenho e
buscou encontrar um difcil equilbrio entre complexidade e simplicidade. A proposta
a concepo de um metamodelo, um modelo que orienta a construo de modelos
especficos de definio e mensurao do desempenho caso a caso, respeitando-se
conceitos e princpios bsicos. Buscou-se construir um texto o mais sucinto possvel,
com exemplos de aplicao e ilustraes que possam facilitar a compreenso. O
texto est dividido em 4 partes. A primeira parte conceitual e contextual, buscando
elaborar uma aproximao ao tema, conceituando a mensurao do desempenho. A
segunda parte apresenta o metamodelo, o conceito de desempenho elaborado e os
princpios, elementos gerais e escopo da metodologia de mensurao. A terceira
parte est focada da mensurao propriamente dita, concentrando-se na construo
de indicadores. A quarta e ltima parte elabora algumas consideraes finais a
respeito da aplicao da metodologia e os resultados esperados. Nesse sentido, o
Guia prope uma metodologia conceitualmente embasada e flexvel para ser
aplicada em vasta variedade de casos, contribuindo para a construo de um acordo
sobre o conceito de desempenho no setor pblico.

SUMRIO

1 INTRODUO........................................................................................................ 03
2 CONCEITOS: GESTO E MENSURAO DO DESEMPENHO........................... 04
3 (META) MODELO PARA MENSURAO DO DESEMPENHO:
A CADEIA DE VALOR E AS SEIS DIMENSES DO DESEMPENHO..................... 06
3.1 Subdimenses dos 6Es do desempenho............................................................. 08
3.2 Desempenho timo e estrutura de ponderao................................................... 10
4 FORMULAO DE INDICADORES DE DESEMPENHO...................................... 14
4.1 Passo 1 Identificao da dimenso, subdimenso e objetos
de mensurao.................................................................................................................. 14
4.2 Passo 2 Estabelecimento de indicadores......................................................... 15
4.3 Passo 3 Validao preliminar dos indicadores com as
partes interessadas.................................................................................................... 16
4.4 Passo 4 Construo de frmulas, estabelecimento de metas e notas............. 16
4.5 Passo 5 Definio de responsveis.................................................................. 20
4.6 Passo 6 Gerao de sistema de coleta de dados............................................. 22
4.7 Passo 7 Ponderao e Validao final dos indicadores com
as partes interessadas............................................................................................... 22
4.8 Passo 8 Mensurao do desempenho.............................................................. 25
4.9 Passo 9 Anlise e interpretao dos indicadores............................................. 27
4.10 Passo 10 Comunicao do desempenho....................................................... 27
5 CONSIDERAES FINAIS.................................................................................... 28
6 REFERNCIAS....................................................................................................... 30

1 INTRODUO

O presente artigo apresenta uma sntese da metodologia do Guia

Referencial para Medio de Desempenho e Manual para Construo de
Indicadores1, que trata de uma metodologia conceitualmente embasada que permite
a organizaes pblicas e suas unidades definirem e mensurarem seu desempenho.
A metodologia do Guia baseia-se no estado da arte da literatura gerencial
sobre gesto do desempenho e procura encontrar um difcil equilbrio entre
complexidade e simplicidade. A complexidade est, primeiramente, no tema,
suscitando controvrsias sobre o conceito de desempenho e sua mensurao,
questes estas que tem merecido na literatura no apenas tratamento variado, mas
sujeito a razovel confuso semntica e conceitual. Alm disso, a complexidade
tambm est nos objetos de aplicao, as organizaes, que possuem distintos
portes, naturezas de atividades, pblicos e contextos de atuao. A sada foi a
concepo de um metamodelo, um modelo que oriente a construo de modelos
especficos de definio e mensurao do desempenho caso a caso, respeitando-se
conceitos e princpios bsicos. Dessa forma, buscou-se ao mesmo tempo
reconhecer a complexidade e perseguir a simplicidade, renunciando-se busca de
solues exaustivas ou universalmente vlidas.
Ademais, esta iniciativa constitui a sntese da primeira edio do Guia,
que, alem das virtudes e limitaes inerentes a qualquer modelo, necessita de
aplicaes para seu contnuo aperfeioamento.
Buscou-se construir um texto o mais sucinto possvel, com exemplos de
aplicao e ilustraes que possam facilitar a compreenso. O texto est dividido em
4 partes. A primeira parte conceitual e contextual, buscando elaborar uma
aproximao ao tema, conceituando a mensurao do desempenho. A segunda
parte apresenta o metamodelo, o conceito de desempenho elaborado e os
princpios, elementos gerais e escopo da metodologia de mensurao. A terceira
parte est focada da mensurao propriamente dita, concentrando-se na construo
de indicadores. A quarta e ltima parte elabora algumas consideraes finais a
respeito da aplicao da metodologia e os resultados esperados.
1

Documento correspondente ao Produto 4 desenvolvido no mbito do Projeto de Melhoria da Gesto

Pblica por meio da Definio de um Guia Referencial para Medio do Desempenho da Gesto, e
Controle para o Gerenciamento dos Indicadores de Eficincia, Eficcia e de Resultados do Programa
Nacional de Gesto Pblica e Desburocratizao, disponvel em: https://conteudo.gespublica.gov.br/
folder_publicacoes/pasta.2009-04-23.1308768764/Guia%20-%20Indicadores%20%28versao%20
preliminar%20Dez%2009%29.pdf.

2 CONCEITOS: GESTO E MENSURAO DO DESEMPENHO

Desempenho um termo sujeito a inmeras variaes semnticas e

conceituais, embora existam alguns consensos majoritrios em torno de uma
definio. Segundo uma abordagem abrangente, o desempenho pode ser
compreendido como esforos empreendidos na direo de resultados a serem
alcanados. A equao simplificada : desempenho = esforos + resultados; ou
desempenho = esforos resultados.
Dessa forma, a definio sinttica e ao mesmo tempo ampla para o
desempenho estabelecida pela atuao de um objeto (uma organizao, projeto,
processo, tarefa etc.) para se alcanar um resultado. Logo, desempenho um
conceito peculiar para cada organizao, ou seja, um construto especfico, para
cada objeto.
Para isso, torna-se necessria a concepo de um metamodelo de
definio e mensurao do desempenho que seja robusto o suficiente para ser
capaz de unir as mais diversas abordagens, bem como orientar a construo de
modelos especficos para a definio e mensurao do desempenho. Por meio de
um metamodelo se pode indicar mdulos a partir dos quais os modelos especficos
possam ser configurados.
Uma vez definido desempenho, o conceito de gesto do desempenho
precisa ser qualificado. A gesto do desempenho constitui um conjunto sistemtico
de aes que buscam definir o conjunto de resultados a serem alcanados e os
esforos e capacidades necessrios para seu alcance, incluindo-se a definio de
mecanismos de alinhamento de estruturas implementadoras e de sistemtica de
monitoramento e avaliao.
A mensurao parte essencial de um modelo de gesto do
desempenho. Mas, no apenas a ao que apura, em sentido estrito, por meio de
indicadores, valores ou medidas dos esforos e resultados. Um sistema de
mensurao deve ir alm da gerao de indicadores (que, em princpio, nunca
trivial) e permitir: a) a gerao de indicadores em distintas dimenses de esforos e
resultados, com diferentes pesos entre estes (uma vez que representam medidas de
distintas importncias); e b) a gerao de uma nota para cada indicador (o que
requerer no apenas apurar o valor do indicador no ato da medio, mas comparar

o valor apurado com um valor-meta, seja correspondente a uma meta propriamente

dita, seja correspondente a um benchmark), que expresse uma medida relativa
(medida atual em relao a uma medida ideal). Trata-se, assim de uma
mensurao agregada e ponderada que permitir a gerao de uma medida sntese
do desempenho, uma nota global, que, de certa forma, carrega consigo um
componente avaliativo (do real apurado em relao a um ideal).
O desafio do Guia proporcionar a construo de modelos especficos de
mensurao do desempenho. Logo, isto implica a definio de variveis (aspectos
ou dimenses) do desempenho que devem ser consideradas (includas no modelo).
Trata-se, portando, de um modelo lgico-dedutivo, que inclui variveis sugeridas
pela literatura e estabelece uma ordem de causalidade entre elas: desempenho =
aspectos relativos aos esforos + aspectos relativos aos resultados; ou seja, um
conjunto de esforos que (presumivelmente) causam um conjunto de resultados.

3 (META) MODELO PARA MENSURAO DO DESEMPENHO: A CADEIA DE

VALOR E AS SEIS DIMENSES DO DESEMPENHO

Conforme apresentado, existem mltiplos aspectos nas dimenses de

esforo e do resultado que devem ser considerados em um modelo para a medio
de desempenho.
Nesse sentido, foi utilizado como metamodelo uma concepo de cadeia
de valor2 que identifica seis dimenses do desempenho, permitindo que se
identifique em cada dimenso distintos objetos de mensurao, oriente a
modelagem de indicadores (sem prejuzo de se identificarem, em alguns casos,
indicadores j consagrados) e permita a construo de painis de acompanhamento
da gesto. O metamodelo preconiza assim regras bsicas para construo de
modelos especficos de mensurao de desempenho.
O modelo da Cadeia de Valor e os 6Es do Desempenho permite a
construo das definies especificas de desempenho para cada organizao de
modo a explicitar as dimenses dos resultados (mais a montante da cadeia de valor)
e dos esforos (mais a jusante da cadeia de valor), alm de sugerir o necessrio
alinhamento entre ambas as perspectivas. Em sntese, o modelo mensura o que se
deve realizar para se produzir um resultado significativo no futuro.
O modelo da Cadeia de Valor e dos 6Es do Desempenho constitui-se das
dimenses de esforo e de resultado desdobradas em outras dimenses do
desempenho. As dimenses de esforo so economicidade, execuo e excelncia;
e as dimenses de resultado so eficincia, eficcia e efetividade.
A figura 1 a seguir ilustra o metamodelo denominado Cadeia de valor e
os 6Es do Desempenho.

A cadeia de valor definida como o levantamento de toda a ao ou processo necessrio para

gerar ou entregar produtos ou servios a um beneficirio. uma representao organizacional que
permite melhor visualizao do valor ou do benefcio agregado no processo, sendo utilizada
amplamente na definio dos resultados e impactos de organizaes. (Bennett, 1976; Wholey, 1979).

Dimenses
do Resultado

Eficincia

Outros
tica
Poder
Cultura

Insumos
(inputs)

Eficcia

Efetividade

Produtos
(outputs)

Impactos
(outcomes)

Aes/Atividades
P
r
o
j
e
t
o
s

Economicidade

Excelncia

Figura 1: Cadeia de valor e os 6Es do Desempenho

Fonte: Martins & Marini. Guia de Governana para Resultados.

Organizaes

Execuo

Dimenses
de Esforo

A Cadeia de valor e os 6Es do Desempenho possui dimenses que

compem seis categorias bsicas de indicadores, a saber:

Efetividade so os impactos gerados pelos produtos/servios,
processos ou projetos. A efetividade est vinculada ao grau de
satisfao ou ainda ao valor agregado.

Eficcia a quantidade e qualidade de produtos e servios entregues
ao usurio (beneficirio direto dos produtos e servios da organizao).

Eficincia a relao entre os produtos/servios gerados (outputs)
com os insumos empregados, usualmente sob a forma de custos ou
produtividade.

Execuo refere-se realizao dos processos, projetos e planos de
ao conforme estabelecidos;

Excelncia

conformidade

critrios

padres

de

qualidade/excelncia para a realizao dos processos, atividades e

projetos na busca da melhor execuo e economicidade; sendo um
elemento transversal.

Economicidade est alinhada ao conceito de obteno e uso de
recursos com o menor nus possvel, dentro dos requisitos e da
quantidade exigidas pelo input, gerindo adequadamente os recursos
financeiros e fsicos.

3.1 Subdimenses dos 6Es do desempenho

Os 6Es do desempenho podem ser desdobrados em subdimenses que
qualificam e auxiliam na caracterizao de tipologias de indicadores a serem
utilizados. O quadro 1 apresenta as principais subdimenses identificadas e suas
respectivas descries.
Dimenso

Subdimenses
1.1. Impacto Final: o resultado gerado pelos produtos e servios de um
determinado sistema (organizao, programa, poltica pblica, rede etc.)

E1Efetividade

no beneficirio final, ou seja, na sociedade.

1.2. Impacto Intermedirio: o resultado intermedirio gerado pelos
produtos e servios de um determinado sistema (organizao, programa,
poltica pblica, setor rede etc.) em seu beneficirio direto.

9
Dimenso

Subdimenses
2.1 Quantidade / Volume: o nvel de oferta e disponibilidade de um bens
ou servios gerado por um determinado sistema (organizao, programa,
poltica pblica, rede etc.).
2.2 Qualidade do produto / servio: representa a adequao entre as
caractersticas dos produtos e servios entregues, e os requisitos e
necessidades dos beneficirios.

E2 Eficcia

2.3 Acessibilidade e Equidade: a capacidade de disponibilizar bens e

servios equitativamente e fornec-los de forma equnime, atendendo
igualmente as necessidades dos beneficirios e a sociedade.
2.4 Cobertura: corresponde relao entre a populao atendida sobre a
que deveria ser atendida com bens ou servios pblicos gerados por um
determinado sistema (organizao, programa, poltica pblica, rede etc.).
2.5 Risco: avalia a probabilidade de um determinado sistema assegurar a
entrega de bens e servios para determinados beneficirios e a populao.
3.1 Custo-efetividade: relao entre os insumos para a prestao de um
determinado servio ou elaborao de um produto e a efetividade, ou seja,
entende-se pelo grau de contribuio de um programa ou ao na
consecuo de metas e objetivos de impacto fixados para reduzir as
dimenses de um problema ou melhorar uma dada situao.
3.2 Produtividade: relao entre o nvel de produo (servios e produtos)
e os recursos utilizados, seja o capital humano, imobilizado, investimentos
e o tempo.

E3Eficincia

3.3 Tempo: tempo decorrido entre o inicio e o fim de um determinado

programa, projeto ou processo.
3.4 Custo unitrio: conjunto de custos (fixos, variveis, reais, atribudos,
especficos e no especficos) a ser imputados a uma atividade por cada
unidade de produto ou servio gerado.
3.5 Custo-benefcio (qualidade do gasto): relao entre os dispndios
realizados por um determinado sistema e os retornos obtidos por conta
desses dispndios, apresenta a relao entre os insumos e os produtos
gerados.
4.1 Execuo financeira: relao entre o volume de recursos
disponibilizados pelo oramento e o nvel de utilizao desses recursos
visando atender realizao de etapas e/ou atividades de um programa,

E4Execuo

projeto ou processo (finalsticos ou de suporte.

4.2 Execuo fsica: relao entre o volume de produtos previstos para
serem entregues pelo oramento e o nvel de entrega desses produtos,
visando atender realizao dos projetos e/ou atividades.

10
Dimenso

Subdimenses
5.1 Conformidade em relao a padres de excelncia gerencial (IAGP).
5.2 Conformidade: representa a adequao dos projetos, aes e
processos aos padres e requisitos definidos. Exemplos: retrabalhos,
erros, responsabilidade ambiental, infraestrutura (conforto etc.), medidas e
especificaes, segurana (acidentes por horas trabalhadas),
transparncia, confidencialidade, acessibilidade, confiabilidade, inovao,
prazo etc.
5.3 Riscos: avalia a probabilidade de ocorrncia de falhas ou a entrega de

E5Excelncia

produtos fora das especificaes estabelecidas nos processos ou nos

programas, de modo que isso possa provocar a insatisfao das partes
envolvidas.
5.4 Causalidade: a avaliao de fatores precedentes que impactam ou
influenciam o comportamento ou resultado subsequente, sendo, deste
modo, indicadores que avaliam a adequao padres, normas e
especificaes.
5.5 Comunicao: a avaliao da fluxos de informao e seus canais,
averiguando a existncia ou no de falhas no processo de comunicao.
6.1 Quantidade de recursos: o nvel de oferta e disponibilidade de um
produto ou servio gerado por um determinado fornecedor ou sistema
(organizao, programa, poltica pblica, setor rede etc.).
6.2 Qualidade dos recursos: representa a adequao entre as
caractersticas dos produtos e servios adquiridos, e os requisitos e
necessidades da organizao (ou Governo).

E6Economicidade

6.3 Acessibilidade: a capacidade de captar bens e servios

equitativamente e fornec-los de forma equnime, atendendo igualmente
as necessidades dos beneficirios e a sociedade.
6.4 Cobertura: a avaliao do nvel de abrangncia de um determinado
insumo crtico para a execuo de programas, projetos, processos, sendo
desta forma um insumo que requer alta disponibilidade.
6.5 Risco: Avalia a possibilidade de ocorrncia de falhas no fornecimento

de recursos para prover programas, projetos e processos.

Quadro 1: Dimenses e subdimenses dos 6Es do Desempenho

3.2 Desempenho timo e estrutura de ponderao

Segundo o modelo apresentado, a otimizao do desempenho requer
atuao ao longo de toda a cadeia de valor. necessrio se pensar no
balanceamento dos 6Es do Desempenho. O desempenho timo aquele que
efetivo, eficaz, eficiente, excelente, econmico e cuja execuo de aes e

11

atividades ocorre em conformidade com requisitos e prazos definidos. Embora haja

precedncia da dimenso efetividade (e sucessivamente, eficcia e eficincia,
excelncia, execuo e economicidade, da direita para a esquerda da cadeia de
valor), problemas em qualquer uma das dimenses impe padres subtimos de
desempenho. Portanto, o modelo de desempenho timo representado pela
existncia dos 6Es.
Alm de necessidade de possuir todos os Es no modelo, h uma
ponderao entre eles para a gerao de uma medida final do desempenho (uma
nota global) e sua disposio em um Painel de Controle (scorecard). H a
precedncia de pesos entre os Es:
Prioridades: [E1 > E2 > E3] [E4 > E5 > E6].
A estrutura de ponderao proposta prioriza o resultado sobre o esforo.
Para isso, duas alternativas so propostas:
Alternativa 1 Ponderao com grau de flexibilidade:
Resultado = [E1+E2+E3] 60% / 70%; sendo que, PE1 PE2 PE3;
Esforo = [E4+E5+E6] 40% / 30%, sendo que, PE4 PE5 PE6.
Alternativas 2 Ponderao fixa:
Dimenso do Desempenho

Peso

Efetividade (E1)

2,5

Eficcia (E2)

Eficincia (E3)

1,5

Execuo (E4)

1,5

Excelncia (E5)

1,5

Economicidade (E6)

Total dos pesos

10

Proporo
60% resultado

40% Esforo
100%

Assim como existe ponderaes para as dimenses, tambm deve ser

aplicada a lgica de pesos para os indicadores dentro de cada dimenso.
O quadro 2 ilustra a sntese do modelo de ponderaes. O modelo
envolve algumas instncias de agregao de valores.

12

Dimenso do
Desempenho

Peso da
Dimenso

E1 Efetividade

2,5

E2 Eficcia

E3 Eficincia

1,5

E4 Execuo

1,5

E5 Excelncia

1,5

E6
Economicidade

Indicador (segundo Subdimenso)

Peso do
indicador

Nota do
indicador

Nota
ponderada
(A)

45

5
4
3

7
8
9

35
32
27

5
4
2

7
9
8

35
36
16

30

36

24

5
3
3
3

9
7
7
7

45
21
21
21

5
3

8
9

40
27

3
3
3

9
7
7

27
21
21

1.1. Impacto final

ndice de Desenvolvimento Humano (IDH)
1.1. Impacto Intermedirio
Taxa de Analfabetismo de 15 anos ou mais
ndice de distoro Idade / Srie
Taxa de concluso do ensino mdio na Rede de Ensino
2.1. Quantidade
Nmero de jovens e adultos alfabetizados
Quantidade de novas escolas construdas
Nmero de escola de Educao bsica com conexo de Banda
Larga
3.1. Custo-efetividade
Custo-efetividade (outcomes/custo) das polticas de educao
3.4. Utilizao de recursos
Volume do gasto pblico em educao (despesa oramentria) em
relao ao PIB
Custo mdio por hora-aula
4.1. Execuo fsica e execuo financeira
Grau de implantao das aes do Planejamento Estratgico
Taxa de empenho
Taxa de liquidao
Taxa de execuo oramentria
5.1 Critrios do MEGP
Pontuao nos critrios de excelncia em gesto (MEGP)
ndice de Inovao em Gesto (prmios e reconhecimentos
recebidos)
6.1. Quantidade de recursos
Gastos pblicos per capita com a Educao
Gasto total de compras do Governo com o setorial de Educao
Gastos com merenda escolar

Nota do Desempenho Agregado (D)

Quadro 2: Exemplo de ponderaes e notas aplicadas aos indicadores e sua nota consolidada final

Nota da
Dimenso
(B)

Nota
ponderada
da
Dimenso
(C)

8,18

20,44

7,91

15,82

7,50

11,25

7,71

11,57

8,38

12,56

7,67

7,67

79,31

13

Acerca do modelo de desempenho e ponderaes, duas principais

condies ideais so ressaltadas: a) que seja possvel a modelagem de indicadores
significativos e representativos nas 6 dimenses; b) que seja possvel gerar uma
nota para cada indicador. Em condies reais, algumas vezes, possvel que nem
todas as dimenses do Desempenho possam ser contempladas (tendo em conta
problemas na disponibilidade de dados que inviabilizem a gerao de indicadores)
como tambm possvel que no se consiga gerar uma nota para cada indicador.

14

4 FORMULAO DE INDICADORES DE DESEMPENHO

A formulao de indicadores pode ser realizada por um conjunto de

passos necessrios para assegurar que os princpios da qualidade e do sistema de
medio do desempenho estejam em conformidade com o desejado pela
organizao. Em sntese, os passos so:

4.1 Passo 1 Identificao da dimenso, subdimenso e objetos de mensurao

A identificao dos objetos de mensurao se d a partir do uso da cadeia
de valor, por se tratar de um instrumento facilitador da representao do universo de
anlise, contribuindo para uma melhor compreenso do ambiente interno e externo,
bem como para explicitao dos resultados e impactos pretendidos pela organizao,
programa ou governo. A figura 2 abaixo ilustra este conceito.

Figura 2: Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos de mensurao

Uma vez explicitados os objetos de mensurao e os atores (partes

interessadas), necessrio definir para qual dimenso dos 6Es se deseja criar os
indicadores.

15

Por fim, mas no menos importante, a definio da subdimenso que

procura explorar as medidas possveis e cabveis de serem extradas a partir da
dimenso escolhida. Esta etapa conduzida como base no quadro 3 abaixo.

Dimenso

Subdimenso
1.1

Impacto Final

Objeto de mensurao (Elementos da

Cadeia de Valor)
Desenvolvimento econmico,
esperana de vida e educao

E1 Efetividade
1.2
Impacto
Intermedirio

Resultado de Poltica Pblica de educao

Quadro 3: Definio do nvel, dimenso, subdimenso e objetos de mensurao

4.2 Passo 2 Estabelecimento de indicadores

Aps identificar os objetos de mensurao, dimenses e subdimenses, os
subsdios principais para a elaborao do indicador (como medir) j esto definidos.
Alm disso, necessrio identificar se a escolha do indicador atende s
expectativas de seus pblicos de interesse, como os rgos setoriais, rgos
centrais, rgos de controle e outros possveis interessados, de modo a assegurar a
relevncia do indicador proposto.
O quadro 4 abaixo, apresenta o desdobramento da dimenso dos 6Es,
perpassando pela definio da categoria da subdimenso e, por sua vez, o
estabelecimento do indicador.
Dimenso
E1 Efetividade

E2 Eficcia
E3 Eficincia
E4 Execuo
E5 Excelncia
E6Economicidade

Subdimenso
1.1
Final

Impacto

Objeto de mensurao

Indicador

Desenvolvimento econmico, ndice de Desenvolvimento

esperana
de
vida
e Humano (IDH)
educao

16
E1 Efetividade

1.2
Impacto
Intermedirio

Resultado de Poltica Pblica Taxa de Analfabetismo de

15 anos ou mais
de educao

E2 Eficcia
E3 Eficincia
Quadro 4. Desdobramento da dimenso dos 6Es em indicadores

4.3 Passo 3 Validao preliminar dos indicadores com as partes interessadas

Selecionar e validar os indicadores com as partes interessadas
fundamental para a obteno de um conjunto significativo de indicadores que
propicie uma viso global da organizao e represente o desempenho da mesma. O
processo de validao conduzido vis--vis com a anlise dos critrios de avaliao
do indicador. Durante a validao so levados em conta diversos critrios, tais
como: seletividade; simplicidade e clareza; representatividade; rastreabilidade e
acessibilidade; comparabilidade; estabilidade; custo-efetividade etc. Esses critrios
serviro de base para a deciso de manter, modificar ou excluir os indicadores
inicialmente propostos.

4.4 Passo 4 Construo de frmulas, estabelecimento de metas e notas

Uma vez definido o conjunto de indicadores e, por sua vez, analisados a
luz dos critrios (principalmente, seletividade e viabilidade), o passo de construo
de frmulas e estabelecimento de metas e notas pode ser iniciado.
Construo de frmulas
A frmula descreve como deve ser calculado o indicador, possibilitando
clareza com as dimenses a serem avaliadas. A frmula permite que o indicador
seja: inteligvel; interpretado uniformemente; compatibilizado com o processo de
coleta de dados; especfico quanto interpretao dos resultados e apto em
fornecer subsdios para o processo de tomada de deciso.
Cada frmula possui uma unidade de medida que confere um significado
ao resultado. As unidades de medida podem ser diversas, contudo, sua composio
deve seguir uma linha de raciocnio, possibilitando a anlise do resultado obtido e a
comparao com uma serie histrica.

17

A frmula de clculo e a unidade de medida fornecem subsdios para

identificar o comportamento esperado do indicador, ou seja, se o indicador maiormelhor, menor-melhor ou igual-melhor. Dessa forma, a interpretao do indicador
informa se o bom desempenho alcanado quando o resultado do indicador est
aumentando, diminuindo ou permanecendo o mesmo. Trata-se de uma informao
integrante que orienta a anlise crtica do desempenho do indicador.
Estabelecimento de metas
Uma vez estabelecidas as frmulas e as fontes dos dados, segue-se o
estabelecimento de metas. A meta uma expresso numrica que representa o
estado futuro de desempenho desejado.
Todos os indicadores de desempenho devem ter metas, podendo ser
definida mais de uma meta por indicador. As metas tm como objetivo serem
suficientes para assegurar a efetiva implementao da estratgia.
As metas contm uma finalidade, um valor e um prazo. A finalidade de
cada meta enunciada no detalhamento do indicador e expressa um propsito da
organizao. Um estado de futuro esperado em um determinado perodo. Para isso,
as metas devem ser: alcanveis; desafiadoras; diretas; negociveis; fundamentadas
em sries histricas, tendncias e benchmark.
Definio de notas
A nota deve refletir o esforo no alcance da meta acordada, por indicador
em particular, o que implicar na determinao de valores de 0 (zero) a 10 (dez)
para cada um, conforme a relao entre o resultado observado e a meta acordada.
Sugere-se o uso de uma escala padro ou escalas especificas para cada indicador.
Vale destacar que escalas especficas para cada indicador devem ser
fixadas em funo dos valores correspondentes grandeza da medida, de maneira
que o instrumento de medio tenha preciso adequada a sua utilizao, primando
por captar a variao do estmulo correspondente. Por exemplo, um indicador anual
de disponibilidade de energia eltrica deve possuir escala delineada entre 90% e
100%. Por outro lado, um indicador de taxa de execuo fsica de programa deve
apresentar escala com variao entre 0% e 100%, e sua respectiva interpolao de
notas. A adequao da sensibilidade da escala ao indicador fundamental para
evitar interpretaes enviesadas na anlise de valores aferidos pela mensurao.
O quadro 5 ilustra um exemplo de escala de notas.

18
Resultado observado no
alcance da meta

Nota atribuda

96% ou mais

10

91% a 95%

81% a 90%

71% a 80%

61% a 70%

51% a 60%

41% a 50%

40% ou menos

Zero

Quadro 5: Escala de notas

O resultado da multiplicao do peso pela nota corresponder ao total de

pontos atribudos a cada indicador dentro de cada dimenso.
O quadro 6 a seguir apresenta a sntese das etapas da construo do
indicador at esta etapa.

19

Indicador

Frmula

Unid.

Srie
Vo
Metas
Interpretao/
Fonte histrica
Benchmark
sentido
2005
2007
2010 2011
Maior-melhor

ndice
de (Longevidade +
Desenvolvimento
Educao +
decimal
Humano (IDH)
Renda)/3

PNUD

0,794

Taxa de alcance/nota
10

99,86% 99,75% 99,60% 99,46% 99,3% 99,16%

Canad
=
0,816 0,966
0,823 0,843 100%
99,99% 99,85% 99,74% 99,59% 99,45% 99,29%
Chile = 0,878

Menor-melhor
Total
de
analfabetos na
Taxa
de
faixa etria/total
Analfabetismo de
da
populao
15 anos ou mais
com a mesma
faixa etria

Quadro 6: Definio da escala de notas do indicador

IBGE

10,9

Chile =3,5
Reino Unido
9,9
9,2
=1
Japo =1

99% 100%

97,01%
96,01% 95,01% 94,01% 93,01%
- 97% - 96% - 95% - 94%
98,9%

--

20

4.5 Passo 5 Definio de responsveis

Os indicadores de desempenho se desdobram para toda organizao e
possuem como objetivo central entregar informaes sobre o grau de
cumprimento das metas. Portanto, o passo seguinte aps a construo das
frmulas e estabelecimento das metas estabelecer os responsveis pela
apurao do indicador.
Uma vez identificado o responsvel pela coleta, definida a
periodicidade de coleta do indicador, ou seja, descrita a periodicidade temporal
em que os resultados conexos ao indicador devem estar disponveis para serem
apurados. Exemplos, semanal, mensal, semestral, anual.
O quadro 7 a seguir apresenta o estabelecimento de responsveis e
periodicidade do indicador.

21

Indicador

Frmula

Unid.

Srie
Interpretao/
Vo
Metas
Fonte/
histrica
Sentido/
Benchmark
Responsvel
Periodicidade
2005 2007
2010 2011
Maior-melhor

ndice
de (Longevidade
Desenvolvimento + Educao decimal
Humano (IDH)
+ Renda)/3

PNUD

0,794

Canad
0,966
0,816
Chile
0,878

Taxa de alcance/nota
10

=
=

0,823 0,843 100%

99,86% 99,75% 99,60% 99,46% 99,3% 99,16%

99,99% 99,85% 99,74% 99,59% 99,45% 99,29%

Anual

Total
de
analfabetos
Taxa
de na
faixa
Analfabetismo
etria/total da
de 15 anos ou populao
mais
com
a
mesma faixa
etria

Menormelhor
IBGE

10,9

Anual

Quadro 7: Estabelecimento de responsveis e periodicidade por indicador

Chile =3,5
Reino
9,9
Unido =1
Japo =1

9,2

99% 97,01%
96,01% 95,01% 94,01% 93,01%
- 97% - 96% - 95% - 94%
100% 98,9%

--

22

4.6 Passo 6 Gerao de sistema de coleta de dados

A sistemtica de coleta de dados determina os requisitos para o
levantamento de informaes sobre os indicadores. Essa etapa complexa, uma
vez que h necessidade de se coletar dados acessveis, confiveis e de qualidade.
A identificao dos dados varia de acordo com o tempo e os recursos
disponveis, assim como o tipo de informao necessria. De modo geral as
principais tcnicas de coleta de dados so:

Tradicionais: aplicao de questionrios, realizao de entrevistas,
observao direta, anlise documental (fsicos e virtuais);

Em grupo: oficinas, brainstorm, reunies em equipe por exemplo,
Joint Application Design (JAD);

De prototipao: simulao e experimentao;

Cognitivas: anlise mental, deduo e inferncias; e

Contextuais: anlise social, anlise do ambiente interno e anlise do
ambiente externo.
Aps definidos os mtodos de coleta das informaes necessrio seguir
para o prximo passo, de validao dos indicadores pelas partes interessadas.

4.7 Passo 7 Ponderao e Validao final dos indicadores com as partes

interessadas
A ponderao e validao final dos indicadores com as partes
interessadas so fundamentais para a obteno de uma cesta de indicadores
relevante e legtima que assegure a viso global da organizao e, assim, possa
representar o desempenho da mesma. O processo de validao conduzido vis-vis uma sistemtica de ponderaes em que so definidos pesos para as dimenses
do desempenho e para cada critrio de seleo do indicador, avaliando o grau de
relevncia de dimenses e de indicadores para a mensurao do desempenho da
organizao (ou Governo).

23

A seleo dos indicadores usou como base na metodologia da Matriz de

Avaliao Quantitativa3, elaborada pela SPI e adaptada ao contexto do Guia.
apresentado um conjunto de critrios de seleo do indicador e so
estabelecidos pesos (variando entre 1 e 5 para obteno de uma maior
sensibilidade) para cada indicador sugerido, segundo seu grau de importncia. A
anlise dos indicadores realizada a partir da Matriz de Avaliao Quantitativa,
ilustrada no quadro 8. O indicador atendendo a um determinado critrio inserido o
nmero 1 em sua respectiva clula, caso contrario inserido o nmero 0. O
quadro 9 representa um exemplo da matriz em que a coluna Peso ponderado total
resulta na soma ponderada dos pesos assinalados para cada indicador.
Essa tcnica permite estabelecer uma classificao dos indicadores,
utilizando ou no o recorte por dimenso e classificando-os segundo uma ordem de
prioridade.
Vale ressaltar que a matriz de avaliao no a nica determinante da
seleo de indicadores, mas tambm outros critrios, sendo eles objetivos ou
subjetivos, como experincia, opinies de especialistas etc. podem ser utilizados.

Metodologia desenvolvida pela Secretaria de Planejamento e Investimentos Estratgicos (SPI) do

Ministrio do Planejamento, Oramento e Gesto. Guia Metodolgico para a Construo de
Indicadores, verso 2.1, 2009.

24

Indicador

Dimenso

Critrios e Ponderaes
1

IDH
Efetividade 1
Taxa
de
Analfabetismo de 15 Efetividade 1
anos ou mais
Nmero de horas de
Excelncia 0
capacitao/servidor

Peso
ponderado
total

Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

10

Peso

11

Peso

12

Peso

13

Peso

5,0

5,0

3,2

Critrios
1

Representatividade (proximidade com o objetivo da unidade de anlise)

Atendimento s necessidades de informao das partes interessadas

Confiabilidade metodolgica

Confiabilidade da fonte

Simplicidade

Objetividade, Clareza e Comunicabilidade

Exequibilidade de mensurao

Economicidade de obteno

Estabilidade ao longo do tempo

10

Investigativos (rastreabilidade ao longo do tempo)

11

Tempestividade

12

Comparabilidade

13

Sensibilidade

Quadro 8. Matriz de Avaliao Quantitativa de Indicadores

Fonte: Adaptado de Secretaria de Planejamento e Investimentos Estratgicos (SPI), 2009.

25

4.8 Passo 8 Mensurao do desempenho

Aps a execuo de todos os passos bsicos para a criao do indicador
e sua sistemtica, torna-se necessrio medir o que se deseja. Esse passo iniciado
com a coleta de dados e o clculo do indicador, e finalizado com a converso do
valor obtido na nota correspondente.
De forma a facilitar a mensurao e a ponderao relativas a cada
indicador, o quadro 9 a seguir exemplifica o modelo de desempenho consolidado da
unidade de anlise com destaque para as notas atribudas por indicador, por
dimenso e o valor do desempenho agregado mensurados em um determinado ciclo
de monitoramento e avaliao.

26

Dimenso do
Desempenho

Peso da
Dimenso

E1 Efetividade

2,5

E2 Eficcia

E3 Eficincia

1,5

E4 Execuo

1,5

E5 Excelncia

1,5

E6
Economicidade

Indicador (segundo Subdimenso)

1.1. Impacto final
ndice de Desenvolvimento Humano (IDH)
1.1. Impacto Intermedirio
Taxa de Analfabetismo de 15 anos ou mais
ndice de distoro Idade / Srie
Taxa de concluso do ensino mdio na Rede de Ensino
2.1. Quantidade
Nmero de jovens e adultos alfabetizados
Quantidade de novas escolas construdas
Nmero de escola de Educao bsica com conexo de Banda Larga
3.1. Custo-efetividade
Custo-efetividade (outcomes/custo) das polticas de educao
3.4. Utilizao de recursos
Volume do gasto pblico em educao (despesa oramentria) em
relao ao PIB
Custo mdio por hora-aula
4.1. Execuo fsica e execuo financeira
Grau de implantao das aes do Planejamento Estratgico
Taxa de empenho
Taxa de liquidao
Taxa de execuo oramentria
5.1 Critrios do MEGP
Pontuao nos critrios de excelncia em gesto (MEGP)
ndice de Inovao em Gesto (prmios e reconhecimentos recebidos)
6.1. Quantidade de recursos
Gastos pblicos per capita com a Educao
Gasto total de compras do Governo com o setorial de Educao
Gastos com merenda escolar

Nota de Desempenho Agregado

Quadro 9. Exemplo de ponderaes e notas aplicadas aos indicadores e sua consolidao

Peso do
indicador

Nota do
indicador

Nota
ponderada

45

5
4
3

7
8
9

35
32
27

5
4
2

7
9
8

35
36
16

30

36

24

5
3
3
3

9
7
7
7

45
21
21
21

5
3

8
9

40
27

3
3
3

9
7
7

27
21
21

Nota da
Dimenso

Nota
ponderada
da
Dimenso

8,18

20,44

7,91

15,82

7,50

11,25

7,71

11,57

8,38

12,56

7,67

7,67

79,31

27

4.9 Passo 9 Anlise e interpretao dos indicadores

Promover a anlise e a interpretao dos dados aspecto primordial para
o processo decisrio, pois, caso contrrio, a existncia de uma sistemtica de
monitoramento e avaliao no proporciona ganhos e benefcios para a
organizao, havendo apenas dispndio de tempo e de recursos.
A anlise e a interpretao de dados podem ocorrer de diversas formas,
aps a prvia coleta e mensurao das informaes. As principais formas de anlise
e interpretao ocorrem por meio de:

Reunies gerenciais;

Reunies operacionais;

Intercmbio de informaes e solues; e

Na gesto do dia-a-dia.

4.10 Passo 10 Comunicao do desempenho

A comunicao um fator preponderante para a integrao da
organizao e o desdobramento dos resultados em todos os nveis, internamente e
externamente. Um mito com relao comunicao e a tomada de deciso que,
atualmente, no h tempo para repassar informaes e realizar consideraes.
A interao entre as equipes e o alinhamento de conhecimentos cria
sinergia e um senso comum de atuao. O processo de comunicao move as
aes, estimula a mudana, gera a conscincia e o engajamento, e mantm o ritmo
da organizao na busca do melhor desempenho.
Para realizar a comunicao do desempenho as organizaes podem
adotar as mais diversas ferramentas existentes, cujas mais comuns so:

Apresentao institucional de resultados para os colaboradores;

Painel de indicadores com seus respectivos resultados (Central de
resultados);

Banners com faixas de desempenho (vermelho, amarelo, verde e azul);

Reunies de avaliao de desempenho;

Relatrios anuais (fsicos e virtuais); e

Avaliao externa (prmios de excelncia).

28

5 CONSIDERAES FINAIS

A medio de desempenho na gesto pblica est entre os principais

instrumentos para subsidiar os gestores e os dirigentes em suas decises e
escolhas. Atualmente, h a exigncia cada vez maior em aperfeioar os nveis de
esforos e resultados das organizaes, bem como gerar e fortalecer os
mecanismos de transparncia e responsabilizao para os cidados e partes
interessadas, sendo estes os fundamentos para impulsionar o desenvolvimento e
implementao de indicadores de desempenho nas instituies pblicas.
No mbito geral, os indicadores de desempenho fornecem informaes
sobre temas fundamentais da gesto pblica, tais como nvel de efetividade,
eficcia, eficincia, qualidade, economia de recursos e produtividade dos
produtos/servios, alm de apontar o grau de melhoria da gesto.
Nesse contexto, o propsito principal deste artigo a apresentao
sinttica de um guia referencial no exaustivo, mas representativo o suficiente para
possibilitar a diversas organizaes a definio do seu desempenho, subsidiar com
conceitos e metodologias para a construo de seus indicadores de desempenho e
a elaborao de painis de controle para o acompanhamento da gesto. Uma das
principais diretrizes do desenvolvimento do Guia foi a busca do isomorfismo entre
abordagens distintas, permitindo a sugesto de um modelo que as contemple e
permita a gerao de resultados.
Esta sntese do Guia contempla a definio dos conceitos de
desempenho e de medio do desempenho, a metodologia da Cadeia de Valor e
dos 6Es do Desempenho e as etapas do modelo de definio e implementao de
indicadores (aderente a metodologia dos 6Es do Desempenho).
O texto se props a desenvolver de maneira didtica aspectos conceituais
e metodolgicos envolvidos da formulao e implementao de indicadores de
desempenho no mbito da gesto pblica para implementar a objetiva e efetiva
mensurao dos resultados nas organizaes pblicas.
Consideramos a necessidade permanente de realizao de um ciclo de
inovao (introduo de melhorias), comunicao (entre as partes que compem o
sistema

organizacional

para

que

inovao

ocorra

primeira

vez)

sustentabilidade (fundamental para que a inovao se perpetue) na aplicao do

29

Guia, refletindo as ideias de aprimoramento permanente, de flexibilidade e de

adequao ao contexto. Em outras palavras, julgamos ser prefervel para as
organizaes que fizerem uso do Guia a implementao de verses evolutivas de
seus indicadores que a alternativa de aguardar at que todos os possveis
elementos estejam disponveis.
O Guia proposto reconhece a diferena entre indicadores objetivos e
outros de natureza mais subjetiva, percebendo que os tratamentos de ambos sero
distintos. Como j dito, o prprio modelo deve se aprimorar medida que maior
conhecimento detivermos dos objetos de nossa mensurao.
Por fim, reconhecemos a importncia cada vez maior presente em
organizaes que se constituem de redes internas de pessoas e unidades (e que
participam de outras redes complexas na prestao de seus servios) de
identificar tempestivamente os efeitos colaterais que existem entre as partes
componentes, para que a tomada de deciso seja efetiva. Os indicadores
possuem este papel fundamental.

30

6 REFERNCIAS

AKAO, Y. Kanri: policy deployment for successful TQM. Productivity. Press,

Cambridge. 1991.
AUGUST, Judy H. JAD Joint Application Design. Makron Books, SP, 1993.
AUSTRALIAN PUBLIC SERVICE COMMISSIONER (APSC). Annual Report
2006/07. 2007.
BENNETT, C. Analyzing impacts of extension programs, ESC-575. Washington,
D.C.: Extension Service-U.S. Department of Agriculture, 1976.
BOUCKAERT, Geert e HALACHMI, Arie. Organizational Performance and
Measurement in the Public Sector. Quorum. 1996.
BOUCKAERT, Geert; HALLIGAN, John. Managing performance: international
comparisons. Routledge. 2008.
BOYNE, George et al. Public service performance: perspectives on
measurementand management. Cambridge UniversityPress. 2006.
CREECH, Bill. The five pillars five pillars of TQM: how to make total quality
management workwork for you. Plume. 1995.
Departament of States United States. Department of State Annual Performance
Report Fiscal Year 2008.
FERLIE, Ewan; MCLAUGHLIN, Kate; OSBORNE, Stephen P. New public
management: current trends and future prospects. Routledge, 2002.
GIOPP, Alejandro Medina. Fortalecimiento de los sistemas de monitoreo y
evaluacin (M&E) em Amrica Latina. Banco Mundial, CLAD, 2009.
FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Como elaborar modelo lgico
de programas: um roteiro bsico. Nota Tcnica, IPEA, 2007.

31

FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Uma experincia de

desenvolvimento metodolgico para avaliao de programas: o modelo lgico
do programa segundo tempo. IPEA, 2009.
GOTTFREDSON, Mark; SCHAUBERT, Steve. Administrao de alto impacto:
como os melhores gestores alcanam resultados extraordinrios. Campus
Elsevier. 2008.
Government of Australian. Report on Government Service. 2008.
Government of Canada. Canadas performance 2007-08, the government of
Canadas contribution. 2008.
Government of United Kingdom. Public service agreement. 2007.
HALACHMI, Arie; BOUCKAERT, Geert. Organizational performance and
measurement in the public sector. Quorum. 1996.
KAPLAN, Robert; NORTON, David. Mapas estratgicos: convertendo ativos
intangveis em resultados tangveis. Campus Elsevier. 2004.
LAMBERT, Douglas. Supply chain management: processes, partnerships,
performance, processes, partnerships, performance. Supply Chain Management
Institute. 2005.
MARTINS, Humberto; MARINI, Caio. Guia de governana para resultados. Ed.
Publix, 2010.
MARINI, Caio; MARTINS, Humberto. Um governo matricial: estruturas em rede para
a gerao de resultados de desenvolvimento. In: Congreso Internacional del Clad
sobre la Reforma del Estado y de la Administracin Pblica, 9. Madrid. 2004.
MARINI, Caio; MARTINS, Humberto Falco; VILHENA, Renata; GUIMARES, T. B.
O choque de gesto em Minas Gerais: polticas da gesto pblica para o
desenvolvimento. Belo Horizonte: Editora UFMG. 2006.
Ministere de Lconomie, des Financeset de Lindustrie. La demarche de
performance : strategie, objectifs, indicateurs. 2004.

32

Ministerio de Hacienda, Direccin de Presupuestos. Sistema de Control de Gestin

y Presupuesto por Resultados La Experiencia Chilena.Gobierno de Chile, 2003.
Ministrio do Planejamento, Secretaria de Gesto. Instrumento para Avaliao da
Gesto Pblica Ciclo 2008/2009. 2008.
Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e
Investimentos Estratgicos (SPI). Guia Metodolgico para a Construo de
Indicadores. Verso 2.1, 2009.
______. Relatrio de avaliao Plano Plurianual 2008-2011: avaliao da
dimenso estratgica: exerccio 2009 ano base 2008. Braslia: MP, 2009.
MOYNIHAN, Donald P. The dynamics of performance management: constructing
information and reform. 2008.
NEELY, Andy. Business performance measurement: unifying theory and
integrating practice. 2. ed. Cambridge University Press, 2007.
NEELY, Andy; ADAMS, Chris. The performance prism. Performance Prism.
Financial Times Prentice Hall. 2002.
PMBOK. Project management institute. Four. Campus. 2004.
POLITANO, Antthony L. Chief performance officer. 2003.
PORTER, Michael. Competitive advantage: creating and sustaining performance.
FreePress. 1985.
RUMMLER, Gary; BRACHE, Alan. Melhores Desempenhos das Empresas: uma
abordagem prtica para transformar as organizaes atravs da
Reengenharia.Makron Books. 1994.
The Prime Minister Cabinet Office of United Kingdom. Cabinet Office Annual
Report e Acounts 2008-09. 2008.
United States General Services Administration. Annual performance and
accountability report. 2008.

33

WALTON, Mary. The deming management method. New York: Perigree Books,
1988.
WHOLEY, J. Evaluation: promise and performance. Washington, DC, Urban
Institute. 1979.

34

___________________________________________________________________
AUTORIA
Bruno Palvarini Bacharel e mestre em Engenharia Eltrica pela Universidade de Braslia (UnB),
com nfase em Processamento Digital de Sinais. funcionrio da Caixa Econmica Federal desde
1989, tendo trabalhado em unidades de atendimento ao pblico, Tecnologia da Informao,
desenvolvimento empresarial e planejamento financeiro. Atualmente atua como Diretor do
Departamento de Programas de Gesto da Secretaria de Gesto do Ministrio do Planejamento,
Oramento e Gesto, coordenando o Programa Nacional de Gesto Pblica e Desburocratizao
(GesPblica), cuja misso voltada para a disseminao de uma cultura de excelncia em gesto,
que contribua para a melhoria dos servios pblicos prestados ao cidado e para o aumento da
competitividade do Pas.
Endereo eletrnico: bruno.palvarini@planejamento.gov.br