Marcela Iwano

ANLISE DO MONITORAMENTO E DA AVALIAO DA POLTICA

NACIONAL DE SADE INTEGRAL DA POPULAO NERA

Braslia DF
Agosto/2016

Marcela Iwano

ANLISE DO MONITORAMENTO E DA AVALIAO DA POLTICA

NACIONAL DE SADE INTEGRAL DA POPULAO NEGRA

Trabalho de concluso de curso apresentado

como parte dos requisitos para obteno do
ttulo de especialista em Gesto Pblica.
Orientador: Carlos Tadeu Assumpo de
Pinho

Braslia DF
Agosto/2016

ANLISE DO MONITORAMENTO E DA AVALIAO DA POLTICA NACIONAL

DE SADE INTEGRAL DA POPULAO NEGRA
Marcela Iwano
Escola Nacional de Administrao Pblica - Enap

Palavras-chave: sade da populao negra, anlise de polticas pblicas, avaliao

e monitoramento.
RESUMO:
Este artigo procurou analisar os aspectos da Poltica Nacional de Sade Integral da
Populao Negra - PNSIPN para o perodo de 2012 a 2015, na perspectiva do
monitoramento e avaliao das aes elencadas no II Plano Operativo, a partir da
investigao da ferramenta E-Car e dos atores envolvidos nesse processo.
A sistemtica do E-Car precisa ser aperfeioada para que apresente informaes
adequadas ao acompanhamento da poltica. Nessa sequncia, percebe-se a
importncia do Comit Tcnico de Sade da Populao Negra ao trazer essa
discusso para dentro do MS e provocar respostas do Governo com relao
devolutiva da PNSIPN.
Ao final do trabalho, prope-se um modelo de indicadores que pode ser adequado
estrutura do E-Car, no intuito de acrescentar informaes teis que de fato
contribuam para o monitoramento e a avaliao da poltica.

INTRODUO
A Poltica Nacional de Sade Integral da Populao Negra PNSIPN foi
publicada por meio da Portaria n 992, de 13 de maio de 2009, destinada para
orientao de gestores e profissionais responsveis pela implementao da poltica,
bem como servir de referncia para o acompanhamento dos Conselhos de Sade,
movimentos sociais e demais atores comprometidos/sensveis com a pauta.
Essa poltica define os princpios, as diretrizes, a marca, os objetivos, as
estratgicas e as responsabilidades das trs esferas da gesto (federal, estadual e
municipal) para atenderem s especificidades da populao negra, no que tange ao
cuidado integral, preveno de doenas, assistncia, promoo e vigilncia em
sade, assim como aes de gesto participativa e controle social.
Nesse contexto, o presente artigo tem por finalidade analisar aspectos da
Poltica Nacional de Sade Integral da Populao Negra PNSIPN no mbito do
Ministrio da Sade MS, no perodo de 2012 a 2015, considerando a construo
da agenda, os atores envolvidos e os mecanismos de monitoramento e avaliao da
poltica.
Primeiramente, apresenta-se um referencial sobre Anlise de Polticas
Pblicas, bem como uma contextualizao da situao da populao negra no Brasil
e da criao de uma poltica especfica que atue na reduo das iniquidades tnicoraciais, no caso, a Poltica Nacional de Sade Integral da Populao Negra.
Em seguida, sero detalhados o II Plano Operativo - PO da PNSIPN no
mbito federal e os atores envolvidos com o ciclo da poltica, na perspectiva dos
processos de monitoramento e avaliao. Por fim, faz-se um balano da anlise com
apontamentos para as diversas dimenses da poltica.

DESENVOLVIMENTO

A ANLISE DE POLTICAS PBLICAS

A Anlise de Polticas Pblicas um conjunto de estudos que tem como

escopo compreender os desdobramentos dos processos polticos, com base em um
conjunto de observaes descritivas, explicativas e normativas, a respeito do que
os governos fazem, porque fazem e que diferena isso faz (DYE, 1976, p.1).
Para Serafim e Dias (2012), a Anlise de Poltica um campo recente que
tem sido cada vez mais valorizado como contribuio para o aperfeioamento da
gesto pblica. Portanto, aponta-se para um crescente nmero de estudos sobre
essa temtica nas universidades, os quais podem ser organizados ao redor de dois
grandes eixos:
i. Anlise do processo das polticas pblicas, que busca a
compreenso de como se definem os problemas e as agendas, como
se formulam as polticas pblicas, como se tomam as decises e
como se avaliam e implementam as polticas pblicas; e
ii. Anlise em e para o processo das polticas pblicas, que abarca o
emprego de tcnicas de anlise, pesquisa e proposio na definio
de problemas, na tomada de decises, na implementao e na
avaliao (SERAFIM; DIAS, 2012, p.127).

A Anlise de Poltica tem um papel importante na ampliao do conhecimento

da ao do governo, pois contribui para o melhor entendimento do processo poltico
e estuda acerca das atividades aplicadas soluo dos problemas sociais.
Deve-se atentar para a diferena conceitual de Anlise de Poltica Pblica e
Avaliao de Poltica Pblica. Serafim e Dias (2012) explicam que os termos
podem ser confundidos como sinnimos, haja vista que muitos trabalhos recentes
foram identificados como ensaios sobre anlises de polticas pblicas, quando na
verdade eram avaliaes.
Ambos os termos anlise e avaliao possuem como propsito a
investigao de polticas pblicas e seus desdobramentos. No obstante, o foco do
avaliador a preocupao quanto apreciao dos resultados da poltica a partir de
indicadores, considerando critrios como eficincia, eficcia e efetividade. J o
analista se atenta ao processo de construo da poltica e sua implementao, bem

como

aspectos

relacionados

aos

arranjos

institucionais,

mecanismos

de

governana, atores polticos, arquitetura do poder, tomada de decises, conflitos,

negociaes, etc. (SERAFIM; DIAS, 2012, p.126).
Neste caso, o presente trabalho tem por finalidade fazer uma anlise dos
aspectos da Poltica Nacional de Sade Integral da Populao Negra PNSIPN, em
contraste com a ideia de avaliao, que constitui uma etapa do ciclo da poltica
pblica. A anlise proposta visa investigar a ao governamental, agregando
conhecimentos que podem auxiliar os fazedores da poltica na tomada de decises,
revelando assim um carter mais propositivo.

A SADE DA POPULAO NEGRA NO BRASIL

O processo de escravido na poca colonial marcou um longo perodo da

histria brasileira que, at os dias atuais, traz o legado das desigualdades tnicoraciais, de maneira que ainda se mantm a consolidao da estratificao e
mobilidade social em funo da cor. Isso evidenciado pelos indicadores
socioeconmicos referentes populao negra no Brasil, pois a mesma apresenta
os mais altos nveis de pobreza, desemprego, analfabetismo e mortalidade,
associados com menor acesso aos servios de sade e saneamento bsico.
A partir desse cenrio, importante compreender os desdobramentos do
racismo no que tange o acesso a bens, direitos e servios, bem como desmistificar a
crena da democracia racial 1, o que implica entender que as diferenas sociais
tambm so permeadas por processos discriminatrios de cor e raa, no somente
por fatores socioeconmicos e de gnero.
Diante disso, faz-se necessrio reconhecer o racismo como determinante
social em sade, considerando que as maiores taxas de mortalidade materna 2 e

Ideologia difundida por Gilberto Freyre na qual no h desigualdades entre grupos/identidades raciais, haja
vista que o Brasil um pas mestio, ou seja, essas identidades estariam diludas. Esse iderio nega inclusive a
possibilidade da existncia do racismo, dos quais muitos brasileiros no se veem pelas lentes da discriminao
racial. Apesar de a democracia racial ser desmitificada por estudiosos, visto que existe um consenso acadmico
que evidencia a situao de excluso racial no Brasil, ainda arraigada a crena de que a mobilidade social
decorrente de fatores como sexo e classe, mas no de discriminao racial (CAMPOS, 2015).
2
De acordo com dados notificados no Sistema de Informao sobre Mortalidade - SIM, do total de 1.583
mortes maternas em 2012, 60% eram de mulheres negras e 34% de brancas (BRASIL, 2016, p. 41).

infantil3 incidem sobre a populao negra, assim como os maiores ndices de

homicdios4 e bitos por causa externa5. Tambm necessrio reconhecer a
existncia de agravos especficos com maior prevalncia para essa populao, a
exemplo da doena falciforme6, a hipertenso arterial7 e o diabetes mellitus8;
evidenciando assim suas condies de vulnerabilidade em sade.
Desde a dcada de 1980, as questes e demandas de classe, gnero e raa
galgaram espao na arena poltica com o esforo da luta do Movimento Social
Negro. A partir disso, conquistaram perante o governo maior visibilidade da temtica
racial e insero na agenda governamental, no que pese sua importncia como
pauta transversal, tendo em vista que a problemtica do racismo perpassa os mais
diversos campos, tais como a Sade, a Educao, a Assistncia, a Segurana
Pblica, o Trabalho, dentre outros.

A POLTICA NACIONAL DE SADE INTEGRAL DA POPULAO NEGRA

A Poltica Nacional de Sade Integral da Populao Negra - PNSIPN um

compromisso firmado pelo Ministrio da Sade no combate s desigualdades no
Sistema nico de Sade (SUS) e na promoo da sade da populao negra de
forma integral, considerando que as iniquidades em sade so resultados de

Dos 39.123 bitos infantis notificados em 2012, 45% foram de crianas negras e 41% de brancas; esta
diferena maior entre as mortes que ocorrem na primeira semana de vida, donde 47% so de crianas negras
e 38% de brancas (BRASIL, 2016, p. 48).
4
O nmero de bitos e a taxa especfica de bitos por agresso (homicdios), de jovens negros de 15 a 29 anos,
aumentaram consideravelmente nos ltimos 12 anos. Em 2012, a taxa especfica (por 100mil hab.) de
homicdios de jovens negros foi mais de trs vezes maior que a referida taxa de jovens brancos. Segundo
notificaes do SIM 2012, das 21.513 vtimas de homicdios entre 15 a 29 anos notificadas, 71,5 % foram jovens
negros. Se desconsiderarmos os casos com raa/cor no informada, essa porcentagem passa para 76,3%
(BRASIL, 2016, p.52).
5
Em 2012, foram notificados 152.013 bitos por causas externas, dos quais 55.291 (36%) ocorreram entre
jovens de 15 a 29 anos. Nesta faixa etria, 49.555 (90%) de sexo masculino e 32.632 (59%) de cor/raa negra
(BRASIL, 2016, p.52).
6
De 2000 para 2012, a taxa de mortalidade pela doena falciforme dobrou no pas, sendo praticamente
influenciada pelas tendncias das cor/raas pretas e pardas (BRASIL, 2016, p.34).
7
Para hipertenso arterial, a prevalncia na populao total foi de 24,3%, sendo 27% maior em pretos e 6%
maior em pardos quando comparados aos brancos (BRASIL, 2016, p.26).
8
A tendncia da mortalidade por diabetes mellitus na populao geral aumentou ligeiramente entre 2000 e
2012. Tal incremento ocorreu nas populaes preta, parda e indgena, enquanto que, nas cor/raa amarela e
branca houve diminuio da mortalidade. Em 2012, as maiores taxas de mortalidade por diabetes ocorreu na
populao negra (pretas e pardas) (BRASIL, 2016, p.32).

injustos

processos

socioeconmicos

culturais,

que

corroboram

com

morbimortalidade das populaes negras brasileiras.

A PNSIPN foi publicada por meio da Portaria n 992, de 13 de maio de 2009,
e possui como marca o reconhecimento do racismo, das desigualdades tnicoraciais e do racismo institucional como determinantes sociais das condies
de sade, com vistas promoo da equidade em sade.
A operacionalizao dessa poltica estabelecida nas estratgias e aes do
II Plano Operativo da PNSIPN, no intuito de garantir que a populao negra tenha
acesso a aes e servios de qualidade, de forma oportuna, contribuindo assim para
a melhoria das condies de sade, para a reduo das iniquidades de raa,
gnero, geracionais e classe, assim como para a promoo da qualidade de vida de
brasileiras e de brasileiros 9.
O Plano Operativo compreende um rol de 51 diretrizes e aes que so de
competncia do Ministrio da Sade e fundamentadas a partir de 5 (cinco) eixos:
EIXO 01. Acesso da Populao Negra nas redes de ateno sade; EIXO 02.
Promoo e Vigilncia em Sade; EIXO 03. Educao Permanente em Sade e
Produo

de

Conhecimento

em

Sade

da

Populao

Negra;

EIXO

04.

Fortalecimento da Participao e do Controle Social; EIXO 05. Monitoramento e

Avaliao das aes de sade para a populao negra.
A implementao dessas aes para o perodo de 2012 a 2015 so de
responsabilidade das diversas reas tcnicas do Ministrio da Sade pertencentes
s seguintes Secretarias: Secretaria de Ateno Sade - SAS; Secretaria de
Vigilncia em Sade - SVS; Secretaria de Gesto do Trabalho e da Educao na
Sade - SGTES; Secretaria de Gesto Estratgica e Participativa - SGEP,
Secretaria Executiva - SE; e Secretaria de Cincia, Tecnologia e Insumos
Estratgicos - SCTIE.

II Plano Operativo (2013-2015) da PNSIPN no mbito do Ministrio da Sade. Disponvel em

http://www2.camara.leg.br/atividade-legislativa/comissoes/comissoes-permanentes/cssf/audienciaspublicas/audiencias-publicas-anteriores/audiencia-2013/audiencia-15.10/apresentacao-5

O processo de construo dessas aes foi coordenado pela SGEP,

secretaria responsvel pela articulao no Ministrio da Sade junto s outras reas
tcnicas para a pactuao dessas aes e diretrizes, com o estabelecimento de
metas para a implementao da PNSIPN no mbito federal, com a colaborao do
Comit Tcnico de Sade da Populao Negra CTSPN.
A partir desse cenrio, descrevem-se os atores abaixo envolvidos no ciclo da
Poltica Nacional de Sade Integral da Populao Negra, com foco no eixo de
monitoramento e avaliao, ao mesmo tempo em que as especificidades desses
atores sero analisadas e inter-relacionadas entre si.

OS ATORES ENVOLVIDOS NA PNSIPN

A poltica pblica envolve vrios atores e nveis de deciso, permeada pela

dinmica das relaes de poder, coalizaes de interesses, grupos de presso,
dentre outros. Nesse seguimento, pode-se dizer que a anlise de uma poltica
implica, primeiramente, em identificar as organizaes (instituies pblicas) com ela
envolvidas e os atores que nestas se encontram em posio de maior evidncia. Em
seguida, e ainda no primeiro nvel (institucional) de anlise, identificar as relaes
institucionais (isto , as sancionadas pela legislao, pblicas etc.) que elas e seus
respectivos atores-chave mantm entre si, por meio das relaes de poder (GAPIUNICAMP, 2002).
Na anlise do presente trabalho sero identificados os atores institucionais e
suas interaes entre si, com destaque para o Departamento de Apoio Gesto
Participativa DAGEP, o Comit Tcnico de Sade da Populao Negra CTSPN e
as reas tcnicas do Ministrio da Sade.
O Departamento de Apoio Gesto Participativa DAGEP da Secretaria de
Gesto Estratgica e Participativa SGEP foi criado a partir da compreenso de que
as condies sociais, econmicas, polticas, geogrficas, de raa, gnero e
orientao sexual so consideradas determinantes das condies de sade. Nesse
sentido, so necessrias polticas pblicas que atuem na reduo das diferenas
histricas de grupos que se encontram em situao de vulnerabilidade, tais como a
populao negra; cigana; do campo, da floresta e das guas; lsbicas, gays,
bissexuais, travestis, transexuais; e populao em situao de rua.

10

vista disso, o DAGEP apoia e incentiva a implementao das Polticas de

Promoo de Equidade e da Poltica Nacional de Educao Popular em Sade, bem
como promove a participao e o controle social, atuando com os movimentos
sociais e com o Conselho Nacional de Sade CNS.
A institucionalizao de uma estrutura interna do MS que atue com o
fortalecimento da participao social na gesto das polticas de sade expressa um
avano na universalizao e na equidade do acesso sade, tendo em vista que as
decises e as aes polticas passam a ser efetivadas com o respaldo das
reivindicaes dos movimentos sociais (COSTA; LIONO, 2006, p. 49-50).
Dentre as polticas de equidade trabalhadas no departamento, a Poltica
Nacional de Sade Integral da Populao Negra PNSIPN uma das que tm o
propsito de garantir igualdade no que tange efetivao do direito sade, nos
seus aspectos de promoo, preveno, ateno, tratamento e recuperao para a
populao negra.
A construo dessa poltica ficou a cargo da SGEP com a assessoria do
Comit Tcnico de Sade da Populao Negra - CTSPN, sendo aprovada
posteriormente pelo Conselho Nacional de Sade CNS e pactuada na Comisso
Intergestores Tripartite CIT, o que implica no compromisso com todas as esferas
de gesto do SUS para o desenvolvimento de iniciativas e aes voltadas para a
melhoria dessa populao.
Diante disso, o CTSPN uma instncia que possui a finalidade de participar
da elaborao, implementao e acompanhamento da PNSIPN, assim como
apresentar subsdios tcnicos e polticos que contribuam para iniciativas e aes
programticas relacionadas com a sade da populao negra.
O comit composto por representantes governamentais, especialistas na
temtica e movimentos sociais atuantes no campo da sade da populao negra.
Esse modelo corrobora com o entendimento de Costa e Liono (2006), ao ilustrar
que a formao dos comits de equidade em sade constitui propostas estratgicas
de gesto participativa no SUS, com a finalidade de construo e encontro da lgica
articuladora dos movimentos sociais e da expertise de especialistas no assunto, que
dialogam com a dinmica governamental.
Liono e Costa (2006) tambm ressaltam a relevncia de participao das
lideranas dos movimentos sociais nesses espaos institucionalizados, j que a voz

11

dos representantes da sociedade civil evidencia as especificidades dos segmentos

populacionais em questo e reverberam as reivindicaes em pauta para dentro do
Ministrio da Sade.
Considerando que a composio de comit tambm possui representatividade
das diversas reas tcnicas do MS, a experincia do comit tem possibilitado
articulaes com as estruturas e rgos internos da instituio, na tentativa de
promover a transversalidade da temtica de sade da populao negra nas aes e
estratgias do Ministrio da Sade como um todo.
Desde

sua

criao,

CTSPN

tem

vocalizado

suas

demandas

necessidades, provocando debates com a gesto governamental, no intuito de

angariar conquistas e melhorias nas condies de sade da populao negra.
Em diversos momentos houve tensionamentos na relao CTSPN e MS, pelo
fato de que nem todos os encaminhamentos das reunies do comit eram
executados pela instituio, conforme o que tinha sido pactuado coletivamente. Uma
das pautas mais reivindicadas pelo Comit Tcnico de Sade da Populao Negra
tem sido a devolutiva sobre o monitoramento e a avaliao qualificada dos planos
operativos da Poltica Nacional de Sade Integral da Populao Negra - PNSIPN.
Segundo Ramos e Schabbach (2011), a avaliao de polticas pblicas
permite a responsabilizao do governo pelas suas aes (accountabilitiy10) diante
outras instncias governamentais, instituies privadas, movimentos sociais e todos
os cidados, constituindo em um instrumento de controle social sobre as aes
estatais. Nessa perspectiva, a prpria avaliao da PNSIPN tem sido demandada
tambm por outros rgos e instncias, a exemplo da Secretaria de Polticas de
Promoo da Igualdade Racial SEPPIR.
Com relao a essa problemtica para dentro do MS, o CTSPN decidiu criar
um grupo de trabalho constitudo por representaes do prprio comit, com o
objetivo de avaliar os dados gerados pelo Sistema de Monitoramento do Ministrio
da Sade, o E-Car, na tentativa de dar essa devolutiva para a instituio, gestores e
a sociedade.

10

De acordo com o Indicadores de Programas: Guia Metodolgico do MPOG (2010), o termo accountability
possui vrios significados e geralmente est associado ideia de responsabilizao e prestao de contas. O
termo no possui traduo exata para o portugus e trata-se de um conceito de esfera tica, no que diz respeito
obrigao de membros de um rgo administrativo ou representativo de prestar contas a instncias controladoras
ou a seus representados.

12

Ademais, o comit participou da construo do prximo plano operativo da

Poltica Nacional de Sade Integral da Populao Negra, com regncia para 20162019, que tambm ser discutido e pactuado na Comisso Intergestores Tripartite
CIT.
Nesse contexto, percebe-se o quo expressivo o papel do Comit Tcnico
de Sade da Populao Negra no debate da importncia das prticas de
monitoramento e avaliao da PNSIPN, e como isso implicou em avanos ao trazer
essa discusso para dentro da instituio, o que tm acarretado sensibilizao e
maior envolvimento das reas tcnicas do Ministrio da Sade para operacionalizar
aes de sade da populao negra.
Em contrapartida, isso ainda est muito aqum do que esperado pela
proposta da Poltica Nacional de Sade Integral da Populao Negra, o que
verificado nos prximos tpicos ao trazer um panorama acerca do referencial terico
sobre Monitoramento e Avaliao de Polticas Pblicas no Brasil e, por conseguinte,
investigar o modelo da sistemtica de monitoramento do Ministrio da Sade e os
problemas gerados pela ferramenta E-Car.

MONITORAMENTO E AVALIAO DE POLTICAS PBLICAS NO BRASIL

importante destacar a relevncia de prticas que apurem o alcance de

metas e objetivos de determinadas polticas pblicas, para que instituies,
gestores, tcnicos e cidados possam conhecer, opinar e intervir nos mltiplos
aspectos de governana e arranjos institucionais que permeiam o ciclo dessas
polticas (BRASIL, 2010).
Conforme Papi, Madeira e Barcellos (2015), o exerccio do Monitoramento e
Avaliao - M&A - algo recente no Brasil e existem poucos estudos empricos que
retratam a aplicao da M&A para a realidade institucional e socioeconmica no
pas.
O monitoramento consiste no acompanhamento contnuo e abrangente das
aes durante o perodo de implementao, no intuito de verificar o desenvolvimento
das polticas pblicas, considerando as metas previstas. Essa atividade realizada
para apurar se a execuo est atingindo os objetivos e identificar quais os
problemas esto prejudicando a operacionalizao do plano. Caso necessrio,

13

pode-se ajustar o plano para que sejam viabilizadas condies operacionais

adequadas ao alcance dos objetivos.
A avaliao pode ser realizada antes, durante a implementao ou mesmo
algum tempo depois, aps o programa produzir todo o seu impacto, com o foco se
houve benefcios para a realidade social. Assim, trata-se de julgamento de valor e
mrito, no qual se busca investigar, de maneira aprofundada, se o plano
originalmente proposto est produzindo ou produziu as transformaes desejadas,
tendo em vista os critrios como de eficincia, efetividade, impacto, sustentabilidade
e relevncia.
Tanto o monitoramento como a avaliao so atividades realizadas, na
maioria dos casos, por meio de indicadores, com intuito de mensurar determinado
aspecto da realidade existente (situao social) ou construda (ao de governo), de
forma a organizar e tornar esses dados acessveis para anlise. No caso do
monitoramento, os indicadores so construdos para acompanhar o progresso em
relao s metas; na avaliao medem-se os resultados dos programas, os
impactos e efeitos de determinada poltica pblica (Ramos e Schabbach, 2011).
importante sinalizar que os indicadores devem ter significncia, o que
implica em medir apenas o que til e relevante, pois quem quer medir tudo acaba
no medindo nada, sem contar que esse processo tambm demanda tempo e
custos econmicos (BRASIL, 2010).
Na viso adaptada de Bonnefoy e Jannuzzi (2005), citado por BRASIL (2010),
os indicadores de gesto de programas podem ser aplicados nas diferentes fases do
ciclo de gesto, a exemplo de alguns apresentados abaixo:
(...)
Produto (output indicators): medem o alcance das metas fsicas.
So medidas ex-post facto que expressam as entregas de
produtos ou servios ao pblico-alvo do Programa. So exemplos
o percentual de quilmetros de estrada entregues, de armazns
construdos e de crianas vacinadas em relao s metas fsicas
estabelecidas;
Resultado (outcome indicators): essas medidas expressam, direta
ou indiretamente, os benefcios no pblico-alvo decorrentes das
aes empreendidas no contexto do Programa e tm particular
importncia no contexto de gesto pblica orientada a resultados.
So exemplos as taxas de morbidade (doenas), taxa de
reprovao escolar e de homicdios;
Impacto (impact indicators): possuem natureza abrangente e
multidimensional, tm relao com a sociedade como um todo e

14

medem os efeitos das estratgias governamentais de mdio e

longo prazos. Na maioria dos casos esto associados aos
objetivos setoriais e de governo. So exemplos o ndice Gini de
distribuio de renda e o PIB per capita (BRASIL, 2010, p. 30 e
31).

Conforme exposto, o Monitoramento e Avaliao so prticas recentes, mas

que vem crescendo progressivamente, especialmente a partir dos anos 2000, haja
vista: o protagonismo constitucional do Estado brasileiro; a expanso de cursos de
graduao e ps-graduao stricto sensu nas universidades brasileiras com
abordagem em polticas pblicas; a ampliao do debate sobre os princpios da
transparncia, eficcia e eficincia; e os avanos nas reas de tecnologias da
informao que esto cada vez mais incorporadas aos instrumentos governamentais
(PAPI, L. et al., 2015, p. 3).
A participao e o controle social permitiram, igualmente, pleitear o
incremento dos processos de monitoramento e avaliao para a correta autocrtica
do acompanhamento da implementao das polticas, na inteno de que seja uma
prtica recorrente nos ciclos das polticas pblicas.
A incorporao de prticas de M&A refletiva na prpria gesto do Ministrio
da Sade, ganhando potncia poltica a partir de 2011, por meio da criao do
Departamento de Monitoramento e Avaliao do SUS DEMAS, setor responsvel
pelo acompanhamento das polticas e programas no mbito da sade.
Apesar disso, existem dificuldades em se institucionalizar as prticas de M&A
para dentro do MS, sendo necessrio o aperfeioamento de mecanismos de
monitoramento e a avaliao da Poltica Nacional de Sade Integral da Populao
Negra PNSIPN; dos quais sero descritos e analisados em seguida.

ANLISE DA SISTEMTICA DE MONITORAMENTO E AVALIAO DO MS

As 51 aes do Ministrio da Sade elencadas no II Plano Operativo da

poltica foram espelhadas no sistema E-Car - Controle, Acompanhamento e
Avaliao de Resultados. As reas tcnicas do MS possuem a responsabilidade de
alimentar o sistema com pareceres que informam o andamento dessas aes,

15

ficando a cargo da Secretaria de Gesto Estratgica e Participativa SGEP fazer o

monitoramento desses pareceres, e, portanto, o acompanhamento da PNSIPN.
O Sistema E-Car um instrumento gerencial prprio do Ministrio da Sade,
desenvolvido pelo Servio Federal de Processamento de Dados (Serpro) e sem
custos de licena de uso para o MS por se tratar de um software livre, sendo
gerenciado pelo Departamento de Monitoramento e Avaliao do SUS DEMAS,
localizado na Secretaria Executiva do Ministrio da Sade (SE/MS).
Essa ferramenta foi criada para auxiliar o acompanhamento e avaliao do
Planejamento Estratgico do Ministrio da Sade, por meio do monitoramento dos
pareceres tcnicos inseridos pelos responsveis dos resultados e produtos
pactuados no Ministrio da Sade.
A elaborao do Planejamento Estratgico do MS foi alinhada juntamente
com os instrumentos de planejamento e gesto do Plano Nacional de Sade - PNS e
do Plano Plurianual - PPA. Assim, esse Planejamento Estratgico expressa os
compromissos firmados no SUS com o Plano de Governo.
O Plano Nacional de Sade um documento que contempla a anlise
situacional da sade brasileira e a definio do objetivo, diretrizes e metas. Esse
instrumento foi aprovado no Conselho Nacional de Sade CNS e passou por um
processo de dilogo com estados e municpios, no intuito de pensar nas linhas de
atuao programticas que balizam as aes e servios de sade para a populao.
A ideia de construo do PNS 2011-2015 foi prevista a partir da
compatibilizao com o PPA 2012-2015, outro instrumento de governo que
estabelece, por meio de programas temticos, os objetivos, as metas regionalizadas,
os indicadores de desempenho e as iniciativas que sero operacionalizadas pelas
aes com cobertura oramentria elencada pela Lei Oramentria Anual (LOA)
para cada exerccio do perodo coberto pelo PPA. Essa inter-relao reflete a
integrao entre o planejamento das aes administrativas e o oramento federal.
A elaborao do Planejamento Estratgico do MS ocorreu simultaneamente
discusso do II Plano Operativo da PNSIPN, com a articulao da SGEP junto s
outras reas tcnicas do Ministrio, assessorada pelos trabalhos do Comit Tcnico
de Sade da Populao Negra CTSPN. A partir dessa mobilizao, houve a
pactuao das 51 aes voltadas para a sade da populao negra, que foram

16

alinhadas metodologia do Planejamento Estratgico do MS e espelhadas no

Sistema E-Car.
Para complementar elementos na anlise em discusso, vale abrir parnteses
e resgatar o processo de construo do referido II Plano Operativo, no qual houve
um erro conceitual em relao a sua concepo. A finalidade do Plano Operativo
servir como referncia para a aplicao da poltica como um todo, em todas as
esferas de gesto, por isso sua obrigatoriedade de ser pactuado na Comisso
Intergestores Tripartite CIT. Nessa perspectiva, o verdadeiro II Plano Operativo
da PNSIPN disposto pela Resoluo N 2, de 2 de Setembro de 2014, na qual so
listados eixos estratgicos que estabelecem aes impulsionadoras para a
implementao da poltica. A CIT uma instncia intergovernamental de carter
poltico e tcnico, com vistas discusso do planejamento e implementao das
polticas de sade, sendo composta por representantes do Ministrio da Sade
MS, do Conselho Nacional de Secretrios de Sade Conass e do Conselho
Nacional de Secretarias Municipais de Sade Conasems.
O PO com as 51 aes um documento base apenas no mbito Ministrio da
Sade, no pactuado na CIT, dispondo um rol de diretrizes e aes sob
responsabilidades das reas tcnicas do MS, visto mais como um planejamento
institucional do que um PO, em contraste com as propriedades de um verdadeiro
plano operativo.
Retomando aos aspectos da ferramenta E-Car, a Secretaria de Gesto
Estratgica e Participativa - SGEP e a Secretaria Executiva - SE encomendaram,
junto ao DEMAS, a criao da etiqueta intitulada POPULAO NEGRA para ser
utilizada como filtro de mapeamento dessas 51 aes espelhadas no sistema,
facilitando a identificao dos pareceres das reas tcnicas e o processo de
acompanhamento e avaliao da poltica.
A proposta da sistemtica de monitoramento constitui em uma importante
iniciativa e tem potencialidades para subsidiar as polticas do MS e o processo das
tomadas de decises. No obstante, os instrumentos e a metodologia ainda
precisam ser aperfeioados nos mais diversos aspectos, visto que foram
identificados problemas, a comear pelo prprio E-Car.
Em relao ao monitoramento das aes, ao fazer o filtro no sistema com a
etiqueta POPULAO NEGRA, no possvel identificar todos os resultados

17

relacionados com a Poltica Nacional de Sade Integral da Populao Negra. Outros

resultados no elencados com a poltica aparecem na pesquisa, o que torna o
exerccio de monitoramento confuso e problemtico. Para complicar ainda mais,
constatou-se que existem outras etiquetas que fazem referncia s aes da
poltica, tais como POPULAO NEGRA SVS, NEGRA e NEGRA-SVS, porm
nenhuma delas possvel fazer o filtro com todas as aes pactuadas e espelhadas
do Plano Operativo da PNSIPN.
A professora Edna Arajo e o professor Wanderson Flor do Nascimento,
ambos representantes do CTSPN e membros do grupo de trabalho de avaliao dos
dados gerados pelo E-Car, elaboraram um relatrio acerca das limitaes da
ferramenta, o qual foi apresentado na reunio do Comit Tcnico de Sade da
Populao Negra realizada em maro de 2016. O documenta demonstra que os
pareceres do E-Car no constituem em relatrios, mas sim em dados extensos e
pouco

explicativos.

Alguns

dados

esto

desatualizados

para

os

anos

correspondentes e no demonstram a continuidade das aes propostas, o que

torna difcil a anlise dessas informaes. Dessa maneira, a desorganizao
prejudica a compreenso do que foi alcanado de forma satisfatria ou no, os
pontos crticos do processo de implementao dessas aes e o que vem de fato
sendo feito para operacionalizar a PNSIPN no mbito federal.
Alm dos problemas citados na utilizao da ferramenta E-Car, verificou-se
que, dentre as 51 aes listadas no II Plano Operativo, poucas foram alcanadas ou
parcialmente alcanadas; decerto a maior parte do plano no foi efetivada. visvel
a dificuldade das reas tcnicas do MS em operacionalizar a poltica, dado que
reflete a necessidade de reviso dos compromissos pactuados e o modus operandi
da poltica.
Posto isso, importante dialogar com essas reas para repensar no
planejamento proposto e construir aes que implementam a poltica como ela foi de
fato pensada. Tambm se recomendam ajustes no E-Car, a exemplo da incluso de
metas e indicadores, afim de que essa ferramenta possa apresentar informaes
adequadas que subsidiem as prticas de monitoramento e avaliao do Plano
Operativo da PNSIPN.
Diante disso, o presente trabalho prope um modelo que pode ser adequado
estrutura do E-Car, no intuito de acrescentar informaes teis que contribuam

18

para o monitoramento e a avaliao. A referncia d-se a partir de alguns exemplos

de indicadores que possuem a finalidade de verificar se o plano de ao alinhado ao
Plano Operativo da PNSIPN foi alcanado. Sugere-se que esses indicadores sejam
tambm inseridos na Sala de Apoio Gesto Estratgica do Ministrio da Sade
SAGE, e linkados ao E-Car. A SAGE um espao que dispe informaes de sade
para o acompanhamento de metas, repasses, coberturas e indicadores de aes e
programas para a tomada de deciso, gesto e gerao de conhecimento pelos
estados e municpios.
O modelo proposto foi construdo a partir de um recorte da poltica, com base
na temtica de sade da mulher negra, entretanto um trabalho completo sobre a
PSNIPN poderia estruturar a anlise a partir dos eixos estratgicos ou pela diviso
das responsabilidades de execuo de cada rea tcnica.

EXEMPLO DE INDICADORES
Objetivo Estratgico do MS (vinculado ao PPA 2016-2019) - Promover o cuidado
integral s pessoas nos ciclos de vida (criana, adolescente, jovem, adulto e idoso),
considerando as questes de gnero, orientao sexual, raa/etnia, situaes de
vulnerabilidade, as especificidades e a diversidade na ateno bsica, nas redes
temticas e nas redes de ateno sade.
Iniciativa - Atualizao do Plano Operativo da Poltica Nacional de Sade Integral
da Populao Negra PPA
PROMOVER A ATENO SADE DAS MULHERES NEGRAS
INDICADOR DE
RESULTADO

META PARA O INDICADOR

FRMULA DE CLCULO

Percentual de Exames de
Mamografias

Aumentar em 20% a produo de

mamografias na faixa etria preconizada
(50-69 anos) em mulheres negras, at
2019.

N
de
mamografias
realizadas/
N
de
mamografias esperadas *
100

Percentual de
Citopatolgicos

Aumentar em 50% o atendimento de

exames citopatolgicos para rastreamento
do cncer de colo de tero em mulheres
negras, at 2019.

(N de atendimentos de
exames
citopatolgico
realizados/ N de exames
citopatolgico esperados)
* 100

Exames

19

Nmero de estados e
municpios com a Poltica
de Ateno Integral
Pessoa
com
Doena
Falciforme implantada.

Qualificar a ateno especializada no que

tange implantao das linhas de cuidado
11
em doena falciforme para as mulheres
negras.

Prevalncia de doena
falciforme
(x/populao
total de mulheres)

Nmero de estados e
municpios com a Poltica
de Ateno Integral
Pessoa
com
Doena
Falciforme implantada.

x/populao
mulheres

total

de

Percentual
de
trabalhadores capacitados

Aumentar em 20% a capacitao e o

aperfeioamento de trabalhadoras/es da
sade sobre a temtica de Sade da
Mulher Negra

(N
de
trabalhadores
capacitados/
N
de
trabalhadores capacitados
esperados) * 100

Percentual de
contemplados

estados

Publicao e distribuio de material

referente sade da mulher negra em
todos os estados e distrito federal.

(N
de
estados
contemplados/ 27) * 100

Percentual de 6 Consultas
de Pr-Natal de Mulheres
Negras

Aumentar em 50% o quantitativo de

mulheres negras que fazem 6 ou mais
12
consultas de Pr-Natal

(N de mulheres que
fizeram 6 Consultas de
Pr-Natal/ N de Mulheres
esperado) * 100

11

Em 2012, a taxa de mortalidade por doena falciforme na populao em geral foi de 0,23 (por 100 mil hab.),
na de cor preta, 0,73 (por 100 mil hab.), na parda de 0,28 (por 100 mil hab.), enquanto na branca foi de 0,08
(por 100 mil hab.). A doena falciforme uma das doenas hereditrias mais comuns no Brasil e apresenta j
nos primeiros anos de vida manifestaes clnicas importantes, o que representa um srio problema de sade
pblica no pas (BRASIL, 2016).
12
O nmero mnimo de consultas de pr-natal preconizado pelo Ministrio da Sade de 6 (seis). A proporo
de mulheres que declararam realizar seis ou mais consultas de pr-natal foi maior na populao branca
(85,8%), seguida da amarela (80,7%), parda (71,8%), preta (71,2%) e indgena (39,7%) em 2012 (BRASIL,
2016, p. 41).

20

Taxa de Mortalidade de
mulheres
negras
por
hipertenso arterial

Diminuio da taxa de mortalidade por

13
hipertenso arterial na populao negra .

Taxa de Mortalidade de
mulheres
negras
por
hipertenso arterial

Percentual de mortes de
mulheres
negras
nos
estados e municpios

Reduzir a mortalidade materna de

mulheres negras em 5 pontos percentuais,
ao ano, para diminuir a diferena total
entre estas e as mulheres brancas, at
2019, de acordo com protocolo especfico
14
proposto pela Rede Cegonha.

Percentual de mortes de
mulheres
negras
nos
estados e municpios

Alguns resultados listados na tabela foram retirados dos planos operativos da

PNSIPN, inclusive as propostas para o novo PO (2016 a 2019), que ainda ser
pactuado na CIT. O modelo uma sugesto para subsidiar o processo de
monitoramento e avaliao da poltica, com o recorte pela temtica de sade da
mulher negra. Todavia, a proposta deve ser ajustada de acordo com a realidade
institucional, em dilogo com as reas tcnicas do MS e assessorado pelo CTSPN.
Por fim, considera-se que alm da importncia de aperfeioar a ferramenta ECar, tambm necessrio mobilizar e conscientizar as reas tcnicas do MS para
alimentar corretamente o sistema, contribuindo para um melhor acompanhamento
das aes. Ademais, destaca-se a relevncia do Ministrio da Sade de obter
recursos humanos para o M&A qualificado, por meio de capacitao dos prprios
gestores e tcnicos da instituio, ou atravs de consultoria externa, como
organizaes internacionais e universidades.

13

As taxas de mortalidade por hipertenso arterial nas populaes preta, parda e indgena aumentaram;
diminuram na amarela e ficaram estveis na branca, entre 2005 e 2012. A taxa mortalidade por hipertenso na
populao preta foi de 32,3 (por 100mil hab.), na populao parda 25 (por 100mil hab.) e 17 (por 100mil hab.)
na branca. A hipertenso teve o maior risco de morte na populao negra (pretos e pardos) em 2012
(BRASIL, 2016).
14
De acordo com dados notificados no SIM, do total de 1.583 mortes maternas em 2012, 60% eram de
mulheres negras e 34% de brancas (BRASIL, 2016, p. 41).

21

CONSIDERAES FINAIS

Este trabalho procurou analisar os aspectos da Poltica Nacional de Sade

Integral da Populao Negra para o perodo de 2012 a 2015, na perspectiva do
monitoramento e avaliao das aes elencadas no II Plano Operativo da PNSIPN,
a partir da investigao da ferramenta E-Car e dos atores institucionais envolvidos
nesse processo.
A prtica de monitoramento e avaliao algo relativamente novo na gesto
pblica do Brasil, inclusive no mbito no Ministrio da Sade. Entretanto, a criao
do Departamento de Monitoramento e Avaliao do SUS DEMAS constitui em uma
importante iniciativa para alterar o cenrio de planejamento, monitoramento e
avaliao das polticas em sade.
A proposta da sistemtica do E-Car alinhada metodologia do Planejamento
Estratgico do MS um bom instrumento de acompanhamento da PNSIPN, porm
precisa ser aperfeioada para que apresente informaes adequadas ao
monitoramento e avaliao da Poltica Nacional de Sade Integral da Populao
Negra.
Nessa sequncia, percebe-se a importncia do papel do Comit Tcnico de
Sade da Populao Negra ao trazer essa discusso para dentro do Ministrio da
Sade e provocar respostas do Governo com relao devolutiva de
acompanhamento da poltica. Destaca-se tambm, o esforo da Secretaria de
Gesto Estratgica e Participativa SGEP em mobilizar e articular com as reas
tcnicas do MS na melhoria dos mecanismos institucionais de monitoramento e
avaliao.
O no envolvimento dos diversos atores da poltica nas prticas adequadas
de M&A reflete o exerccio do racismo institucional15, um dos principais alvos da
PNSIPN. Perante essa conjuntura, fica a reflexo de como essas prticas
reverberam na ponta, ou seja, como esses processos impactam na concretizao da

15

Definido como: o fracasso das instituies e organizaes em prover um servio profissional e adequado s
pessoas em virtude de sua cor, cultura, origem racial ou tnica. Ele se manifesta em normas, prticas e
comportamentos discriminatrios adotados no cotidiano do trabalho, os quais so resultantes do preconceito
racial, uma atitude que combina esteretipos racistas, falta de ateno e ignorncia. Em qualquer caso, o
racismo institucional sempre coloca pessoas de grupos raciais ou tnicos discriminados em situao de
desvantagem no acesso a benefcios gerados pelo Estado e por demais instituies e organizaes (CRI, 2006,
p.17).

22

poltica e na tomada de decises que afetam as condies da sade da populao

negra.

REFERNCIAS BIBLIOGRFICAS

ARAJO, E. M; NASCIMENTO, W.F. Avaliao de dados gerados pelo

Sistema E-CAR. 2016. 14 p. Localizado em: Departamento de Apoio Gesto
Participativa DAGEP, Ministrio da Sade.

Banco Mundial. Monitoramento e Avaliao: Algumas Ferramentas, Mtodos

e

Abordagens.

Washington-DC,

2004.

Disponvel

em:

<http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BC
BD707EDDD449885256F02006323BE/$file/me_portuguese.pdf>. Acesso em: 31 de
julho de 2016.

BONNEFOY, C.; ARMIJO, M. Indicadores de desempeo en el sector pblico.

Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social ILPES.
Santiago do Chile, 2005.

BRASIL Ministrio do Planejamento, Oramento e Gesto. Secretaria de

Planejamento e Investimentos Estratgicos - SPI. Indicadores de programas: Guia
Metodolgico.

Braslia:

MP,

2010.

Disponvel

em:

<http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/10032
4_indicadores_programas-guia_metodologico.pdf>. Acesso em: 31 de julho de 2016.

BRASIL. Ministrio da Sade. Departamento de Apoio Gesto Participativa

DAGEP.

Disponvel

em

<http://portalsaude.saude.gov.br/index.php/o-

ministerio/principal/secretarias/sgep/sgep-noticias/9756-departamento-de-apoio-agestao-participativa-dagep>. Acesso em: 14 de maio de 2016.

BRASIL. Ministrio da Sade. II Plano Operativo (2013-2015) da PNSIPN.

Disponvel

em

<http://www2.camara.leg.br/atividade-

23

legislativa/comissoes/comissoes-permanentes/cssf/audiencias-publicas/audienciaspublicas-anteriores/audiencia-2013/audiencia-15.10/apresentacao-5>. Acesso em:

31 de julho de 2016.

BRASIL. Ministrio da Sade. Planejamento Estratgico do Ministrio da

Sade:

20112015.

Disponvel

em

<http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_sa
ude_resultados.pdf>. Acesso em: 14 de maio de 2016.

BRASIL.

Ministrio

da

Sade.

Populao

Negra.

Disponvel

em:<www.saude.gov.br/popnegra>. Acesso em: 31 de julho de 2016.

BRASIL. Ministrio da

Sade.

Secretria

de

Gesto

Estratgica

Participativa. Departamento de Articulao Interfederativa. Painel de Indicadores do

SUS Temtico Sade da Populao Negra. Braslia, v.7, n.10, 2016.

BRASIL. Portaria n 1.063 de 23 de julho de 2015. Aprova o Regimento

Interno do Comit Tcnico de Sade da Populao Negra (CTSPN), nos termos do
anexo a esta Portaria. Dirio Oficial da Repblica Federativa do Brasil. Poder
Executivo, Braslia, DF, 24 jul. 2015. N 140, Seo 1, pg. 39.

BRASIL. Portaria n 992, de 13 de maio de 2009. Institui a Poltica Nacional

de Sade Integral da Populao Negra. Dirio Oficial da Repblica Federativa do
Brasil. Poder Executivo, Braslia, DF, 14 maio. 2009. N 90 Seo 1, pg. 31-32.

BRASIL. Resoluo N 2, de 2 de setembro de 2014. Dispe sobre o II Plano

Operativo (2013-2015) da Poltica Nacional de Sade Integral da Populao Negra
(PNSIPN) no mbito do Sistema nico de Sade (SUS). Dirio Oficial da
Repblica Federativa do Brasil. Poder Executivo, Braslia, DF, 3 set. 2014. N 169
Seo 1, pg. 56-57.

24

CAMPOS, L. C. P. Sade da Populao Negra na rede social: reflexes sobre

os discursos. 2015. 15 p. Localizado em: Departamento de Apoio Gesto
Participativa DAGEP, Ministrio da Sade.

COSTA, A. M.; LIONO, T. Democracia e gesto participativa: uma estratgia

para a equidade em sade? Sade e Sociedade, v. 15, n. 2, p. 47-55, So Paulo,
2006.
CRI. Articulao para o Combate ao Racismo Institucional. Identificao e
abordagem do racismo institucional. Braslia: CRI, 2006.

DYE, T. R. Policy Analysis: What governments do, why they do it and what
difference it makes. Alabama: The University of Alabama Press, 1976.

GAPI-UNICAMP. Metodologia de anlise de poltica pblica. Campinas, 2002.

Disponvel em: <http://www.oei.es/salactsi/rdagnino1.htm>. Acesso em: 29 de julho
de 2016.

GUIMARES, J.R.S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas

aplicaes em polticas pblicas: uma anlise crtica. Revista Brasileira de
Estudos Urbanos e Regionais, Salvador, v.7, n.1, p. 73-90, 2005.

JANNUZZI, P. M. Consideraes sobre o uso, mau uso e abuso dos

indicadores sociais na formulao e avaliao de polticas pblicas municipais.
Revista do Servio Pblico, Braslia, 2005.

JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de

programas sociais no Brasil. Revista do Servio Pblico. Rio de Janeiro, 2002.

JANNUZZI, P. M. Indicadores Sociais no Brasil. Editora Alnea. Campinas,

SP, 2003.

PAPI, L. P.; MADEIRA, L. M.; BARCELLOS, Taciana. Construindo a prtica

do monitoramento e da avaliao na gesto pblica municipal: a experincia da

25

assistncia social na regio metropolitana de Porto Alegre. Disponvel em

http://www.escoladegestao.pr.gov.br/arquivos/File/2015/VIII_Consad/070.pdf.
Acesso em: 31 de julho de 2016.
RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliao de
polticas pblicas: conceituao e exemplos de avaliao no Brasil. Revista de
Administrao Pblica, Rio de Janeiro, 2012.

SERAFIM, M. P.; DIAS, R. B. Anlise de Poltica: Uma reviso da Literatura.

Cadernos Gesto Social, v. 3, n. 1, p. 121-134, Salvador, 2012.

SOUZA, Celina et al. Polticas Pblicas: Uma Reviso da Literatura.

Sociologias, v. 8, n. 16, p. 20-45, Rio Grande do Sul, 2006.

VAITSMAN, J.; RODRIGUES, R.W.S.; PAES-SOUSA, R. O Sistema de

Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do
Ministrio do Desenvolvimento Social e Combate Fome do Brasil. Unesco, Braslia,
2006.

Disponvel

em

<

http://unesdoc.unesco.org/images/0014/001485/148514por.pdf>. Acesso em: 31 de

julho de 2016.

Marcela Iwano
Graduao em Psicologia (2011). Analista Tcnica de Polticas Sociais
E-mail: marcelaiw@gmail.com