Indicadores de Políticas Públicas

Políticas Públicas – Jackson De Toni
Indicadores de Políticas
Públicas
Abril de 2017
Prof. Dr. Jackson De Toni
1

2
Roteiro de aula
1. Programa da Aula
2. Textos de apoio
3. Contextualização do uso de Indicadores
4. Conceito de indicadores em Políticas Públicas
5. Indicadores no ciclo de P. Públicas
6. Requisitos mínimos, propriedade e taxionomia de
um indicador
7. Indicadores de um Programa e lógica do PPA
8. Fontes de Dados
9. Construção de Indicadores
10. A dimensão política dos indicadores
11. Estudo de Caso – medindo a pobreza
12. Trabalho de leitura orientada

“Indicadores de programas: Guia
Metodológico”
3
Ministério do Planejamento, Orçamento e
Gestão.
Secretaria de Planejamento e Investimentos
Estratégicos
Indicadores de programas: Guia Metodológico
MP, 2010.
http://www.gespublica.gov.br/sites/default/files/d
ocumentos/indicadores_orientacoes_basicas_aplic
adas_a_gestao_publica.pdf

“IDH, Indicadores sintéticos e suas aplicações em
políticas públicas – uma abordagem crítica”
4
http://rbeur.anpur.org.br/rbeur/article/
view/136
JOSÉ RIBEIRO GUIMARÃES
PAULO JANNUZZI

Indicadores, Planejamento e Gestão
- contextualização do tema -
• Reformas gerencialistas renovaram interesse:
lógica do controle e da redução de custos
• Ciclo de Planejamento: LDO-LOA-PPA, LRF,...
• Estatuto da Cidade (2001) e os PDDUAs
• Divulgação do IDH nos anos 90
• Descentralização das políticas sociais
• Crescimento da participação social
• Crescente influência das instituições de
controle: TCU, CGU, MPU
5

Porque usar Indicadores ?
• São métricas necessárias para aferição do
cumprimento das metas que estão vinculadas aos
objetivos da política pública
• São o elo entre modelos explicativos e a evidência
empírica dos fenômenos observados
• É o instrumento operacional para monitoramento e
avaliação de políticas públicas
• Ajudam a visualização e o entendimento dos
problemas
• Subsidiam o processo de decisão
6

Do ponto de vista de políticas públicas...
Os indicadores são instrumentos que permitem
identificar e medir aspectos relacionados a um
determinado conceito, fenômeno, problema
ou resultado de uma intervenção na realidade;
traduzir, de forma mensurável, determinado
aspecto de uma realidade dada (situação
social) ou construída (ação de governo), de
maneira a tornar operacional a sua observação
e avaliação
7

Indicadores em cada etapa do ciclo de PPs
8

Indicadores são métricas/réguas
9

Indicadores podem ser expressos
como:
• Proporções/coeficientes: parte pelo todo
(mortalidade, evasão)
• Percentuais: parte pelo todo X 100
• Índice: relação entre duas categorias diferentes
(densidade demográfica, renda per capta)
• Taxa: proporções multiplicados por uma
potência (taxa de mortalidade)
• Números absolutos referidos no espaço ou no
tempo (matriculados/mês)
10

Políticas Públicas – Jackson De Toni 11

Construção de Indicadores
12

A pirâmide da informação - complexidade
14

Funções básicas dos indicadores
• Descritiva: informa uma realidade empírica
• Valorativa: juízo de valor à situação em foco,
dimensão avaliativa
• Ex-ante: no diagnóstico situacional, na
definição do problema, no desenho da politica
• In curso: monitoramento e avaliação da
execução
• Ex post: alcance das metas
15

Requisitos de um bom indicador (Guia, MP)
16

Propriedades essenciais dos indicadores
• Validade: representatividade, significante ao
que se quer medir e acompanhar
• Confiabilidade: fontes confiáveis,
metodologias transparentes, coleta,
processamento e divulgação de informações
• Simplicidade: fácil obtenção, construção,
manutenção, comunicação e entendimento
pelo público externo e interno
17

Propriedades complementares
• Sensibilidade: refletir tempestivamente as mudanças decorrentes das
intervenções realizadas
• Desagregabilidade: representação regionalizada de grupos
sociodemográficos, a dimensão territorial se apresenta como um
componente essencial
• Economicidade: obtido a custos módicos; a relação entre os custos de
obtenção e os benefícios advindos deve ser favorável
• Estabilidade: séries históricas estáveis que permitam monitoramentos e
comparações
• Mensurabilidade: alcance e mensuração quando necessário, na sua versão
mais atual, com maior precisão possível e sem ambiguidade
• Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa
aplicação das regras de uso dos indicadores (obtenção, tratamento,
formatação, difusão, interpretação)
18

19
Exemplo de atributos de um indicador

20
Exemplo de um quadro-resumo

Taxonomia de Indicadores
• Estratégicos: dimensão estratégica
• de Processo: desempenho do processo
•Produtividade e Eficiência
•Qualidade ou Eficácia
•Capacidade
• de Projeto: monitoramento da execução
de projetos
21

Lógica do PPA

Indicadores do Fluxo de Implementação de
Programas (Guia, MP)
• Insumo (input indicators): indicadores ex-ante facto que têm relação
direta com os recursos a serem alocados, ou seja, com a disponibilidade dos
recursos humanos, materiais, financeiros e outros a serem utilizados pelas
ações de governo. Pode-se citar como exemplos médicos/mil habitantes e
gasto per capita com educação
• Processo (throughput indicators): são medidas in curso ou intermediárias
que traduzem o esforço empreendido na obtenção dos resultados, ou seja,
medem o nível de utilização dos insumos alocados como, por exemplo, o
percentual de atendimento de um público-alvo e o percentual de liberação
dos recursos financeiros
• Produto (output indicators): medem o alcance das metas físicas. São
medidas ex-post facto que expressam as entregas de produtos ou serviços
ao público-alvo do Programa. São exemplos o percentual de quilômetros de
estrada entregues, de armazéns construídos e de crianças vacinadas em
relação às metas físicas estabelecidas
23

Indicadores de Gestão do Fluxo de
Implementação de Programas (Guia, MP)
• Resultado (outcome indicators): essas medidas expressam,
direta ou indiretamente, os benefícios no público-alvo
decorrentes das ações empreendidas no contexto do Programa
e têm particular importância no contexto de gestão pública
orientada a resultados. São exemplos as taxas de morbidade
(doenças), taxa de reprovação escolar e de homicídios
• Impacto (impact indicators): possuem natureza abrangente e
multidimensional, têm relação com a sociedade como um todo
e medem os efeitos das estratégias governamentais de médio e
longo prazos. Na maioria dos casos estão associados aos
objetivos setoriais e de governo. São exemplos o Índice Gini de
distribuição de renda e o PIB per capita
24

Indicadores de gestão para um Programa de
atenção à saúde
25

Indicadores de Avaliação de Desempenho
Lógica de controle - TCU
• Economicidade: gastos envolvidos na obtenção dos insumos
(materiais, humanos, financeiros etc.) necessários às ações que
produzirão os resultados planejados
• Minimizar custos sem comprometer os padrões de qualidade
estabelecidos e requer um sistema que estabeleça referenciais
de comparação e negociação
• Eficiência: possui estreita relação com produtividade; o quanto
se consegue produzir com os meios disponibilizados
• A partir de um padrão ou referencial, a eficiência de um
processo será tanto maior quanto mais produtos forem
entregues com a mesma quantidade de insumos
26

Indicadores de Avaliação de Desempenho
Lógica de controle - TCU
• Eficácia: aponta o grau com que um Programa atinge
as metas e objetivos planejados
• Estabelecido o referencial (linha de base) e as metas a
serem alcançadas, utiliza-se indicadores de resultado
para avaliar se estas foram atingidas ou superadas
• Efetividade: mede os efeitos positivos ou negativos na
realidade que sofreu a intervenção
• Aponta se houve mudanças socioeconômicas,
ambientais ou institucionais decorrente dos
resultados obtidos pela política, plano ou programa
27

EXEMPLOS DE INDICADORES DE DESEMPENHO
28
Fonte: TCU, 2000

Como construir indicadores ?
Guia MP, p. 31
1. Entender o conteúdo e a operação da PP
2. Identificar as necessidades dos decisores
3. Identificar outros interesses
4. Mapear indicadores candidatos/potenciais
5. Fazer análise tradeoff
6. Validar indicadores selecionados: teste-piloto,
custos, fontes, mensurabilidade,
confiabilidade, territorialidade, etc.
29

Fontes de dados
• Pesquisa Nacional por Amostra de Domicílios, cobre cerca de
140 mil domicílios e investiga temas como fecundidade,
anticoncepção, migração, mobilidade social, educação, saúde,
associativismo, participação política, bens de consumo,
consumo de energia, trabalho, trabalho infantil, previdência,
segurança alimentar, merenda escolar e acesso a programas de
transferência de renda. Apresenta resultados para o Brasil,
Grandes Regiões, Unidades da Federação e principais Regiões
Metropolitanas
• Pesquisa Mensal de Empregos avalia as flutuações e a
tendência, a médio e a longo prazos, do mercado de trabalho
31

Fontes de dados
• Pesquisa de Orçamentos Familiares é direcionada
principalmente para mensurar as estruturas de consumo das
famílias e possibilita traçar um perfil das condições de vida da
população a partir da análise de seus orçamentos domésticos
• Relação Anual de Informações Sociais provê um amplo
conjunto de dados para elaboração de estatísticas do trabalho
• Cadastro Geral de Empregados e Desempregados demonstra a
evolução mensal do emprego formal do país
• CENSO ESCOLAR: levantamento de dados estatístico-
educacionais de âmbito nacional realizado anualmente e
coordenado pelo Inep/MEC
• Outras fontes: página 44 do Guia/MP
32

A dimensão política e social dos
indicadores
Indicadores são representações
imperfeitas: por definição são
abstrações, representações,
simplificações de uma dada realidade,
portanto são suscetíveis aos vieses de
seleção de quem produziu, coletou e
interpretou seus resultados !
33

indicadores
• São artefatos de informação, transmitem idéias,
imagens, valores, crenças, opiniões, interesses e
preferências
• São utilizados para alocação de recursos:
orçamentários, pessoas, etc.
• O indicador e a dimensão de interesse se
confundem: o indicador não só aponta, assinala,
indica ...revela intencionalidades
• Adoção de Índices dependem do contexto e dos
objetivos estabelecidos
34

indicadores
• Quantidade de indicadores: a quantidade de
indicadores depende, basicamente, da
complexidade do Programa, das dimensões
abrangidas pelo objetivo e também do
contexto analisado
• Não existe uma regra definida, a não ser
restringir o número de indicadores ao mínimo
aceitável, desde que não comprometa a
detecção dos dados relevantes
35

Indicadores Sintético versus Sistema de
Indicadores
• Quando os conceitos são complexos não se pode reduzir a gestão
de uma política ou programa à simples apreciação de um indicador
sintético
• O IDH, por exemplo, resultado da ponderação de três temas distintos
(economia, saúde e educação), NÃO SUBSTITUI O CONCEITO DE
DESENVOLVIMENTO
• Sua composição mistura um conceito mais sensível às variações
conjunturais e de prazo mais curto (PIB per capita) com conceitos
estruturais menos sensíveis e de prazo mais longo de evolução
(saúde e educação)
• Uma variação anual positiva do IDH decorrente do aumento do PIB
per capita pode camuflar uma estagnação ou até um retrocesso nas
outras dimensões estruturais do índice (saúde e educação)
36

ÍNDICES: Outra maneira de representar fenômenos multidimensionais , uma
espécie de “superindicador”, mediante a um método de aglutinação agrega diferentes
indicadores. Síntese capaz de resumir numa fórmula simples as relações entre dois ou
mais fenômenos que compõem uma realidade multidimensional,
37

Exemplos de Indicadores de Políticas
Públicas
38

Progresso na Redução da Pobreza e das
Desigualdades no Brasil
39

Produtividade
e Salários
Índice 2003 =
100
40

41
Evolução do número de matriculas de graduação
1980 - 2011

Homicídios por arma de fogo nas capitais
(% de variação) 2004 - 2014
42Fonte: Mapa da Violência 2016

Índice de Desenvolvimento Humano
43

Ano
Esperança de
vida ao nascer
Anos
esperados de
escolaridade
Média
de anos de
estudo
RNB per capita
(2011 PPP US$)
IDH
1980 62,7 9,9 2,6 9.154 0,545
1990 66,5 12,2 3,8 9.740 0,612
2000 70,3 14,3 5,6 10.722 0,682
2010 73,1 15,2 7,2 13.794 0,739
2011 73,4 15,2 7,2 14.031 0,740
2012 73,7 15,2 7,2 14.081 0,742
2013 73,9 15,2 7,2 14.275 0,744
Variação
2013-1980 17,9% 53,5% 176,9% 55,9% 36,5%
Fonte: RDH 2014. Elaboração: MDS.
A polêmica do IDH de 2014

IDH publicado no RDH 2014
IDH com os indicadores atualizados
Dimensões Indicadores RDH 2014 IDH
Saúde
(vida longa e saudável) Esperança de vida ao nascer 74,8
0,764
Acesso ao
conhecimento
Anos esperados
de escolaridade 16,3
Média de anos de estudo da
população adulta 7,6
Padrão de vida decente
Renda Nacional Bruta per
capita em $ PPP 14.275
Dimensões Indicadores RDH 2014 IDH
Saúde
(vida longa e saudável) Esperança de vida ao nascer 73,9
0,744
Acesso ao
conhecimento
Anos esperados
de escolaridade 15,2
Média de anos de estudo da
população adulta 7,2
Padrão de vida decente
Renda Nacional Bruta per
capita em $ PPP 14.275

Esperança de vida ao nascer
• O indicador usado no relatório é referente a 2010.
• O indicador usado no recálculo é referente a 2013.
Anos esperados de escolaridade
• O indicador usado no relatório desconsidera matrículas de crianças de 5 anos
que estão na pré-escola e de adultos de 40 anos ou mais que frequentam o
ensino fundamental e o médio.
• O indicador usado no recálculo representa melhor a realidade brasileira, porque
a OCDE não exclui os dois grupos mencionados acima do cálculo do indicador.
Média de anos de estudo da população de 25 anos ou mais
• O indicador usado no recálculo é referente a 2012.
Fonte: IBGE, Projeção da População do Brasil por sexo e idade: 2000-2060
Disponível em www.ibge.gov.br
Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios 2012. Elaboração: IPEA
Disponível em www.ipeadata.gov.br
Fonte recálculo: OCDE, Education at a Glance: OECD Indicators, 2013
Disponível em www.oecd.org

Artigos Científicos e Técnicos fonte: Banco Mundial
47

Gastos com P&D (% do PIB) fonte: Banco Mundial
48

Assinantes Internet Banda Larga (x100 hab.) fonte: Banco
Mundial
49

Número de empregos na indústria fonte: Banco Mundial
50

Exemplos de ÍNDICES de qualidade de vida
51

Indicadores para monitoramento da
qualidade de vida
52

Indicadores para monitoramento da
qualidade de vida
53

Painel de indicadores para Educação Básica (MEC)
54

Indicadores das políticas de
combate à pobreza no Brasil
(desenho e implementação)
55

Como se mede a pobreza no Brasil ?
• Conceito multidimensional, não se reduz à
ótica da carência ou das privações materiais
(insuficiência de renda)
• Pode ser uma categoria política: carência de
direitos, de oportunidades, de informações e
de possibilidades
• Indicadores, além da renda, se relacionam
com padrão de vida (saúde, educação,
moradia, transporte, etc)
56

Enfoques
para
medição
da
pobreza
Fonte>: UFRGS e
MDS, Caderno de
estudos do Curso de
Indicadores para
Diagnóstico do SUAS
e do Plano Brasil sem
Miséria.
Brasília, DF: MDS,
2016.
57

Como ocorre a pobreza no Brasil ?
• Trajetória de transformações e evolução social e
econômica do país
• O repertório de políticas públicas de combate à pobreza
• A desigualdade de distribuição da renda e o
funcionamento dos mecanismos econômicos
• O papel de instrumentos–chave: salário mínimo,
previdência, mercado de trabalho, crédito, serviços
públicos, etc.
• A evolução dos rendimentos dos mais pobres,
domiciliar, regional, funcional
• Mudanças nos paradigmas: conceitos de proteção
social, do “mérito” ao “direito” (CF/88)
58

Identificação e análise das Políticas
• Lei Orgânica da Assistência Social (LOAS) , Lei
Nº 8.742, de 7 de dezembro de 1993
• Implementação do Sistema Único de
Assistência Social (Suas) , NOB – Resolução
CNAS n. 130, de 15 de julho de 2005
• Plano Brasil sem Miséria (BSM), instituído pelo
Decreto 7.492, de 2 de junho de 2011
• Multidimensional: 22 Ministérios envolvidos e
intensa articulação federativa
59

Analisando a política: Plano Brasil sem
Miséria (BSM 2011/2016)
1. Público prioritário
2. Objetivo
3. Estrutura de ações: eixo garantia de renda!
60

Miséria (BSM)
ACESSO A SERVIÇOS
1. Caracterização do domicílio e condições habitacionais.
2. Número de CRAS, CREAS, Centro POP no município.
3. Número de equipes de estratégia da Saúde da Família.
4. Número de Unidades Básicas da Saúde.
5. Número de matrículas em cursos de qualificação.
6. Número de Cisternas construídas.
7. Indicadores de infraestrutura (nas 3 áreas: saúde,
educação, serviços socioassistenciais).
61

Miséria (BSM)
62

Miséria (BSM)
INCLUSÃO PRODUTIVA
1. Setor econômico com maior geração de riqueza no
município
2. Setor econômico que mais cresceu nos últimos anos
3. Ocupações que mais cresceram em número de postos de
trabalho
4. Ocupações com os maiores estoques
5. Cursos de capacitação oferecidos no município
6. Desenvolvimento de programas de geração de trabalho e
renda
7. Desenvolvimento de programas de qualificação e
capacitação
8. Parcerias do município
63

Estrutura do Plano Brasil sem Miséria
64

Como construir as métricas ?
• Como fazer um indicador multidimensional de pobreza ?
• Banco Mundial incorpora indicadores monetários e não
monetários
1. Pobreza crônica: renda abaixo da linha de pobreza e estão
sujeitas a três ou mais privações
2. Pobreza transitória: renda abaixo da linha de pobreza e estão
sujeitas a menos que três privações
3. Vulneráveis: renda acima da linha de pobreza e estão sujeitas
a três ou mais privações
4. Não vulneráveis: renda acima da linha de pobreza e estão
sujeitas a menos que três privações
65

Como construir as métricas?
66

Pobreza crônica no Brasil (%) 1992 a 2014
67

Medindo “vulnerabilidade” e “risco”
Análise do público-alvo
• Tendências do crescimento demográfico
• Perspectivas de crescimento futuro da
população e do público atendido
• Características educacionais, habitacionais
e da saúde da população
• Condição de atividade da força de
trabalho, ocupação e rendimentos
• Beneficiários de outros programas sociais
Análise do contexto econômico regional
• Tendências do desenvolvimento regional
(indústria, comércio, agropecuária)
• Perspectivas de investimento público e
privado
• Infraestrutura viária, transporte e
comunicações
• Estrutura do emprego e ocupações mais e
menos dinâmicas 68
Análise dos condicionantes ambientais
• Identificação de áreas de proteção e
restrições
• Passivos e agravos ambientais
• Oportunidades de exploração do
turismo e desenvolvimento
sustentável
Análise da Capacidade de Gestão Local
• Estrutura administrativa já instalada
• Quantidade e características do
pessoal técnico envolvido ou
disponível
• Experiência anterior na gestão de
programas
Análise da Participação Social
• Comissões de participação
popular/social existentes
• Histórico/cultura de participação

Medindo “vulnerabilidade” e “risco”
• Qual o objetivo programático da política pública ?
• Como operacionalizá-los de maneira quantitativa
(não são diretamente observáveis e mensuráveis)
• Refletir e delinear quais dados traduzem o
conceito abstrato “saúde”. Por exemplo: anos de
vida da população, n. de nascidos vivos, etc
• Na forma de taxas, proporções, índices ou em
valores absolutos, esses dados se transformam em
indicadores sociais
69

Objetivo programático: melhorar as
condições de vida
1. Dimensões: nível de atendimento das necessidades materiais básicas para
sobrevivência e reprodução social da comunidade, moradia, de saúde, de
educação e de trabalho
2. Quais elementos compõem cada dimensão ?
3. Construir medidas que as operacionalizem ?
4. Condições de moradia: número de domicílios situados em determinada
região; tipo de material usado nas paredes, tetos e pisos; quantas moradias
são servidas ou não por água encanada e ligação de esgotos, etc.
5. Condições de saúde: anos de vida da população, número de nascidos vivos,
número de leitos na cidade, número de médicos, número de
estabelecimentos de saúde, número de internações por doença relacionadas
ao saneamento básico, etc.
6. Condições de educação da população em idade escolar: número de pessoas
frequentando a escola, nível de reprovação e evasão, desempenho em provas
de avaliação de conhecimentos e habilidades, número de matrículas, etc.
71

Dados qualitativos são fundamentais
• Aspectos culturais, valores, expectativas e outros traços da
população residente no território, leitura mais próxima à complexa
realidade social
• Diversas técnicas disponíveis e podem ser combinadas:
• (1) os estudos de caso
• (2) as observações participantes
• (3) as investigações documentais
• (4) as entrevistas breves ou em profundidade, dirigidas, semidirigidas
ou abertas
• (5) as histórias de vida ou outras formas de estudos biográficos
• (6) os grupos de discussão, grupos focais ou estratégias afins
• (7) as observações planejadas de diferentes formas, conforme os
objetivos da investigação
72

Leitura orientada:
Trabalho em grupos de até 3 alunos
Texto” “IDH, Indicadores sintéticos e suas aplicações em políticas públicas – uma
abordagem crítica” Guimaraes e Januzzi, 2005
Roteiro para debate:
1. Como os autores situam o debate sobre os indicadores de primeira geração e a
controvérsia sobre o conceito de desenvolvimento econômico?
2. Na origem do IDH como indicador de segunda geração, explique as diferenças
que distinguem o conceito de "desenvolvimento humano" do "desenvolvimento
econômico”?
3. Quais as limitações do IDH, segundo os autores?
4. O que os autores entendem pelo processo de "reificação" na página 77.

Referências
74
• SOUZA, R. Sistema Nacional de Avaliação da Educação Superior,
Produto 1, UNESCO e CNE Projeto CNE/UNESCO 914BRZ1144.3,
2015.
• LOTTA, G. Aula Conceito de Indicadores, apresentação, s/d.
• BRASIL. Ministério do Planejamento, Orçamento e Gestão.
Secretaria de Planejamento e Investimentos Estratégicos - SPI.
Indicadores de programas: Guia Metodológico / Ministério do
Planejamento, Orçamento e Gestão, Secretaria de Planejamento e
Investimentos Estratégicos - Brasília: MP, 2010.
• BOSCHETTI, I. Avaliação de políticas, programas e projetos sociais,
Departamento de Serviço Social da UnB, s/d
• BRASIL. Tribunal de Contas da União. Técnicas de Auditoria:
Indicadores de Desempenho e Mapa de Produtos - Brasília, 2000.
• GUIMARÃES, J.R.S e JANNUZZI, P.M. IDH, Indicadores sintéticos e
suas aplicações em políticas públicas: uma análise crítica. Revista
Brasileira. Est. Urbanos e Regionais, Salvador 7 (1):73-89, 2005.

Indicadores de Políticas Públicas

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Indicadores de Políticas Públicas

Ähnlich wie Indicadores de Políticas Públicas (20)

Mehr von Jackson De Toni

Mehr von Jackson De Toni (13)

Indicadores de Políticas Públicas