Avaliação de Políticas Públicas e Qualidade do Gasto no Brasil
1. IV Seminário de Avaliação de Políticas Públicas e
Qualidade do Gasto
Monitoramento e
Avaliação no mundo real:
necessidades, dificuldades e
potencialidades
Porto Alegre, 05 dezembro de 2011
2. 1 Vetores da modernização da gestão pública
2 Experiência Internacional e conceitos gerais de
monitoramento e avaliação
3 Experiência do Governo Federal
4. Vetores da modernização da gestão pública
4 vetores de transformação
Disciplina fiscal e estabilidade da moeda: um valor societário
Democracia estável: demandas sociais crescentes, controle
social, transparência, descentralização e governança
Globalização e competitividade: convergência do padrão
gerencial e de produtividade entre o setor público e o privado
Sociedade da informação: governo-eletrônico, produtividade,
controle e transparência
5. Vetores da modernização da gestão pública
Crise do Estado diante de um novo padrão de
produção e sociedade democrática
Crise 1: fiscal ou déficit fiscal
Crise fiscal X democracia = crise de legitimidade
Crise 2: de legitimidade ou déficit de legitimidade
Crise de legitimidade X Capacidade do Estado = crise do
Estado burocrático - reconhecimento das demandas da
sociedade pela administração pública
Crise 3: do Estado burocrático ou déficit de eficiência
Mudança na forma de criação do valor público comparado
ao valor privado
6. 2
Experiência internacional e
conceitos gerais de avaliação
7. Experiência internacional e conceitos gerais
de avaliação
Forte incremento nos últimos 20 anos, porque?
Inerente à gestão por desempenho
Inerente ao fortalecimento da democracia com participação
social, transparência e controle social
Preocupações crescentes com a qualidade do gasto e a
produtividade do setor público
8. Experiência internacional e conceitos gerais
de avaliação
Três modelos principais de estruturação da função avaliativa
no setor público
Constituição de sistemas de avaliação: Canadá é o exemplo mais
antigo e bem sucedido, seguido da Austrália, Inglaterra, Chile,
Espanha (casos menos freqüentes)
Avaliações aleatórias, dependentes da orientação gerencial de cada
organização, sem obrigações para com o órgão responsável pela
administração do serviço público: EUA (caso mais freqüente)
Prestação de contas anual: Holanda, Suécia, mais recentemente a
França etc.
9. Experiência internacional e conceitos gerais
de avaliação
Sistemas públicos de avaliação: dois modelos principais
Sistema descentralizado de avaliação – a avaliação é
contratada e executada pelo Ministério; depende de rede de
avaliadores externos credenciados e mercado de avaliação
forte; há órgão central que lidera o sistema (mais freqüente)
Sistema centralizado – a avaliação é contratada pelo
cabeça de sistema - é o caso do Chile, cujo órgão
responsável é a Secretaria de orçamento, do Ministério de
Economia (pouco freqüente)
10. Sistemas de Monitoramento e Avaliação pelo lado
da demanda (incentivos vindo dos usuários)
Coordenação
de
Governo
Sumario
Relacionado Beneficiários
ao e Formadores
orçamento de opinião
11. Experiência internacional e conceitos gerais
de avaliação
Coordenação e Sistemas de M.A.
Inerente ao bom desempenho da coordenação de governo
O peso da personalidade do mandatário e sua assessoria
dificultam a institucionalização de sistemas M.A. de suporte
ao funcionamento do Alto Governo
Inexistência de quadros permanentes e os aspectos
cumulativos das especificidades de cada governo afetam o
seguinte
Não é frequente o uso de mecanismos especializados para a
tomada de decisão no Alto Governo:
Prevalece o caráter discricionário e pautado pela
emergência
Os instrumentos de apoio tendem a limitar a
intervenção direta e pessoal do Mandatário
12. Experiência internacional e conceitos gerais
de avaliação
Coordenação e Sistemas de M.A.
Governo FHC 1 e 2 (experiências)
Brasil em Ação + Câmaras de Governo (sem vasos
comunicantes)
Avança Brasil + Câmaras de Governo (sem vasos comunicantes)
Governo Lula 1 e 2 (experiências):
Sistema de Metas Presidenciais + SIGOV/PNUD Gestão da
Agenda presidencial (vasos comunicantes)
Programa de Aceleração do Crescimento (PAC)+ SIGOV/PNUD
Gestão da Agenda presidencial (vasos comunicantes) + Salas de
Situação responsáveis pela supervisão e resolução de gargalos
Governo Dilma (experiências):
Ainda é cedo para saber como funciona, mas o esquema está
mantido embora o PAC esteja no MPOG
13. Experiência internacional e conceitos gerais
de avaliação
Participação dos beneficiários e Sistemas de M.A.
Cada vez mais frequente
Faz parte da boas práticas de gestão de risco público
É sequência natural de processos de planejamento com
participação social
Há risco do cidadão e mesmo gestores públicos compararem
serviços públicos com serviços privados equivalentes
Participação tem começado na fase inicial de formulação de
políticas
14. Experiência internacional e conceitos gerais
de avaliação
Participação dos beneficiários e Sistemas de M.A.
BARCELONA - ESPANHA
15. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
Do orçamento incremental para o orçamento por
desempenho, de uma cultura orientada pelo gasto para
outra orientada pelo resultado ( gastar com qualidade e
eficiência)
O problema central no orçamento não é o conflito
distributivo e sim a forma de arbitragem (importância do
planejamento e da avaliação)
A responsabilização c/ maior autonomia administrativa,
baseada na contratualização e avaliação, depende da
estabilidade de recursos
16. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
Os resultados da avaliação não substituem a negociação
política que influencia o orçamento
Rigidez orçamentária: fixação da despesa por lei específica
e crescimento de contribuições no perfil tributário
Assimetria temporal: defasagem entre o tempo da
avaliação e a sua influencia possível no gasto
17. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
Experiência chilena revela algumas disfunções quando o M.A.
está no Tesouro ou no Orçamento
Doença dos 100% de resultado
Uso de indicadores de baixo risco, inócuos
Organizações com 2 grupos de indicadores, os de baixo
risco para o contrato de gestão e os desafiadores
Efeito Túnel (OCDE) metas de produtos ou
intermediárias, de curto prazo desvinculadas de outras
organizações, porque não há indicadores de resultados
na sociedade associados a desempenho de longo prazo
18. Sistemas de Monitoramento e Avaliação pelo lado
da oferta (incentivos aos produtores de informação)
Independência e
transparência
Órgãos de
estatística
Auditoria de Pesquisa de opinião e
terceira parte Sumario avaliação participativa
Registros
Sistemas de
administrativos
M.A.
setoriais
19. Experiência internacional e conceitos gerais
de avaliação
4 procedimentos essenciais
Definir o problema ou a oportunidade para a elaboração de
política, programa, projeto de investimento – Marco Lógico
Melhorar a capacidade de decisão sobre novas políticas,
programas e projetos – Fase de apreciação, vai além do
modelo lógico
Existem maneiras melhores de atingir este objetivo?*
Existem usos melhores para estes recursos?*
Avaliar os riscos de implementação
Criar ou fortalecer Sistemas de M.A.
* Livro Verde, Guia do Departamento do Tesouro do UK
20. Experiência internacional e conceitos gerais
de avaliação
Porque avaliar
Apreender com a ação (nem sempre é lembrado,
além disso responsabilização e culpa dificultam)
Melhorar a tomada de decisão (como mitigar a
influência da intervenção direta, pessoal, política e
do valor da intuição dos decisores)
Melhorar a alocação de recursos (como conviver
com a rigidez orçamentária)
Prestar contas aos parlamentos e a sociedade
(como evitar a inapetência desses segmentos)
21. Experiência internacional e conceitos gerais
de avaliação
O que avaliar
Políticas e Programas – avaliação de políticas públicas
(mede sobretudo efetividade)
Projetos de Investimentos – avaliação ex-ante de custos,
prazos, qualidade e impactos ambientais
Servidores - avaliação de desempenho individual
(problemático)
Organizações – avaliação institucional, geralmente
baseada na experiência ISO (mede frequentemente
apenas a eficiência e a eficácia, raramente resultados)
22. Experiência internacional e conceitos gerais
de avaliação
Evolução
Menos frequentee,
no entanto a mais
importante das Resultados
medições Efetividade
(impactos na sociedade)
Outputs
Valor da Eficácia
Mudança (atendimento à demanda)
Processos
Eficiência
(custos e produtividades)
Inputs
23. Experiência internacional e conceitos gerais
de avaliação
Diferença entre avaliação e pesquisa está na finalidade distinta
O compromisso da avaliação de programas está
em gerar informações relevantes sobre o
desempenho com vistas a melhoria contínua do
programa (incide sobre o programa ou projeto)
O compromisso da pesquisa avaliativa é o de gerar
conhecimento, teste de teorias, estabelecimento de
“verdades” e/ou Melhorar a alocação de recursos
(incide sobre as diretrizes das políticas públicas)
24. Experiência internacional e conceitos gerais
de avaliação
Quanto ao promotor
Auto-avaliação com meta-avaliação (se pratica no Brasil)
Avaliação independente (se pratica no Chile e no Brasil)
Pesquisa avaliativa (se pratica no EUA)
Auto-avaliação, com participação social, combinada com
pesquisa avaliativa(promissora)
25. Experiência internacional e conceitos gerais
de avaliação
Quanto a temporalidade
Avaliação ex-ante
Qualidade da intervenção e definição da linha de Base
Avaliação durante a execução
Monitoramento de desempenho - rotineiro
Avaliação de impactos - tópico
Avaliação ex-post (mais adequada a projetos)
Avaliação de impactos
26. Experiência internacional e conceitos gerais
de avaliação
O paradoxo entre necessidade de recursos e qualidade e
eficiência do gasto
Dicotomia entre carências sociais e econômicas graves e
dificuldade fiscal não se resolve apenas com mais recursos
Desafio de ser mais eficiente no gasto mostra-se com
maior intensidade nos períodos de crise, mas geralmente a
urgência embaça a oportunidade para grandes mudanças
de cultura gerencial
Outro problema grave é administrar na prosperidade –
gastar é tão complicado, no setor público, como gastar de
forma eficiente e efetiva
28. Experiência do Governo Federal
Vários sistemas estruturados de M.A.
operando ao mesmo tempo
Sistema de M.A. do PPA (Secretaria de Planejamento e
Investimentos Estratégicos - MPOG)
Sistema de Avaliação Externa de Programas de Governo
(Tribunal de Contas da União)
Sistema de Avaliação e Monitoramento das Políticas e
Programas Sociais (Secretaria de Avaliação e Gestão da
Informação – MDS)
Sistema de Monitoramento do PAC (Presidência da República,
governo Lula, MPOG no governo Dilma)
29. Experiência do Governo Federal
Sistema de M.A. do PPA
Abrangente – toda a atuação de governo, escapa o que é
realizado fora da função, no abrigo das ações orçamentárias
Auto-avaliação com meta-avaliação por parte do MPOG
Correlacionado ao orçamento
Avaliação de projetos de grande impacto – funciona mal
Avalia programas, política setorial do Ministério e estratégia
do plano – o primeiro mais consistente e os dois últimos
apresentam fraca consistência
Combina SIGPLAN sistema centralizado de informática com
InfraSigs, sistemas por Ministério
Referência para o Balanço Geral da União e Mensagem
Presidencial – Doc. com forte mediação política
30. Experiência do Governo Federal
Sistema de Avaliação Externa de
Programas de Governo
Combina instrumentos de auditoria com pesquisa primária
juntos aos órgãos implementadores e envolve o beneficiário
Tenciona com a tradição da auditoria de contas de caráter
punitivo no consumo interno (TCU) das informações
Procura enfatizar o caráter de aprendizado, mas gera nos
órgãos desconfiança com uso da informação pelo TCU
Fortalece a cultura de resultados no Executivo, valoriza uso
de indicadores, de bons indicadores nos programas do PPA
Avaliações rápidas, profundas e focadas
Informações checadas e confiáveis
31. Experiência do Governo Federal
Sistema de Avaliação e monitoramento das
políticas e programas sociais
Focado nos programas do MDS
Promove o monitoramento físico financeiro dos programas
(21 programas em 2007, correspondendo a 6 no PPA)
Avalia os impactos na realidade social
Avaliação de terceira parte, independente
Uso de métodos sofisticados, quantitativos
Realiza pesquisas de opinião
32. Experiência do Governo Federal
Sistema de Monitoramento do PAC
Monitoramento físico-financeiro
Apoio do Alto Governo na resolução de gargalos à execução
Possui incentivos baseado no caráter privilegiado da
alocação e execução financeira – os recursos pertencem ao
Alto Governo e não aos Ministérios setoriais
Mobiliza a agenda do Alto Governo e Presid. – SIGOV/PNUD
Execução ancorado em salas de situação na Presidência
Esteve no período Lula na Presidência, agora está no MPOG
33. Experiência do Governo Federal
Lições da experiência
São superpostos, embora complementares
Aumenta a informação e melhora o M.A.
Há canais de comunicação entre os Sistemas, com sinergias
Pluralidade de Sistemas atende a diversidade e
complexidade da Administração Pública e da demanda
Os Sistemas informatizados tem baixa interoperabilidade
Uma estimativa de custos dos 4 Sistemas, registrava em
2007, valor de R$ 24,1 milhões/ano, 0,0058% do
Orçamento da União, quando se aceita até 2%
internacionalmente (Humberto Falcão Martins – CLAD)
Estratégia de institucionalização e partir de uma oferta e
criar a demanda
34. Alguns desafios dos Sistemas de M.A. que
merecem destaque
Sistemas de M.A seletivos, no Alto Governo, com sistemas
abrangentes para o resto do governo (restrições do resto
do governo afetam o desempenho das prioridades)
Sistema de M.A. associado ao processo orçamentário
Funcionamento descentralizado do sistema de M.A. com
unidades nos setoriais
Combinar auto-avaliação com meta-avaliação
Avaliação com participação social, sobretudo quando
envolve serviços públicos
Avaliação de projetos ex-ante
Criar incentivos associados ao bom desempenho
Enfrentar a polêmica dos indicadores: mais vale uma
métrica do que um indicador preciso