PortoAlegre, 05 dezembro de 2011 Monitoramento e Avaliação no mundo real, necessidades, dificuldades e potencialidades

1. IV Seminário de Avaliação de Políticas Públicas e
Qualidade do Gasto
Monitoramento e
Avaliação no mundo real:
necessidades, dificuldades e
potencialidades
Porto Alegre, 05 dezembro de 2011

2. 1 Vetores da modernização da gestão pública
2 Experiência Internacional e conceitos gerais de
monitoramento e avaliação
3 Experiência do Governo Federal

3. 1
Vetores da modernização da
gestão pública

4. Vetores da modernização da gestão pública
4 vetores de transformação
 Disciplina fiscal e estabilidade da moeda: um valor societário
 Democracia estável: demandas sociais crescentes, controle
social, transparência, descentralização e governança
 Globalização e competitividade: convergência do padrão
gerencial e de produtividade entre o setor público e o privado
 Sociedade da informação: governo-eletrônico, produtividade,
controle e transparência

5. Vetores da modernização da gestão pública
Crise do Estado diante de um novo padrão de
produção e sociedade democrática
 Crise 1: fiscal ou déficit fiscal
Crise fiscal X democracia = crise de legitimidade
 Crise 2: de legitimidade ou déficit de legitimidade
Crise de legitimidade X Capacidade do Estado = crise do
Estado burocrático - reconhecimento das demandas da
sociedade pela administração pública
 Crise 3: do Estado burocrático ou déficit de eficiência
Mudança na forma de criação do valor público comparado
ao valor privado

6. 2
Experiência internacional e
conceitos gerais de avaliação

7. Experiência internacional e conceitos gerais
de avaliação
Forte incremento nos últimos 20 anos, porque?
 Inerente à gestão por desempenho
 Inerente ao fortalecimento da democracia com participação
social, transparência e controle social
 Preocupações crescentes com a qualidade do gasto e a
produtividade do setor público

8. Experiência internacional e conceitos gerais
de avaliação
Três modelos principais de estruturação da função avaliativa
no setor público
 Constituição de sistemas de avaliação: Canadá é o exemplo mais
antigo e bem sucedido, seguido da Austrália, Inglaterra, Chile,
Espanha (casos menos freqüentes)
 Avaliações aleatórias, dependentes da orientação gerencial de cada
organização, sem obrigações para com o órgão responsável pela
administração do serviço público: EUA (caso mais freqüente)
 Prestação de contas anual: Holanda, Suécia, mais recentemente a
França etc.

9. Experiência internacional e conceitos gerais
de avaliação
Sistemas públicos de avaliação: dois modelos principais
 Sistema descentralizado de avaliação – a avaliação é
contratada e executada pelo Ministério; depende de rede de
avaliadores externos credenciados e mercado de avaliação
forte; há órgão central que lidera o sistema (mais freqüente)
 Sistema centralizado – a avaliação é contratada pelo
cabeça de sistema - é o caso do Chile, cujo órgão
responsável é a Secretaria de orçamento, do Ministério de
Economia (pouco freqüente)

10. Sistemas de Monitoramento e Avaliação pelo lado
da demanda (incentivos vindo dos usuários)
Coordenação
de
Governo
Sumario
Relacionado Beneficiários
ao e Formadores
orçamento de opinião

11. Experiência internacional e conceitos gerais
de avaliação
Coordenação e Sistemas de M.A.
 Inerente ao bom desempenho da coordenação de governo
 O peso da personalidade do mandatário e sua assessoria
dificultam a institucionalização de sistemas M.A. de suporte
ao funcionamento do Alto Governo
 Inexistência de quadros permanentes e os aspectos
cumulativos das especificidades de cada governo afetam o
seguinte
Não é frequente o uso de mecanismos especializados para a
tomada de decisão no Alto Governo:
 Prevalece o caráter discricionário e pautado pela
emergência
Os instrumentos de apoio tendem a limitar a
intervenção direta e pessoal do Mandatário

12. Experiência internacional e conceitos gerais
de avaliação
Coordenação e Sistemas de M.A.
 Governo FHC 1 e 2 (experiências)
 Brasil em Ação + Câmaras de Governo (sem vasos
comunicantes)
 Avança Brasil + Câmaras de Governo (sem vasos comunicantes)
 Governo Lula 1 e 2 (experiências):
 Sistema de Metas Presidenciais + SIGOV/PNUD Gestão da
Agenda presidencial (vasos comunicantes)
 Programa de Aceleração do Crescimento (PAC)+ SIGOV/PNUD
Gestão da Agenda presidencial (vasos comunicantes) + Salas de
Situação responsáveis pela supervisão e resolução de gargalos
Governo Dilma (experiências):
Ainda é cedo para saber como funciona, mas o esquema está
mantido embora o PAC esteja no MPOG

13. Experiência internacional e conceitos gerais
de avaliação
Participação dos beneficiários e Sistemas de M.A.
 Cada vez mais frequente
 Faz parte da boas práticas de gestão de risco público
 É sequência natural de processos de planejamento com
participação social
 Há risco do cidadão e mesmo gestores públicos compararem
serviços públicos com serviços privados equivalentes
 Participação tem começado na fase inicial de formulação de
políticas

14. Experiência internacional e conceitos gerais
de avaliação
Participação dos beneficiários e Sistemas de M.A.
BARCELONA - ESPANHA

15. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
 Do orçamento incremental para o orçamento por
desempenho, de uma cultura orientada pelo gasto para
outra orientada pelo resultado ( gastar com qualidade e
eficiência)
 O problema central no orçamento não é o conflito
distributivo e sim a forma de arbitragem (importância do
planejamento e da avaliação)
 A responsabilização c/ maior autonomia administrativa,
baseada na contratualização e avaliação, depende da
estabilidade de recursos

16. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
 Os resultados da avaliação não substituem a negociação
política que influencia o orçamento
 Rigidez orçamentária: fixação da despesa por lei específica
e crescimento de contribuições no perfil tributário
 Assimetria temporal: defasagem entre o tempo da
avaliação e a sua influencia possível no gasto

17. Experiência internacional e conceitos gerais
de avaliação
Relação entre a avaliação e orçamento: combinação
de difícil execução
 Experiência chilena revela algumas disfunções quando o M.A.
está no Tesouro ou no Orçamento
 Doença dos 100% de resultado
 Uso de indicadores de baixo risco, inócuos
 Organizações com 2 grupos de indicadores, os de baixo
risco para o contrato de gestão e os desafiadores
 Efeito Túnel (OCDE) metas de produtos ou
intermediárias, de curto prazo desvinculadas de outras
organizações, porque não há indicadores de resultados
na sociedade associados a desempenho de longo prazo

18. Sistemas de Monitoramento e Avaliação pelo lado
da oferta (incentivos aos produtores de informação)
Independência e
transparência
Órgãos de
estatística
Auditoria de Pesquisa de opinião e
terceira parte Sumario avaliação participativa
Registros
Sistemas de
administrativos
M.A.
setoriais

19. Experiência internacional e conceitos gerais
de avaliação
4 procedimentos essenciais
 Definir o problema ou a oportunidade para a elaboração de
política, programa, projeto de investimento – Marco Lógico
 Melhorar a capacidade de decisão sobre novas políticas,
programas e projetos – Fase de apreciação, vai além do
modelo lógico
 Existem maneiras melhores de atingir este objetivo?*
 Existem usos melhores para estes recursos?*
 Avaliar os riscos de implementação
 Criar ou fortalecer Sistemas de M.A.
* Livro Verde, Guia do Departamento do Tesouro do UK

20. Experiência internacional e conceitos gerais
de avaliação
Porque avaliar
 Apreender com a ação (nem sempre é lembrado,
além disso responsabilização e culpa dificultam)
 Melhorar a tomada de decisão (como mitigar a
influência da intervenção direta, pessoal, política e
do valor da intuição dos decisores)
 Melhorar a alocação de recursos (como conviver
com a rigidez orçamentária)
 Prestar contas aos parlamentos e a sociedade
(como evitar a inapetência desses segmentos)

21. Experiência internacional e conceitos gerais
de avaliação
O que avaliar
 Políticas e Programas – avaliação de políticas públicas
(mede sobretudo efetividade)
 Projetos de Investimentos – avaliação ex-ante de custos,
prazos, qualidade e impactos ambientais
 Servidores - avaliação de desempenho individual
(problemático)
 Organizações – avaliação institucional, geralmente
baseada na experiência ISO (mede frequentemente
apenas a eficiência e a eficácia, raramente resultados)

22. Experiência internacional e conceitos gerais
de avaliação
Evolução
Menos frequentee,
no entanto a mais
importante das Resultados
medições Efetividade
(impactos na sociedade)
Outputs
Valor da Eficácia
Mudança (atendimento à demanda)
Processos
Eficiência
(custos e produtividades)
Inputs

23. Experiência internacional e conceitos gerais
de avaliação
Diferença entre avaliação e pesquisa está na finalidade distinta
 O compromisso da avaliação de programas está
em gerar informações relevantes sobre o
desempenho com vistas a melhoria contínua do
programa (incide sobre o programa ou projeto)
 O compromisso da pesquisa avaliativa é o de gerar
conhecimento, teste de teorias, estabelecimento de
“verdades” e/ou Melhorar a alocação de recursos
(incide sobre as diretrizes das políticas públicas)

24. Experiência internacional e conceitos gerais
de avaliação
Quanto ao promotor
 Auto-avaliação com meta-avaliação (se pratica no Brasil)
 Avaliação independente (se pratica no Chile e no Brasil)
 Pesquisa avaliativa (se pratica no EUA)
 Auto-avaliação, com participação social, combinada com
pesquisa avaliativa(promissora)

25. Experiência internacional e conceitos gerais
de avaliação
Quanto a temporalidade
 Avaliação ex-ante
 Qualidade da intervenção e definição da linha de Base
 Avaliação durante a execução
 Monitoramento de desempenho - rotineiro
 Avaliação de impactos - tópico
 Avaliação ex-post (mais adequada a projetos)
 Avaliação de impactos

26. Experiência internacional e conceitos gerais
de avaliação
O paradoxo entre necessidade de recursos e qualidade e
eficiência do gasto
 Dicotomia entre carências sociais e econômicas graves e
dificuldade fiscal não se resolve apenas com mais recursos
 Desafio de ser mais eficiente no gasto mostra-se com
maior intensidade nos períodos de crise, mas geralmente a
urgência embaça a oportunidade para grandes mudanças
de cultura gerencial
 Outro problema grave é administrar na prosperidade –
gastar é tão complicado, no setor público, como gastar de
forma eficiente e efetiva

27. 3
Experiência do Governo
Federal

28. Experiência do Governo Federal
Vários sistemas estruturados de M.A.
operando ao mesmo tempo
 Sistema de M.A. do PPA (Secretaria de Planejamento e
Investimentos Estratégicos - MPOG)
 Sistema de Avaliação Externa de Programas de Governo
(Tribunal de Contas da União)
 Sistema de Avaliação e Monitoramento das Políticas e
Programas Sociais (Secretaria de Avaliação e Gestão da
Informação – MDS)
 Sistema de Monitoramento do PAC (Presidência da República,
governo Lula, MPOG no governo Dilma)

29. Experiência do Governo Federal
Sistema de M.A. do PPA
 Abrangente – toda a atuação de governo, escapa o que é
realizado fora da função, no abrigo das ações orçamentárias
 Auto-avaliação com meta-avaliação por parte do MPOG
 Correlacionado ao orçamento
 Avaliação de projetos de grande impacto – funciona mal
 Avalia programas, política setorial do Ministério e estratégia
do plano – o primeiro mais consistente e os dois últimos
apresentam fraca consistência
 Combina SIGPLAN sistema centralizado de informática com
InfraSigs, sistemas por Ministério
 Referência para o Balanço Geral da União e Mensagem
Presidencial – Doc. com forte mediação política

30. Experiência do Governo Federal
Sistema de Avaliação Externa de
Programas de Governo
 Combina instrumentos de auditoria com pesquisa primária
juntos aos órgãos implementadores e envolve o beneficiário
 Tenciona com a tradição da auditoria de contas de caráter
punitivo no consumo interno (TCU) das informações
 Procura enfatizar o caráter de aprendizado, mas gera nos
órgãos desconfiança com uso da informação pelo TCU
 Fortalece a cultura de resultados no Executivo, valoriza uso
de indicadores, de bons indicadores nos programas do PPA
 Avaliações rápidas, profundas e focadas
 Informações checadas e confiáveis

31. Experiência do Governo Federal
Sistema de Avaliação e monitoramento das
políticas e programas sociais
 Focado nos programas do MDS
 Promove o monitoramento físico financeiro dos programas
(21 programas em 2007, correspondendo a 6 no PPA)
 Avalia os impactos na realidade social
 Avaliação de terceira parte, independente
 Uso de métodos sofisticados, quantitativos
 Realiza pesquisas de opinião

32. Experiência do Governo Federal
Sistema de Monitoramento do PAC
 Monitoramento físico-financeiro
 Apoio do Alto Governo na resolução de gargalos à execução
 Possui incentivos baseado no caráter privilegiado da
alocação e execução financeira – os recursos pertencem ao
Alto Governo e não aos Ministérios setoriais
 Mobiliza a agenda do Alto Governo e Presid. – SIGOV/PNUD
 Execução ancorado em salas de situação na Presidência
 Esteve no período Lula na Presidência, agora está no MPOG

33. Experiência do Governo Federal
Lições da experiência
 São superpostos, embora complementares
 Aumenta a informação e melhora o M.A.
 Há canais de comunicação entre os Sistemas, com sinergias
 Pluralidade de Sistemas atende a diversidade e
complexidade da Administração Pública e da demanda
 Os Sistemas informatizados tem baixa interoperabilidade
 Uma estimativa de custos dos 4 Sistemas, registrava em
2007, valor de R$ 24,1 milhões/ano, 0,0058% do
Orçamento da União, quando se aceita até 2%
internacionalmente (Humberto Falcão Martins – CLAD)
 Estratégia de institucionalização e partir de uma oferta e
criar a demanda

34. Alguns desafios dos Sistemas de M.A. que
merecem destaque
 Sistemas de M.A seletivos, no Alto Governo, com sistemas
abrangentes para o resto do governo (restrições do resto
do governo afetam o desempenho das prioridades)
 Sistema de M.A. associado ao processo orçamentário
 Funcionamento descentralizado do sistema de M.A. com
unidades nos setoriais
 Combinar auto-avaliação com meta-avaliação
 Avaliação com participação social, sobretudo quando
envolve serviços públicos
 Avaliação de projetos ex-ante
Criar incentivos associados ao bom desempenho
 Enfrentar a polêmica dos indicadores: mais vale uma
métrica do que um indicador preciso

35. Obrigado pela oportunidade
Ariel.pares@mma.gov.br
(61) 2028-1224