Avaliação do Plano Plurianual Experiência Recente e Perspectivas Pedro Bertone SPI/MP Dezembro de 2011

1. Avaliação do Plano Plurianual
Experiência Recente e Perspectivas
Pedro Bertone
SPI/MP
Dezembro de 2011
Ministério 1
do Planejamento

2. Sumário
• Avaliação – Algumas Reflexões
• Sistema de Monitoramento de Avaliação – M&A
• Evolução do M&A do PPA
• Características do modelo atual de M&A do PPA
• Estrutura do PPA 2012-2015
• Diretrizes para a Avaliação do PPA 2012-2015
• Principais Mudanças – Etapas e Desafios
Ministério
do Planejamento

3. O que é Avaliação
A avaliação é um julgamento de valor ou mérito
sobre uma intervenção, que pode ser resultado
da aplicação de critérios e normas (avaliação
normativa) ou de procedimentos científicos
(pesquisa avaliativa).
Scriven (1967, apud Worthen, Sanders e Fitzpatric, 2004)
Ministério
do Planejamento

4. O que é Avaliação
 Alguns enxergam a avaliação como um modismo que cria burocracia e gera
poucos resultados. Outros a vêem como essencialmente teórico e de pouca
aplicação prática, tendo seu efeito limitado a questões marginais. Há quem receie
que possam levar a um controle excessivo, ou ainda aqueles que simplesmente
não querem se responsabilizar. (Ala-Harja e Helgason, 2000).
 Ao contrário, a avaliação contribui para aumentar o grau de eficiência, eficácia e
efetividade do setor público, na medida em que possibilita verificar:
 se o modelo de intervenção é apropriado aos fins desejados;
 se a implementação está acontecendo conforme previsto;
 se estão sendo alcançados os objetivos e as metas estabelecidas;
 qual o valor da intervenção e o custo-efetividade;
 e até mesmo a necessidade e continuidade das ações planejadas.
Ministério
do Planejamento

5. Sistema de Monitoramento e Avaliação
Tem a finalidade de assegurar que o monitoramento
e a avaliação sejam utilizados, de modo
descentralizado pela administração pública federal,
como ferramentas gerenciais para a melhoria da
qualidade da decisão e da alocação dos recursos no
Plano e nos Orçamentos anuais, com vistas à
obtenção de resultados pelo governo.
Ministério
do Planejamento

6. Avaliação do Plano Plurianual – Algumas Reflexões
• Contribui para a tomada de decisão
• Promove disseminação do conhecimento
• Induz aperfeiçoamentos na concepção e na gestão dos planos e programas
• Comunica resultados da ação governamental:
– prestação de contas, transparência
• O tempo das avaliações nem sempre dialoga com os tempos da política
• Resultados das avaliações nem sempre são tempestivos para correção de rumos
(nem sempre contribuem para atingir de metas de governo)
• Avaliações externas, baseadas em evidências, tendem a fornecer um olhar mais isento,
com críticas mais assertivas
Ministério
do Planejamento

7. Dilemas na Concepção da Avaliação do PPA
Formalidade Utilidade
Ministério
do Planejamento

8. PPA 2000-2003
A tentativa de implementação do orçamento-programa
Inovações do PPA
• organiza a ação do governo, baseada em problemas e oportunidades, por programas (tentativa de
implantação do orçamento-programa)
• o programa como elo entre planejamento, orçamento e gestão das políticas
• orientação para resultado (indicador dos programas e produtos das ações)
• transparência da ação governamental
Avaliação na Lei do PPA:
Executivo enviará ao Congresso Nacional relatório de avaliação do PPA contendo:
- o caso, medidas ccomportamento das variáveis macroeconômicas
- demonstrativo da execução físico e financeira do exercício
- demonstrativo por programa do índice alcançado, da possibilidade de alcance dos índices
ao final do período, do cumprimento das metas físicas, da previsão de custo por ação,
relacionando, se for o caso, medidas corretivas necessárias.
Processo de Avaliação Mista:
SPI: elabora e envia roteiro com questionário de avaliação
Gerente de Programa: preenche o questionário
SPI: elabora os textos
Gerente de Programa: valida
Produto: relatório de avaliação para o Congresso
Ministério
do Planejamento

9. PPA 2004-2007
O Reforço do conteúdo estratégico e das estruturas de M&A
• Inovações do PPA
– Declara uma estratégia de Desenvolvimento
– Cria o conceito de projeto de grande vulto, com avaliação ex ante
– Diferencia dois níveis de gestão: Estratégico e tático-operacional
– Lei do PPA cria sistema de avaliação
– Decreto e Portaria detalham o sistema de avaliação:
•Comitê de Coordenação de Programas,
•Comitê Gestor dos Programas,
•UMA, CMA e CTMA
– Tentativa de institucionalizar e descentralizar o processo de avaliação (UMA)
• Produto: relatório de avaliação para o Congresso
Ministério
do Planejamento

10. Sistema de Monitoramento e Avaliação
Organização
Órgãos Setoriais Ministério do Planejamento
Comitê de Comissão de
Coordenação dos Monitoramento e
Assessoramento
Unidade de Avaliação (CMA)
Programas
Monitora-
mento e
Avaliação
(UMA) Câmara Técnica de
Gerente de Monitoramento e
Programa Avaliação (CTMA)
Consultores Internos aos
Suporte ao Comitê de Apoio aos Gerentes de
processos de
Coordenação dos Programa e
Monitoramento e
Programas Coordenadores de Ação
Ministério Avaliação
do Planejamento

11. Avaliação da Dimensão Estratégica
(por fora do sistema formal)
Definição de um recorte em relação as famílias que compõem o mercado de massa
que permita acompanhar a evolução do emprego e da renda destes segmentos durante
o PPA 2004-2007
 Definição de uma cesta de bens e serviços tipicamente associadas ao consumo de
massa que permita acompanhar o desempenho do comércio e dos setores industriais
responsáveis pela produção destes bens
 Seleção de uma “cesta” de indicadores associados as variáveis centrais da Estratégia
de Desenvolvimento e utilização das fontes oficiais de pesquisa que apuram estes
índices
 Tratamento das informações nos diversos bancos de dados, tais como: POF, PNAD,
PIMES, CAGED, Contas Nacionais, Boletim BACEN. (Não utilizou-se o sistema de
informações desenhado a partir do recorte do orçamento - SIGPlan)
 Produto: Relatório de Avaliação para o Congresso, com uma avaliação da estratégia
de desenvolvimento do Plano elaborada pela SPI.
Ministério
do Planejamento

12. Diferença de Perspectiva
formal útil
organizar o questionário e o
fazer a avaliação
processo de avaliação
habilidade do servidor em habilidade em tratar e analisar
organizar processos dados – produzir informação
produto é a soma das leituras produto uma leitura resultante da
setoriais ação governamental
foco nas informações com vistas
foco no processo e no método
a subsidiar a ação governamental
avaliação pré-formatada e avaliação flexível, moldada às
institucionalizada circunstâncias
Ministério
do Planejamento

13. PPA 2008-2011
Avanços Menos Significativos e Suporte ao M&A Exercido por Outras Vias
 Descentralização para os órgãos setoriais
 Direcionamento do trabalho da SPI para avaliação da Estratégia de
Desenvolvimento, dos Objetivos de Governo e das metas prioritárias
(mensagem do PPA)
 O órgão central de planejamento orientado para produzir conhecimento
sobre as razões do estágio de desenvolvimento nacional, a dinâmica de
implementação das políticas e as possibilidades para ampliar os canais de
atendimento do Estado
 Minimiza as exigências legais (direito administrativo x racionalidade
gerencial) e maximiza o subsídio à coordenação do governo (regionalização
e medidas institucionais do PAC 2)
Ministério
do Planejamento

14. Características do Modelo Atual de M&A
• O formato (auto-avaliação) aproveita os conhecimentos e experiências dos
envolvidos na execução de programas;
• Estabeleceu uma cultura de avaliação periódica;
• Os anexos constituem um importante instrumento de transparência na
aplicação de recursos públicos e de controle externo/social;
• Porém, do ponto de vista da gestão:
 Os resultados têm pouca utilidade, pois o caráter universalista e padronizado não
considera prioridades, características, níveis de maturidade e as especificidades de
programas e instituições;
 Assim as informações produzidas pouco contribuem para aperfeiçoamentos, tomada
de decisão, alocação de recursos etc.;
 O modelo forçou a criação de instâncias paralelas e papéis pré-definidos desconexos
com a implementação dos programas;
 Há também uma forte desconexão com os objetivos estratégicos do Governo.
Ministério
do Planejamento

15. Plano Mais Brasil
Os avanços estruturais visam a:
1. Resgatar a função Planejamento;
2. Incorporar ao PPA os Objetivos de Governo tais como declarados;
3. Permitir o efetivo monitoramento de Objetivos e Metas;
4. Criar espaço para tratar políticas transversais;
5. Criar espaço para tratar a regionalização das políticas;
6. Induzir a reorganização gradual do orçamento na lógica do
resultado;
7. Usar linguagem capaz de comunicar o seu conteúdo dentro e fora do
Governo.
Ministério
do Planejamento

16. Bases do Plano Mais Brasil
Ministério
do Planejamento

17. Dimensões do Plano Mais Brasil
PPA 2008-2011 PPA 2012-2015
Auto-avaliação continuará aproveitando
conhecimentos e experiências dos gestores públicos
Ministério
do Planejamento

18. Dimensões do Plano Mais Brasil
É a orientação estratégica que tem como base os Macrodesafios e
Estratégico a Visão de Longo Prazo do Governo Federal.
Foco da Avaliação do PPA
Define caminhos exequíveis para o alcance dos objetivos e das
transformações definidas na dimensão estratégica, considerando as
Tático variáveis inerentes à política pública tratada. Vincula os Programas
Temáticos para consecução dos Objetivos assumidos, estes
materializados pelas Iniciativas expressas no Plano.
Relaciona-se com o desempenho da ação Governamental no nível
da eficiência e é especialmente tratada no Orçamento. Busca a
Operacional otimização na aplicação dos recursos disponíveis e a qualidade dos
produtos entregues.
Ministério
do Planejamento

19. Diretrizes para a Avaliação do PPA Mais Brasil
• Produção de Informações orientadas ao (à):
 Aperfeiçoamentos das políticas públicas;
 Tomada de decisão (priorização, continuidade, alocação de recursos etc.);
 Comunicação interna (horizontal e vertical), entre Poderes e esferas, com a Sociedade;
 Transparência e efetividade das ações de Governo.
• Criação de fóruns (ou aproveitamento de existentes) para avaliação de políticas
públicas considerando especificidades, grau de avaliabilidade e outros quesitos
para, dentre outras formas:
 Avaliar o comportamento de indicadores (IBGE, registros administrativos, agências sub-
nacionais, organismos internacionais);
 Analisar os resultados de eventuais pesquisas avaliativas (IPEA, desenhos qualitativos,
quantitativos, outros).
• Avaliação pelo MP da dimensão estratégica do Plano (cenários e macro-desafios),
à luz dos resultados obtidos pelas avaliações dos diversos programas e agendas
prioritárias.
Ministério
do Planejamento

20. PPA 2008-2011 PPA 2012-2015
Imersão na execução das políticas
No PPA: lacuna
Agendas prioritárias (seletividade)
Efetivo: PAC
Informações para Pacto (governabilidade)
Tentativas:
a implementação • Câmaras Setoriais
Espaços de coordenação efetivos
Provisão de meios e soluções
• Agenda Social
Normas: apenas orientações
No PPA: lacuna Chamar a sociedade para o jogo
Efetivo: Mediado pelos Conselhos
Informações para a • SECOM Divulgar realizações e prestar contas
sociedade • ASCOM dos órgãos Inovar na comunicação (portal, redes sociais)
• Relatórios de Gestão Assessorias de Comunicação e SECOM
• PCPR (BGU) Normas: Decreto e Portaria (MP/SG/SECOM)
• Mensagem Presidencial
No PPA: intensivo Cobertura de todos os Programas
• SIGPLAN Foco nos objetivos (requisito legal)
Informações para • Relatório Anual de Sistema de Informações simples integrado ao
o controle Avaliação (1.200 páginas) monitoramento da LOA (iniciativas)
• Autoavaliação anual de Exigências legais mínimas
Programas Norma: Portaria (MP)
Ministério
do Planejamento

21. Desafios
• Estabelecimento de política nacional de monitoramento e avaliação
de políticas públicas;
• Melhor geração e utilização das informações existentes
(coordenação do sistema estatístico nacional por meio de um
conselho nacional);
• Aproximação das agendas de pesquisa do IBGE, IPEA e das agências
sub-nacionais de estatística às demandas do ciclo de gestão das
políticas públicas, particularmente na fase de avaliação;
• Reconhecimento da importância da utilização de diferentes métodos
na avaliação de resultados (eficácia) e impacto (efetividade);
• Maior uso de avaliações ex-ante (análise e escolha dentre cenários
possíveis) no planejamento governamental, para posterior
comparação.
Ministério
do Planejamento

22. O que muda?
PPA 2008-2011 PPA 2012-2015
Orientado pelo Sistema Orientado para o fazer
espaços de coordenação e sistemas flexíveis
SIGPLAN, CMA, CTMA, CTPGV
Restrito à execução físico-financeira Dialoga com conteúdo das políticas
agendas prioritárias, metas, entregas
produtos de ações, localizadores
Cobertura universal Seletividade e progressividade
garantia de metas e iniciativas prioritárias
300 programas, 5.000 ações, 24 mil localizadores
Difícil de acompanhar agendas Induz a gestão de agendas
subsidia decisões do governo
produtos dispersos em 24 mil localizadores
Periodicidade padronizada Periodicidade pactuada
negociação com cada agenda
trimestral e anual
Ênfase em informações quantitativas Múltiplas fontes de informação relevante
físico-financeiro por localizador aspectos qualitativos, metas, entraves
Criação de instâncias paralelas Aproveita estruturas existentes
UMA, CMA, Gerentes de Programas... pactuação com responsáveis pela execução
Linguagem formalista e orçamentária Linguagem de gente
matéria-prima para o controle e a burocracia Ministério comunicação de entregas à sociedade
do Planejamento

23. Etapas
• validação da estratégia no MP
Construção do • definição dos instrumentos normativos mínimos
definiçã
modelo
o • início do levantamento de requisitos de informação e comunicação
• apresentação agendas prioritárias (negociação no governo)
• escolhas das e oitiva junto aos setoriais
Propostas
individuais (por
• identificação das estruturas existentes e interlocutores efetivos
SPI elabora propostas de
• concepção individualizada das metodologia de monitoramento : escopo,
partida para cada
agenda)
ministério/agenda
periodicidade, fluxo de informações, interlocução, modelo de coordenação.
• avaliação dos recursos disponíveis, requisitos e condições políticas
Pactuação
oficinas de pactuação das
propostas com órgãos
• compromissos de execução (setorial) e provisão de meios (MP)
finalísticos
• negociação a partir das propostas individuais com envolvimento dos finalísticos
• revisão e ajustes no conteúdo das propostas
Validação no • identificação de lacunas, sobreposições e riscos
harmonização e ajustes a
MP
partir da visão global das
• validação sob perspectiva do órgão central
propostas
• publicação dos instrumentos normativos
Produção de
Normas e • disponibilização dos sistemas de informação
Sistemas
formalização e definição da
• definição do cronograma
agenda de implementação
Ministério
do Planejamento

24. Obrigado!
Pedro Bertone
Secretaria de Planejamento e Investimentos Estratégicos
pedro.bertone@planejamento.gov.br
Ministério
do Planejamento