Clad0038402

V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000

Avaliação de políticas públicas na América do Sul.1
A avaliação de programas públicos: uma estratégia de análise
Pedro Luiz Barros Silva2
Nilson do Rosário Costa3
Outubro de 2 000

CAPÍTULO 1: UMA REVISÃO DOS ESTUDOS NACIONAIS SOBRE O FORTALECIMENTO DA FUNÇÃO
AVALIAÇÃO NA AMÉRICA DO SUL

1. INTRODUÇÃO

Este capítulo analisa os documentos sobre a situação da função de avaliação em três países da
América do Sul: Brasil, Argentina e Chile. Os trabalhos foram elaborados respectivamente pelo
Ministério do Planejamento e Orçamento/Instituto de Pesquisa Econômica Aplicada “A Experiência
Brasileira e o Caso do Brasil em Ação”, Brasília, Março de 1999; Ministério de Planificación y
Cooperación/República de Chile “Instrumentos de Evaluación de la Gestión Pública y los Programas
Públicos del Estado Chileno”, Santiago, Dezembro de 1998; Clarisa Hardy “Sistema de Información,
Evaluación y Monitoreo de Programas Sociales – SIEMPRO – de Argentina, Buenos Aires, Setembro
de 1998
Os documentos de consultores trazem contribuições diferenciadas sobre o estado da arte da
avaliação nos contextos nacionais do Brasil, Chile de Argentina.
Os relatórios sobre Brasil e Chile a) situam o desenvolvimento da avaliação no contexto macro-
econômico e demonstram que esses países tem definido nos anos recentes orientações
estratégicas compreensivas para avaliação do das políticas públicas nacionais. O relatório
sobre a Argentina b) descreve a centralização institucional das atividades de produção de
informações sociais e o desenvolvimento da avaliação de programas sociais focalizados.
O trabalho sobre o caso brasileiro oferece um quadro referencial sobre os conceitos e opções
metodológicas para a avaliação. Esse quadro de referência é compreensivo em razão dos conceitos
operacionais e os problemas metodológicos apresentados estarem implicitamente presentes nos
relatórios dos casos analisados de Argentina e Chile.
O relatório brasileiro aponta a definição de avaliação da OECD (Organization for Economic
Cooperation and Development): avaliação é uma estimativa das características e efeitos de uma
política ou de um programa ou projeto, concluído ou em fase de execução, da sua concepção,
implementação e resultados. Ela visa determinar a relevância e realização dos seus objetivos e
sua eficiência, eficácia, impactos e sustentabilidade do ponto de vista do desenvolvimento.
Uma avaliação deve suprir informações críveis e úteis e permitir a absorções dos resultados
pelo processo decisório e pelos beneficiários das políticas e programas.
Os relatórios tratam da avaliação de políticas públicas em diferentes níveis de abrangência.
Descrevem os esforços institucionais para a implementação de avaliações nacionais ou global,
como as dedicadas às avaliações da política econômica ou social, e o desenvolvimento da avaliação
no nível setorial (política de educacional, por exemplo), no nível multisetorial, territorial e a análise
do desempenho de projetos específicos.

1
Trabalho apresentado no painel “Estado Democrático e Governança no Século XXI: reformando a reforma” do V
Congresso Internacional do CLAD sobre Reforma do Estado e Administração Pública.
2
Administrador Público, Doutor em Ciência Política e Coordenador do Núcleo de Estudos de Políticas Públicas – NEPP da
Universidade Estadual de Campinas – UNICAMP.
3
Sociólogo, Doutor em Planejamento Urbano, Coordenador de Pesquisa da ENSP/FIOCRUZ.


Os relatórios assinalam que os objetivos da função de avaliação se diferenciam das atividades
de auditagem ou monitoramento dos processos formais associados à administração pública.
As atividades consideradas nos estudos como de função de avaliação foram aquelas que buscaram
caracterizar a validade, utilidade, eficiência e efetividade de programas e políticas, em termos
dos seus resultados, impactos e repercussões econômicas e sociais. Portanto, que tiveram
como meta a geração de resultados ou recomendações para a melhoria da eficiência e da
efetividade da ação do governo.
As funções de avaliação analisadas foram as que responderam a objetivos finais e objetivos
instrumentais de melhoria da performance governamental. Melhorar a eficiência do gasto público e a
eficácia da ação de governo tem sido o objetivo final de muitas atividades de avaliação assim como
as avaliações tem servido para objetivos instrumentais ao contribuírem para a melhoria da qualidade
da gestão pública por um processo de realimentação ou “feedback”.
As avaliações analisadas nos relatório também estiveram orientadas por exigências de clientes
institucionais ou usuários financiadores que condicionaram a natureza, o formato, a profundidade e a
forma de divulgação dos resultados do processo avaliativo.
O desenvolvimento da capacidade institucional de avaliação descrito pelos relatórios nacionais indica
sobretudo o crescimento da exigência de legitimação dos programas e políticas implementadas pelo
Executivo face as demandas por accountability (responsabilização) feitas pelos Poderes Legislativo e
Judiciário e das pressões intra-governamentais por transparência e maior visibilidade do processo
decisório, advindas, principalmente, dos Tribunais de Conta. Além da crescente difusão na
administração pública das demandas por qualidade de governo que afetam organizações e
programas públicos.
Um aspecto importante desse processo é o interesse da sociedade como um todo e, em particular,
dos segmentos da comunidade que podem se caracterizados como “stakeholders” de determinados
programas governamentais. É exigido dos programas sociais, por exemplo, a definição de
mecanismos de acompanhamento e avaliação que facilitem a comunicação do governo com os
beneficiários e atendam aos requisitos de responsabilização perante a sociedade.

2. SÍNTESE DAS SITUAÇÕES NACIONAIS ESTUDADAS

Apresenta-se, a seguir, as principais características da função avaliação nos países estudados.

2.1 Brasil

O relatório assinala que o país tem experimentado uma grande variedade de conceitos e abordagens
em relação a função de avaliação, especialmente no contexto da experiência de planejamento,
gestão governamental e em desenvolvimento de programas sociais no nível federal.
A experiência brasileira nesse setor é ampla e diversificada, mas considerada insuficiente e
insatisfatória. As avaliações de programas de governo se caracterizam, salvo alguns programas na
área social, pela dispersão e descontinuidade e as evidências e resultados são raramente
documentadas e sistematizadas. Isso deve-se as duas características dominantes do planejamento
governamental do país:
a) a ênfase ao processo de formulação de planos e elaboração de programas e projetos;
b) alta negligência as etapas de acompanhamento e avaliação dos processos, resultados e
impactos

O relatório apresenta mapeamento detalhado das iniciativas descontínuas e difusas de
acompanhamento e avaliação em cinco níveis de planejamento:
• Planos nacionais;

2


• Planos e programas regionais;
• Programas setoriais;
• Projetos financiados por bancos de fomento;
• Planejamento estadual.

O mapeamento evidencia o amplo universo de experiências de acompanhamento e avaliação nos
níveis federal e estadual cujos os resultados estão dispersos e não foram adequadamente
analisados, justificando-se pesquisas adicionais com o objetivo de gerar subsídios para o
aperfeiçoamento dos processos de planejamento e gestão na administração pública. Em resumo, o
processo de implementação de programas e projetos têm apresentado como características centrais:
• gerenciamento difuso
• descontinuidade
• implementação à margem ou em paralelo à estrutura da burocracia formal.

2.1.1. A Experiência do Sistema de Acompanhamento do Programa de Ações Prioritárias do
Governo Federal no Nordeste
Em meados da década de 1990 a criação do Sistema de Acompanhamento do Programa de Ações
Prioritárias do Governo Federal no Nordeste procurou ampliar as condições de eficácia na
implementação do programa pela introdução da perspectiva da avaliação aos processos de
formulação e implementação. Tratava-se de um programa de grande envergadura orçamentária e
com financiamento externos e de bancos oficiais federais direcionado para setores considerados
estratégicos para o desenvolvimento do Nordeste.
Quando da montagem do Sistema de Acompanhamento no ano de 1996, solicitou-se as seguintes
providências:
• levantamento de todas as informações disponíveis sobre essas Ações;
• elaboração e promulgação de marco institucional normativo;
• definição de esquema de trabalho conjunto dos vários Ministérios envolvidos;
• planejamento e organização de sistema metodologia de trabalho;
• definição de responsabilidades individuais pelos diferentes segmentos do trabalho.
A idéia central fora definir um projeto piloto de sistema de acompanhamento e avaliação que
orientasse as avaliações de todos os programas regionais do governo. Para tanto sugeriu-se as
seguintes iniciativas:
•definição prévia dos objetivos da avaliação
•levantamento prévio das informações e relatórios já disponíveis dos programas e projetos
•definição relações formais com os implementadores para acessar as informações,
evitando a multiplicidade de interlocutores;
• concepção de indicadores sintéticos e operacionais;
• caracterização de formato básico dos relatórios de avaliação para garantir agilidade,
uniformidade e coerência.
Foram apresentados à Câmara de Políticas Regionais relatórios de acompanhamento especificando,
em relação a cada programa ou projetos, as seguintes variáveis:
• objetivos gerais;
• objetivos específicos;
• metas quantitativas;
• aspectos qualitativos;
• indicadores sintéticos para avaliar o grau de execução das metas;
• problemas financeiros;
• problemas operacionais;
• problemas gerenciais e institucionais;

3


• sugestões e recomendações de medidas corretivas.

Esse roteiro gerou relatórios sintéticos – de no máximo 10 páginas – e objetivos com um conjunto de
indicadores selecionados orientados para a avaliação dos projetos em termos de dificuldades e
deficiências encontradas e sugestões para a eliminação dos problemas identificados. Esses relatórios
permitiram a introdução de mudanças substantivas no processo de implementação, demonstrando a
as grandes potencialidades do sistema de avaliação como um instrumento de monitoramento e
correção da ação do governo.

2.1.2. A Primeira Etapa do Plano Plurianual (PPA)

A política do Plano Plurianual (PPA) para o período 1996/1999 definida pelo governo federal foi a
tentativa mais abrangente de ação de política pública para a viabilização de objetivos estratégicos de
modernização do estado; redução de desequilíbrios espaciais e sociais e inserção competitiva do
país. A lei que aprovou o PPA estabeleceu a exigência de um relatório de acompanhamento do
Plano, detalhando uma exigência geral já estabelecida pela Constituição de 1988.
A metodologia utilizada compreendeu basicamente:
• Levantamento final do dados relacionados do PPA disponibilizados nos sistemas
informatizados de planejamento e execução orçamentária do governo federal;
• Repasse dos dados para os órgãos setoriais para identificação dos que são de utilidade
para acompanhamento dos projetos e atividades do PPA;
• Confronto do valor programado com o valor executado;
• Levantamento junto aos órgãos setoriais dos dados relacionados com programação e
execução física, para cada meta do PPA;
• Preparação da distribuição de freqüência, relacionando metas e o grau de execução
física.

A analise do relatório do ano de 1997 revela um documento mais descritivo do que analítico, que
apresenta uma visão geral da ação do governo em cada área. A despeito da grande massa de
informação coletada, não uma análise que consolide os dados em indicadores sintéticos de
desempenho.
O relatório sobre o caso brasileiro assinala as dificuldades também de natureza operacional para a
formulação de indicadores de avaliação sintética do PPA:
• Formas de apresentação divergentes entre o PPA e o Orçamento Geral da União (os
sistemas informatizados do PPA e de acompanhamento orçamentário do governo –
SIAFI, SIDOR e SIEST não são compatíveis);
• Projetos e atividades cujos recursos tem destinação múltipla, exigindo ajustes para
identificar os valores programados;
• Projetos cujo financiamento é complementado com recursos extra-orçamentários;
• Dependência total dos órgãos executores para o levantamento da execução física das
metas do PPA;
• Ausência de informações e parâmetros de permitam obter uma avaliação de desempenho
do governo em termos de execução física de suas metas

2.1.3. O novo modelo de planejamento para o Brasil em Ação

Diante dessas dificuldades operacionais, a Secretaria de Investimentos Estratégicos do Ministério do
Planejamento e Orçamento detalhou um novo modelo de planejamento com definições e orientações

4


básicas. O processo de planejamento tem início:
• pelos estudos preparatórios para a formulação da Base Estratégica do Plano;
• pelo inventário das ações do governo federal em andamento;
• recadastramento dos programas e projetos em execução.

Em processo modificou a classificação funcional-programática do governo federal da lei 4.320 de
17/03/1964, especificando 28 funções do governo, desdobradas em múltiplas sub-funções pela
Portaria No. 17 de 12 de Novembro de 1998.
Alguns conceitos básicos foram também explicitados em função das ações e intervenções do governo
que foram resumidas em quatro categorias:
• Programa
• Projeto
• Atividade
• Operações Especiais

Na definição das programação governamental faz-se uma distinção entre atividade finalística e
instrumental. A primeira agrupam Programas ou conjuntos articulados de projetos, atividades e outras
ações orientadas à solução de problemas da população. A segunda está organizada em Programas
de Gestão Administrativa, voltada para às atividades de capacidade de governo (planejamento,
administração financeira, controle, administração de pessoal, comunicação etc.)
Em todas as etapas do processo de planejamento do novo PPA buscar-se-á o apoio de um sistema
de informações gerenciais, em modo eletrônico. O sistema disponibilizará as seguintes informações
sobre cada programa:
• Objetivo
• Indicador
• Público-Alvo
• Unidade Responsável
• Gerente
• Metas e Valores Regionalizados
• Outras Ações (sem expressão financeira)
• Parcerias
• Cronograma Físico e Financeiro
• Dados Situacionais

Na etapa de avaliação serão levantadas as seguintes informações:
• Evolução do indicador selecionado para o programa;
• Resultado realizado das metas do programa;
• Grau de satisfação da sociedade quanto bens e serviços permanentes e continuamente
ofertados pelo poder público;
• Realização das metas de qualidade e produtividade;
• Síntese da avaliação do programa.
Em função dessa nova estratégia foram selecionados 42 projetos do PPA para integrara o Programa
Brasil em Ação. Forma submetidos a um regime especial de acompanhamento e gerenciamento com
os objetivos:
• Orientar o processo orçamentário, sinalizando claramente as prioridades de investimento
do governo;
• Detectar, de forma tempestiva, os problemas de implementação e induzir medidas

5


corretivas de execução;
• Criar base de dados e informação para atrair investidores nacionais estrangeiros e facilitar
a formação de parcerias entre o governo e o setor privado.
O Brasil em Ação apresenta algumas características inovadoras de planejamento governamental,
apresentadas a seguir.
A primeira é que as ações e intervenções se caracterizam como projetos por identificar: objetivos e
metas (físicas e financeiras); localização; agentes executores (inclusive parceiros privados);
necessidades de investimento e fontes de financiamento; e cronogramas de execução etc.
Em segundo lugar, o gerenciamento especial define para cada projeto um gerente com autoridade e
meios para interagir com todos os órgãos e pessoas envolvidas na implementação das ações
planejadas e com condições de acompanhar, monitorar e avaliar a execução dos empreendimentos.
Em terceiro lugar, a disponibilidade de um sistema informatizado de informações que tornam possível
aos gerentes e executores:
• Acompanhar e avaliar a execução dos projetos;
• Atualizar o planejamento inicial;
• Elaborar relatórios atualizados sobre o andamento do projeto;
• Disseminar informações e interagir com órgãos, instituições e pessoas que tenham
responsabilidades específicas em relação ao projeto;
• Identificar caminhos críticos, pontos de estrangulamento e marcos importantes
(milestones) no processo de execução do projeto;
• Antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou corretivas
para a sua superação.
A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil em
Ação abrem uma perspectiva de superação das falhas do planejamento governamental originadas,
por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programas
e projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dos
processos, resultados e impactos.
Essa possibilidade é favorecida pela estratégia compreensiva que tiveram relativo êxito em outros
contextos de avaliação ao adotar:
• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a
função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra-
estrutura e verificação de performance social;
• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da
avaliação como função de especialistas insulados em organismos técnicos especializados;
• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de
dados e geração de informação em curto prazo;
• A geração de consenso sobre os conceitos operacionais de planejamento e avaliação a serem
utilizados.

2.2. O Caso da Argentina

O estudo descreve a nova institucionalidade da função de avaliação pela criação em 1994 do
SIEMPRO (Sistema de Informação, Avaliação e Monitoramento de Programas Sociais), que conta
com financiamento do Banco Mundial.
O SIEMPRO visa acompanhar o crescimento crescente do gasto nacional na área social e gerar
diagnósticos sobre a capacidade e qualidade de destinação de recursos públicos dos governos
nacional e sub-nacionais.
Os estudos sobre financiamento público constatam um gasto nacional relativamente alto na área
social Essa despesa não tem produzido resultados correspondentes nas condições de vida da

6


população, o que permite a conclusão sobre a baixa eficiência e eficácia dos programas sociais ao
que se atribui:
•
Fragmentação e superposição de instituições e programas, que implicam em duplicação,
omissão, dissipação de recursos e esforços;
• Inexistência de Instrumentos explícitos e comuns de focalização para orientar a destinação
de gasto e a implementação especializada de programas;
• Carência de informação idônea sobre as dinâmicas sociais em curso, as mudanças e as
novas necessidades da população;
• Inadequação programática pela inércia e falta de objetivos
• Falta de participação dos beneficiários para definição de necessidades e controle de
performance;
• Ausência de instrumentos de monitoramento e avaliação de resultados e falta de
transparência no uso dos recursos públicos;
• Baixa capacidade técnica dos recursos humanos responsáveis pelos programas sociais
nos níveis de execução subnacionais.
Diante desse diagnóstico, o SIEMPRO tem como objetivo geral dotar a Secretaria de
Desenvolvimento Social do governo central da Argentina de recursos e instrumentos necessários
para a operação de um sistema de informação social, monitoramento, avaliação e capacitação em
gestão social.
Como objetivos específicos, propõe:
• Melhorar o gestão de programas sociais;
• Gerar uma base de dados útil sobre condições de vida e oferta de programas sociais para os
responsáveis pela execução de políticas e programas sociais;
• Produzir informação social para o desenho e focalização dos programas sociais;
• Promover a incorporação e institucionalização de um sistema de gestão integral de programas
sociais por resultados;
• Oferecer assistência técnica e capacitação aos organismos da área social nos níveis nacionais e
estaduais;
• Difundir na opinião pública nacional informação sobre condições de vida das populações, sobre
políticas sociais e o papel do estado;
• Gerar análises e estratégias de intervenção na área social.

A partir desses objetivos específicos e geral que visam introduzir correções na política social e não
diminuir ou suprimir os gastos sociais no contexto do ajuste macro-econômico, o SIEMPRO
reconhece a centralidade, a autonomia e a especificidade da avaliação social em comparação às
habituais avaliações de investimentos físicos por critérios estritamente econômicos. Esse
reconhecimento significa o superar as concepções tradicionais de avaliação originadas em
metodologias de custo/benefício. Igualmente não se restringe a avaliação dos programas sociais,
mas também de políticas sociais e de cenários prospectivos do impacto social de políticas
econômicas e outros investimentos públicos e privados.
Desde a sua criação o SIEMPRO busca a integração dos sistemas de informação social com os
processos de avaliação dos programas sociais destinados a superação da pobreza e da extrema
vulnerabilidade social.
A dinâmica integradora de ambas as funções permite a transformação a função de avaliação em
instrumento de democratização da informação a serviço da cidadania.
Como parte do seu desenvolvimento institucional e a geração de produtos, o elaborou em 1997, em
cooperação com o Instituto Nacional de Estadística, sua própria base de dados sobre a situação
social por meio da Encuesta de Desarrollo Social y Acceso a Programas y Servicios Sociales (EDS)
com informações sócio-econômicas dos domicílios, com dados de cobertura e utilização dos

7


programas sociais.
Outra importante atividade do SIEMPRO foi a identificação dos programas sociais nacionais dirigidos
a população em situação de pobreza e vulnerabilidade social. Este cadastro permitiu a criação de
uma Base de Dados de Programas Sociais atualizada relativa a programas sociais focalizados de
natureza nacional.
Um outro produto importante é o conjunto de indicadores sociais de monitoramento e gestão dos
programas sociais cujo seguimento é realizado pelos próprios implementadores.
O resultado direto dessa atividade é o Sistema Integrado de Monitoreo (SIM) que acompanha o
desempenho de programas sociais focalizados da Secretaria de Desenvolvimento Social por meio de
relatórios periódicos (trimestrais e anuais).
Por último o SIEMPRO desenhou e opera um sistema de identificação e registro de famílias
beneficiárias dos programas e serviços sociais (SISFAM) que permite a identificação e das famílias
mais pobres e vulneráveis para facilitar o seu acolhimento pelas intervenções sociais numa
abordagem integral, familiar e territorial.
Na perspectiva específica da avaliação Encuesta de Desarrollo Social y Acceso a Programas y
Servicios Sociales (EDS) com informações sócio-econômicas dos domicílios, com dados de cobertura
e utilização dos programas sociais, não é somente um instrumento de informação social privilegiado
mas um instrumento de avaliação que permite verificar resultados e impactos de programas sociais e
seus efeitos distributivos.
A aplicação do EDS permite avaliar os programas sociais desde a perspectiva da demanda em
relação a focalização, conhecer quem acessa aos serviços, o tipo de serviço recebe e com que
periodicidade. Permite estimar a transferência de renda aos domicílios e o impacto distributivo que
tem a despesa social.

2.3. O caso do Chile

O desenvolvimento da função de avaliação tem como referência no Chile a criação do Comitê
Intersetorial de Modernização da Gestão Pública com a missão de impulsionar e coordenar os
esforços de modernização das instituições pública. Esse comitê é constituído por representantes dos
Ministérios do Interior, da Fazenda e da Secretaria Geral da Presidência. A Secretaria Técnica está
situada no Ministério Secretaria Geral da Presidência.
Como princípios orientadores da modernização da gestão pública o Comitê definiu:
• Aumentar a eficácia dos serviços públicos;
• Promover lideranças capazes de animar o processo de modernização da cultura organizacional
do setor público;
• Adaptar e aplicar novas tecnologias organizacionais e de gestão;
• Promover a gestão estatal e governamental orientada por resultados;
• Centrar a gestão em função das demandas e das necessidades dos usuários;
• Orientar o processo de gestão pelo princípio da transparência;
• Otimizar o usos dos recursos públicos;
• Melhorar qualitativamente os recursos humanos do setor público e dignificar a sua função
A adaptação de novas tecnologias de gerência e administração, a orientação ao cidadão, a
flexibilização e a modernização da gestão estão entre os objetivos estratégicos dos programas e
iniciativas que impulsiona o governo no âmbito da gestão pública.
Nesse processo estão situados os processos de avaliação geral da gestão pública no qual se
distinguem as estratégias de (i) avaliação ex ante; (ii) de processo: monitoramento ou seguimento; (iii)
avaliação ex post: de resultados ou de impacto.

8


O informe apresenta os componentes dos sistema geral de avaliação da gestão pública chileno,
conforme resumido a seguir, através da descrição dos instrumentos, instituições, utilização e produtos
e articulação institucional.

2.3.1. Instrumento de Avaliação
2.3.1.1: Sistema Nacional de Investimento Público.
Instituição: Ministério do Planejamento (Mideplan)
Objetivo: melhorar o processo de investimento público.
Utilização e Produtos: seguimento dos investimentos públicos; programação orçamentária de projetos
e programas.
Relação com outros instrumentos: exigência de de avaliação para a programação orçamentária do
Ministério da Fazenda

2.3.1.2 Programa de Monitoramento da Política Social
Instituição: Ministério do Planejamento (Mideplan)
Objetivo: colaborar na tomada de decisão relativa ao desenho, execução, gestão e investimento no
âmbito das política sociais.
Utilização e Produtos: gerar informação para melhor gestão pela avaliação de processo; estudos
focalizados, validação da intervenção social e avaliação de impacto.
Relação com outros instrumentos: avaliação considerada na destinação de orçamento para os
programas
2.3.1.3 Indicadores de Gestão
Instituição: Direção de Orçamento do Ministério da Fazenda
Objetivo: geração de informação sobre o desempenho das organizações públicas e geração de base
de dados para a tomada de decisão das organizações e serviços.
Utilização e produtos: utilizado no processo de orçamentação
Relação com outros instrumentos: incorporado ao Programa de Melhoramento da Gestão dos
Serviços Públicos

2.3.1.4 Programa de Avaliação de Projetos Governamentais
Instituição: Direção de Orçamento
Objetivo: geração de informação sobre os resultados dos programas avaliados
Utilização e produtos: avaliação e programas governamentais; informação ao Congresso na
discussão de orçamento
Relação com outros Instrumentos: informação que se entrega aos Congresso.

2.3.1.5 Programa de Melhoramento da Gestão (PMG)
Instituição: Direção de Orçamento
Objetivo do Instrumento: apoiar a Modernização da Gestão Pública, as metas ministeriais para o
setor, os recursos disponíveis. Instrumento para definir o incremento de desempenho organizacional
fixado por lei.

9


Utilização e produtos: Identificação das metas mais relevantes dos Ministérios e serviços a cada ano;
avaliação geral de desempenho; insumo para a discussão orçamentária.
Relação com outros instrumentos: fixação de metas ministeriais e regionais.

2.3.1.6 Metas Ministeriais
Instituição: Ministério da Fazenda, Secretaria Geral da Presidência e Ministério do Planejamento.
Objetivo do Instrumento: identificar as iniciativas, planos e programas mais relevantes para o conjunto
do setor público em relação a missão e objetivos de gestão.
Utilização e produtos: Identificação de metas mais relevantes dos Ministérios e serviços anualmente;
avaliação geral de desempenho; insumo para a discussão orçamentária.
Relação com outros instrumentos: fixação de metas ministeriais e regionais.

2.3.1.7 Projeto de Modernização
Instituição: Comitê Interministerial de Modernização da Gestão Pública
Objetivo: melhorar a efetividade, eficiência e qualidade dos processos e resultados da gestão
Utilização e Produtos: sistematizar e desenvolver as iniciativas de modernização dos Ministérios e
serviços.
Relação com outros instrumentos: é considerado na elaboração do PMG.

CONSIDERAÇÕES FINAIS
A função avaliação nos países analisados mostra diferenças no grau de institucionalidade e de
objetivos na gestão pública.
O caso brasileiro revela que a função de avaliação é incorporada em meados da década de 1990 a
um conjunto articulado de Programas inovadores que definem um modelo de planejamento plurianual
para a gestão pública. O processo de planejamento tem início pelos estudos preparatórios para a
formulação da base estratégica; pelo inventário das ações do governo federal em andamento;
recadastramento dos programas e projetos em execução.
Em processo modificou a classificação funcional-programática do governo federal e resumiu ações e
intervenções do governo em quatro categorias operacionais:
• Programa: instrumento de organização da ação governamental, visando a concretização dos
objetivos pretendidos, sendo mensurado por metas estabelecidas no plano plurianual
• Projeto: instrumento de programação para alcançar o objetivo de um programa, envolvendo um
conjunto de operações limitadas no tempo, das quais resulta um produto que concorre com a
expansão e o aperfeiçoamento da ação do governo.
• Atividade: instrumento de programação para alcançar o objetivo de um programa, envolvendo um
conjunto de operações que realizam um modo contínuo e permanente , das quais resulta um
produto necessário `manutenção da ação do governo.
• Operações Especiais: são despesas que não contribuem para a manutenção da ação do governo,
das quais não resulta um produto e não geram contraprestação sob a forma de bem ou serviços,
representando, basicamente, o detalhamento da função Encargos Espaciais. Os encargos
especiais, por sua vez, são definidos como aqueles correspondentes a dívidas, transferências,
ressarcimentos, indenizações e outros afins, representando, portanto, uma agregação neutra.
A combinação do processo de avaliação às etapas de formulação e implementação pelo Brasil em
Ação abrem uma perspectiva de superação das falhas do planejamento governamental originadas,

10


por um lado, pela exclusiva ênfase ao momento de formulação de planos e elaboração de programas
e projetos; e, por outro, pouca importância dada às etapas de acompanhamento e avaliação dos
processos, resultados e impactos.
Essa possibilidade é favorecida pela estratégia compreensiva que teve relativo êxito em outros
contextos de avaliação ao adotar:
• Um enfoque global de avaliação, que não se limita a setores, atividades ou região por combinar a
função de avaliação de programas e projetos à estratégia macroeconômica, ampliação da infra-
estrutura e verificação de performance social;
• A articulação entre os vários níveis decisórios da gestão pública para superar a perspectiva da
avaliação como função de especialistas insulados em organismos técnicos especializados;
• A difusão na gestão dos projetos de tecnologias da informação que permite uso ágil de banco de
dados e geração de informação em curto prazo;
• A difusão de conceitos operacionais de planejamento e avaliação de programa, projeto, atividade
que oferecem as condições iniciais para o desenho da função de avaliação.
O caso da Argentina mostra o desenvolvimento da função de avaliação nos programas sociais
focalizados desenvolvidos pelo governo nacional. Portanto, a institucionalidade da avaliação é
limitada, não interagindo com o processo de planejamento macroeconômico das ações de governo.
Oferece instrumentos muito importantes para monitoramento de resultados e impactos pela ênfase
dada ao desenho de metodologias de avaliação dos processos formativos e de construção de bancos
de dados sobre os programas dedicados os pobres e grupos vulneráveis.
O caso do Chile é um exemplo de difusão em larga escala das orientações da nova administração
pública no nível nacional de governo, afetando de modo abrangente o monitoramento e a
implementação das políticas públicas. A função de avaliação intragovernamental, com forte ênfase
nos aspectos orçamentários, é a principal caraterística da experiência chilena, embora também
apresente aspectos muito inovadores da definição de instrumentos, como o Programa de
Monitoramento da Política Social, criado em 1992, e o Programa de Melhoramento da Gestão de
1998. O caso do Chile é aquele que aponta uma orientação normativa explicita para a inserção dos
instrumentos de responsabilização e desempenho no conjunto da administração pública. No entanto,
os objetivos da função de avaliação ficam difusos porque não é precisa a instância operacional da
gestão pública que é o objeto da avaliação. Os casos brasileiros e argentinos são mais precisos ao
elegerem, na década de 1990, a categoria programa como a categoria analítica inicial para a função
de avaliação.
Face a tais conclusões iniciais, parece interessante explorar mais as tendências recentes da literatura
e da experiência internacional e brasileira acerca da avaliação de programas. Mais do que isso se
defende um enfoque que privilegie, através de uma determinada combinação dos instrumentos,
técnicas e desenhos de avaliação, o processo de implementação dos programas públicos. As razões
teóricas e metodológicas que sustentam essa escolha são apresentadas no próximo capítulo deste
trabalho.

CAPÍTULO 2: AVALIAÇÃO DE PROGRAMAS PÚBLICOS: TENDÊNCIAS RECENTES

1. INTRODUÇÃO

Este capítulo reúne alguns dos principais pontos relevantes que orientam os recentes estudos e
pesquisas de avaliação de políticas públicas e programas governamentais. O propósito do trabalho é
o de apresentar, de forma didática, o foco de análise, parâmetros e uma estratégia metodológica que
pode ser utilizada, pelos gestores públicos, para estruturar a avaliação de programas e políticas
públicas.
As políticas públicas, os programas e projetos do governo são, neste trabalho, o objeto dos estudos

11


de avaliação, e consistem em atividades (ou em um conjunto de atividades) racionalmente
formuladas visando alcançar determinados resultados no plano da implementação. Por exemplo, um
programa ou política P, formulado por uma organização O para aumentar em x % a capacidade de
produção dos agricultores familiares, em uma determinada região, num determinado período de
tempo, se constitui em um conjunto de atividades e projetos formulados para atingir este resultado ou
meta. Nesse sentido, os programas podem ser simples, com objetivos programáticos claros4,
perfeitamente exequíveis, e com resultados tangíveis e passíveis de avaliação. Em outros casos, os
programas e políticas do governo encapsulam múltiplos objetivos e materializam intenções do
governo em atingir objetivos que são pouco operacionais, de complexa mensuração por indicadores
simples. Em ambos os casos, se considera que ao implementar políticas públicas ou programas, o
governo e suas organizações tem interesses em atingir determinados resultados (controle da
poluição, possibilitar acesso de desempregados ao mercado de trabalho, reduzir a mortalidade
infantil, atrair investimentos para determinadas indústrias; elevar o desempenho das organizações
públicas etc.), os quais são denominados de objetivos programáticos. A partir destes objetivos
programáticos é possível avaliar se este programa, ao ser implementado produz ou não tais
resultados esperados, ou ainda o modo pelo qual este programa consegue realizar tal objetivo.
Assim, o interesse imediato do tipo de estudo de avaliação, tratado neste trabalho, seria o de
responder a questão: em que medida os objetivos propostos pelo programa estão sendo (ou foram)
atingidos com sua implementação? O segundo tipo de questão que interessa a esse tipo de estudo
de avaliação tem a ver com: como o programa funciona e quais os mecanismos específicos que
levam a atingir (ou não) os seus resultados?
Weiss (1997) aponta que, estudos e pesquisas de avaliação, com a perspectiva aqui proposta, estão
relacionados com os seguintes propósitos: informação para o processo decisório, ou tomada de
decisão; e aprendizado organizacional. O quadro a seguir ilustra os tipos de estudos de avaliação e
seus principais propósitos.

4
O problema de ambiguidade nos objetivos (goal ambiguity) é uma das características centrais dos programas
governamentais, e mais amplamente da burocracia. Quando os objetivos de um programa ou política, e mais amplamente de
uma organização pública são ambíguos, e pouco operacionais, se torna complexo mensurar os efeitos ou impactos gerados
pelo programa, e por consequência, avaliar os resultados. Neste sentido, os estudos de resultados em avaliação no setor
público podem e devem partir dos objetivos oficiais do programa como datum para análise. Alguns analistas do setor
público, e da teoria das organizações argumentam que o goal ambiguity seria uma das naturezas do setor público cf. Ouchi,
William (1980)., Markets, Bureaucracies, and Clans. Administrative Science Quarterly, 25. Pp. 129-141, ou Wilson, James
Q. (1989)., Bureaucracy: what government agencies do and why they do it. New York. Basic Books. Outros autores
apontam que, diferentemente, a questão da ambiguidade decorre de que as organizações públicas operam com múltiplos
objetivos (multi-goal approach), os quais são condensados nos objetivos oficiais dos programas e políticas do governo.
Neste sentido, é possível para o analista quebrar estes objetivos em objetivos operacionais para proceder a análise de
avaliação da efetividade dos programas e políticas do governo.

12


Quadro 1

Propósitos Gerais para Estudos de Avaliação
Avaliação para o Propósito Avaliação para Propósito
Processo Aprendizado
Decisório Organizacional
Ações corretivas Descobrir durante o Ter registro da Ter o registro histórico ou
no funcionamento funcionamento do história do documental de um programa.
do programa programa se programa
mudanças precisam
ser realizadas.
Continuidade ou Descobrir em que Gerar feedback Gerar feedback para aqueles
fim do programa medida um programa para que colocam o programa em
está atingindo os seus implementadores funcionamento permitindo
objetivos pretendidos. do programa elementos para a reflexão sobre
a prática (reflective practice)
Teste de novas Descobrir o sucesso Dar ênfase aos Reforçar os objetivos a serem
idéias de um novo programa objetivos do alcançados pelo programa para
ou componente do programa os que operam o programa.
programa.
Escolha da melhor Descobrir qual a Accountability e Gerar relatórios de informação
alternativa melhor opção a seguir controle social sobre o funcionamento do
disponível dentre alternativas sobre os programa para usos públicos de
disponíveis. programas controle social
Financiamento do Decidir se o programa Entender modos Adquirir conhecimento básico
programa deve continuar a ser de intervenção sobre os tipos de atividades que
financiado social buscam mudar as condições
sociais e o comportamento
humano.
Fonte: Weiss, Carol (1997)

Como consideração final desta introdução cabe a pergunta que orienta este capítulo: qual o uso
potencial dos estudos e pesquisas de avaliação como instrumentos de trabalho para gerentes e
decisores nas organizações e agências do governo, os quais mais de perto lidam com a
implementação, e formulação de políticas e programas governamentais?
A importância do uso dos estudos de avaliação de programas e políticas permite, quando conduzido
dentro de um rigor téorico e metodológico adequado aos propósitos, que a tomada de decisão acerca
dos programas sejam dotadas de maior racionalidade técnica e gerencial, pois quase sempre,
sobretudo no Brasil, as tomadas de decisão sobre programas e políticas são realizadas sem o
adequado conhecimento de como o programa funciona em sua realidade no plano da implementação.
A necessidade de se conhecer os programas por dentro, suas dificuldades, os obstáculos de
implementação, os fatores gerenciais e operacionais destes, e ainda como estes realmente produzem
efeitos esperados e não-esperados, é um instrumento de poderoso uso para a melhoria do
desempenho das organizações públicas, em qualquer escala do governo. Organizações ao lançarem
mão de instrumentos adequados de avaliação dos seus programas estariam, ao menos em tese, se
movendo na direção de uma maior accountability e qualidade no uso de recursos públicos. A partir de
informações advindas de processos de avaliação, é possível identificar e incentivar os programas que
funcionam com mais efetividade, eficiência e qualidade. Mais do que isso, é possível orientar aqueles
com fraco desempenho, no sentido de seu aperfeiçoamento e correção de erros e superação de
obstáculos. Mecanismos de avaliação se mostram de extrema valia em contextos onde as

13


organizações do setor público são exigidas a adotar uma orientação por resultados, foco no usuário,
e sobretudo critérios alocativos que imprimam uma maior qualidade no uso dos recursos públicos.

2. A LÓGICA DA IMPLEMENTAÇÃO: ESTABELECENDO PARÂMETROS DA AVALIAÇÃO DE
PROGRAMAS PÚBLICOS5

Convém recordar aqui, que as políticas públicas no plano internacional vem sofrendo, desde o início
dos anos 90, alterações significativas em seu desenho, tornando mais complexa o seu processo de
avaliação. Para o caso brasileiro - que interessa mais de perto - pode-se afirmar que constituem eixos
ordenadores desse processo mudança: continuidade e reforço à descentralização de programas;
aumento dos níveis de participação social; tentativas de aumentar os níveis de integração setorial e
inter-setorial; busca de maior coordenação de ações entre distintos níveis de governo e entre os
Poderes Executivo, Legislativo e Judiciário; discriminação positiva de clientelas e de regiões
associada ao estabelecimentos de incentivos para a melhoria do desempenho dos programas e
projetos.
A avaliação da natureza, alcance e limites dessas iniciativas constitui procedimento estratégico, no
momento mesmo em que se implementam essas inovações materializadas em distintos programas. A
sua oportunidade é a de poder oferecer, ainda enquanto se implantam as inovações abrangidas pelos
distintos programas, críticas e sugestões alternativas que permitam corrigir ou reorientar o curso das
ações, sempre que necessário.
No caso particular de programas de inovação institucional visando a melhora do atendimento público
e de sua qualidade, através de políticas de corte universal ou focalizadas em clientelas ou regiões
específicas, vale a pena relembrar que muitos dos diagnósticos que, principalmente na última
década, vêm sendo feitos sobre o desempenho das políticas e programas já experimentados,
ressaltam certas condições da implementação como responsáveis pelos insucessos e fracassos das
ações governamentais nesse campo.
Desde o final dos anos 70, mas principalmente nos 80, foram muitos os programas e medidas
ensaiadas visando a melhoria das condições de vida de populações vulneráveis e o conseqüente
melhor desempenho de indicadores sociais. Entretanto, os impactos desses programas foram, na
maioria das vezes, minguados. Tome-se um dos exemplos mais exitosos no caso brasileiro, o setor
educacional: até os dias atuais, muito embora praticamente já se tenha universalizado o acesso à
escola, e mesmo sendo altas as taxas de permanência dos alunos no sistema educacional, as
defasagens idade/série continuam muito altas e, pior ainda, mantêm-se baixas as taxas de conclusão
do ensino elementar daqueles que nele ingressaram. As explicações tradicionais desses fenômenos
sempre focalizaram as condições associadas à situação social dos alunos, invocadas de forma
isolada para explicar o fracasso escolar. É verdade que essas condições continuam a responder por
parte ponderável da explicação. Entretanto, mais recentemente, os estudiosos têm chamado a
atenção para razões internas ao funcionamento do sistema educacional - aqui denominadas como
aquelas derivadas diretamente do desenho dos programas e de sua estratégia de implementação -
que ajudam a explicar de modo muito significativo o sucesso ou fracasso das iniciativas adotadas.
Outro conjunto de explicações pode ser ainda mais diretamente associado às condições da
implementação dos programas e medidas. Em geral aponta-se, em primeiro lugar, para o
experimentalismo dos programas, freqüentemente concebidos como pilotos e com poucas condições
de se espraiarem e generalizarem para toda a rede pública. Mais ainda, a descontinuidade da
implementação parece ser a característica importante, já que mudanças de prioridade na agenda
política dos Governos Federal, Estaduais e Municipais contribuem fortemente para desestruturar as
5
Esse capítulo beneficiou-se das reflexões metodológicas acumuladas, pelo NEPP, em diferentes pesquisas de avaliação da
implementação de políticas públicas, em especial: NEPP (1996) – Avaliação do projeto IEB e medidas da escola-padrão da
SEE de São Paulo.

14


condições propícias à continuidade dos programas. Também as questões de tempo: a rapidez da
formulação e da decisão de implementar programas, em alguns casos, sem que condições prévias da
implementação fossem asseguradas; ou, em outros, exageradas demoras entre a formulação e a
implementação.
Não é fácil a tarefa de determinar o peso relativo que têm as condições de implementação na
explicação do sucesso ou do fracasso de inovações e reformas da política social. Entretanto, não há
dúvida sobre sua importância, principalmente em redes de serviços das dimensões daquelas
envolvidas na implementação de programas públicos no Brasil: redes de organizações complexas,
fortemente marcada por rotinas, tradições e culturas internas específicas. À base de estudos que o
NEPP realizou no passado recente, pode-se afirmar que, na maioria dos casos, o pequeno sucesso
ou mesmo o fracasso de grande parte das iniciativas governamentais nessa área deveram-se
sobretudo às más condições da implementação. Mas também não se estaria muito longe da verdade
se fosse afirmado ser grande a margem de correções e acertos que os processos de implementação
admitem ao longo de seu curso, não previstos e introduzidos a tempo porque não se contou ou se
contou pouco com sistemas de monitoramento e estudos de avaliação.

2.2. Parâmetros estratégicos gerais

Estudos voltados à avaliação da implementação de programas e de seus resultados imediatos junto
ao usuário constituem um subcampo particular das pesquisas de avaliação de políticas. Os estudos
de avaliação, por sua vez, integram um campo especial, entre vários tipos de estudos de políticas
públicas e de organizações complexas.
A literatura internacional aponta que é sobretudo na distinção entre fases de uma policy que os
autores se fixam para identificar a especificidade dos estudos de implementação. Porque, desde logo,
estão concebendo a implementação como a fase que sucede a pelo menos duas outras, a da
formação das políticas (constituição das agendas, conformação do campo de interesses e
explicitação das alternativas que competem entre si), e a da formulação, quando as propostas
ganham forma e estatuto de política, recebendo mínimos tratamentos formais, definindo-se metas,
objetivos e recursos e, finalmente, explicitando-se a estratégia da implementação6. É nesse momento,
segundo o clássico estudo de Pressman & Wildavsky7, que a política se transforma em programa e
são criadas as "condições iniciais" que antecedem a sua implementação.
Vários autores, entretanto, chamam a atenção para as dificuldades conceituais e empíricas de se
definir e distinguir a implementação da própria formação e formulação da política e, principalmente,
do programa. "...As políticas tornam-se programas quando, por uma ação de autoridade, as
condições iniciais são criadas...". A implementação, então, é a habilidade de forjar os subseqüentes
elos da cadeia causal em vistas a obter os resultados desejados. A partir desse momento,
desencadeado o movimento da implementação, passam a distinguir-se cada vez menos as condições
iniciais e a cadeia causal subseqüente, já que se modificam as circunstâncias e se alteram as metas

6
.É muito extensa a bibliografia considerada já como clássica, de corte metodológico, sobre análise de políticas públicas.
Para apoio a este projeto, os textos mais gerais de referência escolhidos foram os de Muller, P. - Les Politiques Publiques,
Que sais-je?, PUF, Paris, 1990 e de Meny, Y.; Thoenig, Jean-Claude - Politiques Publiques, PUF, Paris, 1989. Para a
conceituação e análise das fases das políticas, veja-se Kingdon, W.J. - Agendas, Alternatives and Public Policies, Brown
and Co., Boston, 1984. Para as definições, conceituações e modelos de análise de implementação, veja-se principalmente
Hoppe, R.; Van der Graaf, H.; Van Dijk, A. - Implementation as a Design Problem, Vridje University, IPSA texts, 1985,
mimeo.; Elmore, R. - Backward Mapping Implementation Research and Policy Decisions, Political Science Quartely,
Winter, 1979/80; Van Metter, D.; Van Horn, C. - The Policy Implementation Process, Administration and Society, nº 6,
1975; Kivieniemi, Makku - Public Policies and Their Targets A Typological Elaboration of the Concept of
Implementation IPSA texts, 1985, mimeo; Grindle, Marilee - Policy Content and Context in Implementation, Politics
and Policy Implementation in the Third World, IPSA texts, 1985, mimeo.
7
.Pressman, L. Jeffrey; Wildavsky, Aaron - Implementation, Berkeley: Univ. of California Press, 1984, 3ª ed.

15


no próprio movimento que conduz o programa a suas metas.
Também a distinção no interior do processo de implementação, das etapas decisórias não se faz
tranqüilamente. O bom senso e a experiência em avaliações concretas indicam que se deve
considerar - dentre as decisões que percorrem todo o processo de implementação – aquelas que
podem ser consideradas decisões cruciais. Ou seja, todas as decisões que, ao longo da
implementação, logram alterar a estratégia inicial ou condicionam a continuidade do programa. Ora,
momentos de decisão desse tipo se constituem em situações particulares onde se condensam
conflitos, disputas por alternativas e oportunidades especiais de afastamento ou aproximação entre
metas, meios e estratégias. Por isso mesmo os estudos de implementação devem focalizar decisões
e decisores que conformam elos críticos e estratégicos, como o seu foco de análise. Fica a
pergunta: como identificá-los no interior do complexo processo decisório das políticas públicas?
É possível identificar três dimensões que auxiliam essa localização e, por essa razão, devem ser
objeto de consideração especial nos modelos de avaliação dos processos de implementação de
políticas ou programas públicos. A primeira dimensão, diz respeito àquelas decisões que definem as
relações entre desenho ou formulação, de um lado, e os formatos que os programas adquirem
ao final do processo que os implementou, de outro. A maior ou menor coerência e distância que
guardam, assim como os movimentos que condicionam as decisões, na implementação, constituem
um dos principais problemas de pesquisas nessa área. Essa dimensão constituirá, para efeitos da
estratégia de avaliação aqui proposta, o primeiro parâmetro básico.
A segunda é a dimensão temporal do processo de implementação e seus efeitos (diferenciados
no tempo) sobre as organizações em que se processam (evidencia-se aqui a questão da
aprendizagem institucional); sobre os atores que implementam (resistências ou adesões e alterações
de comportamento que se processam); e sobre as condições iniciais, modificadas, reproduzidas e
alteradas pela própria implementação. Os estudos de avaliação da implementação necessariamente
estão voltados para captar essas alterações, comparando-as em diferentes momentos do tempo.
Essa dimensão constitui o segundo parâmetro básico da estratégia de avaliação proposta.
Finalmente, a terceira dimensão, constituindo o terceiro parâmetro, trata da identificação das
condições que propiciam ou entravam o processo de implementação do programa em análise, que
podem ser sintetizadas na área de conteúdo e nas características básicas de seu desenho. Ou seja
qual a ambição e complexidade da intervenção e quais são os fatores econômico-financeiros,
institucionais e gerenciais que explicam a natureza, alcance e os limites da implementação em curso:
perfil do gasto público; a forma de organização da intervenção; organização da demanda e aderência
do bem ou serviço às condições específicas do demandante.
Entretanto, as políticas e programas públicos recentes nas áreas econômica e social têm outras
dimensões e natureza, o que exige uma reflexão e busca de apoio teórico e metodológico adicional.
De fato, os programas e medidas mais recentes, objeto desta reflexão, dizem respeito não a qualquer
política mas, particularmente, a políticas e programas que pretendem introduzir reformas e inovações
em áreas tradicionais de intervenção ou em áreas pouco cobertas pela intervenção estatal. Ora,
reformas e inovações em políticas e programas colocam outros problemas de investigação que
devem ser considerados na elaboração de uma estratégia de avaliação, particularmente a relação
entre eficácia, reformas e instituições públicas. Veja-se o problema nos seus contornos mais gerais8.
O acompanhamento e estudo de um dado movimento de reforma ou inovação de política pública,
envolve antes de tudo a reconstituição das estratégias elaboradas e seguidas pelos atores mais
importantes envolvidos em tal processo, o que tem o significado de um estudo das decisões cruciais
e do campo de conflitos e tensões em que ocorrem, considerada cada etapa do processo de reforma
e de sua implementação. Em outros termos, e para economia de exposição, entende-se, neste
projeto, cada policy como portadora de estratégias (já que se quer privilegiar a reforma ou inovação)
8
.Estas preocupações metodológicas foram desenvolvidas em Draibe, Sônia M. - Metodologia de Análise Comparativa de
Programas Sociais, paper elaborado para o Projeto "Reformas de Políticas para Aumentar a Efetividade do Estado na
América Latina", sob auspícios da Cepal, maio 1991.

16


e que se compreendesse estratégia como um modelo possível de ser apreendido no fluxo de
decisões de atores e/ou de organizações. Essas definições que valem para o estudo das formulações
e decisões iniciais, fazem também sentido para a etapa da implementação.
Se as estratégias de reforma das policies são elaboradas visando a maior eficácia e eficiência da
ação pública, é possível enfatizar três níveis de questões pertinentes 9, e que nortearam a montagem
da estratégia de avaliação aqui sugerida:
a) os dilemas postos para os atores num dado arcabouço organizacional em transformação ou,
em outros termos, como criar alternativas para viabilizar metas estratégicas com algum grau de
eficácia e em ambientes que, se admitem algum grau de previsibilidade, apresentam
predominantemente densas áreas de incerteza. As decisões cruciais, a que se referiu, relacionam-
se com tais dilemas e alternativas, postos já no curso da implementação;
b) a necessária correlação entre estratégia, estrutura organizacional e eficácia. A tese subjacente
é a de que, em organizações complexas (como costumam ser os aparatos de políticas públicas),
qualquer melhoria de eficácia torna-se impossível sem que a forma organizacional se transforme
no sentido de acompanhar as estratégias e as mudanças por elas impostas como condição para
lograr as metas (de melhoria de eficácia)10.
c) os projetos de reformas envolvem uma necessária definição estratégica de sua reprodução
ampliada. Em outras palavras, requerem alternativas de como alcançar mais eficazmente os
agentes operadores e os "usuários", considerando suas diferenças sociais, culturais, profissionais,
assim como suas distintas distribuições na hierarquia dos postos, das posições decisórias e de
operação da política e do programa em questão. Mais do que isso, devem prever os mecanismos
e os instrumentos que permitirão sua incorporação no cotidiano e na cultura das organizações
abrangidas pelas reformas. Além da adequada identificação desses agentes e usuários, há que se
decidir por corretos métodos e técnicas de avaliação das estratégias de expansão, crescimento e
diversificação propostas para a implementação contínua de inovações. O que envolve examinar as
alternativas de como se concebeu e propôs novas formas de organização, permanentes ou não,
mas flexíveis, que admitam elas próprias diferentes modos de alcançar distintos "usuários". Em
geral, essa questão aparece nas estratégias de reforma referidas às tecnologias e fluxo de
informação, assim como à produção e distribuição de serviços sociais. As questões da interface
entre clientelas/operadores de serviços, bem como a das características diferenciais dos aparelhos
administrativo-institucionais referem-se também a essa dimensão das estratégias.

2.3. Estratégia de implementação: conceito e dimensões

O ponto de partida metodológico, aqui sugerido, para a análise do processo de implementação de
políticas e programas públicos, é o de reconstrução da estratégia prevista para dirigi-lo. É amplo o
quadro conceitual manejado na análise de estratégias11. Sintetiza-se aqui os principais conceitos,
eixos e dimensões utilizados na reconstituição da estratégia de implementação dos Projetos Sociais
avaliados em alguns dos projetos realizados pelo NEPP.

9
.Cf.Chandler, A. - STRATEGY AND STRUCTURE, MIT Press, Mass.,1967.
10
.Deve-se considerar aqui a difícil, renitente e reiterada questão de como conceber e como medir a eficácia do setor
público, principalmente naquilo que a diferencia do setor privado. Esta pesquisa teve como foco o processo de
implementação, não tratando dessa questão. Ainda assim, cabe chamar atenção que os critérios para se conceituar e avaliar
resultados, produção, produtividade, eficiência e eficácia no setor público, particularmente quando se trata de política social,
são extremamente difusos e muito pouco consensuais. As propostas de reformas de programas sociais geralmente envolvem,
conceitualmente ou na prática, alguma forma de conceber eficácia e eficiência, assim como explicitam os modos e
mecanismos que se conceberam para melhor alcançá-las. Não se procurou avaliar esses conceitos, modos e mecanismos
nem mensurar os resultados obtidos a partir deles.
11
.Veja-se, por exemplo, Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Management
of Change in Government, The Hague: Martinius Nijhoff.

17


O conceito de estratégia de implementação é aqui adotado no seu sentido mais estrutural, referindo-
se a: preferências, opções e definições tomadas no espaço político-institucional e que dirigem os
modos, formas e tempos da implantação de um dado projeto12.
A pauta de questões que pode ser extraída da definição acima é bastante extensa. Sugere-se
algumas perguntas selecionadas para orientar a reconstituição e avaliação da estratégia e do
processo de implementação:
• Objetivos do programa reformulado ou inovador e desenho da implementação - Supondo que aos
programas novos ou reformulados buscam metas globais múltiplas, até onde a estratégia
escolhida para a implementação é consistente com os objetivos da mudança?
• Escopo e grau de inovação da intervenção - Aqui se trata de identificar o modo como os
formuladores da política equacionaram as relações entre estratégia da implementação,
estrutura e dinâmica organizacionais, na busca eficaz dos resultados pretendidos. Essa
equação pode ser traduzida em algumas perguntas básicas. Como se compuseram escopo
(compreensividade baixa, média ou alta) e intensidade de inovação (baixa, média ou alta) dos
componentes da inovação ou reforma de cada intervenção específica e o meio organizacional no
qual está sendo implementada (estrutura organizacional; política de pessoal; sistemas de
capacitação; sistemas de informação etc.)? Ao longo da implementação, quais as escolhas (e
alterações) que se introduziram visando ampliar ou reduzir a abrangência e o grau de inovação da
reforma, assim como reduzir os entraves institucionais e comportamentais que poderiam
comprometê-la?
• Preferências temporais - Quais foram as preferências de distribuição, no tempo, da introdução das
mudanças e de concretização de seus resultados? De outro modo, como foram distribuídos os
resultados no curto, médio e no longo prazos?
• Aceitabilidade de riscos e grau de inovação pretendidos - Como se compuseram as opções por
maiores conteúdos inovadores (e portanto mais ampla margem para riscos e imprevisibilidade de
resultados) com modos mais incrementais de mudanças no sistema (e portanto, mais baixos
graus de riscos envolvidos)?
• Equilíbrio e choque - O quanto a estratégia de implementação pautou-se por uma opção por
mudanças coordenadas do conjunto dos componentes da política pública em questão, ou se
concentrou em alguns poucos componentes com o objetivo de, a partir de mudanças localizadas
e do tipo fato consumado, "implodir" por choque, impacto ou efeito-demonstração, todo o
sistema?
• A autoridade do gestor da mudança e a lógica organizacional - Qual o perfil do grupo gestor
encarregado da implementação? Que relações mantêm tais agentes com a rede institucional e
com que graus e margens de legitimidade e liberdade contam? Em geral, as estratégias de
implementação enfrentam duas alternativas de escolha do grupo gestor: ou se privilegiam
agências e a burocracia já instalada no topo da hierarquia dos subsistemas públicos envolvidos
na implementação, ou se opta por um staff altamente qualificado, trazido de fora do sistema
administrativo público, que concentra e “isola” em uma, ou em um número reduzido de agências,
o poder decisório ao longo do processo de implementação13. Também no que se refere à lógica
organizacional, a estratégia reformista se defronta com níveis e circuitos organizacionais

12
.Cf. Dror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A., paper.
13
.As vantagens e desvantagens de cada alternativa são relativamente conhecidas. No primeiro caso, as vantagens do
conhecimento da máquina, da familiaridade com os processos e pessoal e da legitimidade freqüentemente são neutralizadas
pelos entraves das rotinas a que estão submetidos os dirigentes tradicionais, assim como pelo alto grau de adesão que
manifestam ao sistema de valores predominante. No segundo caso, em que se opta por uma "vanguarda externa" e pela
estratégia de insulamento, as vantagens de maior liberdade circunstancial e do menor risco de "contaminação" pelas rotinas
e valores predominantes tende a ser neutralizada pelo desconhecimento e isolamento, com conseqüente perda de
legitimidade.

18


alternativos, sobre os quais poderá se apoiar de forma privilegiada o processo de implementação.
No que diz respeito aos níveis, as opções em geral tendem a se polarizar entre as agências e
agentes do nível intermediário (atividade-meio), ou a ponta do sistema, onde se processa a
atividade-fim. No que diz respeito à lógica organizacional, as preferências estratégicas se
manifestam ou pela estrutura principal e rotineira, ou por estruturas e mecanismos paralelos.
Nesse último caso, tanto quanto no da autoridade externamente recrutada, o ponto crucial que
passa a condicionar o sucesso da implementação é sempre o do momento e da forma em que se
processará, no futuro, a supressão dos paralelismo e a plena integração dos processos e
procedimentos.
• Construção de coalizões de apoio – Processos de implementação envolvem custos políticos, já
que afetam, positiva ou negativamente, sistemas vigentes de poder. Dadas as opções anteriores -
em particular as que combinam amplo escopo e alta intensidade de inovação de certos
programas; rapidez de resultados; mudanças por choques e altos níveis de riscos e incertezas e,
finalmente, a condução, através de circuitos paralelos, por uma autoridade ad hoc - é de se
perguntar de que modo a estratégia de implementação privilegiou atores, sistemas de barganha,
redes institucionais e mecanismos geradores de apoio (seja no interior nas arenas decisórias
principais, seja no conjunto do aparato estatal)14.
• Supostos sobre a sustentabilidade futura da mudança - Com que supostos de
continuidade/interrupção do movimento de implementação operou a estratégia? Aqui, trata-se de
identificar se existiram os recursos com que se armou a estratégia frente aos diferentes cenários
futuros: o de continuidade e extensão das inovações introduzidas (definição de processos
contínuos; mecanismos de disseminação da inovação etc.); o de melhoria das próprias inovações
(sistemas de produção e assimilação de inovações; mecanismos de flexibilização das inovações
introduzidas, etc.) ou, enfim, o cenário de interrupção da implementação ou da sua extensão ao
conjunto do sistema (mecanismos de redução das diferenças e dos desperdícios; usos
alternativos dos recursos etc.).
Em outras palavras, mudanças passam a ocorrer quando se consegue uma estratégia que procure
combinar, de forma adequada, diretrizes claras e mecanismos de indução advindos dos órgãos
centrais da administração pública, com a capacidade de iniciativa, maior autonomia e
responsabilidade dos órgãos descentralizados ou desconcentrados.
A literatura indica que, além do exame de estruturas, processos, políticas e suas dimensões
temporais já discutidos nas partes anteriores deste capítulo, no caso da política social, especial
atenção deva ser dada ao papel cumprido pelos atores e suas práticas organizacionais na
determinação do sucesso ou fracasso de processos de implementação de inovações e,
consequentemente, em sua avaliação.

2.4. Atores enquanto agentes de mudança

Para grande parte dos autores, o comportamento das inovações está fortemente associado à
presença de um agente de mudança, ou seja, aqueles que buscam influenciar as decisões adotadas
na direção que lhes pareçam mais desejável. Esta sugestiva noção de agente de mudança parece
útil, desde que se possa estender seu conceito a grupos alocados especialmente em alguns bolsões
ou organismos da burocracia, capazes de influenciar as decisões iniciais, desencadear processos de
mudanças e sustentá-los por período de tempo afetando, no momento posterior, o comportamento do
14
.Apoios e resistências dizem respeito a conjuntos variados de mecanismos de atração/afastamento que afetam o
comportamento dos agentes e as possibilidades de compor interesses e construir coalizões. Além do sistema de valores e da
cultura institucional predominante, tais mecanismos referem-se aos graus de participação admitidos nas decisões cruciais;
aos graus de centralização/descentralização decisória introduzidos; aos sistemas de recompensas e punições acionados; às
formas cooptativas mobilizadas etc.

19


conjunto dos agentes implementadores. Em outras palavras, atores que controlem institucionalmente
“elos críticos de decisão”
De fato, a implementação de inovações de política públicas tem o significado mais geral de
manifestar-se como alterações nos comportamentos de atores e das organizações. Um modo
simplificado de trabalhar com esse significado é o de reduzir o problema do sucesso ou do fracasso
da implementação às resistências ou adesões dos atores estratégicos. Além de outros
constrangimentos estruturais a serem levados em conta, essa argumentação, segundo Gross,
Giaquinta & Bernstein, ignora "...importantes considerações sobre obstáculos aos quais membros que
não eram resistentes à mudança podem vir a estar expostos quando se esforçam para implementar
inovações, sobre a possível importância que os administradores, integrantes do conjunto de agentes,
podem ter na criação ou superação desses obstáculos, e sobre a possibilidade de que membros não
resistentes inicialmente às mudanças organizacionais possam mais tarde desenvolver atitudes
negativas em relação a elas"15.
A análise e avaliação da ação ou reação dos atores enquanto agentes de mudança deve, portanto,
levar em consideração outros aspectos, tais como16:
• mudar e inovar são processos e não eventos isolados, só produzindo efeito se lograrem, no longo
prazo, promover, através da própria estratégia de implementação das inovações, a articulação dos
agentes de mudança via a criação de condições de trabalho sistemático nas novas direções
propostas;
• o papel dos agentes de mudança deve ser analisado levando-se em conta menos suas
resistências e apoios imediatos às inovações e mais suas possibilidades, ou não, de contribuir
para a sedimentação de um processo interativo entre eles próprios, e que dê suporte, não para
uma mudança específica, mas para o aperfeiçoamento permanente dos sistemas de políticas
públicas onde esses atores se inserem;
• mudanças e inovações envolvem adaptações comportamentais significativas afetando práticas
pessoais, habilidades e valores sobre o que é importante e essencial. Face a isso, é comum que o
contato inicial dos agentes de mudança com o processo de inovação seja avaliado como perda,
gerando resistências que podem ou não permanecer e se transformar em obstáculos à mudança;
• profissionais ligados à atividades públicas, especialmente na área social junto à populações
vulneráveis, possuem uma certa ética pragmática: quais os resultados objetivos que as mudanças
podem trazer para cada um deles e para os usuários ou beneficiários dos serviços ? Essa ética
deve ser levada em consideração na análise do comportamento dos atores face às inovações;
• a incorporação do processo de mudança como parte intrínseca do cotidiano dos agentes de
mudança requer - por parte das lideranças dos gestores dos programas no nível central - a
capacidade de exercer de forma combinada pressão e apoio. Requer também o desenvolvimento
de mecanismos de interação mais direta e pessoal com os profissionais de “ponta de linha” (street-
level bureaucracy) para agilizar a resolução de problemas e dar continuidade aos processo de
implementação de inovações.
A implementação de inovações no sistema de políticas públicas tende a alterar de forma significativa
práticas organizacionais em todos os níveis de governo, podendo gerar por isso mesmo resistências
que atuarão como obstáculos, superáveis ou não, dependendo da escolha e introdução de alterações
adequadas, claras, com qualidade e praticidade visíveis para os agentes de mudança. Maior apoio
por parte desses agentes são mais prováveis quando as alterações das práticas e rotinas
organizacionais possuírem os seguintes atributos:
• adaptem-se à situação organizacional concreta dos agentes, sendo perfeitamente compreendidas

15
.Gross, N. Giaquinta & Bernstein, M. 1971 - Implementing Organizacional Innovations, A Sociological Analysis of
Planned Educational Change, N. York: Basic Books Inc, Publisher.
16
A listagem seguinte beneficiou-se do excelente trabalho de Suzanne M. Stiegelbauer. Parte da discussão que se segue é
uma adaptação livre, para a realidade das políticas públicas brasileiras, de várias indicações da autora, que realiza um
balanço de vinte anos de pesquisa sobre processo de implementação de mudanças no setor educacional nos EUA.

20


o que inclui a existência de informações claras quanto à forma de sua adoção;
• contribuam, de forma evidente, para o aperfeiçoamento e melhoria da intervenção considerada;
• não modifiquem desnecessariamente todas as práticas, já que a manutenção daquelas que
funcionam razoavelmente bem é decisiva para criar apoios, facilitar a adaptação e minimizar
resistências;
• não sejam insignificantes, refletindo uma posição conservadora e excessivamente cautelosa na
introdução de inovações ou o seu oposto - inovações gerais e irrestritas do funcionamento do
sistema em sua dimensões mais importantes. A adoção de posições extremadas pode redundar
na paralização ou entropia do processo como um todo. Obtém-se maior sucesso quando as
modificações são significativas, mas sua incorporação consegue ser administrada pelos agentes
implementadores;
• sejam introduzidas levando-se em conta seus efeitos para o sistema de políticas públicas como
um todo (intersetorialidade), ou seja, considerando outras práticas e procedimentos que podem ser
afetados positiva ou negativamente;
• sejam planejadas e implementadas considerando os efeitos que causam nos comportamentos
humanos, nas habilidades que se tornam necessárias e nas que passam a ser irrelevantes, assim
como, nos valores transformados, em suma, na forma com que as pessoas trabalham umas com
as outras.
A consideração desses aspectos na análise e avaliação da ação dos agentes implementadores
permite entender e explicar, de forma mais completa e nãoreducionista, seu comportamento - seja ele
de resistência ou obstaculização, seja ele de apoio ou adesão. Proporciona, ainda, condições
analíticas para que se relacione seu comportamento tanto com valores presentes na cultura das
organizações, cujas práticas estão sendo transformadas, quanto com o próprio conteúdo das
inovações de política pública em exame. Sob essa perspectiva, podem ser consideradas as
estruturas, os processos, as políticas e o fator temporal da implementação enquanto variáveis que
influem na moldagem do comportamento e opiniões dos agentes que implementam as mudanças.
A partir desse quadro conceitual geral, é possível desenvolver estratégias metodológicas que
procurem, dar conta de todas as dimensões e aspectos exigidos para a avaliação da adequação, da
natureza, do alcance e dos limites do também complexo processo de implementação de políticas
públicas no novo século

BIBLIOGRAFIA

Bickman, Leonard (ed) (1987)., Using Program Theory in Evaluation. New Directions for Program
Evaluation Series, n.33. San Francisco. Jossey-Bass.
Chandler, A. - Strategy and Structure, MIT Press, Mass., 1967
Chen, Huey-Tysh, J.S. Wang, and L-H. Lin (1980)., The multi-goal approach to evaluation: a model
linking basic and applied social science. Social Forces, 59. pp. 106-122.
Dror, Y. 1973 - Strategies for Administrative Reform in Leemans, A. F. (ed.) - The Management of
Change in Government, The Hague: Martinius Nijhoff
Dror, Y. 1990 - Grand Policy Analysis, APPAM Anual Research Conference, San Francisco, C.A.,
paper
Gross, N.; Giaquinta, J.; Bernstein, M. 1971 - Implementing Organizacional Innovations, A
Sociological Analysis of Planned Educational Change, N. York: Basic Books Inc, Publisher
Mc Graw et alli (1996)., Using process data to explain outcomes: illustrations from the Child and
Adolescent Trial for Cardiovascular Health. Evaluation Review, 20(3). pp. 291-312.
Pentz M.A et alli (1990)., Effects of Program Implementation on adolescent drug use behavior.
Evaluation Review, 14 (3). pp. 264-289.
Rein, Martin (1981)., “Compreheensive Program Evaluation”. In Levine, Robert et al. Evaluation
Research and Practice: Comparative and International Perspective. Beverly Hills. SAGE. pp.
132-148.

21


Riggin, J.C (1990)., “Linking Program Theory and Social Science Theory”. In Bickman, Leonard (ed)
New Directions for Program Evaluation: advances in program theory. pp. 109-120.
Rossi, Peter H. and Howard E. Freeman (1993)., Evaluation: a systematic approach. Newbury Park.
CA. Sage.
Pressman, L. Jeffrey; Wildavski, A. 1984 - Implementation, Berkeley: Univ. of California Press, 1984,
3ª ed.
Shadish, William R. et al (eds) (1995)., New Directions for Program Evaluation: guiding principles for
evaluators. New Directions for Program Evaluation Series, n.66. San Francisco. Jossey-Bass.
Shadish, William R., Thomas D. Cook, and Laura C. Leviton (1991)., Foundations of Program
Evaluation: theories of practice. Newbury Park. CA. Sage.
Stewart, David W. and P.N. Shamdasani (1993)., Focus Groups: theory and practice. Thousand Oaks.
CA. Sage.
Weiss, Carol H. (1972)., Evaluation Research: methods of assessing program effectiveness.
Englewood Cliffs. NJ. Prentice-Hall.
Weiss, Carol H. (1997)., How can theory-based evaluation make greater headway Evaluation Review,
21(4). pp. 501-524.
Weiss, Carol H. and M.J. Bueuvalas (1980)., Social Science research and decision-making. New
York. Columbia University Press.
Wholey, Joseph S. (1979)., Evaluation: promise and performance. Washington. Urban Institute.
Wholey, Joseph S. (1983)., Evaluation and Effective Public Management. Boston. Little and
Brown.

22

Clad0038402

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie Clad0038402

Ähnlich wie Clad0038402 (20)

Clad0038402