avaliação na saúde , por Condriopoulos.

1. SciELO Books / SciELO Livros / SciELO Libros
HARTZ, ZMA., org. Avaliação em Saúde: dos modelos conceituais à prática na análise da
implantação de programas [online]. Rio de Janeiro: Editora FIOCRUZ, 1997. 132 p. ISBN 85-85676-
36-1. Available from SciELO Books <http://books.scielo.org>.
All the contents of this work, except where otherwise noted, is licensed under a Creative Commons Attribution-Non
Commercial-ShareAlike 3.0 Unported.
Todo o conteúdo deste trabalho, exceto quando houver ressalva, é publicado sob a licença Creative Commons Atribuição -
Uso Não Comercial - Partilha nos Mesmos Termos 3.0 Não adaptada.
Todo el contenido de esta obra, excepto donde se indique lo contrario, está bajo licencia de la licencia Creative Commons
Reconocimento-NoComercial-CompartirIgual 3.0 Unported.
A avaliação na área da saúde:
conceitos e métodos
André-Pierre Contandriopoulos
François Champagne
Jean-Louis Denis
Raynald Pineault

2. André-Pierre Contandriopoulos
François Champagne
Jean-Louis Denis
Raynald Pineault
I N T R O D U Ç Ã O
A avaliação é uma atividade tão velha quanto o m u n d o , banal e inerente ao
próprio processo d e aprendizagem. Hoje, a avaliação é t a m b é m u m conceito q u e está
na moda, c o m contornos vagos e q u e agrupa realidades múltiplas e diversas.
Logo após a Segunda Guerra Mundial apareceu o conceito d e avaliação dos
programas públicos. Ele é, d e certa forma, o corolário do papel q u e o Estado c o m e ç o u
a desempenhar nas áreas da educação, do social, do emprego, da saúde etc. O Esta-
do, q u e passava a substituir o mercado, devia encontrar meios para q u e a atribuição
de recursos fosse a mais eficaz possível. O s economistas desenvolveram, então, m é t o -
dos para analisar as vantagens e os custos destes programas públicos; são os pioneiros
da avaliação. M a s , rapidamente, suas abordagens revelaram-se insuficientes, especial-
mente quando queremos aplicá-las aos programas sociais e à educação. A avaliação
foi, e n t ã o , d e certo m o d o , "profissionalizada", a d o t a n d o - s e u m a perspectiva
interdisciplinar e insistindo nos aspectos metodológicos. N o continente americano,
associações c o m o a American Evaluation Association ou a Canadian Evaluation Society
contribuíram muito para esse movimento.
* Versão adaptada de um artigo dos mesmos autores, L'évaluation dans le domaine de la santé: concepts
& méthodes, publicado nas atas do colóquio editadas por LEBRUN, SAILLY & AMOURETTI (1992:14-
32). A tradução preliminar deste texto recebeu o apoio do Instituto Materno-lnfantil de Pernambuco
(IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S.
Thuller.
A AVALIAÇÃO NA ÁREA DA SAÚDE: CONCEITOS E
MÉTODOS*

3. N o decorrer dos anos 70 a necessidade d e avaliar as ações sanitárias se impôs.
O período d e implantação dos grandes programas, baseados no seguro médico, estava
terminado. A diminuição do crescimento e c o n ô m i c o e o papel do Estado no financia-
mento dos serviços d e saúde tornavam indispensável o controle dos custos do sistema
d e saúde, sem q u e , por isso, uma acessibilidade suficiente d e todos a serviços de
qualidade seja questionada.
As decisões necessárias para q u e esta dupla exigência seja respeitada são parti-
cularmente difíceis d e se tomar, por causa do caráter muito complexo do sistema d e
saúde, das grandes zonas d e incerteza q u e existem nas relações entre os problemas
d e saúde e as intervenções suscetíveis de resolvê-las, do desenvolvimento muito rápi-
do das novas tecnologias médicas e das expectativas crescentes da população. Neste
contexto, a necessidade d e informação sobre o funcionamento e a eficácia do sistema
d e saúde é considerável e a avaliação parece ser a melhor solução.
D e s d e então, a avaliação na área sanitária goza de u m prestígio enorme. A
maioria dos países (Estados Unidos, Canadá, França, Austrália etc.) criou organismos
encarregados d e avaliar as novas tecnologias. O s programas d e formação, os colóqui-
os, os seminários, os artigos, as obras sobre a avaliação já não se contam mais.
Esta proliferação é, certamente, o sinal de uma necessidade, mas ela t a m b é m é
sinal da complexidade da área. O objetivo da nossa apresentação é propor u m quadro
conceituai q u e permita uma visão mais clara.
As definições da avaliação são numerosas e poderíamos até chegar a dizer que
cada avaliador constrói a sua. Patton (1981) propõe o grupamento das definições da
avaliação e m seis grandes famílias e m razão da sua natureza. Patton (1982) nota e m
seguida q u e , e m cada família, o conteúdo das definições é variável e ele agrupa os
diferentes conteúdos e m seis categorias. O autor constata q u e esta tabela que define
36 tipos d e definições da avaliação só permite classificar u m pouco mais de 5 0 % dos
trabalhos d e avaliação publicados.
Guba & Lincoln (1990) identificam quatro estágios na história da avaliação. A pas-
sagem de u m estágio para outro se faz c o m o desenvolvimento dos conceitos e a acumu-
lação dos conhecimentos. O primeiro estágio é baseado na medida (dos resultados escola-
res, da inteligência, da produtividade dos trabalhadores). O avaliador é essencialmente um
técnico que tem que saber construir e saber usar os instrumentos que permitem medir os
fenômenos estudados. O segundo estágio se fortalece nos anos 20 e 30. Ele trata de
identificar e descrever c o m o os programas permitem atingir seus resultados. O terceiro
estágio é fundamentado no julgamento. A avaliação deve permitir o julgamento de uma
intervenção. O quarto estágio está emergindo. A avaliação é então feita como um processo
de negociação entre os atores envolvidos na intervenção a ser avaliada.
C h e n (1990) propõe distinguir as avaliações q u e são baseadas nos métodos das
q u e são orientadas por uma discussão teórica sobre as relações entre a intervenção, o
contexto no qual ela é inserida e os resultados obtidos.

4. Esta breve revisão do estado dos conhecimentos mostra a vaidade q u e seria
propor uma definição universal e absoluta da avaliação. N o entanto, para tentar visualizar
melhor e para fixar o quadro no qual esta apresentação se insere, p o d e m o s adotar a
definição seguinte, q u e hoje é objeto de u m amplo consenso.
Avaliar consiste fundamentalmente e m fazer u m julgamento d e valor a respeito
d e uma intervenção ou sobre qualquer u m d e seus c o m p o n e n t e s , c o m o objetivo
de ajudar na tomada d e decisões. Este julgamento pode ser resultado da aplicação d e
critérios e d e normas (avaliação normativa) ou se elaborar a partir de u m p r o c e d i m e n -
to científico (pesquisa avaliativa).
U m a intervenção, qualquer q u e seja, pode sofrer os dois tipos d e avaliação.
Podemos, por u m lado, buscar estudar cada u m dos componentes da intervenção e m
relação a normas e critérios. Trata-se, então, d e uma avaliação normativa. Por outro,
podemos querer examinar, por u m procedimento científico, as relações q u e existem
entre os diferentes componentes de uma intervenção. Trata-se, então, d e pesquisa
avaliativa.
Estas definições permitem a constatação de q u e a área da avaliação e a área da
pesquisa coincidem somente parcialmente (Shortell & Richardson, 1978). A avaliação
administrativa não faz parte da área da pesquisa, da mesma forma q u e existe u m
c a m p o d e pesquisa q u e não faz parte da avaliação (as pesquisas disciplinares q u e
visam fazer progredir os conhecimentos)(Figura 1).
F I G U R A 1
Pesquisa e avaliação
A pesquisa A avaliação
Pesquisa
não avaliativa
Avaliação
Normativa
Gris, Universidade de Montreal, 1992.
Para avançar, devemos precisar o q u e entendemos por intervenção. U m a inter-
venção é constituída pelo conjunto dos meios (físicos, humanos, financeiros, simbóli-
cos) organizados e m u m contexto específico, e m u m d a d o m o m e n t o , para produzir
bens ou serviços c o m o objetivo d e modificar uma situação problemática.

5. U m a intervenção é caracterizada, portanto, por cinco c o m p o n e n t e s : objeti-
v o s ; recursos; serviços, bens o u atividades; efeitos e contexto preciso e m u m d a d o
m o m e n t o (Figura 2).
F I G U R A 2
O s componentes de uma Intervenção
Situação
Problemática
Efeitos Objetivos
Serviços
t
1
Recursos
Contexto
Ela p o d e ser u m a técnica, por exemplo, u m kit pedagógico para melhorar os
c o n h e c i m e n t o s sobre a alimentação, u m teste para detectar más formações fetais,
u m remédio, u m programa d e gerência e m reanimação; u m tratamento (um ato ou u m
conjunto d e atos); u m a prática (por exemplo, u m protocolo d e tratamento do câncer
d o pulmão por quimioterapia); u m a organização (um centro d e desintoxicação, uma
unidade d e tratamento); u m programa (desinstitucionalização dos pacientes psiquiá-
tricos, prevenção das doenças transmitidas sexualmente); uma política (promoção da
saúde, privatização d o financiamento dos serviços e t c ) .
É necessário c o m p r e e n d e r q u e não podemos falar d e uma intervenção sem
levar e m conta os diferentes atores q u e ela envolve (Figura 3). São eles q u e dão sua
forma particular e m u m d a d o m o m e n t o e m u m dado contexto. D e fato, cada u m dos
atores p o d e ter seus próprios objetivos e m relação à intervenção e sua avaliação.

6. Os Avaliadores
Situação
Problemática
(^XPopuIação^)
Efeitos
(^Os"lUsuários
Os Administradores
Serviços
t
Os Profissionais
T
Recursos
Objetivos
Financiadores/
C ^ P o d e r PúbHaT>
Contexto
F I G U R A 3
O s atores envolvidos pela Intervenção

7. É preciso entender q u e os objetivos d e u m a avaliação são numerosos, que eles
p o d e m ser oficiais ou oficiosos, explícitos ou implícitos, consensuais ou conflitantes,
aceitos por todos os atores ou somente por alguns.
O s objetivos oficiais d e uma avaliação são d e quatro tipos:
• ajudar no planejamento e na elaboração d e u m a intervenção (objetivo estratégico);
• fornecer informação para melhorar uma intervenção no seu decorrer (objetivo
formativo);
• determinar os efeitos d e u m a intervenção para decidir se ela deve ser mantida,
transformada d e forma importante ou interrompida (objetivo somativo);
• contribuir para o progresso dos conhecimentos, para a elaboração teórica (objetivo
fundamental).
O s objetivos oficiosos dos diferentes atores, muitas vezes implícitos, são t a m -
b é m muito importantes d e se considerar.
O s administradores q u e p e d e m uma avaliação p o d e m querer:
• atrasar u m a decisão;
• legitimar u m a decisão já tomada;
• ampliar seu poder e o controle q u e eles exercem sobre a intervenção;
• satisfazer as exigências dos organismos d e financiamento.
O s avaliadores p o d e m buscar:
• ampliar os conhecimentos;
• ampliar seu prestígio e poder;
• obter uma p r o m o ç ã o ;
• promover u m a idéia q u e lhes é cara.
O s usuários p o d e m buscar:
• benefícios c o m serviços diferentes dos disponíveis habitualmente;
• reduzir sua d e p e n d ê n c i a perante profissionais.
O pessoal d e uma organização pode buscar:
• atropelar as regras hierárquicas;
• obter u m adiantamento.
A A V A L I A Ç Ã O N O R M A T I V A
A avaliação normativa é a atividade q u e consiste e m fazer u m julgamento sobre
u m a intervenção, c o m p a r a n d o os recursos empregados e sua organização (estrutura),
os serviços o u os bens produzidos (processo), e os resultados obtidos, c o m critérios e
normas (Figura 4).

8. F I G U R A 4
A avaliação normativa
Apreciação dos resultados
Apreciação do processo
Apreciação da estrutura
Contexto |"
© Gris, Universidade de Montreal, 1992.
O s critérios e as normas nos quais se apóiam as avaliações normativas constitu-
e m o q u e Riveline (1991) c h a m a d e "resumos d o verdadeiro e resumos d o b e m " . Eles
p o d e m ser derivados dos resultados da pesquisa avaliativa o u d e outros tipos d e pes-
quisa, o u fundamentados no julgamento d e pessoas bem-informadas o u d e experts na
área. Todas as avaliações normativas se a p ó i a m no postulado d e q u e existe u m a rela-
ção forte entre o respeito aos critérios e às normas escolhidas e os efeitos reais d o
programa o u da intervenção (Rossi & Freeman, 1985).
A avaliação normativa é u m a atividade c o m u m e m u m a organização o u u m
programa. Ela corresponde às funções d e controle e d e acompanhamento, assim c o m o
aos programas d e garantia d e qualidade (Clemenhagen & C h a m p a g n e , 1986).
Apreciação da Estrutura
Trata-se d e saber e m q u e medida os recursos são empregados d e m o d o a d e -
quado para atingir os resultados esperados. C o m p a r a m o s então os recursos da inter-
venção, assim c o m o sua organização, c o m critérios e normas correspondentes. Esse
tipo d e apreciação deveria permitir responder às perguntas d o tipo: O pessoal é c o m -
petente? A organização administrativa favorece a continuidade e a globalidade? Estes
recursos são suficientes para oferecer o leque completo dos serviços prestados? É g e -
ralmente neste tipo d e apreciação q u e se apóiam os organismos d e acreditação.

9. Apreciação do Processo
Trata-se d e saber e m q u e medida os serviços são adequados para atingir os
resultados esperados. Esta apreciação se faz comparando os serviços oferecidos pelo
programa o u pela intervenção c o m critérios e normas predeterminadas e m função dos
resultados visados.
A apreciação d o processo d e uma intervenção visando oferecer serviços para
u m a clientela p o d e ser decomposta e m três dimensões: a dimensão técnica, a d i m e n -
são das relações interpessoais e a dimensão organizacional.
A d i m e n s ã o t é c n i c a d o s serviços
Aprecia a a d e q u a ç ã o dos serviços às necessidades. O s serviços correspondem
às necessidades dos beneficiários; dos clientes? A dimensão técnica inclui a aprecia-
ção da qualidade dos serviços. Trata-se geralmente da qualidade definida a partir dos
critérios e das normas profissionais. O s programas d e garantia da qualidade nas orga-
nizações fazem parte da apreciação d o processo.
A d i m e n s ã o d a s relações interpessoais
Aprecia a interação psicológica e social q u e existe entre os clientes e os produ-
tores d e cuidados. Nos interessamos então no apoio q u e o pessoal dá aos pacientes,
na satisfação destes, na cortesia dos produtores d e cuidados e no respeito à pessoa.
A d i m e n s ã o organizacional
A dimensão organizacional do processo diz respeito à acessibilidade aos servi-
ços, à extensão da cobertura dos serviços oferecidos pela intervenção considerada,
assim c o m o à globalidade e à continuidade dos cuidados e dos serviços. Por globalidade
e continuidade e n t e n d e m o s o caráter multiprofissional e interorganizacional dos cui-
dados, assim c o m o sua continuidade no t e m p o e no espaço.
A Apreciação dos Resultados
A apreciação dos resultados consiste e m se perguntar se os resultados observa-
dos correspondem aos esperados, isto é, aos objetivos q u e a intervenção se propôs
atingir. A apreciação dos resultados é feita comparando-se os índices dos resultados
obtidos c o m critérios e c o m normas d e resultados esperados. Esta apreciação é, m u i -
tas vezes, insuficiente para se fazer u m julgamento válido sobre os resultados de uma
intervenção. Para avaliá-los deve-se geralmente empregar uma pesquisa avaliativa.

10. A PESQUISA AVALIATIVA
Podemos definir a pesquisa avaliativa c o m o o procedimento q u e consiste e m
fazer u m julgamento ex-post d e uma intervenção usando métodos científicos. M a i s
precisamente, trata-se d e analisar a pertinência, os fundamentos teóricos, a produtivi-
dade, os efeitos e o rendimento d e uma intervenção, assim c o m o as relações existen-
tes entre a intervenção, e o contexto no qual ela se situa, geralmente c o m o objetivo
d e ajudar na tomada de decisões.
A pesquisa avaliativa, c o m o podemos ver na Figura 5, p o d e se d e c o m p o r e m
seis tipos d e análise. Fazer pesquisa avaliativa e m u m a intervenção consistirá, portan-
to, e m fazer uma ou várias destas análises. Teremos, então, q u e freqüentemente a p e -
lar para várias estratégias d e pesquisa e considerar as perspectivas dos diferentes ato-
res envolvidos na intervenção.
F I G U R A 5
A pesquisa avaliativa
Análise dos
efeitos
Análise do .
rendimento
Situação
Problemática
Efeitos Objetivos
Serviços
Recursos
Contexto
Análise
estratégica
Análise da
intervenção
Análise d a
produtividade
Análise d a
implantação
© Gris, Universidade de Montreal, 1992.
Análise Estratégica
Trata-se d e analisar a pertinência da intervenção, isto é, d e analisar a a d e q u a -
ção estratégica entre a intervenção e a situação problemática q u e d e u origem à inter-
venção. Para isto, fazemos duas perguntas (Figura 6): é pertinente intervir para este

11. P r o b l e m a s d e s a ú d e 1
i r
P r o b l e m a escolhido ( d o e n ç a s
cardiovasculares; AlDS...)
O b j e t i v o específico d a 2
I n t e r v e n ç ã o : m o d i f i c a ç ã o
d e u m fator d e risco e m u m a +.
p o p u l a ç ã o específica através d e
u m c o n j u n t o preciso d e recursos
Fazer estas análises implica q u e nos preocupemos c o m a forma c o m o a situa-
ç ã o problemática foi identificada, isto é, c o m métodos usados para apreciar as neces-
sidades, c o m o grau d e prioridade d o problema d e saúde escolhido e m relação ao
conjunto dos problemas identificados, assim c o m o c o m a pertinência da intervenção
escolhida e m relação a todas as intervenções possíveis.
A análise estratégica d e uma intervenção pode ser feita a partir d e análises de
mercado, análises d e necessidades, d e métodos d e determinação d e prioridades etc.
(Dever & C h a m p a g n e , 1984).
Análise da Intervenção
A análise da intervenção consiste e m estudar a relação q u e existe entre os o b -
jetivos da intervenção e os meios empregados. Trata-se d e interrogar sobre a capacida-
d e dos recursos q u e foram mobilizados e dos serviços q u e foram produzidos para
atingir os objetivos definidos (Figura 7).
problema considerando todos os problemas existentes? É pertinente, considerando a
estratégia d e intervenção adotada, intervir c o m o está sendo feito? O u seja, o fator d e
risco no qual quer agir a intervenção é o mais importante, a população-alvo é a d e
maior risco? O s recursos empregados são os mais adaptados?
F I G U R A 6
Análise Estratégica: julgamento sobre a pertinência d e uma Intervenção

12. F I G U R A 7
Análise da Intervenção
Hipótese
causal
Hipótese sobre
o mecanismo
de ação da
intervenção
Efeitos sobre o objetivo d e
saúde visado (redução das
doenças cardiovasculares;
AIDS)
Efeito direto d a
Intervenção (% d e
redução da taxa d e
colesterol o u da
infecção pelo H I V )
Objetivo
intermediário
(inibição d o
H M G - C o a ;
utilização d e
condons)
Atividades
Objetivos específicos
d a Intervenção (redução
d a taxa d e colesterol o u
d a infecção pelo H I V )
Recursos
Processo Estrutura
( u m m e d i c a m e n t o ; u m programa
d e e d u c a ç ã o sanitária)

13. Para analisar esta relação, podemos nos perguntar, por u m lado, se a teoria na
qual a intervenção foi construída é adequada e, por outro, se os recursos e as ativida-
des são suficientes e m quantidade, e m qualidade e na maneira c o m o estão organiza-
das. N o s perguntamos, assim, se o algoritmo da intervenção é válido e apropriado e se
os meios empregados para atingir os objetivos são adequados e suficientes. D a mesma
forma q u e nos interrogamos sobre a confiabilidade e a validade dos instrumentos d e
medida e m u m a pesquisa, p o d e m o s nos interrogar sobre a confiabilidade e a validade
da intervenção e m u m a pesquisa avaliativa.
O s métodos apropriados para a análise da intervenção são os que permitem
apreciar a qualidade d e u m modelo teórico, isto é, sua veracidade e sua generalidade
(Chen, 1990). Elas são extrapolações dos métodos desenvolvidos para apreciar a qua-
lidade d e u m instrumento d e medida (Mark, 1990).
Análise da Produtividade
A análise da produtividade consiste e m estudar o m o d o c o m o os recursos são
usados para produzir serviços. Aí se colocam dois tipos d e questões: poderíamos pro-
duzir mais serviços c o m os mesmos recursos? Poderíamos produzir a mesma quantida-
d e d e serviços c o m menos recursos?
A produtividade p o d e ser medida e m unidades físicas ou e m unidades monetá-
rias. N o primeiro caso, falaremos d e produtividade física, no segundo, d e produtivida-
d e econômica.
Para analisar a produtividade d e uma intervenção, deve-se poder definir e medir
sua produção. N a área da saúde, trata-se muitas vezes d e u m empreendimento difícil
e para alcançá-lo é importante d e c o m p o r o conceito d e produção.
P o d e m o s conceber (Figura 8) q u e toda intervenção na área da saúde produz
diferentes tipos d e resultados. O s recursos da intervenção servem, e m primeiro lugar,
para produzir serviços d e suporte. Trata-se essencialmente d e produtos intermediários
q u e , combinados c o m contribuições profissionais, servem para produzir serviços clíni-
cos q u e p o d e m o s chamar d e resultados primários.
Estes serviços clínicos, q u a n d o são combinados para responder aos problemas
d e saúde d e u m paciente, produzem episódios d e tratamento q u e são os resultados
finais da intervenção. Estes episódios d e tratamento, cujo objetivo é modificar u m
problema d e saúde, p o d e m eles mesmos se combinar c o m outros fatores para melho-
rar o estado d e saúde dos pacientes e m questão.

14. F I G U R A 8
Produtos de uma Intervenção d e saúde
I N T E R V E N Ç Ã O
Inputs
Gerais
Outputs
Gerais
Inputs Recursos
Gerais Profissionais
1F
'
Outputs
Primários
(Serviços
clínicos)
Inputs
Secundários
+
Julgamentos
profissionais
Processos de transformação do problema de saúde
Problema da
Saúde de um
paciente
Outputs
Secundários •
(Tratamentos) F3
Outros
determinantes
da Saúde
Outcome
ou Output
Final
efeitos-saúde,isto é,
transformação do
problema de saúde)
Contandriopoulos, A. R, Gris, 1990.
A análise da produtividade pode, portanto, ser feita e m vários níveis:
• Podemos falar da capacidade dos recursos para produzir serviços d e suporte (produ-
tividade do pessoal de manutenção d e produzir serviços d e reparação, serviços ali-
mentares de produzir refeições).
• Podemos falar da produtividade dos recursos profissionais e m serviços clínicos (recur-
sos de laboratório e de radiologia para produzir exames laboratoriais e radiológicos).

15. O s diferentes serviços clínicos p o d e m ser combinados para produzir tratamen-
tos para os pacientes específicos. Falaremos então da produtividade dos recursos para
produzir tratamentos.
Poderíamos ainda ampliar a análise e falar da produtividade dos recursos para
produzir efeitos d e saúde. Deixaríamos, então, a área da análise da produtividade d e
u m a intervenção para entrar na análise dos seus efeitos.
M é t o d o s apropriados para a análise da produtividade são derivados dos méto-
dos e c o n ô m i c o s e dos métodos da contabilidade analítica.
Análise dos Efeitos
A análise dos efeitos é aquela q u e se baseia e m avaliar a influência dos serviços
sobre os estados d e saúde. Ela consistirá e m determinar a eficácia dos serviços para
modificar os estados d e saúde. A medida dos efeitos, q u e sejam desejados, ou não,
d e p e n d e d o tipo d e pesquisa adotada (Figura 9). O conceito d e eficácia não tem um
sentido absoluto, ele d e v e ser qualificado e m virtude do contexto no qual a pesquisa é
feita, d o procedimento escolhido, da natureza da intervenção avaliada e da finalidade
d o exercício d e avaliação.
P o d e m o s falar d e eficácia teórica q u a n d o nos situamos no contexto da pesquisa
d e laboratório no qual o ambiente é inteiramente controlado e no qual não há varia-
bilidade interindividual.
A eficácia dos ensaios é a q u e é medida nos ensaios clínicos randomizados. A
intervenção é aplicada d e u m a forma total e otimizada para cada u m dos indivíduos a
ela submetidos. A eficácia dos ensaios considera as variações inter-individuais, mas
não as variações no comportamento dos usuários e dos profissionais.
A eficácia de utilização é aquela q u e estimamos ao analisar os resultados d e
u m a intervenção, e m u m contexto natural, sobre os indivíduos q u e dela se beneficia-
ram. Nesta situação, as variáveis relativas aos usuários e aos prestadores d e serviço são
observadas.
P o d e m o s ainda estender o conceito d e eficácia e falar d e eficácia populacional
considerando os efeitos d e u m a intervenção não somente para aqueles q u e benefici-
aram-se dela, mas t a m b é m para toda a população a q u e m a intervenção era destina-
da. Consideramos então o grau d e cobertura da intervenção, sua aceitabilidade e sua
acessibilidade na população-alvo.
N a análise dos efeitos, é importante considerar não somente aqueles que são
desejáveis, mas t a m b é m os efeitos não desejados. E m outros termos, é importante
considerar os efeitos externos para a população-alvo e t a m b é m eventualmente para as
outras populações não visadas diretamente pela intervenção.
N a análise dos efeitos, t a m b é m é muito importante analisar, q u a n d o for possí-
vel, não somente os efeitos a curto prazo, mas t a m b é m os efeitos a longo prazo.

16. F I G U R A 9
M e d i d a dos efeitos d e uma Intervenção
Contexto da
Pesquisa
Estratégia e
Desenho de
Pesquisa
Natureza da
Intervenção
Avaliada
Eficácia Medida
(direta/indireta,
prevista/imprevista,
desejada/indesejada
Finalidade da
Pesquisa e Tipo de
Usuário
Laboratório Experimento
(especificação das
hipóteses rivais
consideradas)
Intervenção pura,
isolada de seu
contexto (princípio
ativo de um
remédio)
Eficácia teórica Aquisição de novos
conhecimentos
(outros
pesquisadores)
Ensaios clínicos Ensaios aleatórios
(hipóteses rivais não
especificadas)
Intervenção
perfeitamente
controlada
(padronização dos
comportamentos
dos atores)
Eficácia experimental Efeito puro de uma
intervenção sobre o
homem (outros
pesquisadores,
clínicos)
Prática normal Procedimentos
quase-experimentais;
experimentação
invocada (hipóteses
rivais especificadas)
Intervenção
atuando em um
contexto normal
(comportamentos
variados dos atores)
Eficácia de utilização Ajuda para a
decisão e avaliação
da intervenção
(gerentes, clínicos)
Comunidade,
população
Experimentação
invocada; Pesquisa
sintética (ampliação
das hipóteses rivais)
Intervenção e
contexto
(intervenção +
comportamento
dos atores +
acessibilidade)
Eficácia populacional Ajuda para decisão
e planejamento
(gerentes,
planejadores,
políticos)
© Gris, Universidade de Montreal, 1992.
O s métodos pára analisar a eficácia d e uma intervenção são muitos. Eles p o -
d e m ser q u a n t i t a t i v o s e qualitativos, d e n a t u r e z a e x p e r i m e n t a l o u sintética
(Contandriopoulos et al., 1990).
A Análise do Rendimento
A análise d o rendimento (ou da eficiência) é aquela q u e consiste e m relacionar
a análise dos recursos empregados c o m os efeitos obtidos. Trata-se d e u m a c o m b i n a -
ção da análise da produtividade econômica e da análise dos efeitos. A avaliação d o
rendimento d e uma intervenção se faz geralmente c o m ajuda d e análises custo/bene-
fício, custo/eficácia o u custo/utilidade.
Nas análises custo/benefício, expressamos e m termos monetários todos os cus-
tos da intervenção e todas as vantagens q u e ela traz.

17. Nas análises custo/eficácia e custo/utilidade, os custos são expressos e m termos
monetários, mas as vantagens são expressas ou por índices reais d e resultados (anos de
vida ganhos, índice d e satisfação, redução da dor etc.) ou pela utilidade que traz a
intervenção para aqueles aos quais ela se destina (QALY - Quality Adjusted Life Years).
As análises d e custo/benefício são as mais gerais. Elas implicam saber determi-
nar o valor das vantagens e dos custos d e uma intervenção para otimizar a atribuição
d e recursos. Este tipo d e análise é muito difícil d e se conduzir na área da saúde,
particularmente por causa da dificuldade q u e se tem d e dar um valor monetário para
variações nos estados de saúde.
As análises custo/eficácia ou custo/utilidade são as mais freqüentes. Consistem
e m comparar os custos d e diversas intervenções c o m sua eficácia nos usuários o u ,
ainda, c o m a utilidade q u e os usuários retiram da intervenção. O conceito de utilidade
usado nas análises custo/utilidade permite incorporar os diferentes efeitos possíveis de
uma intervenção e m u m só indicador. Ele permite, portanto, comparar entre elas as
diferentes intervenções q u e não têm os mesmos objetivos. Esta comparação é, na
maioria das vezes, impossível a partir dos resultados de análise custo/eficácia. Todavia,
a determinação da utilidade associada a diferentes tipos de efeitos traz sérios proble-
mas metodológicos e conceituais.
As dificuldades metodológicas desta análise estão na medida das vantagens e
na definição d e critérios q u e permitem comparar o rendimento d e várias opções.
Análise da Implantação
O último tipo d e análise que podemos fazer no quadro de uma pesquisa avaliativa
consiste, por u m lado, e m medir a influência q u e pode ter a variação no grau de
implantação d e u m a intervenção nos seus efeitos e, por outro, e m apreciar a influên-
cia d o ambiente, d o contexto, no qual a intervenção está implantada nos efeitos da
intervenção. Este tipo d e análise é pertinente q u a n d o observamos uma grande variabi-
lidade nos resultados obtidos por intervenções semelhantes implantadas e m contextos
diferentes. D e v e m o s , então, nos perguntar se esta variabilidade pode ser explicada
por diferenças existentes nos contextos. A análise da implantação é particularmente
importante q u a n d o a intervenção analisada é complexa e composta d e elementos
seqüenciais sobre os quais o contexto pode interagir d e diferentes modos.
O primeiro tipo d e análise da implantação consiste e m medir a influência da
variação no grau d e implantação da intervenção e m diferentes contextos. Até mesmo
u m a ausência d e efeito p o d e ser conseqüência do fato d e q u e a intervenção avaliada
não foi realmente implantada.

18. O segundo tipo de análise da implantação consiste e m se perguntar sobre os
efeitos da interdependência q u e pode haver entre o contexto no qual a intervenção
está implantada e a intervenção e m si.
Nos interrogamos, neste tipo d e análise, sobre o sinergismo q u e p o d e existir
entre um contexto e uma intervenção o u , pelo contrário, sobre os antagonismos exis-
tentes entre o contexto e a intervenção, isto é, sobre os efeitos inibidores d o contexto
e sobre os efeitos da intervenção.
O s métodos apropriados para analisar a implantação de u m programa são, so-
bretudo, os estudos d e casos (Yin, 1989).
C O N C L U S Ã O
Sendo o objetivo final da avaliação o d e ajudar na tomada d e decisões, é preci-
so se interrogar sobre a influência q u e as informações fornecidas pelo avaliador p o -
d e m ter nas decisões.
A avaliação normativa t e m c o m o finalidade principal ajudar os gerentes a pre-
encher suas funções habituais. Ela é normalmente feita por aqueles q u e são responsá-
veis pelo funcionamento e pela gestão da intervenção, faz parte da atividade natural
de um gerente e deveria, portanto, ter u m a forte validade pragmática ( D u n n , 1989).
N o entanto, a pesquisa avaliativa, q u e exige u m a perícia metodológica e teóri-
ca importante, geralmente não pode ser feita por aqueles q u e são responsáveis pela
intervenção e m si. Ela é mais freqüentemente confiada a pesquisadores q u e são exte-
riores à intervenção. Neste caso, a questão d e saber se seus trabalhos serão úteis para
as decisões é importante.
O quadro d e referência proposto evidencia q u e a avaliação d e u m a interven-
ção é constituída pelos resultados d e várias análises obtidas por métodos e abordagens
diferentes. Estes resultados não poderão ser facilmente resumidos e m u m p e q u e n o
número d e recomendações. E até provável q u e quanto mais u m a avaliação seja b e m ¬
sucedida, mais ela abra caminhos para novas perguntas. Ela semeia dúvidas sem ter
condições de dar todas as respostas e não pode nunca terminar realmente, d e v e ser
vista c o m o uma atividade dinâmica no tempo, apelando para atores numerosos, utili-
zando métodos diversos e envolvendo competências variadas.
A avaliação é u m a atividade, c o m o a pesquisa, útil para o estabelecimento d e
políticas, mas nunca é suficiente para estabelecer políticas (Figura 10).

19. F I G U R A 10
Pesquisa - Avaliação - Políticas
A pesquisa A avaliação
Os políticos
© Gris, Universidade de Montreal, 1992.
Para aumentar as chances d e q u e os resultados de uma avaliação sejam úteis, é
importante se conscientizar d e q u e a avaliação é u m dispositivo d e produção d e infor-
mação e, conseqüentemente, de q u e ela é fonte de poder para os atores que a contro-
lam. Deve-se portanto assegurar, inspirando-se no debate entre Patton (1986) e Weiss
(1988a, b), q u e :
• todos os q u e d e c i d e m estejam implicados na definição dos problemas q u e d e v e m
ser resolvidos e nas estratégias d e pesquisa a empregar-se. S e por exemplo, para
medir os efeitos d e u m a intervenção decidirmos fazer u m teste aleatório, c o n h e c e -
remos a eficácia e m u m a situação perfeitamente controlada, mas este resultado será
d e p o u c o interesse para q u e m decidiu q u e quer conhecer a eficácia d e sua inter-
v e n ç ã o e m u m contexto b e m específico;
• sejam periodicamente informados aqueles q u e d e c i d e m os resultados obtidos pela
avaliação. N o final é muitas vezes tarde demais para agir;
• o avaliador faça o papel d e u m agente facilitador e d e pedagogo na utilização dos
resultados;
• a informação extraída d e u m a avaliação seja considerada c o m o uma ferramenta d e
negociação entre interesses múltiplos e não c o m o uma verdade absoluta;
• estejamos conscientes d o fato d e q u e os que d e c i d e m não p o d e m definir exatamen-
te suas necessidades d e informação e, conseqüentemente, q u e a avaliação poderá
dar respostas parciais aos problemas q u e eles enfrentam;
• a avaliação seja feita c o m o maior rigor possível.

20. REFERÊNCIAS BIBLIOGRÁFICAS
CHEN, T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.
C L E M E N H A C E N , C. & CHAMPAGNE, F. Quality assurance as part of Program Evaluation:
Guidelines for managers and clinical department heads. Quality Review Bulletin, 1986.
C O N T A N D R I O P O U L O S , A. P. et al. Savoir Préparer une Recherche. Montréal: Presses de
l'Université de Montréal, 1990.
DENIS, J. L. & CHAMPAGNE, F. Analyse de l'implantation. Montréal, Cahiers du GRIS, N90-05,
1990.
DEVER, G. & CHAMPAGNE, F. Epidemiology in Health Services Management. Rockville: Aspen,
1984.
D U N N , W. N. Two faces of validity in the policy sciences. Knowledge in Society, 2(1), 1989.
GEPHART, W. J. Watercolor painting. In: SMITH, N. L. (Ed.) Mataphors for Evaluation. Beverly
Hills: Sage, 1981. p.247-272.
CUBA, E. G. & LINCOLN, Y. S. Fourth Generation Evaluation.Beverly Hills: Sage, 1990.
MARK, M. From program theory to tests of program theory. New Directions for Program Evaluation,
47, 1990.
PATTON, M. Q. Creative Evaluation. Beverly Hills: Sage, 1981.
PATTON, M. Q. Practical Evaluation. Beverly Hills: Sage, 1982.
PATTON, M. Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986.
PATTON, M. Q. The evaluator's responsability for utilization. Evaluation Practice, 9(2), 1988.
RIVELINE, C. Un point de vue d'ingénieur sur la gestion des organisations. École des Mines de
Paris, mai 1991.
ROSSI, P. H. & FREEMAN, H. E. Evaluation: A Systematic Approach. Beverly Hills: Sage, 1985.
SHORTELL, S. M. & RICHARDSON, W. C. Health Program Evaluation. St-Louis: Mosby, 1978.
WEISS, C. Evaluation for decisions: Is anybody there? Does anybody care? Evaluation Practice,
9(1), 1988a.
WEISS, C. If program decisions hinged only on information: A response to Patton. Evaluation
Practice, 9(3), 1988b.
YIN, R. K. Case Study Research. Beverly Hills: Sage, 1989.