A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French Version.

1. Utiliser les données opérationnelles
et SIGS pour le suivi de programme
et l’évaluation d’impact – Zambie
Atelier sur les Résultats et l’Evaluation d’Impact 2014
Délégation zambienne
25 Mars 2014

2. Modèle de FBR en Zambie
 L’undes rares exemples de “contrat interne” à travers le secteur
public de la santé
 Quasi séparation Acheteur-Prestataire par différents niveauxdu
système de prestation de soins de santé zambien
 Vérification des données sur la quantité et la qualité
 Comités de pilotage (CPs) en tantque vérificateurs indépendants
 Vérification externe périodique
 Paiements basés sur la performance
 “Paiement à l’acte” sur un ensemble d’indicateurs de santématernelle,
néonatale et infantile (SMNI) dans les centres de santé
 Cadre d’Evaluation de la Performance pour les Bureaux Médicaux de District
 Autonomie de gestion et financière des formations sanitaires
2

3. Données opérationnelles
3

4. Tendances des indicateurs de performance:
T2 2012-T4 2013
4
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013
Nombre
Accouchements
qualifiés
Visites anténatales
et de suivi pendant
la grossesse
Visite postnatale
Enfant
complétement
immunisé
3ème dose de TPI
Fansidar
Femmes enceintes
ayant reçu
Niverapine et AZT

5. Tendances des indicateurs de performance:
T2 2012-T4 2013…
5
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
800,000
900,000
T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013
Nombre
Consultation
curative
Utilisateurs de
méthodes
modernes de
PF
Femmes
enceintes
conseillées et
testées au VIH

6. Augmentation en pourcentage –
Indicateurs de Quantité
6
14%
-1%
23%
-49%
69%
44%
94%
70%
203%
14% 19% 21% 22% 22% 25%
63% 67%
88%
-100%
-50%
0%
50%
100%
150%
200%
250%
Consultation
curative
Femmes
enceintes HIV+
ayant reçu
Niverapine et
AZT
Femmes
enceintes
conseilléeset
testées au VIH
Visites
anténataleset
de suivi pendant
la grossesse
Accouchements
qualifiés
3ème dose de
TPI Fansidar
Visite postnatale Enfant
complétement
immunisé
Utilisateurs de
méthodes
modernesde PF
Pourcentagedechangement
T2 2012 contre T4 2013 (depuis début projet) T4 2012 contre T4 2013

7. Utilisation des données du Système
d’Information et de Gestion Sanitaire
(SIGS)
7

8. Similarités et différences:
Données opérationnelles (OP) contre données SIGS
• Les données OP et SIGS sont collectées des mêmes formations sanitaires, et
des mêmes entrées de données
• Cependant, les données OP sont compilées bien plus vite que les données
SIGS étant donnés les conditions nécessaires à la vérification, et les liens
avec les paiements
• Les données opérationnelles sont seulement compilées à partir des patients
inscrits, tandis que les données HMIS sont compilées à partir des registres et
des feuilles de comptage
• La consolidation des données OP et SIGS est faite par un personnel distinct
au niveau du district
• 100% des données OP sont vérifiées sur une base mensuelle, tandis que les
données SIGS reposent principalement sur des données auto-rapportées qui
sont vérifiées occasionnellement
• Les données OP et SIGS DOIVENT indiquer les mêmes tendances dans les
indicateurs, malgré des différences de magnitude 8

9. Utiliser les données SIGS pour comparer les 3
bras de l’étude de l’évaluation d’impact
 Que peut-on dire avant l’enquête finale?
 Analyse en différences-de-différencesdes tendances avant et
après le FBR
 Période d’analyse – jan 2011 à déc 2012: FBR introduit en avril
2012
 Pas une analyse définitive puisqueles données SIGS sont auto-
rapportées mais:
 Vérification importante sur le FBR: Les résultats des
données opérationnelles concordent-ils avec les données
SIGS?
 Quel est l’impact du FBR sur les indicateurs non incités?
9

10. Evaluation d’Impact
 Explore s’il existe un lien causal entre le projet de FBR et les
résultats
 Enquête de base – quantitative et qualitative
 Evaluation de processus (entretiens,observations, revue des
donnéesopérationnelles et SIGS)
 Enquête finale – quantitative et qualitative
 Trois (3) bras d’étude:
 10 districts d’intervention FBR (FBR)
 10 districts financés sur la base des intrants (C1)
 10 districts de pur contrôle (C2) 10

11. Impact sur les indicateurs incités
 Toutes les mesures: par service par formation par mois
 Gains dans plusieurs services ciblés, pas de changement dans l’utilisation totale, et
déclins dans l’immunisation
 Pas de gains du financement additionnel aux districts
11

12. Tendance dans l’accouchementqualifié
(Jan 2011-Déc 2012)
0
200
400
600
800
1000
1200
1400
1600
1800
2000
Basé sur les intrants
Pur contrôle
Sourcedonnées:SIGS, Ministèrede la Santé
FBR implémenté
12
FBR

13. Impact sur indicateurs non incités
 Peu de répercussionsurles non incités
 Financementadditionnela embauchéplus de personnel(mais pas
de changementsur les mesuresdes services) 13

14. Utilisation des données OP et SIGS a
rendu possible de:
 Triangulerles données OP et SIGS càd. vérifierla
concordancedes données OP avec les données SIGS
 Vérifier indépendemment les données OP
 Suivre les tendances des indicateursincités et non-incités
dans les trois (3) bras de recherche
 Suivre l’utilisationdes fonds par indicateur,et le montant
total alloué au projet de FBR
 Faire des ajustements au design du FBR, ainsi que fournir
plus de renforcement des capacités et de soutien
technique 14

15. Exemples de comment l’information
émergente a été utilisée
 Changementde l’application de l’outil qualité pourrécompenserles
améliorations de qualité plutôt que de pénaliser les déficits de
qualité
 Etablissementde la composanteinvestissementà un minimum de
40% et des incitations à la performancepour le personnelà un
maximum de 60%
 Augmentation des frais d’évaluation pour leshôpitauxfaisant les
audits de la qualité
 Révision du pack assistancetechniquepour s’appuyer sur les
capacitéslocales
 Soutien techniqueaccru aux formations sanitairesen sous-
performance
 Introduction defrais de supervision pour les comités de pilotage du
FBR de la province
15

16. Défis
• Transmission tardive des données SIGS
• Faible qualité des données SIGS du fait de la migration
à un système en ligne DHIS-2
• Agents de saisie des données inadéquats dans les
formations sanitaires en particulier dans les districts de
contrôle
• Coûteux de faire une évaluation de processus
impliquant des observations en formation sanitaire et
des entretiens avec prestataires de service, patients et
membres de la communauté
16

17. Merci
17