A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

1. Vérification des résultats
Travail de groupe
Petra Vergeer | Spécialiste Santé Sénior

2. Aperçu
1
• Les données opérationnelles sont d’un usage limité à
moins qu’elles ne soient exactes.
• Une analyse de cas multiple a été menée pour étendre les
connaissances sur les processus et pratiques de
vérification.
o Afghanistan,Argentine, Burundi, et Rwanda
• Introduction de “l’outil chemin” de la vérification
o Consultation initialepour obtenir un retour et développer encore l’outil

3. « Outil chemin » de la vérification

4. Examiner les taux d’erreur de la
vérification de la quantité
1
Tendances au niveau
des formations
Tendances au niveau
des indicateurs
Généralisées
parmi toutes les
parties
contractualisées
Localisées dans
certaines formations
(par zone
géographique)
Localisées
dans certains
types de
formations
Indicateurs
avec des
critères de
conformité
complexes
Indicateurs qui sont
récompensés plus
fréquemment et/ou
qui ont un volume de
patients plus élevé
Indicateurs
récompensés à
un niveau plus
élevé
Examinez les
taux d’erreur
de la
vérification de
quantité
Activités à
explorer
Activités à
explorer

5. Examiner les taux d’erreur du traçage de
patient
Examinez les
taux d’erreur du
traçage de
patient
Tendances au niveau
des formations
Tendances au niveau
des indicateurs
Généralisées
parmi toutes les
parties
contractualisées
Localisées dans
certaines formations
(par zone
géographique)
Localisées
dans certains
types de
formations
Indicateurs
avec des
critères de
conformité
complexes
Indicateurs qui sont
récompensés plus
fréquemment et/ou
qui ont un volume de
patients plus élevé
Indicateurs
récompensés à
un niveau plus
élevé
Activités à
explorer
Activités à
explorer

6. Examiner les taux d’erreur de la contre-
vérification
Tendances au niveau
de l’agent vérificateur
Tendances au niveau
des indicateurs
Généralisées
parmi toutes
les parties
vérifiées
Localisées
à un agent
de
vérification
spécifique
Localisées
dans
certains
types de
formations
Examinez les taux
d’erreur de la contre-
vérification de la
quantité et de la qualité
(Supposez que les données
sont au niveau de la partie
contractualisée)
Indicateurs
avec des
critères de
conformité
complexes
Indicateurs qui sont
récompensés plus
fréquemment et/ou
qui ont un volume de
patients plus élevé
Indicateurs
récompensés à
un niveau plus
élevé
Activités à
explorer
Activités à
explorer

7. Facteurs influençant la vérification: un
cadre conceptuel
Contexte
Caractéristiquesde la vérification Impactsur
exactitude,
coût,
durabilité
Caractéristiques du FBR
LOGIQUE DERRIÈRE FBR
TYPE DE CONTRAT
USAGE DES RESULTATS DU FBR
Améliorerrésultatsde santé/RSS
Relationnel
Paiementaméliorantla performance
Resp.té financière/contrôle descoûts
Classique
Transparence, Nommer& faire honte
Mensuelle
Oui
Large
Tout l’univers
Interne
Résultats de la vérification et leur usage
FREQUENCE
MARGE D’ERREUR AUTORISABLE
TAILLE DE L’ECHANTILLON
ARRANGEMENT INSTITUTIONNEL
PREMIER AVERTISSEMENT Non
Petite
Tiers
Apprentissage,Correctiondeserreurs
Recouvrementdes
coûts, sanction
FREQUENCE DES PAIEMENTS Mensuellement Annuelle
ENVIRONNEMENT POLITIQUE GOUVERNANCE CULTURE
Approche basée sur le risque
Annuelle

8. Causes potentielles de taux d’erreur
généralisés: la vérification
• Connaissance et outils
o Formation insuffisante pour les prestataires, les agents de saisie des données
o Outils de collecte des données pas suffisamment clairs
o Explorer la validité des méthodes de vérification
• Marge d’erreur acceptable
o Evaluer la marge d’erreur
• Avertissement à l’avance
• Mise en place institutionnelle
o Il existe un conflit d’intérêt entre l’agent vérificateur et la partie contractualisée
• Taille de l’échantillon
o Les données font du “bruit”
• Fréquence
o La vérification/contre-vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultatset usage de la vérification
o Les incitations et les sanctions ne sont pas suffisantes pour atténuer le
reporting erroné
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

9. Causes potentielles de taux d’erreur
généralisés: le traçage des patients
• Connaissance et outils
o Formation insuffisante pour les prestataires, les agents de saisie des données
o Outils de collecte des données pas suffisamment clairs
o Explorer la validité des méthodes de vérification
• Marge d’erreur acceptable
o Evaluer la marge d’erreur
• Avertissement à l’avance
• Mise en place institutionnelle
o Il existe un conflit d’intérêt entre l’agent vérificateur et la partie contractualisée
• Taille de l’échantillon
o Les données font du “bruit”
• Fréquence
o La vérification/contre-vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultatset usage de la vérification
o Les incitations et les sanctions ne sont pas suffisantes pour atténuer le
reporting erroné
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

10. Causes potentielles de taux d’erreur
généralisés: la contre-vérification
• Connaissance et outils
o Formation insuffisante pour les prestataires, les agents de saisie des données
o Outils de collecte des données pas suffisamment clairs
o Explorer la validité des méthodes de vérification
• Marge d’erreur acceptable
o Evaluer la marge d’erreur
• Avertissement à l’avance
• Mise en place institutionnelle
o Il existe un conflit d’intérêt entre l’agent vérificateur et la partie contractualisée
• Taille de l’échantillon
o Les données font du “bruit”
• Fréquence
o La vérification/contre-vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultatset usage de la vérification
o Les incitations et les sanctions ne sont pas suffisantes pour atténuer le
reporting erroné
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

11. Causes potentielles de taux d’erreur localisés à
une zone géographique spécifique: la
vérification
• Connaissance et outils
o Soutien insuffisantpour les parties contractualisées
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
o La vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

12. Causes potentielles de taux d’erreur localisés à
une zone géographique spécifique: le traçage
des patients
• Connaissance et outils
o Soutien insuffisantpour les parties contractualisées
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
o La vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

13. Causes potentielles de taux d’erreur localisés à
une zone géographique spécifique: la contre-
vérification
• Connaissance et outils
o Soutien insuffisantpour les agents vérificateurs
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
o La vérification est faite trop rarement pour dissuader les jeux de hasard
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

14. Causes potentielles de taux d’erreur localisés à
un type spécifique de formation: la vérification
• Connaissance et outils
• Marge d’erreur acceptable
o Explorer si la marge d’erreur est appropriée
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
o Données biaisées du fait d’une taille d’échantillon insuffisante
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

15. Causes potentielles de taux d’erreur localisés à
un type spécifique de formation: le traçage des
patients
• Connaissance et outils
• Marge d’erreur acceptable
o Explorer si la marge d’erreur est appropriée
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
o Données biaisées du fait d’une taille d’échantillon insuffisante
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

16. Causes potentielles de taux d’erreur localisés à
un type spécifique de formation: la contre-
vérification
• Connaissance et outils
• Marge d’erreur acceptable
o Explorer si la marge d’erreur est appropriée
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
o Données biaisées du fait d’une taille d’échantillon insuffisante
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

17. Causes potentielles de taux d’erreur élevés parmi
les indicateurs avec des critères de conformité
complexes: la vérification
• Connaissance et outils
o Outils de collecte des données confus
o Formation inadéquatepour les prestataires et les agents de saisie des données
• Marge d’erreur acceptable
o Indicateur trop complexe pour un reporting exact
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

18. Causes potentielles de taux d’erreur élevés parmi
les indicateurs avec des critères de conformité
complexes: le traçage des patients
• Connaissance et outils
o Outils de collecte des données confus
o Formation inadéquatepour les prestataires et les agents de saisie des données
• Marge d’erreur acceptable
o Indicateur trop complexe pour un reporting exact
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

19. Causes potentielles de taux d’erreur élevés parmi
les indicateurs avec des critères de conformité
complexes: la contre-vérification
• Connaissance et outils
o Outils de collecte des données confus
o Formation inadéquatepour les prestataires et les agents de saisie des données
• Marge d’erreur acceptable
o Indicateur trop complexe pour un reporting exact
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

20. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés plus
fréquemment ou qui ont un volume de patients
plus élevé: la vérification
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

21. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés plus
fréquemment ou qui ont un volume de patients
plus élevé: le traçage des patients
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

22. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés plus
fréquemment ou qui ont un volume de patients
plus élevé: la contre-vérification
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

23. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés à un
niveau plus élevé: la vérification
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
o Le montant de l’incitation encourage les jeux de hasard
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

24. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés à un
niveau plus élevé: le traçage des patients
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
o Le montant de l’incitation encourage les jeux de hasard
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

25. Causes potentielles de taux d’erreur élevés parmi
les indicateurs qui sont récompensés à un
niveau plus élevé: la contre-vérification
• Connaissance et outils
• Marge d’erreur acceptable
• Avertissement à l’avance
• Mise en place institutionnelle
o Le montant de l’incitation encourage les jeux de hasard
• Taille de l’échantillon
• Fréquence
• Résultats et usage de la vérification
Question: Quelles sont les causes dans votre pays?
Retour
diapo
principale

26. Exemples d’options pour répondre à des taux
d’erreur élevés
• Visiter un petit nombre de formations pour étudier les
causes sous-jacentes des tendances du taux d’erreur
• Augmenter le montant/la proportion des sanctions
• Mener des formations additionnelles pour les prestataires,
les agents de saisie des données
• Fournir un soutien additionnel sur une base continue pour
les prestataires, les agents de saisie des données

27. Merci