Annex J18 - Standardized tool for MSAS capacity building - Module de formation_ Monitoring and Evaluation.pdf

MODULE DE FORMATION SUR LE SUIVI

ET EVALUATION

DANS LE SECTEUR DE LA SANTE

ET DE L’ACTION SOCIALE

Ministère de la Santé et de l’Action sociale

Prestataire d’Assistance Technique au Gouvernement du Sénégal (GoTAP) Composante du programme Santé de l’USAID, 2016 - 2021

Juillet 2020

Ce module a été rendu possible grâce au soutien du peuple américain à travers l’Agence des Etats-Unis pour le Développement International (USAID). Les points de vue des auteurs exprimés dans cette publication ne reflètent pas nécessairement les avis de l’USAID ou du Gouvernement américain.

Citation recommandée : Government Technical Assistance Provider (GoTAP) : “Module de Formation sur le Financement Direct.” Préparé par Abt Associates, Rockville, Maryland. Soumis le 6 août 2019.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 3

PREFACE

Dakar le 28 février 2020

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION4

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 5

CESAG : Centre Africain d’Etudes Supérieures en Gestion

CIS : Comité interne de suivi

CNLS : Conseil national de Lutte contre le Sida

CPN : Consultation Prénatale

DAGE : Direction de l’Administration Générale de l’Equipement

DHIS2 : District Health Information System 2

DQA : Audit de la Qualité des Données

DPRS : Direction de la Planification de la Recherche et des Statistiques

DSME : Direction de la Sante de Mère et de l’Enfant

DPPD : Document Pluriannuel de Programmation des Dépenses

ECR : Equipe Cadre de Région

ECD : Equipe Cadre de District

EDS : Enquête démographique et de santé

EPS : Etablissement Public de Santé

GAR : Gestion Axée sur les Résultats

GoTAP : Government Technical Assistant Provider

IEC-CCC : Information, éducation et communication pour le changement de Comportement

MCS : Mission Conjointe de Supervision

MSAS : Ministère de la Santé et de l’Action sociale

OCB : Organisation communautaire de base

ONG : Organisation Non Gouvernementale

OS : Objectif Stratégique

OUTILS NORMALISÉS : Ensemble de documents et de supports didactiques décrivant les normes, procédures et protocoles régissant les domaines couverts par les formations destinées aux agents chargés de la mise en œuvre des programmes G2G.

PEC : Prise en charge

PSP : Plan de Suivi de la Performance

PTA : Plan de Travail Annuel

PTFs : Partenaires Techniques et Financiers

PNDS : Plan National de Développement Sanitaire

PPS : Point de prestation de soins de santé

RAC : Revues Annuelles Conjointes

RAP : Rapport annuel de performance

RI : Résultats Intermédiaires

RM : Région Médicale

S&E : Suivi et Evaluation

SRMNIA-PF : Santé de la reproduction, maternelle, néonatale, infantile et des adolescent- Planification familiale

SME : Santé de la Mère et de l’Enfant

SONUC : Soins obstétricaux et néonataux d’urgence complet

USAID : Agence des Etats Unis pour le Développement International

ACRONYMES ET ABRÉVIATIONS

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION6

Table des matières

PREFACE 3

ACRONYMES ET ABRÉVIATIONS 5

I. DUREE DE LA FORMATION 8

II. PROFIL PROFESSIONNEL DES PARTICIPANTS 8

III. BUT ET OBJECTIFS GENERAUX 8

IV. UNITES THEMATIQUES DU MODULE 8

V. PLAN DE MISE EN APPLICATION DES APPRENTISSAGES DE L’ATELIER 8

VI. CONTENUS THEMATIQUES DU MODULE PAR UNITE 8

Unité 1 : CONCEPTS FONDAMENTAUX DU SUIVI & EVALUATION ET NOTIONS APPARENTEES 9

I. Définition des concepts 9

Unité 2 : SYSTEME DE SUIVI & EVALUATION DES PROJETS/PROGRAMMES 16

I. Le Plan de suivi & évaluation 16

II. Les acteurs du suivi & évaluation 22

III. Les activités du suivi & évaluation 23

Unité 3 : EVALUATION DE LA PERFORMANCE DES SERVICES DE SANTE 26

I. Les indicateurs de la performance 26

II. Eléments de calcul d’un indicateur 27

III .Utilisation des indicateurs quantitatifs et qualitatifs 28

IV. Utilisation d’indicateurs pour le suivi de la performance 29

V. L’évaluation de la performance du personnel 29

ANNEXES 31

BIBLIOGRAPHIE ET DOCUMENTS DE REFERENCE 33

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 7

MODULE DE FORMATION SUR LE SUIVI ET

EVALUATION

THEME : SUIVI ET EVALUATION DES PROGRAMMES

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION8

I. DUREE DE LA FORMATION : 06 heures

II. PROFIL PROFESSIONNEL DES PARTICIPANTS:

l Directeurs du niveau central l Cadres de la DPRS, de la DSME, de la DAGE l Equipes cadre de région (ECR) et Equipes cadre de district (ECD) l Planificateurs des niveaux central et régional l Responsables de suivi évaluation l Chefs des services techniques déconcentrés l Responsables d’ONG locales

III. BUT ET OBJECTIFS GENERAUX

A. But

Renforcer les compétences en suivi & évaluation des acteurs des niveaux central, intermédiaire (régions médicales) et opérationnel (districts sanitaires) du MSAS.

B. Objectifs généraux Expliquer les concepts de base du suivi& évaluation des projets/grammes de santé

Décrire le processus de mise en œuvre du suivi &évaluation des projets/programmes de santé.

IV. UNITES THEMATIQUES DU MODULE

Concepts fondamentaux du Suivi & Evaluation et notions apparentées

Système de suivi & évaluation des projets/programmes

Evaluation de la performance des services de santé.

V. PLAN DE MISE EN APPLICATION DES APPRENTISSAGES DE L’ATELIER

Le plan de mise en application sert à assurer que chacun trace son parcours d’apprentissage pendant l’atelier pour s’en servir après dans le cadre du travail quotidien. Il devient donc un outil pour la période post- atelier qui :

l Servira de rappel des engagements pris pour la mise en application des apprentissages l Fera l’objet de discussion avec son superviseur l Permettra au personnel qui assure le suivi et l’évaluation de noter les progrès effectués et les obstacles éventuels rencontrés lors de la mise en application des apprentissages dans le service de chacun.

Le plan est sous-divisé en fiches de réflexion à remplir périodiquement, pendant que les apprentissages sont encore frais dans la mémoire de chacun. A la fin de l’atelier les fiches servent pour établir le plan à suivre après l’atelier. La première fiche est à remplir au début de l’atelier, une fois les objectifs et le programme expliqués, pour établir ce que chacun espère en tirer.

Pour la première fiche de réflexion relative aux objectifs de l’atelier et aux apprentissages principaux que chacun espère en tirer, se référer au document « Module suivi et évaluation dans le secteur de la santé : Plan de mise en application »

VI. CONTENUS THEMATIQUES DU MODULE PAR UNITE

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 9

UNITÉ 1 : CONCEPTS FONDAMENTAUX DU

SUIVI & EVALUATION ET NOTIONS APPARENTEES

Objectifs spécifiques : A la fin de leurs activités d’apprentissage, les participants seront capables de :

1. Expliquer les concepts de suivi & évaluation et notions apparentées dans le cadre de la mise en œuvre des projets/programmes.

2. Déterminer les éléments de différenciation des concepts dans le cadre de la gestion axée sur les résultats (GAR), le cadre de performance et la chaîne de résultats.

I. Définition des concepts Les termes « suivi & évaluation » tendent à être utilisés ensemble, comme s’il ne s’agissait que d’un seul et même concept. Le suivi et l’évaluation sont en fait, deux notions bien distinctes d’activités d’appréciation étroitement reliées mais non identiques.

A. Le Suivi C’est un processus de collecte systématique des données d’un projet ou programme en vue d’en apprécier les aspects significatifs de mise en œuvre. Ceux-ci concernent tout ce qui touche à la viabilité dudit projet/programme, en termes d’activités planifiées, de moyens mobilisés (financiers, matériels, logistiques) et de ressources humaines. Le suivi adresse les questions suivantes :

1. Jusqu’à quel degré les activités planifiées sont-elles réalisées?

2. Faisons-nous des progrès vers l’accomplissement de nos objectifs?

3. Quels sont les services fournis?, à qui? quand? à quel rythme? pour combien de temps? et dans quel contexte?

4. Combien les services fournis sont-ils satisfaisants?

5. Quelle est la qualité des services fournis ?

Le suivi porte sur différents aspects, notamment :

1. Le contexte ou la situation

2. La conformité

3. Le processus, les activités

4. Les finances

5. L’organisation

6. Les bénéficiaires

7. Les résultats

8. La performance

9. Le contrôle

10. La supervision

11. Le monitoring

12. L’audit.

1. Le suivi du contexte ou de la situation

Il surveille l’environnement du projet, notamment les hypothèses et les facteurs qui peuvent nuire à la réalisation du projet, mais aussi les imprévus. Le suivi du contexte porte sur la situation locale ainsi que sur un contexte plus large incluant le politique, l’institutionnel, le réglementaire et le financement du projet/programme. Par exemple, si un projet est mis en œuvre dans une région exposée aux conflits, il s’agira de suivre l’évolution de la crise, qui pourrait non seulement nuire à la réalisation du projet mais aussi mettre en danger le personnel et les volontaires.

2. Le suivi de conformité

Il vérifie la conformité du projet avec les lois et règlements nationaux, les valeurs morales, les modalités des subventions et des contrats et les résultats attendus. Par exemple, dans le cadre d’un programme de lutte contre la mortalité maternelle et infantile, il s’agit de déterminer si la maternité existante est conforme aux normes nationales et internationales en matière de construction, d’équipement et de disponibilité de personnel qualifié.

Par ailleurs la maternité doit être fréquentée par les bénéficiaires.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION10

3. Le suivi du processus ou des activités

Il sert à analyser comment les activités sont exécutées, leur efficacité en termes de respect des délais et d’utilisation des ressources. Le suivi du processus évalue l’utilisation des apports et des ressources, l’état d’avancement des activités et la réalisation des produits. Il est souvent mené conjointement avec le suivi de la conformité et sert de point de départ à l’évaluation de l’impact. Par exemple, dans le cadre du projet de lutte contre le paludisme, il s’agira de déterminer si les moustiquaires imprégnées ont été distribuées aux bénéficiaires conformément au calendrier établi.

4. Le suivi financier

Il détermine la situation des comptes par apport et par activité dans des catégories prédéfinies de dépenses. Il est souvent mené conjointement avec le suivi de la conformité et du processus. Par exemple, dans le cadre du financement direct de l’USAID, il s’agira de faire le suivi de l’utilisation des fonds mis à la disposition des structures bénéficiaires afin de garantir que la mise en œuvre des plans d’action est conforme au budget et au calendrier des activités planifiées .

5. Le suivi organisationnel

Il est axé sur la viabilité, le développement institutionnel et le renforcement des capacités dans le cadre du projet/ programme et au niveau des partenaires. Il est souvent mené conjointement avec les mécanismes de suivi de la structure d’exécution. Par exemple, le MSAS peut procéder à un suivi organisationnel pour évaluer le niveau de communication et de collaboration entre les structures du niveau central et celles du niveau régional.

6. Le suivi des bénéficiaires

Il rend compte de la perception qu’ont les bénéficiaires sur le projet/programme. Ce suivi permet également de mesurer la satisfaction des bénéficiaires et de recenser leurs éventuelles réclamations, notamment en ce qui concerne leur participation, la façon dont ils sont traités, leur accès aux ressources et les changements apportés. Parfois appelé « suivi par contact des bénéficiaires », il comprend souvent un mécanisme de prise en compte des remontées d’information des parties prenantes. Il devrait tenir compte des différents groupes de population et de la perception qu’ont les bénéficiaires indirects (p. ex., les membres de la communauté ne recevant pas directement un bien ou un service du projet/programme).

Par exemple, dans le cadre d’un « programme de lutte contre le VIH/SIDA » destiné à réduire la prévalence de l’infection, il s’agira de recueillir l’avis des membres de la communauté sur le choix des relais communautaires menant des activités de sensibilisation.

7. Le suivi des résultats

Il étudie les effets et l’impact du projet. Le suivi des résultats est une forme d’évaluation visant à déterminer si le projet/programme est en voie d’atteindre les résultats planifiés (produits, réalisations, impact) et s’il a des effets non recherchés (positifs, négatifs).

Par exemple, dans le cadre d’un projet de soutien psycho-social, il faudra déterminer si les activités permettent de réaliser les produits qui contribuent à renforcer la résilience de la communauté et sa capacité de se relever après une catastrophe.

8. Le suivi de la performance

Le suivi des performances est la collecte continue et systématique de données sur les indicateurs de performance en vue de montrer si les résultats souhaités sont atteints et si la mise en œuvre est en bonne voie. Les données de suivi de la performance peuvent être utilisées pour :

a. Identifier les obstacles dans la mise en œuvre

b. Pointer sur les domaines dans lesquels une évaluation pourrait être nécessaire

c. Eclairer la prise de décisions, l’allocation des ressources

d. Soutenir la collaboration et la discussion avec les parties prenantes sur les tendances de la performance.

9. Le contrôle

C’est une investigation généralement ponctuelle, portant sur une ou plusieurs opérations, un ou plusieurs segments d’une intervention. Il est destiné à vérifier le respect des procédures et des normes. Si un contrôle statutaire récurrent est inséré dans l’organisation d’une intervention, il rentre dans le concept global du suivi. Comme le suivi, il peut contribuer à donner aux instruments de mesure des contenus en termes de réalisations et de performances ;

le contrôle s’appuie sur des indicateurs. Si le contrôle peut porter sur un nombre important de contenus, il n’a pas fondamentalement pour objet de les relier.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 11

10. La supervision

C’est une fonction de gestion consistant en un ensemble d’activités d’encadrement visant l’exécution efficace des tâches et l’amélioration continue des performances du personnel. Elle se résume en :

a. Une exploration des tâches liées au poste

b. Un examen de l’efficacité dans l‘exécution de ces tâches

c. L’identification des difficultés éventuelles à l’origine des limites

d. La recherche de solutions idoines aux problèmes

e. La mise en œuvre des solutions adéquates.

L’idée de supervision, comme celle de contrôle, tout en présentant des spécificités, peut être prise en compte dans le système de suivi en ce sens qu’elle vise à:

a. Obtenir une meilleure exécution des activités

b. Assurer la réalisation des activités conformément à la planification

c. Accroître les connaissances des acteurs

d. Développer la motivation du personnel dont les compétences et les performances sont par ricochets améliorées.

En d’autres termes, la supervision consiste en l’action qui vérifie que le programme est réalisé conformément à la planification, et selon des standards de qualité préalablement établis. Son rôle est d’identifier les causes de réalisation non conforme et de proposer des solutions appropriées. Il est admis que : « Superviser, c’est vérifier que ce qui est fait est bien fait conformément aux politiques, normes et protocoles».

11. Le monitoring

C’est un outil de gestion au niveau local pour augmenter la couverture des programmes de santé grâce à une surveillance périodique du bon déroulement des activités par le personnel qui en est responsable. Le monitoring s’assure que le programme :

a. Progresse conformément aux objectifs fixés

b. Aide à identifier les vrais problèmes au fur et à mesure qu’ils se posent

c. Aide à choisir les actions correctrices à mettre en œuvre.

12. L’audit

L’audit est l’examen professionnel qui consiste en une expertise et un jugement sur l’organisation, la procédure, ou une opération quelconque d’une entité réalisée par un agent compétent et impartial. C’est un outil d’amélioration continue, car il permet de faire le point sur l’existant (état des lieux) afin d’en dégager les points faibles et/ou non conformes (suivant les référentiels d’audit). Il permet de mener par la suite les actions adéquates et de corriger les écarts et dysfonctionnements constatés éventuellement.

B. Le suivi d’un projet/programme Le suivi d’un projet/programme est une fonction continue qui vise à fournir aux gestionnaires du programme et aux principales parties prenantes des indications sur les progrès réalisés en direction des objectifs fixés (intrants, processus, extrants, impacts) ou des difficultés rencontrées au cours de la mise en œuvre du programme. Les principaux domaines d’information requis dans un système de suivi d’un projet/programme sont:

1. les intrants,

2. le processus,

3. les extrants.

1. Les intrants

Ce sont les ressources utilisées dans le cadre d’un projet/programme, telles que les ressources financières (provenant du gouvernement, des partenaires et bailleurs), les ressources humaines (prestataires et administrateurs), les ressources matérielles (directives, plans stratégiques, protocoles, guides de mise en œuvre, manuels de formation, supports de collecte, etc.

2. Le processus

Il détermine les activités que le projet/programme mène pour atteindre ses objectifs, telles que les ateliers de formation, la supervision formative, les séances d’IEC-CCC, la distribution de produits/supports, les séances de counseling etc.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION12

3. Les extrants ou les résultats

Ce sont les résultats immédiats (à court terme) produits par les activités du projet/programme. On les appelle les Produits directs ou produits livrables du projet/programme tels que le nombre des condoms distribués, l’effectif des prestataires formés, le nombre de personnes touchées par le programme IEC/CCC, le nombre de femmes vues en CPN, le nombre de prestataires formés sur le protocole de PEC de la malnutrition aiguë sévère.

C. L’ Evaluation C’est une appréciation ponctuelle, systématique et objective d’une intervention, en cours ou terminée, de sa conception, de sa mise en œuvre et de ses résultats.

Le but est de déterminer la pertinence et l’atteinte des objectifs, l’efficience, l’efficacité, l’impact et la durabilité (viabilité).

Une évaluation devrait fournir des informations crédibles et utiles permettant d’intégrer les leçons de l’expérience dans les processus de décision

C’est un exercice limité dans le temps qui vise à mesurer objectivement l’impact (résultats) observé au niveau de la population, et attribuable aux interventions dudit projet/programme. Elle détermine si et dans quelle mesure les objectifs assignés ont été atteints. L’évaluation doit répondre aux questions suivantes :

a. Quelles sont les réalisations observées?

b. Quel est le sens de ces réalisations?

c. Est-ce que le programme a produit un changement, et dans quelle proportion?

L’évaluation requiert, entre autres:

a. Une méthodologie pertinente et élaborée par une équipe

b. La collecte de données au début du programme (pour constituer des éléments de référence, une Baseline), et à la fin du programme, plutôt qu’à intervalles répétés pendant la mise en œuvre du programme.

c. Un groupe de contrôle ou témoin afin de mesurer si les changements au niveau des réalisations peuvent être attribués au programme

Les objectifs de l’évaluation sont :

a. Apprécier les changements dans le groupe cible (ex: changement dans le comportement à risque)

b. Estimer le degré auquel les objectifs ont été atteints : c’est le processus pour déterminer l’efficacité d’un projet ou d’un programme

c. Suivre les réalisations et les impacts des projets ou programmes sur des échelles plus larges de population (résultats à mi-parcours obtenus, effets à long-terme ex: changement dans l’état de santé).

1. Les types d’évaluation

L’évaluation peut être réalisée selon le moment, les personnes, les techniques ou méthodes, tel que résumés dans le tableau ci-après.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 13

Résumé des principaux types d’évaluation

Selon le moment de l’évaluation

Selon les personnes qui mènent l’évaluation

Selon les techniques ou méthodes d’évaluation

L’évaluation formative est menée durant la mise en œuvre d’un projet/programme pour améliorer les performances des intervenants et vérifier la conformité des interventions aux normes et protocoles.

L’évaluation récapitulative est réalisée au terme de la mise en œuvre pour mesurer l’efficacité et l’impact du projet/ programme.

L’évaluation de base (baseline) qui se réalise au début d’un projet/programme et qui donne une situation dite de référence qui servira à déterminer les marges de progression ou le niveau d’atteinte des objectifs lors des évaluations à mi-parcours et finales L’évaluation à mi-parcours est une évaluation formative conduite au milieu de la phase de mise en œuvre. Tout projet/ programme dont la durée dépasse 24 mois doit faire l’objet d’une analyse, d’une évaluation ou d’un examen à mi-parcours. En général, il n’est pas nécessaire de faire appel à un évaluateur indépendant ou externe pour ce type d’évaluation, à moins que des besoins spécifiques ne l’exigent.

L’évaluation finale est une évaluation récapitulative (et souvent externe) menée au terme de la mise en œuvre pour évaluer la mesure dans laquelle les objectifs prévus du projet/ programme ont été atteints. Tout projet/programme devrait faire l’objet d’une évaluation finale, interne ou externe.

L’évaluation interne ou autoévaluation est réalisée par les responsables de la mise en œuvre d’un projet/programme. Elle peut être moins onéreuse qu’une évaluation externe et contribuer à renforcer les capacités et l’implication du personnel.

Toutefois, elle peut parfois manquer de crédibilité aux yeux de certaines parties prenantes, telles que les donateurs, car elle est considérée comme plus subjective. Elle est plus axée sur les enseignements à tirer que sur la redevabilité.

L’évaluation externe ou indépendante est effectuée par des évaluateurs qui ne font pas partie de l’équipe de mise en œuvre et apportent ainsi un certain degré d’objectivité et, bien souvent, un savoir-faire technique. Elle est axée sur la redevabilité.

Une évaluation finale indépendante doit être réalisée pour toute intervention. Si l’évaluation finale est effectuée par l’équipe de gestion du projet/programme, elle devrait être examinée par le département Planification et évaluation ou par le biais de tout autre mécanisme d’assurance qualité indépendant, choisi par ce département.

L’évaluation participative ou combinée, elle associe un expert externe au staff du projet/ programme durant la mise en œuvre de l’évaluation. Elle a les avantages de :

l donner de la crédibilité aux résultats au regard des partenaires et des bailleurs, l renforcer les capacités du staff dans le domaine de l’évaluation l favoriser l’appropriation par le staff du projet/programme.

L’évaluation en temps réel est une évaluation menée pendant la mise en œuvre du projet/programme pour fournir des informations immédiates sur les moyens d’améliorer la mise en œuvre en cours. Elle est plus axée sur les enseignements à tirer en temps réel que sur l’impact ou la redevabilité.

Elle est particulièrement utile pendant les opérations d’urgence et doit avoir lieu au cours des trois premiers mois si les conditions suivantes sont réunies.

Une méta-évaluation est utilisée pour évaluer le système d’évaluation. Elle est principalement utilisée pour :

l dresser l’inventaire des évaluations pour orienter le choix des activités d’évaluation ;

l faire une synthèse des résultats de l’évaluation ;

l vérifier la conformité avec les politiques relatives à l’évaluation et les meilleures pratiques.

Il s’agit de voir si les évaluations sont bien diffusées et utilisées pour favoriser l’apprentissage institution-nel et le changement, entre autres.

2. L’évaluation d’impact

L’évaluation d’impact est la mesure ou l’appréciation des résultats attendus à long terme à la suite de la mise en œuvre d’un programme. Elle est intimement liée au suivi du processus. Les informations recueillies dans ce cadre peuvent aider l’évaluateur à comprendre comment et pourquoi les interventions ont accompli leurs effets.

a. Les Effets : ce sont les résultats du programme qui peuvent se produire soit immédiatement ou quelques temps après l’achèvement des activités. Par exemple, l’utilisation des compétences acquises par les prestataires, le changement de comportements des bénéficiaires, les changements au niveau des connaissances, des attitudes, des croyances observés chez les populations cibles, l’augmentation de l’accès et l’utilisation des services de santé sont des effets de l’application d’un projet/ programme de santé.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION14

b. Les Impacts : Ce sont les résultats à long terme d’un ou de plusieurs programmes, dans le temps tels que les changements au niveau de la morbidité et de la mortalité.

Le graphique ci-dessous illustre les impacts de la mise en œuvre d’un programme.

Figure n°1 : Représentation graphique de l’impact d’un programme de santé.

Source : USAID/MEASURE (2009): Eléments de base en suivi évaluation.

D. Quelques éléments de distinction des concepts

Concepts Buts Acteurs Produits

Suivi Assurer la bonne exécution des activités du projet par rapport au plan d’action

Supérieur hiérarchique, Responsable S&E

Plan de suivi du programme/projet

Evaluation Mesurer l’atteinte des objectifs et les changements induits

Expert commandité

Evaluateurs internes

Recommandations sur la poursuite / arrêt du projet

Contrôle

Vérifier l’exécution des activités ou des tâches par rapport aux normes, procédures et règlements

Supérieur hiérarchique

Expert /Personne ressource

Rapport technique

Sanction (positive ou négative)

Supervision

Apprécier l’exécution correcte des activités/tâches

Améliorer les compétences

Supérieur hiérarchique

Personne- ressource ayant des compétences en supervision

Rapport de supervision

Plan de suivi des recommandations

Monitoring

Assurer la bonne exécution de l’activité grâce à l’identification des écarts et la prise de mesures correctives

Equipe ayant l’expertise

Le prestataire lui-même

Rapport de monitoring

Plan de suivi du monitoring

E. La Gestion Axée sur les Résultats (GAR) La gestion axée sur les résultats est une approche globale de la gestion des projets et des programmes qui vise principalement à définir des résultats mesurables ainsi que les méthodologies et les outils à utiliser pour obtenir ces derniers. Ce mode de travail contribue à améliorer la performance et la redevabilité grâce à une logique claire. Il s’agit de planifier, de gérer et de mesurer une intervention en se concentrant sur les résultats que l’on veut obtenir.

Le suivi et l’évaluation sont des éléments essentiels de la gestion axée sur les résultats. Ils sont les fondements de comptes rendus clairs et précis sur les résultats d’une intervention (projet ou programme). Ainsi, le compte rendu est une occasion d’effectuer une analyse critique qui consiste à tirer des enseignements en vue d’éclairer la prise de décisions et de pouvoir mener l’évaluation d’impact. En définissant à l’avance les résultats attendus d’une intervention et les moyens de déterminer s’ils ont été atteints, nous pouvons mieux observer si notre action a réellement eu un impact sur les personnes concernées.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 15

Exemple de cadre de performances et de chaîne de résultats en GAR

CADRE DE PERFORMANCES ET CHAINE DE RESULTATS EN GAR

F. But du suivi & évaluation Le suivi et l’évaluation aident à la prise de décisions éclairées à chaque étape du cycle de projet/programme. Ils permettent d’apporter des correctifs et ajustements nécessaires au cours de l’exécution et à la fin du projet. Le suivi et l’évaluation offrent plusieurs opportunités notamment :

a. La prise de décisions basées sur des preuves objectives, évidentes

b. L’utilisation plus efficace et plus judicieuse des ressources disponibles

c. L’évaluation objective du niveau de réalisation du programme (effets, impact désiré)

d. La satisfaction aux exigences de redevabilité et de transparence.

Le suivi et l’évaluation ont des exigences méthodologiques qu’il convient de respecter aux risques d’obtenir des résultats biaisés dont l’utilisation serait préjudiciable aux prises de décisions. En effet, selon l’étude réalisée en 2017 par le MSAS/DSISS-PAODES, la moitié (50 %) des données collectées au niveau des structures sanitaires seraient inexactes et, par conséquent, n’ont pas été utilisées pour édifier des prises de décisions.

Exercice n°1: 20 minutes

En tenant compte des exemples de projets de santé résumés ci-dessous:

1. Déterminez les types de suivi ou d’évaluation pertinents qui s’accordent à chacun d’eux.

2. Justifiez vos réponses

A. La DSME désire savoir si le programme quinquennal de santé de la reproduction des adolescents et des jeunes exécuté dans la région médicale de Saint louis a réduit les grossesses non désirées chez la population cible.

B. Le CNLS désire savoir combien de préservatifs ont été distribués cette année aux professionnels du sexe pour réduire les risques d’infection aux IST/VIH.

C. La DSME voudrait savoir si la prise en charge post- abortum assurée dans les centres de santé des districts de la Région médicale répond aux politiques, normes et protocoles nationales de qualité validées par le MSAS.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION16

UNITÉ 2 : SYSTEME DE SUIVI & EVALUATION

DES PROJETS/PROGRAMMES

Objectifs spécifiques : A la fin de leurs activités d’apprentissage, les participants seront capables de :

1. Expliquer les différentes étapes d’élaboration d’un plan de suivi & évaluation de projets/programmes.

2. Expliquer les acteurs et activités du suivi & évaluation dans la gestion de projets/programmes.

Le suivi & évaluation est un domaine fondamental d’actions dans la réalisation des projets/programmes. Il est basé sur un système qui comporte trois aspects essentiels à prendre en compte :

1. Le plan de suivi & évaluation

2. Les acteurs de suivi & évaluation

3. Les activités de suivi & évaluation.

I. Le Plan de suivi & évaluation Il est élaboré lors de la phase de conception de tout projet/programme et peut être structuré de diverses manières.

Cependant, les plans ont tous approximativement le même contenu.

A. Exemples de plan de suivi & évaluation

CESAG, Dakar-Sénégal, Juillet 2010

1. Introduction/Description du problème de santé

2. Description du programme- buts, objectifs, cadre conceptuel, activités, cadre des résultats

3. Description des indicateurs avec sources de données, etc. (matrice et feuilles de référence)

4. Description des mécanismes de collecte des données

a. Suivi

b. Evaluation

5. Plan de démonstration de l’impact

6. Plan de dissémination et utilisation des données/ résultats

7. Analyse des obstacles à la qualité des données et solutions potentielles;

8. Plan de mise en œuvre du Plan S/E avec calendrier et budget

9. Annexe

USAID/ADS 200-203, 2016

1. Evaluation de la situation

2. Description sommaire du Projet /Programme

3. Suppositions clés / Hypothèses de développement

4. Cadre de résultats du Projet/Programme

5. Plan de Suivi de la Performance (PSP)

• Ensemble complet d’indicateurs de performance

• Les sources de données

• Méthodologies de collecte de données

• La fréquence des rapports de données

• Les acteurs du S&E du Projet/Programme

• Les méthodes et outils de collecte de données

6. Plan d’évaluation

7. Contrôle de qualité des données

8. Plan d’apprentissage

9. Plan de diffusion et d’utilisation des données

10. Annexes

B. Etapes d’élaboration d’un plan de suivi & évaluation L’élaboration d’un plan de suivi & évaluation comporte les étapes chronologiques suivantes :

1. L’évaluation de la situation

2. La description sommaire du projet /programme

3. Les suppositions clés / Hypothèses de développement

4. Les cadres de suivi & évaluation du projet/programme

5. Le plan de Suivi de la Performance (PSP)

6. Le plan d’évaluation

7. Le contrôle de qualité des données

8. Le plan d’apprentissage

9. Le plan de diffusion et d’utilisation des données

10. Les annexes

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 17

1. L’évaluation de la situation

L’évaluation de la situation permet au Responsable S&E d’avoir un tableau de bord sur un échantillon d’indicateurs.

Ces derniers permettent de suivre l’évolution des résultats, d’apprécier les écarts par rapport à des valeurs de référence (objectifs fixés, normes, références statistiques), etc. Ces indicateurs doivent être collectés en temps réel par le responsable S&E avec un accent particulier sur ceux qu’il considère comme étant les plus significatifs.

L’évaluation de la situation permet également des échanges entre les acteurs de S&E et les chargés de projet/ programme, et constitue dès lors un outil de communication. Elle fournit au Responsable de S&E, la ligne de base, les éléments de référence pour suivre les progrès dans la mise en œuvre des interventions. Généralement on procède de deux manières qui peuvent être combinées :

a. La recherche documentaire

Elle permet d’avoir les principaux indicateurs démographiques et de santé du pays, de la région ou du district d’intervention (Ex. morbidité et mortalité palustre, prévalence de la malnutrition aigüe, taux d’achèvement en CPN…).

La recherche documentaire permet également d’obtenir des données de routine pouvant servir de tendances. Ces données sont obtenues à partir des rapports de performance des régions et districts d’intervention.

b. L’étude situationnelle

Elle est menée par enquête descriptive qui permet, sur la base d’une liste d’indicateurs-clés, d’estimer la situation de base du projet pour une comparaison avant-après ou de cas-témoin. Ces études sont rigoureuses et sont, pour la plupart, confiées à un Cabinet d’études spécialisé.

2. La description sommaire du projet/programme

C’est une brève description du projet/programme tirée du document validé par le projet ou le programme (et non de la proposition d’étude).

Il comprend :

a. Les buts et les objectifs du projet

b. Les stratégies principales

c. Les domaines d’interventions phares

d. La théorie sous-jacente du changement souhaité

e. La population cible et le nombre de bénéficiaires ciblés dans la zone d’intervention

f. Les ressources du projet.

3. Suppositions clés / Hypothèses de développement

Les hypothèses fondamentales sur lesquelles repose la réalisation des objectifs du programme doivent être décrites.

Ces suppositions clés qui appuient la théorie du changement ou de l’hypothèse de développement du projet doivent démontrer par exemple que, si l’hypothèse X est prise en compte alors le résultat Y sera atteint.

4. Cadres de suivi & évaluation du projet/programme

Ils désignent un ensemble d’outils de planification, de conception, de gestion et d’évaluation de performances de projets. Les cadres de suivi et évaluation contribuent à la bonne compréhension des programmes nationaux et des objectifs mesurables à court, moyen et long termes. Ils permettent d’identifier les éléments du projet (buts, objectifs, produits et résultats), leurs liens de causalité et les facteurs externes qui peuvent contribuer au succès ou à l’échec du projet. On distingue le cadre conceptuel, le cadre stratégique etc.

a. Le cadre conceptuel Il organise tous les facteurs significatifs affectant la mise en œuvre du projet/programme et l’atteinte des objectifs. Le cadre conceptuel illustre les relations entre les facteurs systémiques, organisationnels, individuels et autres variables pouvant influencer significativement le fonctionnement et la réalisation des buts du programme ou du projet.

Ce type de cadre est appelé également « cadre de recherche ». La figure ci-dessous est une illustration du cadre conceptuel d’un projet/programme de santé.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION18

Figure n°1 : Cadre conceptuel de la Cellule de santé communautaire du MSAS

CADRE CONCEPTUEL

MSAS/CSC/2016

Cadre réglementaire et institutionnel non adapté

Couverture des infrastructures insuffisante

Disponibilité des intrants et équipement insuffisante

Système de santé communautaire non adapté

Inégalité dans l’accès des structures et l’offre communautaire

Gestion du personnel ACS inadéquate

Manque de Leadership pour la santé des collectivités locales

Manque de précision des rôles

Formation des ACS sur les paquets de services non harmonisée

Manque d’intégration de la santé communautaire

Faible engagement de la santé communautaire

Motivation des

ACS

insuffisante

Faible utilisation des services de santé communautaire

Baisse de la qualité des services rendus

Faible performances des structures communautairess

Morbidité et mortalité élevées

b. Le cadre de résultats (ou cadre stratégique) Il identifie les étapes ou niveaux des résultats en illustrant les relations causales aux objectifs d’un projet/programme.

Il vise à :

l Focaliser clairement les relations causales de progression graduelle des résultats vers l’impact global du programme l Aider à identifier d’une part, la logique et les liens des projets/programmes et, d’autre part, les éléments nécessaires et suffisants de succès.

Le schéma ci-dessous est une illustration d’un cadre de résultats.

Figure n°2 : Cadre stratégique de Cellule de Santé Communautaire du MSAS

CADRE STRATEGIQUE

MSAS/CSC/2016

Renforcement de la couverture géographique

Elargissement de l’offre de services de qualité

Participation des communautés et des collectivités locales

Intégration au système de santé

Financement de la santé communautaire

Motivation des acteurs communautaires

Disponibilité des médicaments et produits

Formation intégrée des acteurs communautaire s

Harmonisation des paquets de services

Pérennisation des interventions communautair es Amélioration de la gouvernance sanitaire

Amélioration de la santé maternelle

Amélioration de santé infanto juvénile

Réduction du fardeau de la maladie

Leadership accru de la gestion de la santé communautaire

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 19

Figure n°3 : Exemple de cadre stratégique

Comme on peut le voir dans cet exemple, le cadre de résultats comprend :

l Un but général l Un objectif stratégique (OS) ou Objectif de développement l Des résultats intermédiaires (RI).

u Un OS est un aboutissement qui est le résultat le plus ambitieux que l’on peut réaliser et pour lequel l’organisation est disposée à être tenue pour responsable.

u Un RI est un résultat direct ou indirect qui est nécessaire pour réaliser un OS.

Au RI il est souvent rattaché des Sous-résultats intermédiaires.

Le cadre de résultats, parfois appelé « cadre stratégique » établit schématiquement les liens de causalité directs entre les résultats intermédiaires des activités essentielles qui font remonter à l’objectif général et au but de l’intervention.

Cela clarifie les points de toutes les interventions où les résultats peuvent faire l’objet de suivi et évaluation.

5. Le plan de suivi des performances (PSP)

Il est généralement présenté sous forme d’une matrice qui prend en compte les éléments ci-après :

a. Un ensemble complet d’indicateurs de performance

b. Les sources de données

c. Les méthodologies de collecte de données

d. La fréquence des rapports de données

e. Les acteurs du S&E du projet/programme

f. Les méthodes et outils de collecte de données.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION20

Exemple de cadre de suivi des performances

Pour chaque indicateur, le mode de calcul, les données de références, les cibles, les sources ainsi que le niveau et la périodicité de collecte sont précisés et résumés dans cette matrice. Cette dernière nous permet d’avoir un cadre de suivi des performances.

R és ul ta ts es co m pt és In di ca te ur s

D on né es d e ba se

C ib le

M ét ho de c ol le ct e P ér io di ci té

N iv ea u lle ct e

So ur ce d e co lle ct e

Responsable

A nn ée d e ré fé re nc e va le ur

R és ul ta t pr io ri ta ir e

Le s po pu la tio ns on t ac cè s ég al à s se rv ic es v ar ié s de s an

1.

: P ro po rt io n po pu la tio ns a ya nt é uv er te s pa r le s C as es d e sa nt é

En qu êt e

A nn ue lle

N at io na l

ED

S c on tin ue C

SC

Ex tr an t

1.

la uv er tu re d es la tio ns e n se rv ic es d e sa nt é co m m un au ta ir e es t ré al is ée

1.

1.

2:

P ou rc en ta ge d e ré gi on s ay an t ré al is é un e en qu êt e ca rt og ra ph ie

0%

R ev ue do cu m en ta ir e Se m es tr ie lle R ég io n R ap po rt d e ca rt og ra ph ie r ég io ns C

SC

1.

1.

3.

P ou rc en ta ge d e ré gi on s ay an t él ab or é un p la dé ve lo pp e m en t

0% m en ta ir e Se m es tr ie lle R ég io n R ap po rt d e ca rt og ra ph ie r ég io ns C

SC

1.

1.

3.

P ou rc en ta ge d e ca se s de s an té é ri gé es e n po st es d e sa nt é m en ta ir e Se m es tr ie lle R ég io n

R ap rt p la dé ve lo pp em en t de r ég io ns

C

SC

R és ul ta t im m éd ia t

1:

le po pu la tio so nt in fo rm ée s de la d is po ni bi lit é de s pa qu et s de s er vi ce s pr op os és p ou r ch aq ue a ct eu r co m m un au ta ir e sa nt é

1.

.1 : P ro po rt io la tio ns in fo rm ée s su r le s pa qu et s de s er vi ce s pr op os és ur c ha qu e ac te ur d e sa nt é co m m un au ta ir e

En qu êt e

A nn ue lle

N at io na l

ED

S co nt in ue C

SC

Ex tr an t

1.

2:

L a co m m un ic at io n de m as se ur le pa qu et s es t ef fe ct ué e

1.

2.

2:

N om br e de c on ve nt io ou c on tr at s si gn és a ve c le s m éd ia s lo ca ux

D éc om pt e

Se m es tr ie lle

R ég io n

R ap po rt d e ré gi on M

C R d e ré gi on

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 21

Exercice n° 2 : En vous inspirant des cadres de suivi et évaluation développés plus haut, et en tenant compte de la mise en œuvre des projets/programmes dans vos services respectifs :

a. Remplissez le canevas de cadre conceptuel d’un projet déterminé de votre choix.

b. Remplissez le canevas de cadre de résultats (le cadre stratégique) dudit projet.

c. Proposez un cadre de suivi des performances dudit projet en vous référant à l’exemple proposé ci-dessus

6. Le plan d’évaluation

C’est un instrument d’évaluation des résultats atteints dans le cadre d’un projet/programme. Il porte sur les données de base qui servent à établir une situation de référence permettant de suivre et d’évaluer la progression et l’efficacité d’une activité de projet pendant sa mise en œuvre et après sa réalisation. Le plan d’évaluation peut se concevoir en utilisant différents types d’évaluation et d’autres méthodes d’analyse et de recherches, notamment :

a. L’évaluation interne réalisée par le personnel du projet/programme lors des missions sur le terrain sur la base d’un instrument standard pour observer ou relever le niveau d’un indicateur (ex : nombre de structures sanitaires supervisées une fois par semestre, pourcentage d’agents formés sur le suivi/évaluation sur le nombre prévu).

b. L’évaluation externe réalisée par un expert, consultant indépendant à la demande d’un bénéficiaire. Elle est suscitée par un partenaire suite à un constat de baisse d’indicateurs, ou pour les besoins d’une évaluation du bilan à mi-parcours, ou d’une évaluation finale.

c. La documentation des expériences utilisée en combinant l’analyse de contenu de documents (PTA, rapports programmatiques, base de données) et d’évaluation réalisée dans la période (analyse de perception, de satisfaction à partir d’entretiens individuels, focus group) etc.

d. Les études et recherches opérationnelles envisagées dans le plan de suivi évaluation pour améliorer la mise en œuvre du mécanisme des interventions. Les études proposées dans le cadre des recherches opérationnelles devraient être réalisées selon les besoins et priorités du projet/programme. Ces questions de recherche devraient être inscrites dans le plan et être révisées au besoin.

Exemple de matrice pour les questions de recherche (Intrahealth, 2010)

7. Le contrôle de qualité des données

Il est réalisé en mettant l’accent sur les éléments suivants : la validité, l’intégrité, la précision et la complétude, la fiabilité et le temps.

l La validité : les données sont exactes, vérifiées dans leur support et adéquatement reliées au résultat qu’elles sont censées mesurer.

l L’intégrité : les données sont sécurisées de manière à minimiser les risques de transcription ou de manipulation. Par exemple, l’utilisation du Logiciel TOM2PRO pour la gestion financière et comptable permet de sécuriser les données et de les protéger contre d’éventuelles manipulations. L’appui des partenaires au système d’information sanitaire est une opportunité pour la sécurisation des données dans le DHIS2.

l La précision et la complétude : les données ont un niveau de confiance (triangulation DHIS2-Rapports des districts et des régions médicales, « niveau de score satisfaisant » pour les formations) tel qu’elles puissent permettre une prise de décision éclairée et une bonne gestion des indicateurs SRMNIA-PF et des programmes prioritaires nationaux.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION22

l La fiabilité : les méthodes de collecte des données utilisées dans les évaluations ont été testées et attestent qu’elles permettent d’obtenir des données stables avec un niveau de confiance élevé.

l Le temps : la transmission des données dans les délais requis permet de prendre des décisions rapides et à temps pour résoudre les problèmes. C’est une des normes de qualité pour estimer une intervention et permettre des actions d’utilisation des données pour l’amélioration des projets/programmes.

8. Le plan d’apprentissage

L’apprentissage peut être prévu dans le Plan de S&E sous la forme d’une ou de plusieurs questions de recherche que le projet/programme souhaite suivre et documenter en raison de leur importance ou de leur caractère innovant.

Exemples : quelle pourrait être la valeur ajoutée de la gouvernance locale intégrée au système de prestations de services ? Quelle serait l’apport des stratégies de santé communautaire dans la réduction des accouchements à domicile, et dans la massification des mutuelles de santé ?

De plus en plus, le plan de suivi & évaluation est orienté vers « l’apprentissage fondé sur des données probantes pour la prise de décision» en vue d’améliorer les activités du projet/programme. Les meilleures pratiques de financement, de gestion de la santé publique et communautaire identifiées à partir des analyses doivent être documentées sur le terrain et partagées avec d’autres entités pour rendre plus efficiente la mise en œuvre des interventions dans les régions et districts et dans les communautés (learning by doing : apprentissage institutionnel, success stories).

De plus en plus, le MSAS, via la DPRS, envisage de procéder à des fora ou journées de partage des leçons apprises, bonnes pratiques ou résultats d’études et de recherches innovantes.

9. Le plan de diffusion et d’utilisation des données

Le plan de suivi/évaluation du projet/programme met le focus sur l’amélioration de l’utilisation des données sanitaires de routine et des données issues des enquêtes nationales ou locales pour améliorer les activités mises en œuvre sur le terrain.

Les données recueillies à partir des systèmes existants (EDS, DHIS2) sont analysées, exploitées et mises à la disposition des membres de l’ECR, ECD, EPS, PTFs, et des cadres de concertation pour aider à des prises de décision éclairées en vue de renforcer ou réajuster les projets/programmes mis en œuvre.

10. Les annexes

Ce sont les documents qui ont été utilisés pour élaborer le plan de suivi/évaluation, et qui servent de complément d’informations. Exemple : instruments ayant servi au recueil de données, maquettes d’analyse, matrices.

Exercice n°3 : En tenant compte des résultats de l’exercice précédent (exercice n°2), proposez un plan d’apprentissage et un plan de diffusion sur une question choisie en vous inspirant de l’un des formats de plans proposés dans le cours.

II. Les acteurs du suivi & évaluation Les rôles et responsabilités des acteurs du suivi & évaluation sont différents et revêtent une grande importance.

Le responsable S&E est le principal acteur de la mise en œuvre et de l’évaluation du plan de suivi & évaluation.

Dans le cadre de la collaboration technique avec les autres programmes ou projets, le responsable S&E et son équipe collaboreront étroitement avec les équipes de la région ou de la zone d’intervention du projet/programme.

Des échanges et des contributions sont recueillis sur la base des informations, du niveau d’avancement des projets/ programmes et de la progression des indicateurs portant sur les gains de santé.

Le chef d’équipe, coordonnateur national ou régional, s’il s’agit d’un projet/programme, le directeur au niveau central ou le Médecin-chef au niveau régional ou du district assurent la supervision directe du responsable S&E qui leur rend compte.

Le responsable S&E, en collaboration avec les autres membres de l’équipe, évaluera la planification et la programmation des activités du plan trimestriel (activités planifiées réalisées, activités planifiées non réalisées, activités réalisées non planifiées).

L’évaluation du plan d’action renseigne sur le plan de suivi & évaluation, en particulier pour ce qui concerne les indicateurs d’activités. L’ensemble des activités prévues pour atteindre le sous-résultat intermédiaire (RI) fera l’objet de suivi, de même que celles concourant à l’atteinte des objectifs selon la période considérée. Le suivi prendra en compte les facteurs externes susceptibles d’interférer dans la vie du projet/programme. Par exemple au niveau central, le Responsable S&E de GOTAP travaillera étroitement avec celui du système d’information et de gestion du MSAS pour le développement des systèmes d’information sanitaire et des nouvelles stratégies d’information sanitaire du MSAS.

MODULE DE FORMATION SUR LE SUIVI ET EVALUATION 23

Le Responsable S&E de GOTAP travaillera aussi avec la DSISS pour un appui éventuel et ponctuel sur les outils de suivi et la plateforme DHIS2.

Les équipes cadres de région et des districts jouent un rôle important dans les activités de suivi & évaluation, les méthodes, les outils de collecte (sources, bases de données, etc.), la fréquence de collecte et de reporting, le plan d’évaluation, l’audit de la qualité des données (DQA), l’utilisation des données et la prise de décisions, le suivi des recommandations et la replanification.

III. Les activités du suivi & évaluation Cet aspect du système de suivi & évaluation est traité en prenant en compte le dispositif de suivi et d’évaluation du Document de Programmation Pluriannuel des Dépenses…