Suivi et évaluation 

Introduction

Ce module porte sur le suivi et l’évaluation de projets ou d’activités dans le cadre d’une association nationale de personnes sourdes. Le suivi et l’évaluation consistent à vérifier que les objectifs sont atteints pendant la durée du projet. Le suivi peut être perçu comme une surveillance continue et systématique des activités et des résultats. Le suivi peut documenter le processus et les résultats produits dans un projet ou une organisation. Il oriente et améliore le projet et permet d’en tirer des enseignements. Par exemple, la plupart des projets sont conçus à l’aide d’un outil de planification appelé “Approche du Cadre Logique, ACL”. L’évaluation est un examen systématique des réalisations d’un projet par rapport aux objectifs prévus et aux résultats attendus. La raison d’évaluer un projet est de découvrir dans quelle mesure le projet a répondu aux attentes. Un autre objectif de l’évaluation est de découvrir ce que vous avez appris au cours du projet. Par exemple, aurait-il été possible de faire quelque chose différemment ? 

Partie 1 : Suivi du site 

Le suivi est utilisé pour surveiller et documenter le processus et les résultats produits dans un projet ou une organisation. Vous pouvez également surveiller les changements dans les conditions de vie des personnes sourdes en général. Normalement, les personnes qui mettent en œuvre un projet sont également responsables de son suivi. Ces personnes peuvent être des membres du personnel du projet, mais dans certains cas, des consultants peuvent être engagés. Il sera toujours bon d’impliquer l’organe directeur de l’organisation chargée de la mise en œuvre dans les décisions relatives au suivi, si une équipe de projet s’occupe du travail pratique. Il est également utile d’impliquer le partenaire du Nord, qui peut faire des suggestions et contribuer au suivi. 

Qu’est-ce que le suivi ? 

Le suivi est l’observation et l’enregistrement réguliers des activités qui se déroulent dans le cadre d’un projet ou d’un programme. Il s’agit d’un processus de collecte régulière d’informations sur tous les aspects du projet. Le suivi consiste à vérifier l’évolution des activités du projet. Le suivi consiste également à donner un retour d’information sur l’avancement du projet aux donateurs, aux responsables de la mise en œuvre et aux bénéficiaires du projet. 

Objectif de la surveillance : 

Le suivi est très important dans la planification et la mise en œuvre d’un projet. C’est comme regarder où l’on va en faisant du vélo ; on peut s’adapter au fur et à mesure et s’assurer que l’on est sur la bonne voie. Le suivi fournit des informations qui seront utiles pour :  

• Analyser la situation de la communauté et son projet ; 
• Déterminer si les intrants du projet sont bien utilisés ; 
• Identifier les problèmes auxquels la communauté ou le projet est confronté et trouver des solutions ; 
• Veiller à ce que toutes les activités soient exécutées correctement par les bonnes personnes et en temps voulu ; 
• L’utilisation des enseignements tirés de l’expérience d’un projet pour un autre projet 
• Déterminer si la façon dont le projet a été planifié est le moyen le plus approprié de résoudre le problème en question. 

Pourquoi faire du monitoring ? 

1. Gérer et améliorer un projet et en tirer des enseignements 

L’objectif du suivi et de l’évaluation est de vous permettre, à vous et à vos partenaires, de suivre et d’améliorer un projet, en veillant à ce que votre performance soit de qualité. Même si l’on ne procède pas à un suivi et à une évaluation systématique, on a tendance à avoir une idée de l’évolution d’un projet et du développement de notre organisation. 

Si vous avez un projet visant à renforcer les capacités de votre organisation, vous savez combien de personnes siègent dans le bureau. Vous êtes également susceptible de savoir combien de membres vous avez, et combien de sections locales de l’organisation existent dans le pays. Mais savez-vous comment l’organisation s’est développée au fil des ans ? Savez-vous combien de personnes se sentent réellement affiliées à l’organisation ? Quelle est la situation dans les sections locales ? Mènent-elles des activités pour leurs membres ? Combien de revenus génèrent-elles ? Rédigent-elles des procès-verbaux de leurs réunions ? Si les données révèlent des problèmes de gestion des finances, vous pouvez adapter le projet en proposant une formation supplémentaire sur ce sujet. Une autre option pourrait être de modifier ou d’arrêter le projet, s’il s’avère qu’il ne produit aucun développement. 

2. Posséder la documentation nécessaire à l’exercice des droits  

Le suivi est une arme importante dans le lobbying et la poursuite des droits. Une condition préalable à un travail efficace sur les droits est la capacité de suivre et de documenter en permanence les développements dans la communauté sourde, par exemple : Quel est le pourcentage de femmes et d’hommes sourds qui sont analphabètes, et comment ce pourcentage se compare-t-il à celui de la population générale ? Combien d’enfants sourds vont à l’école ? Si vous connaissez les conditions réelles des personnes sourdes, il est beaucoup plus facile de demander des améliorations et de faire des propositions constructives sur la manière de les réaliser. Par exemple, si votre action en faveur des droits concerne l’intégration des enfants sourds dans le système éducatif, il est important de suivre les tendances sur le terrain et de compter sur des données fiables. Vous ne devez pas nécessairement collecter ces informations vous-même. Peut-être existent-elles déjà, et il suffit de les obtenir, ou vous pouvez faire pression sur les autorités compétentes pour qu’elles préparent des chiffres fiables. 

Example: Lorsque le ministère de l’éducation a lancé une campagne d’alphabétisation, il a pris l’initiative d’impliquer les personnes handicapées, sachant que nombre d’entre elles étaient analphabètes. Le ministère a convoqué diverses organisations de personnes handicapées à une réunion, leur demandant les noms des membres incapables de lire et d’écrire. Par la suite, l’organisation Alfa est retournée directement au bureau et a imprimé une liste de membres analphabètes directement à partir de sa base de données. Les autres organisations ont cependant passé plusieurs mois à collecter ces informations et n’ont jamais vraiment pu démarrer la campagne d’alphabétisation, alors qu’Alfa a réussi à réduire de moitié le taux d’analphabétisme parmi ses membres. 

Example: L’Association Nationale des Sourds, ANS, fournit souvent une assistance d’interprétation à la police et aux autres autorités. Ses cinq interprètes en langue des signes sont les seuls de ce type dans tout le pays. Cependant, l’ANS ne sait pas à quelle fréquence elle fournit des interprètes. Elle se trouve donc dans une position de faiblesse lorsqu’elle négocie avec le gouvernement pour couvrir les coûts des salaires des interprètes et demander la formation de plus d’interprètes. S’ils avaient mis par écrit la fréquence de leur aide aux autorités, ils auraient pu aller les voir et leur dire : “Au cours de l’année écoulée, nous avons fourni une assistance en matière d’interprétation à la police 62 fois, à la justice 18 fois et aux autorités fiscales 47 fois. En moyenne, ils ont passé cinq heures à chaque fois. Il est juste que l’État paie le salaire de deux interprètes, par exemple.”  

3. Vérifier si le projet atteint les objectifs prévus. 

De nombreux donateurs exigent des documents prouvant que le projet mis en œuvre produit effectivement les bénéfices promis lors de la demande de fonds. Par conséquent, il est plus facile d’obtenir des fonds pour de nouvelles interventions, si vous pouvez prouver que vos projets ont atteint les objectifs fixés. Il est également très motivant pour vous de savoir que vos projets atteignent leurs objectifs. 

4. Informer les membres et les autres 

Vos membres paient une cotisation à votre organisation. Ils veulent savoir à quoi cela sert s’ils paient une cotisation. Si vous suivez vos activités, vous pouvez également publier les résultats de votre travail. Cela permet également d’attirer d’autres donateurs pour soutenir votre travail. 

Ways to monitor

There are many ways to monitor your activities or work.

Monitoring of indicators: To judge whether a project is achieving what it has been designed to achieve.

Registration of participants: A good place to start monitoring is by registering project participants, since the project descriptions often establish that a certain number of deaf persons, usually specified by sex, will take part in activities. To document this, it is a good idea to keep a record of participants.

Follow-up visits to project sites: The project staff will normally carry out follow-up visits to the various project activities if these are not implemented by themselves. Systematic documentation of these exercises is an important part of monitoring.

Project visits: Most projects contemplate prescheduled visits from the partner in the North. The project visit may be an actual element of monitoring itself, but first and foremost, it offers the two parties an opportunity to go through the monitoring data together.

Progress reports: Reports are submitted during all project periods, using information from the monitoring.

Reviews and evaluations: The final evaluation, as well as possible mid-term reviews, will always use and analyse the monitoring data, and the better the monitoring, the better these exercises will be too.

Suivi à l’aide de l’ACL 

La plupart des projets sont conçus à l’aide d’un outil de planification appelé “Approche du Cadre Logique” (ACL). L’ACL est basée sur une division en différents niveaux, à savoir l’objectif de développement, d’un à trois objectifs immédiats, en plus des résultats et des activités. Les objectifs de développement sont la perspective à long terme, la vision ou la motivation de ce que vous faites, par exemple, “Intégration des personnes sourdes dans la société”. Un objectif immédiat est ce que vous allez probablement réaliser grâce à votre projet. Il doit être formulé en termes très spécifiques. Les résultats sont ce que vous devez garantir sera en place une fois que les activités du projet auront été réalisées. Les extrants doivent également être formulés en termes très spécifiques. L’ACL repose sur le principe d’un lien logique entre les activités, les résultats, les objectifs immédiats et l’objectif de développement. Cela signifie que les activités doivent produire des résultats, qui sont ce que le projet doit être en mesure de garantir. Ces résultats, à leur tour, doivent être très susceptibles de conduire au changement immédiat. 

Indicateurs 

Qu’est-ce qu’un indicateur ? Les projets menés par le mouvement des personnes handicapées portent souvent sur la sensibilisation, le plaidoyer, l’autonomisation, la conscientisation, le renforcement des capacités, etc. Il s’agit de termes généraux, qui peuvent être compris de manière très différente par les différents participants. Les résultats et les objectifs des projets comportent souvent des expressions telles que “l’autonomisation a eu lieu” ou “la sensibilisation a été renforcée”. Il est important d’éviter ces expressions vagues lorsque vous formulez vos objectifs et résultats immédiats, car ils sont impossibles à mesurer. Pour rendre encore plus clair et plus concret ce que nous souhaitons réaliser, nous établissons des indicateurs. 

Définition des indicateurs : Critères permettant de juger si un projet atteint ce qu’il a été conçu pour atteindre. 

Il peut être utile d’impliquer plusieurs personnes dans l’élaboration des indicateurs. Une séance de brainstorming peut produire de bonnes idées, permettant de sélectionner les meilleures. Vous pouvez peut-être chercher à savoir si d’autres personnes ont élaboré des indicateurs dans le même domaine que celui que vous souhaitez contrôler. Par exemple, le gouvernement peut en utiliser certains. En choisissant les mêmes, ou des indicateurs proches, vous avez une chance d’entamer un dialogue avec les autorités sur les performances selon ces indicateurs. Il est également possible que d’autres ONG aient appliqué des indicateurs similaires. Quelles sont leurs expériences en matière de suivi de ces indicateurs ? Y a-t-il une chance de coopérer pour le suivi ? Puisque c’est l’organisation chargée de la mise en œuvre du projet qui a la responsabilité principale du suivi, elle doit évidemment aussi superviser la formulation des indicateurs, éventuellement avec le soutien et les conseils du partenaire du Nord. 

Spécifique : L’indicateur doit être très précis en ce qui concerne le groupe cible, la couverture géographique, la quantité et la qualité. Les expressions subjectives, telles que “de manière satisfaisante”, “bons procès-verbaux” ou “réunions régulières” doivent être évitées, car il peut y avoir plus d’une opinion sur ce qui est satisfaisant, bon et régulier. Il est certain que si nous insistons pour utiliser de tels termes, il faut définir ce que nous entendons par là. De même, il est important d’éviter les généralités telles que “capacité accrue”, “plus grande estime de soi” ou “meilleure compréhension”. Ici, nous ne pouvons certainement pas recourir à des pourcentages, comme dans “l’estime de soi des participants a été améliorée de 45%”. Le suivi d’un tel indicateur serait une tâche impossible. Il faut le reformuler et réfléchir à ce qui pourrait indiquer une meilleure estime de soi, comme dans l’exemple des employés plus satisfaits. 

Exemples d’un indicateur qui manque de précision : ” L’organisation a une bonne situation financière”. Cette phrase pourrait être reformulée comme suit : “En 2012, l’ANS dispose d’un revenu annuel de 30 000 $US en plus des fonds reçus des donateurs internationaux, ce qui représente une augmentation de 28 % par rapport à 2009.” 

Mesurable : Il doit être possible de mesurer un indicateur à un coût et un effort raisonnable, tout comme des informations fiables doivent être disponibles. Par exemple, il est peu judicieux de lancer une grande enquête coûtant des milliers de dollars pour surveiller l’indicateur d’un projet de, disons, 100 000 $US. Il n’est pas non plus approprié que le personnel du projet consacre énormément de temps au suivi d’un indicateur. Par conséquent, les indicateurs doivent être conçus de manière à être simples et sans coûts importants à contrôler. Si cela n’est pas possible, l’indicateur doit être abandonné et d’autres doivent être trouvés. En règle générale, le coût du suivi effectif ne devrait pas dépasser 2 à 5 % du budget d’un projet. 

Réalisable : Il doit être réaliste d’atteindre la cible fixée dans un indicateur. Si nous travaillons avec des objectifs impossibles à atteindre, nous serons frustrés lorsque nous ne parviendrons pas à les atteindre, et peut-être deviendrons-nous alors moins enthousiastes. Il est également possible de fixer un objectif trop bas. Certaines organisations sont connues pour avoir délibérément fixé des progrès très modestes dans leurs indicateurs afin d’être sûres de les atteindre, dans l’espoir d’éviter les questions difficiles de leurs donateurs. Il faut toutefois garder à l’esprit que le suivi est un outil de gestion et d’apprentissage pour le projet lui-même. Satisfaire le donateur n’en est pas la raison principale. Définir des indicateurs avec des objectifs délibérément bas trompera peu de donateurs, et nous risquons de nous auto-satisfaire. 

Exemple : Un projet avait pour indicateur d’augmenter de 100% le nombre de membres d’une organisation de personnes sourdes. Après la fin du projet, le nombre de nouveaux membres s’élevait à 55%, et il y avait un sentiment d’échec, puisque seulement la moitié de l’objectif avait été atteint. Néanmoins, la plupart des organisations de personnes sourdes se réjouiraient d’une augmentation de 55% du nombre de membres sur une période aussi brève. En d’autres termes, le projet n’avait pas vraiment échoué, mais avait fixé des objectifs trop élevés. 

Limité dans le temps : Il est important de savoir à quel moment un indicateur doit être rempli, c’est pourquoi le moment de la réalisation de son objectif doit être inclus. Il suffit généralement de mentionner l’année. Il peut être utile de définir des objectifs intermédiaires pour chaque année, surtout si le projet s’étend sur deux ans. C’est ce que l’on appelle également la définition de jalons. 

Time-bound: It is important to know when an indicator should be fulfilled, which is why the time of compliance with its target must be included. It is usually enough to mention the year. It can be useful to define intermediate goals for each year, especially if the project runs over two years. This is also called setting milestones.

An exemple

Objectif immédiat : D’ici 2012, l’ANS a subi un renforcement organisationnel et est devenue plus durable. Indicateur : En 2012, l’ANS dispose d’un revenu annuel de 30 000 $US en plus des fonds reçus des donateurs internationaux, ce qui représente une augmentation de 28 % par rapport à 2009.  

Spécifique : L’indicateur précise le montant des revenus de l’organisation, et quels types de revenus doivent être inclus. 

Mesurable : Si l’organisation dispose d’un système comptable fiable, il sera facile de mesurer cet indicateur, et les progrès pourront être suivis d’année en année. Ce suivi ne coûte rien non plus. 

Réalisable : Une augmentation de 28% sur trois ans devrait, moyennant un effort méthodique, constituer un objectif réaliste, mais cela suppose évidemment une connaissance de l’organisation concernée et des conditions dans lesquelles elle fonctionne. 

Pertinent : Une augmentation de l’autofinancement doit être décrite comme hautement pertinente pour la durabilité d’une organisation. 

Plan de suivi 

Pour faciliter le suivi et éviter de passer à côté de quelque chose, il est bon d’élaborer un plan de suivi dès la formulation du projet ou lors de la planification du travail sur les droits. L’élaboration de ce plan nous obligera à vérifier la qualité des indicateurs et à nous poser des questions très pertinentes : 

• Nos indicateurs ont-ils été formulés avec suffisamment de précision, ou est-il nécessaire de les définir davantage ? 
• Comment et d’où les données doivent-elles être recueillies ? 
• À quelle fréquence cela doit-il être fait ? 
• Quand surveillons-nous ? 
• Qui est chargé de le faire faire ? 
• Où enregistrons-nous les données ? 

Indicateur	Où Doit-Il Être Recueilli ?	À Quelle Fréquence L’indicateur Doit-Il Être Contrôlé ?
Pendant la durée du projet, le mouvement des personnes handicapées en Ouganda a élaboré quatre projets de loi ou amendements. Au moins deux projets de loi ou amendements sont adoptés.	Rapports de projet. Les gazettes nationales.	Une fois par an
Etc.

Partie 2 : Évaluation 

Qu’est-ce qu’une évaluation ? Tout comme nous effectuons un contrôle permanent au quotidien, nous procédons également à une évaluation. Si nous avons organisé une fête d’anniversaire, nous nous demandons, ainsi qu’aux invités, comment c’était, ce qu’ils ont pensé de la nourriture, de l’atmosphère, de la musique, etc. Les musiciens engagés pour l’événement ont peut-être été fabuleux et peuvent être recommandés à d’autres, tandis que la nourriture a peut-être laissé à désirer, ce qui suggère que nous devrions faire appel à un autre fournisseur la prochaine fois. Ainsi, nous avons procédé à une évaluation mineure, en systématisant nos expériences pour une utilisation future. 

L’évaluation est une appréciation systématique. Les évaluations doivent suivre un plan systématique et mutuellement convenu. Les plans comprennent généralement les éléments suivants : 

• Déterminer l’objectif de l’évaluation : Quelle est la question de l’évaluation, qu’est-ce que l’évaluation doit découvrir ? 
• Comment l’évaluation répondra-t-elle à la question ? Quelles méthodes seront utilisées. 
• Rendre les résultats utiles : comment les résultats sont-ils communiqués afin que l’organisation puisse les utiliser pour apporter des améliorations ? 

Définition : L’évaluation est un examen systématique des réalisations d’un projet par rapport aux objectifs prévus et aux résultats attendus. 

Les gens pensent souvent que l’évaluation des programmes cherche à répondre à cette question : “Est-ce que le programme fonctionne ? Et comment l’améliorer ?”. Cependant, il existe de nombreuses questions tout aussi importantes : 

• Le programme en vaut-il la peine ? 
• Existe-t-il des alternatives qui seraient meilleures ? 
• Y a-t-il des conséquences involontaires ou négatives ? 
• Les objectifs du programme sont-ils appropriés et utiles ? 
• Le programme a-t-il un résultat positif ? 
• Les gens sont-ils satisfaits ? 
• Comment le programme pourrait-il être amélioré ? 
• Le programme fonctionne-t-il bien ? 
• Le programme fonctionne-t-il comme il était censé fonctionner ? 

En d’autres termes, une évaluation peut aider un programme à améliorer ses services, mais aussi à s’assurer que le programme fournit les bons services. 

Pourquoi faire une évaluation ? 

La raison d’évaluer un projet est, tout d’abord, de découvrir dans quelle mesure le projet a répondu aux attentes. Un autre objectif important est de découvrir ce que nous avons appris au cours du projet. Pourquoi les choses se sont-elles passées ainsi ? Aurait-on pu faire quelque chose différemment ? Enfin, l’évaluation a pour but de formuler des recommandations pour le travail à venir, qu’il s’agisse d’ajouter de nouvelles phases au projet ou de concevoir une intervention entièrement nouvelle. Une conclusion possible et cruciale d’une évaluation pourrait également être qu’il n’est pas recommandé de poursuivre le projet. 

 Il sera avantageux d’avoir une ou plusieurs personnes extérieures à l’organisation pour effectuer l’évaluation proprement dite, car il sera difficile pour un coordinateur de projet de fournir une évaluation neutre. Si vous ne pouvez pas vous permettre d’engager un consultant externe, vous devriez au moins vous demander s’il y a quelqu’un dans votre organisation qui n’a pas de lien de dépendance avec le projet et qui pourrait prendre en charge l’évaluation. Vous pouvez également inviter une ou plusieurs personnes d’une autre organisation à le faire pour vous. S’il y a des fonds disponibles pour recruter plusieurs personnes pour participer, c’est généralement utile, car cela permet d’assurer la contribution de personnes ayant des connaissances et des antécédents différents. Toutefois, pour réussir une évaluation, il ne suffit pas d’engager un consultant. 

Quand procéder à une évaluation ? 

Une évaluation est généralement réalisée à la fin du projet. Cependant, si l’intervention se déroule sur une période prolongée, par exemple deux ans ou plus, nous pouvons également en mener une pendant la mise en œuvre. Ce type d’évaluation est connu sous le nom d’évaluation à mi-parcours et vise à déterminer si nous sommes sur la bonne voie et quels changements doivent être apportés au cours de la seconde moitié du projet. 

L’évaluation en tant que processus 

Le processus implique : 

• Faire participer activement les parties prenantes (personnes concernées par le programme) à l’évaluation. 
• Développer une compréhension complète du programme 
• Utiliser les connaissances pour déterminer quelles informations sont nécessaires et comment les recueillir. 
• Rassembler les preuves 
• Interpréter les preuves, s’assurer qu’elles ont un sens. 
• Utiliser les résultats, s’assurer qu’ils sont utiles, amener les parties prenantes à les utiliser, ce qui dépend de l’implication des parties prenantes tout au long du processus d’évaluation. 
• Le suivi, la communication continue entre toutes les personnes impliquées, au sujet de l’évaluation, la mise en œuvre de toute recommandation, le partage du feedback sur l’évaluation.