Protocole

IREV - Centre de ressources politique de la ville Hauts-de-France

Protocole d'évaluation et de suivi

Cet outil est une check-list des questions essentielles à se poser dans la phase de construction d'un protocole d'évaluation et de suivi d'un projet éducatif.Il n'a pas vocation à être exhaustif ou prescriptif, mais à accompagner la réflexion des copilotes et chefs de projet des Cités sur le terrain.

Commencer

Protocole d'évaluation et de suivi

Les questions à se poser

Pourquoi mener une évaluation et un suivi ?

Que souhaite-t-on évaluer ?

Préambule

Comment s’organise mon évaluation et mon suivi ?

Comment évaluer ?

Proposition d'outils

Protocole d'évaluation et de suivi

Les questions à se poser

Une check-list pour appuyer la réflexion collective

Ce document liste une série de questions pouvant alimenter la construction du protocole de suivi et d’évaluation. Il n'a pas vertu à être prescriptif ou exhaustif, mais à alimenter la réflexion des copilotes et chefs de projet opérationnels. Toutes les questions n’auront pas une réponse au sein du protocole. Il s’agit de prévoir cette mise en œuvre. Vous êtes ensuite invités à suivre l'ordre de présentation des 3 premières questions. Les deux derniers onglets sont transversaux à la réflexion.

PREAMBULE

+ info

Protocole d'évaluation et de suivi

Les questions à se poser

Objectif : être au clair sur ce que l’on souhaite collectivement retirer de l’évaluation.

Pourquoi mener une évalation et un suivi ?

Prévoit-on de rappeler le contexte à l’origine de la mise en œuvre de cette évaluation ?

Quel est l’objet principal de l’évaluation ?

Que souhaite-t-on retirer du suivi ?

Protocole d'évaluation et de suivi

Les questions à se poser

Prévoit-on de rappeler le contexte à l’origine de la mise en œuvre de cette évaluation ?

Souhaite-t-on préciser des éléments de contexte utile pour mieux comprendre le cadre de référence qui suit ? Souhaite-t-on rappeler le cadre d’action de la cité éducative ? les copilotes et la gouvernance globale ? Souhaite-t-on préciser la manière dont ce cadre de référence du suivi et de l’évaluation a été conçu entre les partenaires ?

Pourquoi mener une évalation et un suivi ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quel est l’objet principal de l’évaluation ?

Quelle est l’hypothèse de départ, le but, à la racine de notre cité éducative que l’on cherche à vérifier à travers l’évaluation ? Est-on d’accord sur la formulation de cet objet principal ? Cet objet, tel qu’il est formulé, est-il évaluable ? Est-ce que l’on peut distinguer l’effet « cité éducative » sur les éléments évaluables ? En quoi l’évaluation de la cité éducative peut-elle être croisée avec l’évaluation des autres politiques publiques locales, notamment éducatives ? Et inversement ?

Pourquoi mener une évalation et un suivi ?

Protocole d'évaluation et de suivi

Les questions à se poser

Que souhaite-t-on retirer du suivi ?

Quels sont les objectifs d’un suivi régulier de la mise en œuvre de la Cité éducative ? Qu'a-t-on besoin de suivre et contrôler régulièrement ? Comment les deux processus vont s’alimenter ? (la démarche de suivi va-t-elle venir alimenter l'évaluation ?)

Pourquoi mener une évalation et un suivi ?

Protocole d'évaluation et de suivi

Les questions à se poser

Objectif : définir les objectifs stratégiques et les questions évaluatives qui en découlent

Que souhaite-t-on évaluer ?

Quelles sont les questions évaluatives qui en découlent ?

Quels sont les critères d’évaluation principaux à retenir ?

Quelques questions à ne pas oublier

Quels sont les objectifs stratégiques à évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quels sont les objectifs stratégiques que l’on souhaite évaluer ?

A-t-on bien formulé des objectifs stratégiques clairs et restreints ? Quels objectifs souhaitent–on évaluer en priorité ? Est-ce que chaque objectif stratégique fera l’objet d’une évaluation ? Peut-on et souhaite-t-on tous les évaluer avec le même niveau d’investigation ?

Que souhaite-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quels sont les critères d’évaluation principaux à retenir ?

Souhaite-t-on évaluer sa pertinence, son efficacité, son efficience, son impact, sa viabilité ?

Que souhaite-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quelles sont les questions évaluatives qui en découlent ?

A-t-on formulé une question évaluative par objectif stratégique évalué ? Est-ce que la formulation est SMART ? Est-ce que l’on évalue bien un chemin parcouru (T0 et T1 et non pas un instant T) ?

Que souhaite-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quelques questions à ne pas oublier

Va-t-on faire appel à un partenaire extérieur pour réaliser tout ou partie de l'évaluation ? Comment intègre-t-on la mobilisation du droit commun à l’évaluation ? Comment intègre-t-on les actions des partenaires qui ne sont pas pour le moment dans le programme d’actions ? Souhaite-t-on proposer un cadre évaluatif souple et évolutif sur la durée du projet ? Comment prévoit-on d’adapter ce cadre aux nouveaux enjeux qui pourront apparaitre ? Souhaite-t-on séquencer les objets prioritaires de l’évaluation sur la durée de vie de l’expérimentation ? A-t-on bien intégré la phase d'amorçage au cadre d'évaluation ?

Que souhaite-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Objectif : définir la méthodologie, les indicateurs et outils à mettre en oeuvre pour réaliser notre suivi et évaluation

Comment va-t-on évaluer ?

Quels sont les indicateurs retenus ?

Quelle méthodologie d'évaluation met-on en place ?

Quels sont les outils pour les collecter ?

Comment se construit le tableau de bord partagé de suivi ?

Protocole d'évaluation et de suivi

Les questions à se poser

Comment se construit le tableau de bord partagé de suivi ?

Quels sont les éléments sur lesquels un suivi régulier est nécessaire ? Quels sont les outils et indicateurs restreints qui nous permettent d’assurer ce suivi ? Quelle périodicité souhaite-t-on mettre en place ? Qui pilote et qui réalise/coordonne le suivi ? Quel accès à l’information entre les trois copilotes et l’équipe projet ? Quel accès à l’information pour les parties prenantes ? En quoi le suivi de ces éléments permet de réorienter l’action ? Quelles marges de manœuvre ? Dans quel cadre ces éléments sont discutés (copil, groupe de travail, etc.) ?

Comment va-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quelle méthodologie d'évaluation met-on en place ?

Quels sont les choix de méthodes retenus ? On peut utiliser plusieurs méthodes selon l’objet et les objectifs de l’évaluation. Ces méthodes ne sont pas excluantes et peuvent être combinées. Elles vont influencer les indicateurs et outils à mettre en place. Méthodes qualitatives : analyse documentaires, observation, entretiens, focus group, etc. Méthodes quantitatives : collecte de données, questionnaires, évaluation aléatoire, etc.

Comment va-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quels sont les indicateurs utilisés ?

Au vu des questions évaluatives formulées, quelles sont les données disponibles ? à produire ? la mise en place d'un suivi de cohorte est-il nécessaire? Si les données sont trop complexes ou chronophages à produire, faut-il reformuler certaines questions évaluatives ? Quelles sont les indicateurs disponibles ? Quels sont les indicateurs qui ont été utilisés pour réaliser le diagnostic initial ? Quels sont les indicateurs utilisés pour le suivi ? Est-ce que ces indicateurs me sont utiles pour l’évaluation ? Les données sont-elles disponibles de manière réactives ? (ou 1 ou 2 ans après) Quelles sont les principales sources utilisées ? Comment intégrer les éléments de la fiche d’identité produites par le national ? En quoi répondent-ils à une question évaluative posée ?

Comment va-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quels sont les outils utilisés ?

Quels outils doit-on construire pour réaliser cette évaluation ? Quand doit-on les produire ? Qui les produit ? Qui les remplit ? Est-ce qu’il y a des outils déjà existants ? lesquels sont à construire spécifiquement pour la cité éducative ? Notamment, souhaite-t-on réaliser un suivi de cohorte ? Liste des outils potentiels : Fiches de suivi des actions Questionnaire et enquête (vis-à-vis des usagers, des porteurs de projet, etc.) Grille d’observation et d’entretiens Grille d'auto-évaluation Tableau de bord : porteurs de projet Tableau de bord : suivi des actions partenaires et copilotes Tableau de bord : suivi des instances (nombre, fréquence, degré de participation) Tableau de bord financier Trame de bilan annuel

Comment va-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Objectif : organiser dans la durée la mise en oeuvre de l'évaluation et du suivi

Comment s'organise-t-on ?

Publicité et valorisation

Gouvernance, pilotage et association des parties prenantes à l’évaluation

Calendrier

Partenaires extérieurs et coût de l'évaluation

Protocole d'évaluation et de suivi

Les questions à se poser

Comment organise-t-on la gouvernance et le pilotage ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Quelle est la place donnée aux parties prenantes (notamment familles et enfants) ?

En quoi l'évaluation est-elle pensée comme un outil d'aide à la prise de décision ?

Comment s'organise la gouvernance ?

Comment s'organise le pilotage ?

Protocole d'évaluation et de suivi

Les questions à se poser

Comment organise-t-on la gouvernance ?

Quelle forme prend la gouvernance de l’évaluation ? Est-elle distincte de la gouvernance de la Cité éducative ? Qui est membre de cette gouvernance ? Quelle place pour les partenaires ? les parents et enfants ? Souhaite-t-on formalisé cette organisation de l'évaluation sous la forme d'un observatoire des réussites éducatives ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quelle est la place donnée aux parties prenantes (notamment familles et enfants) ?

Comment les habitants sont associés à la démarche d'évaluation ? (familles, jeunes, conseils citoyens, etc.) Sont-ils membres des instances de pilotage ? Un espace leur est-il dédié ? Sont-ils associés à la construction du protocole, puis à la mise en oeuvre de l'évaluation ? En parallèle, ces questions se posent également sur la place donnée aux porteurs de projet du territoire.

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

Comment organise-t-on le pilotage ?

Qui pilote opérationnellement le suivi et l’évaluation ? Comment le suivi et l’évaluation sont répartis entre les différents copilotes et chefs de projet ? Quelle transparence et communication sur l’ensemble des éléments ? Qui réalise l’évaluation ? Qui prépare et analyse les données pour formuler les recommandations ? Des groupes de travail en amont des instances de gouvernance sont-ils envisagés ? Qui sont les membres ? Comment les acteurs (partenaires institutionnels, porteurs de projets, etc.) sont-ils associés à la démarche d’évaluation et de suivi ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

En quoi le suivi et l’évaluation sont pensés comme un outil d’aide à la prise de décision ?

Quel mandat est donné à la gouvernance pour faire évoluer les actions sur la base des recommandations ? Est-ce que des éléments devront être remontés et validés par le conseil municipal, la DSDEN et la Préfecture ? Peut-on faire évoluer le cadre d’évaluation ? A-t-on prévu un cadre souple et adaptable ?

Comment s'organise-t-on ?

Comment va-t-on évaluer ?

Protocole d'évaluation et de suivi

Les questions à se poser

Comment organise-t-on dans le temps ce suivi et cette évaluation ?

Quelle périodicité des instances ? des outils de suivi ? Comment le calendrier des instances de gouvernance et de pilotage est-il pensé par rapport à la vie du projet ? (amont des temps de révision des programmes d’action annuels par exemple) Qu’évalue-t-on à quel moment ? A-t-on bien intégré la phase d'amorçage à l'évaluation ? Quelles sont les dates de rendu de livrables d’évaluation ? Rapports intermédiaires et rapport final + autres formats pour différents publics ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

Comment prévoit-on de valoriser cette évaluation ? Quelle publicité des données et résultats ?

RGPD et échanges entre copilotesComment seront suivis les règles RGPD vis-à-vis de la collecte et du traitement des données ? notamment des actions relevant de parcours individualisés ? Qui a accès aux éléments produits ? Sous quelle forme ? Communication et valorisation Comment s’organise la transmission et le partage des informations entre les copilotes ? Quelle présentation des bilans est prévue ? à qui ? (copil, conseil municipal, conseil citoyen, habitants, etc.) Quelle sont les éléments à remonter au niveau départemental, régional et/ou national ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

Quel est le coût estimé et souhaité de l'évaluation et du suivi ?

Est-il prévu de recourir à des prestataires extérieurs ? Souhaite-t-on faire appel à un prestataire extérieur pour la mesure d’impact spécifiquement ? Souhaite-t-on mettre en place une évaluation aléatoire ? un suivi de cohorte ? Les prestataires sont-ils déjà identifiés ? Comment s’organise ce recours à un prestataire ?A quelle échéance ? Quel temps humain est dédié à cette thématique en interne des institutions copilotes ?

Comment va-t-on évaluer ?

Comment s'organise-t-on ?

Protocole d'évaluation et de suivi

Les questions à se poser

Construire et synthétiser la construction de son protocole

Nous vous proposons plusieurs outils pour alimenter votre réflexion, en complément de la check-list, à trouver en cliquant sur le bouton suivant :

• glossaire des principaux termes utilisés
• trame type de protocole d'évaluation et de suivi
• tableau synthétique de l'évaluation
• bibliographie complémentaire

Proposition d'outils