1_TEMPLATE-GÉNÉRIQUE

Retour d'expériences 2025

DCEP Partenariats

Pôle Partenariats

Responsable Pôle Partenariats

Clémence GORDON

Coordinateur technique

Cédric PRAT

Transsectoriels

Enseignement supérieur

Enseignement scolaire

Ingénieure d'auditManon CARMANTRAND

Ingénieure d'audit(en cours de recrutement)

Ingénieur d'auditAlexandre JOUANNIC

Formation professionnelle

Education des adultes

Ingénieure d'auditLaurie BERNARD

Ingénieure d'audit(en cours de recrutement)

Tous secteurs

Tous secteurs

Chargée d'audit et d'évaluation

Chargée d'audit et d'évaluation

Diane LABROUCHE

Sarah CLUGNAC - PAVLOVIC

Pôle Partenariats

Responsable Pôle Partenariats

Clémence GORDON

Coordinateur technique

Cédric PRAT

Transsectoriels

Enseignement supérieur

Enseignement scolaire

Ingénieure d'auditManon CARMANTRAND

Ingénieure d'audit(en cours de recrutement)

Ingénieur d'auditAlexandre JOUANNIC

Formation professionnelle

Education des adultes

Ingénieure d'auditLaurie BERNARD

Ingénieure d'audit(en cours de recrutement)

Tous secteurs

Tous secteurs

Chargée d'audit et d'évaluation

Chargée d'audit et d'évaluation

Diane LABROUCHE

Sarah CLUGNAC - PAVLOVIC

Restitution de la campagne AC2 2023-2024 : TRF et contrôles sur site

Méthodologie d’évaluation du pôle partenariat

Déroulé

Les éléments saillants relevés dans le cadre de nos traitements

Sessions de questions/réponses

Restitution de la campagne AC2 2023-2024

Contexte de réalisation de la campagne

Etat d'avancement

Contexte

Chevauchement entre les deux programmations avec finalisation du programme 14-20

Traitement impacté par les outils de la CE

Temps d'appropriation (outils, workflow) et nécessité d'adapter les pratiques (Lump sum, notation)

Etat d'avancement des TRF

Convention 2021 *

*1 seul projet 2022 a été traité mais il s’agissait d’un désistement avec coûts éligibles.

Etat d'avancement des TRF

Convention 2021

32

37

69

119

Etat d'avancement des contrôles

Conventions 2021-2022-2023

Contrôles sur site en cours de projet

10

+ 1 audit système Conv 2021 AC220

Contrôles sur site en cours de projet

2022-2023

2024

Audits ex-post et audits systèmes

Contrôles sur pièces

Méthodologie d'évaluation du pôle partenariat

Workflow Méthodologie d'évaluation du rapport final Contrôles sur site

Quel workflow?

En cas d'absence de document

La recevabilité

Résultats E+PRP

Rejet du rapport

2021-2027

Déclaration sur l'honneur/preuve d'habilitation

Accusé de réception

Factures (coûts exceptionnels)

Acceptation du rapport final sans délai suspensif mais demande des pièces

rAPPORT FINAL SOUMIS

Résultats E+PRP

Déclaration sur l'honneur/preuve d'habilitation

Demande d'informations complémentaires

Accusé de réception

Factures (coûts exceptionnels)

2014-2020

Rapport final complété

OID valide

Quel workflow?

Traitement du rapport final

Si nécessaire

Corrections

Analyses qualitatives

• Baisse de la notation
• Réduction sur les activités non déroulées

Phase contradictoire

rAPPORT FINAL SOUMIS

CLÔTURE

Envoi à la DFC

Analyse qualitative

Corrections

• Baisse de la notation
• Inéligibilité d'un montant

Phase contradictoire

Analyse financière

Uniquement sur les projets AC220, convention 2021

Reveal

La méthodologie d'évaluation du rapport final

Partenariats simplifiés AC210

Autre levier

Evaluation interne

Montant forfaitaire

Il est possible d'opérer une réduction en rendant inéligibles les activités prévues n'ayant pas été réalisées (Mobilité, réalisation d'un livrable) Vigilance sur la structuration des projets : éviter les répartitions en 2 grandes activités vs 16 petites activités

Création d'une grille d'évaluation simplifiée Evaluation "bienveillante" en début de programmation : 1 seul projet AC210 noté à moins de 60/100 31% des projets notés entre 60 et 62/100 5 projets notés à plus de 80/100

Forfait global 30 000€ 60 000€ Réparti sur plusieurs "Activités" La note qualitative détermine le montant final accordé

La méthodologie d'évaluation du rapport final

Partenariats de coopération AC220 (convention 2021)

Evaluation externalisée

Lignes budgétaires

Externalisation de la totalité des projets 16% des projets notés entre 60 et 62/100 4 projets notés à plus de 80/100 45% des projets notés à moins de 70/100

Lignes budgétaires calquées sur l'ancien programme (Gestion et mise en oeuvre, réunions transnationales, activités d'apprentissage, résultats du projet, événements de dissémination) Changement de seuil sur la notation + analyse financière

Vigilance à avoir à partir de la convention 2022 : cela voudrait dire que 45% des projets (sur la base de cet échantillon) connaîtrait une réduction

La méthodologie d'évaluation du rapport final

Partenariats de coopération AC220 (à partir de la convention 2022)

Evaluation

Montant forfaitaire

Forfait global 120 000€ 250 000€ 400 000€ Réparti par "Modules de travail" La note qualitative détermine le montant final accordé

Double évaluation (externe et interne) avant consolidation Création d'une grille d'évaluation

La méthodologie d'évaluation du rapport final

Partenariats de coopération AC220

Notation du projet

WP 2

WP 3

Répartition du budget: 30%

Répartition du budget: 50%

Résultats attendus 2

Résultats attendus 3

2.1 Activité 2.2 Activité

3.1 Activité 3.2 Activité

2.1 Indicateur 2.2 Indicateur

3.1 Indicateur 3.2 Indicateur

70/100

Note Totale: 70/100

70/100

WP 1

Répartition du budget: 20%

2.1 Activité 2.2 Activité

Pas de note

Objectifs généraux

Obj. spécifique 1

Obj. spécifique 3

Obj. spécifique 2

Module de travail 1 (WP)

Module de travail 2 (WP)

Module de travail 3 (WP)

1.1 Activité 1.2 Activité

2.1 Activité 2.2 Activité

3.1 Activité 3.2 Activité

Résultats attendus 1

Résultats attendus 2

Résultats attendus 3

3.1 Indicateur 3.2 Indicateur

2.1 Indicateur 2.2 Indicateur

1.1 Indicateur1.2 Indicateur

La méthodologie d'évaluation des contrôles sur pièces

"Pour les partenariats de coopération, les contrôles analyseront également les éléments de preuve étayant l'évaluation de la qualité et justifiant les valeurs attribuées aux indicateurs."

Enjeux dans la distinction entre les traitements du rapport final et les contrôles sur pièces

Création d'une liste de pièces justificative AC210

Principe de proportionnalité

• Traitement du rapport final : Contrôle de la qualité des résultats et des livrables du projet

• Contrôle sur pièces : Contrôle administratif permettant "d'attester de la réalisation et de la conformité des éléments déclarés dans le rapport final soumis."

Création d'une liste de pièces justificative AC220

La méthodologie d'évaluation des contrôles sur site

Audits ex-post, audits systèmes

Contrôles en cours de projet

Sélection des bénéficiaires

Une liste de "TOP OID"* conçue par la CE L'analyse du risque par l'Agence *TOP OID : regroupe les bénéficiaires ayant le plus de fonds en cours de gestion

Conformité des activités et résultats déclarés

Vérifier l'état d'avancement du projet

Conformité des pièces justificatives

Conformité des pièces justificatives

Démarche d'amélioration continue

Sécuriser la soumission du rapport final

Analyse systémique abordée sur les audits systèmes

Aucune incidence financière

Peut conduire à une réduction financière

Les documents cadres et outils des contrôles sur site

Trame d'entretien

Questionnaire préalable (à retourner dans les 15 jours)

30 jours

60 jours

Rapport provisoire de contrôle/phase contradictoire

Programme (à minima 5 jours avant la mission)

Notification officielle (30 jours avant la mission)

Tableau de vérification des WP

RECO Mon Admin

Tableau de vérification des WP

Rapport définitif

Liste des pièces justificatives à fournir

Liste d'émargement

Contrôle

En amont du contrôle

Après le contrôle

Les éléments saillants relevés dans le cadre de nos traitements

Candidature

Evaluateurs

Justificatifs

Retours sectoriels

Indicateurs

La candidature

Confusion entre secteurs

Pistes de travail

Résultats non éligibles contractualisés à la candidature

Renforcer la collaboration entre l'évaluation de la candidature et l'évaluation des RF  Participation réciproques aux briefings évaluateurs.

Capacité opérationnelle

Les justificatifs

Programmation 2021-2027 : La CE ne fournit plus de liste de justificatifs obligatoires

Pistes de travail

Complétion lacunaire du rapport final

Encourager les bénéficiaires à compléter le rapport final de façon exhaustive, à fournir le cas échéant un compte-rendu/bilan de l'activité , ou à compléter la section "Expliquez si déviation".

Deux risques

Saturation des annexes par des documents non pertinents, sans nomenclature

Préciser aux bénéficiaires de ne pas inclure de documents superflus (billets d'avions, factures de restauration ou d'hôtel etc).

Relance des classes virtuelles RF et tutoriels de dépôt RF en Mai / Juin- tutoriel de complétion des RF.

Recensement des attendus en termes de documentation permettant de justifier les activités/WP

Les indicateurs

Indicateurs de monitoring VS Indicateurs d'impact

Indicateurs VS Outils

Résultats VS Impacts

Indicateur de monitoring : Mesure la qualité de la gestion de projet Indicateur d'impact : Mesure l'effet du projet et de ses réalisations sur les publics ciblés

Indicateur : Qualifie ou quantifie un impact Outil : Méthode de recueil de l'information

Résultat : Production émanant directement du projet et de ses activités Impact : Effet à court/long terme du projet sur les parties-prenantes

Indicateurs de monitoring

Indicateur quantitatif

Indicateur qualitatif

Démarche qualité

Outil

Indicateurs d'impact

Indicateur qualitatif

Indicateur quantitatif

Impact attendu

Outil

Indicateurs d'impact

Indicateur qualitatif

Indicateur quantitatif

Impact attendu

Outil

Les évaluateurs

Renouvellement du pool d'évaluateurs pour un an de début septembre à fin août de l'année N+1 et formation chaque année à l'évaluation de rapports finaux

Tous les projets sont analysés par un binôme Agence/externe

Confusion au démarrage sur la transition 2014-2020 et 2021-2027

Difficultés rencontrées

Accès aux résultats sur E+PRP

Nouvelle pondération avec note seuil à 60/100 difficile à accepter

Retours sectoriels

SCO

SUP

Confusion avec projets de mobilité

AC220 peu attractif

RUP/PTOM

Qualité des projets en baisse

Logique des RF 229 reste ancrée

E+PRP

Associations

Dépendance dans les fonds européens

Qualité des résultats

Confusion avec le secteur ADU

Absence de certification

Projets génériques peu adaptés

VET

ADU

Oubli du public cible et final

Questions-Réponses

Merci pour votre écoute, la parole est à vous !

Le seuil de réduction passe de 50/100 à 60/100

La note seuil passe de 50/100 à 60/100

Le seuil de réduction passe de 60/100 à 70/100