Analysez une formation 2023

Présentation

Sophie Caristan Llamas / Ingénieur Pédagogique

Henry / Responsable des formations en management

Analyse de la Formation

Manager de proximité

Projet 7 - Parcours IRP (Openclassrooms) - Analysez une formation Production réalisée par Sophie Caristan Llamas (novembre 2023)

Amélioration du système d’évaluation d'Itelia :

1ère demande : Mesurer l'impact de la formation Manager de proximité sur les étudiants et les opérateurs financiers - certificateurs (OPCO, France Compétences) via une analyse de l'existant. 2ème demande : Proposition d'axes d'amélioration du process d'évaluation.

État des lieux :

• Méthodes actuelles
• Résultats de la satisfaction
• Résultats apprentissages
• Point sur l'absentéisme
• Point sur les profils apprenants

Analyses & préconnisations

Focus sur la nécéssité de :

• Faire évoluer le modèle d'évaluation
• Améliorer les process
• Entrer dans une démarche qualité

Protocole d'évaluation et plan de collecte des données actuels

MOTIVATION PEDAGOGIE ANIMATION ORGANISATION SATISFACTION GLOBALE

MOTIVATION PEDAGOGIE ANIMATION INSERTION PRO NPS

nIVEAU 1 Réactions

Critères

Questionnaires Likert 4 et 6

étudiants / formateurs

A froid 48h après

EV5

EV2

EV4

EV6

EV1

EV3

REV2

REV3

REV1

REV4

REV5

REV6

niveau 2 APPRENTISSAGES

Critères

Tests initial et transverses sur les acquis pédagogiques Notes sur 10

Test de l'ensemble des modules

CONNAISSANCES

Fin

Entrée

Pendant

NIVEAU 4 Résultats Analyse de l'ingénieur pédagogique BILAN PEDAGOGIQUE ET FINANCIER Rapports annuels

Données sur les étudiants et / formateurs :

• NOM / prénom
• Présent / absent (0 - 1 )

Simultanément, le même jour, à chaud

Communication des résultats à partir de données brutes Excel

niveau 1 : RÉACTIONS 63 étudiants

– 28,12

Taux de réussite : 82,6 %

Taux d'échec ou d'abandon : 17,4 %

niveau 2 : APPRENTISSAGES 86 éTUDIANTS

Profils des étudiants :

18,6

26,7

Stats Openclassrooms :

17,44

37,21

Contats, correlations et analyses des résultats

ANALYSE sur l'évaluation

- Protocoles d'évaluation et plan de collecte des données : insuffisamment définis dans le référentiel Itelia ; - Manquent données :

• en AMONT (attentes des X parties) et suivi post-formation ;
• feedback des parties ;
• sur le distantiel
• l'alternance etc.

- Compétences ne sont pas évaluées ; - Questionnaires à chaud : Survey fatigue et taux de retours insuffisants ; - Moyens / supports (Excel - NPS) de communication des résultats : croisements difficiles et interprétations non fiables et efficaces ; - Fréquence de la comm° des résultats (à la fin de la formation seulement ? ) : pas d'ajustements / correction / traitements des difficultés et décrochages ...

APPRENTISSAGES

sATISFACTION

- Evaluation se cantonne au degré d’acquisition des connaissances noté : 0 /10 - Moyenne générale : 5,58 - Baisse constante aux REV 3 / 4 / 5 - Etudiants qui décrochent : Taux d'échec ou d'abandon : 17% Analyse : - Objectifs / moyens en adéquation ? - Quel retour sur les difficultés ? - Soutien pédagogique ? - Modalités d'évaluation de compétences ? - Pertinence de l'articulation distanciel/présentiel...? - Validation / certification devant Jury d'experts ?

- Taux de satisfaction moyen et en baisse constante à partir du Module 3, principalement concernant la Pédagogie / animation et l'indicateur Insertion PRO ; Analyse : - Critères et indicateurs insuffisants - Pas de prise en compte des appréciations et des réclamations formulées

4 PROFILS D'ÉTUDIANTS & ABSENTÉISME

Constats : corrélation entre le temps de présence et résulats : + les étudiants sont assidus + ils réussissent et inversement. Analyse : - Données insufffisantes sur le profil des étudiant.e.s pour suivi et accompagnement. Sont-ils suffisamment informés sur la préstation ? Pré-requis ? Absences sont à explorer pour en comprendre les raisons. - Qualification et compétences des FORMATEURS ?

Préconnisations, pistes d'amélioration

Focus sur le modèle d'évaluation Kirk Patrick à enrichir et revisiter

Réactions - satisfaction : - Prendre en considération la pertinence de la formation proposée au regard des situations de travail de l’apprenant, mais également le degré d’implication de ces derniers. - Repenser les questionnaires à chaud et à froid. Apprentissages : - Identifier des objectifs précis - Ne pas se cantonner au degré d’acquisition des connaissances, repenser modalités d'évaluation des compétences, l’attitude, la confiance et l’engagement quant au fait de mettre en application ces nouvelles capacités - Réfléchir sur le programme en blocs de compétences , les activités en lien avec le professionnel, le planning, modalités et articulations blended Learning ... Référentiels : Qualiopi RNCP (France Compétences)

Comportements : Etablir des leviers permettant de s’assurer que ces nouvelles compétences se traduisent par un changement de comportements en situation PRO.

Tutorat, mentorat, coaching

Résultats : En amont, attentes des commanditaires FINANCEURS et CERTIFICATEURS explicitement définies pour mesurer le ROE (Return on expectations).

Préconnisations, pistes d'amélioration

Focus sur les process : cf. référentiel Itelia

Décrire un protocole d'évaluation :

Communication des résultats :

Action : envoi d'un questionnaire Destinataire : étudiant Contenu : questions niveau 1 et / ou 2 Action : envoi d'un questionnaire Destinataire : apprenant et / ou tuteur Contenu : questions sur le niveau 3

Plan de collecte de données :

Résultats attendus :

• Taux de retour élevés à chaud / à froid
• Augmentation de la satisfaction
• Traitement des non-conformités
• Augmentation des transferts des aquis
• Augmentation de la satisfaction des commanditaires (professionnalisme, image...)

Préconnisations, pistes d'amélioration

Focus sur les formalités ADMINISTRATIVES

- Déclaration d’activité à la DREETS (certains justificatifs et conditions exigés, refus possibles d'enregistrement ) ; - BPF à fournir à la DREETS retraçant l'activité pour le dernier exercice comptable clos. le BPF est un indicateur financier que certains organismes certificateurs exigent pour la certification Qualiopi. La durée de l'audit dépendra notamment du chiffre d’affaires réalisé.

Préconnisations, pistes d'amélioration

Focus sur les impératifs de Qualiopi en 2024

La certification Qualiopi obligatoire depuis janvier 2022 :- Répondre aux impératifs de qualité dans le domaine de la formation professionnelle ; - Bénéficier de fonds des financeurs mentionnés à l’article L.6316-1 du code du travail : (OPCO / CPF / l’Etat, les régions, la Caisse des dépôts et consignations, Pôle emploi et l’Agefiph.) - Professionnaliser et accroître la qualité des formations ; - Améliorer la clarté de l’offre de formation ; - Se démarquer, avantage concurrentiel ; - Assurer la satisfaction des apprenants ; - Renforcer la confiance entre les prestataires de formation et leur clientèle. - Mise à jour et lisibilité de la certification "Manager de Proximité" inscrite au RNCP : référentiels, obligation de constituer des blocs de compétences etc.

Certification Qualiopi et RNCP pour s'inscrire dans une démarche qualité qui assure un développement en amélioration continue des process et des formations d'Itelia.

Merci pour votre écoute !

Alternative pragmatique et réaliste au retour sur investissement (ROI – Return on investment), le ROE (Return on expectation) est une démarche collaborative d’évaluation de l’impact, qui commence en amont de la formation par : - l’identification des attentes des commanditaires ; - leur traduction en critères de succès, qui deviendront ensuite en aval les critères d’évaluation. Il ne s’agit donc plus de répondre en priorité aux attentes des apprenants, mais bien à celles de commanditaires de haut niveau hiérarchique (direction générale, directions opérationnelles, opérateurs financiers et qualificateurs etc.), dans le cadre de projets de formation à forts enjeux. Le ROE est donc en lien direct avec la mission/la raison d’être de l’entreprise, ses objectifs stratégiques et sa pérennité !