Analysez une formation 2023

Projet 7 - Parcours IRP (Openclassrooms) - Analysez une formation Production réalisée par Sophie Caristan Llamas (novembre 2023)

Henry / Responsable des formations en management

Manager de proximité

Analyse de la Formation

Sophie Caristan Llamas / Ingénieur Pédagogique

Présentation

État des lieux :

Analyses & préconnisations

1ère demande : Mesurer l'impact de la formation Manager de proximité sur les étudiants et les opérateurs financiers - certificateurs (OPCO, France Compétences) via une analyse de l'existant. 2ème demande : Proposition d'axes d'amélioration du process d'évaluation.

Focus sur la nécéssité de :

• Faire évoluer le modèle d'évaluation
• Améliorer les process
• Entrer dans une démarche qualité

• Méthodes actuelles
• Résultats de la satisfaction
• Résultats apprentissages
• Point sur l'absentéisme
• Point sur les profils apprenants

Amélioration du système d’évaluation d'Itelia :

Pendant

Simultanément, le même jour, à chaud

NIVEAU 4 Résultats Analyse de l'ingénieur pédagogique BILAN PEDAGOGIQUE ET FINANCIER Rapports annuels

A froid 48h après

Fin

Entrée

Données sur les étudiants et / formateurs :

• NOM / prénom
• Présent / absent (0 - 1 )

CONNAISSANCES

étudiants / formateurs

Test de l'ensemble des modules

Tests initial et transverses sur les acquis pédagogiques Notes sur 10

Questionnaires Likert 4 et 6

Critères

REV6

REV5

REV4

REV3

REV2

REV1

Critères

EV1

EV6

niveau 2 APPRENTISSAGES

Protocole d'évaluation et plan de collecte des données actuels

MOTIVATION PEDAGOGIE ANIMATION INSERTION PRO NPS

EV3

EV2

EV5

EV4

MOTIVATION PEDAGOGIE ANIMATION ORGANISATION SATISFACTION GLOBALE

nIVEAU 1 Réactions

Stats Openclassrooms :

Profils des étudiants :

Communication des résultats à partir de données brutes Excel

26,7

37,21

17,44

18,6

– 28,12

Taux de réussite : 82,6 %

Taux d'échec ou d'abandon : 17,4 %

niveau 1 : RÉACTIONS 63 étudiants

niveau 2 : APPRENTISSAGES 86 éTUDIANTS

Constats : corrélation entre le temps de présence et résulats : + les étudiants sont assidus + ils réussissent et inversement. Analyse : - Données insufffisantes sur le profil des étudiant.e.s pour suivi et accompagnement. Sont-ils suffisamment informés sur la préstation ? Pré-requis ? Absences sont à explorer pour en comprendre les raisons. - Qualification et compétences des FORMATEURS ?

- Evaluation se cantonne au degré d’acquisition des connaissances noté : 0 /10 - Moyenne générale : 5,58 - Baisse constante aux REV 3 / 4 / 5 - Etudiants qui décrochent : Taux d'échec ou d'abandon : 17% Analyse : - Objectifs / moyens en adéquation ? - Quel retour sur les difficultés ? - Soutien pédagogique ? - Modalités d'évaluation de compétences ? - Pertinence de l'articulation distanciel/présentiel...? - Validation / certification devant Jury d'experts ?

- Protocoles d'évaluation et plan de collecte des données : insuffisamment définis dans le référentiel Itelia ; - Manquent données :

• en AMONT (attentes des X parties) et suivi post-formation ;
• feedback des parties ;
• sur le distantiel
• l'alternance etc.

- Compétences ne sont pas évaluées ; - Questionnaires à chaud : Survey fatigue et taux de retours insuffisants ; - Moyens / supports (Excel - NPS) de communication des résultats : croisements difficiles et interprétations non fiables et efficaces ; - Fréquence de la comm° des résultats (à la fin de la formation seulement ? ) : pas d'ajustements / correction / traitements des difficultés et décrochages ...

APPRENTISSAGES

sATISFACTION

- Taux de satisfaction moyen et en baisse constante à partir du Module 3, principalement concernant la Pédagogie / animation et l'indicateur Insertion PRO ; Analyse : - Critères et indicateurs insuffisants - Pas de prise en compte des appréciations et des réclamations formulées

4 PROFILS D'ÉTUDIANTS & ABSENTÉISME

ANALYSE sur l'évaluation

Contats, correlations et analyses des résultats

Focus sur le modèle d'évaluation Kirk Patrick à enrichir et revisiter

Préconnisations, pistes d'amélioration

Tutorat, mentorat, coaching

Résultats : En amont, attentes des commanditaires FINANCEURS et CERTIFICATEURS explicitement définies pour mesurer le ROE (Return on expectations).

Comportements : Etablir des leviers permettant de s’assurer que ces nouvelles compétences se traduisent par un changement de comportements en situation PRO.

Réactions - satisfaction : - Prendre en considération la pertinence de la formation proposée au regard des situations de travail de l’apprenant, mais également le degré d’implication de ces derniers. - Repenser les questionnaires à chaud et à froid. Apprentissages : - Identifier des objectifs précis - Ne pas se cantonner au degré d’acquisition des connaissances, repenser modalités d'évaluation des compétences, l’attitude, la confiance et l’engagement quant au fait de mettre en application ces nouvelles capacités - Réfléchir sur le programme en blocs de compétences , les activités en lien avec le professionnel, le planning, modalités et articulations blended Learning ... Référentiels : Qualiopi RNCP (France Compétences)

Préconnisations, pistes d'amélioration

Focus sur les process : cf. référentiel Itelia

• Taux de retour élevés à chaud / à froid
• Augmentation de la satisfaction
• Traitement des non-conformités
• Augmentation des transferts des aquis
• Augmentation de la satisfaction des commanditaires (professionnalisme, image...)

Résultats attendus :

Communication des résultats :

Plan de collecte de données :

Action : envoi d'un questionnaire Destinataire : étudiant Contenu : questions niveau 1 et / ou 2 Action : envoi d'un questionnaire Destinataire : apprenant et / ou tuteur Contenu : questions sur le niveau 3

Décrire un protocole d'évaluation :

Préconnisations, pistes d'amélioration

Focus sur les formalités ADMINISTRATIVES

- Déclaration d’activité à la DREETS (certains justificatifs et conditions exigés, refus possibles d'enregistrement ) ; - BPF à fournir à la DREETS retraçant l'activité pour le dernier exercice comptable clos. le BPF est un indicateur financier que certains organismes certificateurs exigent pour la certification Qualiopi. La durée de l'audit dépendra notamment du chiffre d’affaires réalisé.

Préconnisations, pistes d'amélioration

Certification Qualiopi et RNCP pour s'inscrire dans une démarche qualité qui assure un développement en amélioration continue des process et des formations d'Itelia.

La certification Qualiopi obligatoire depuis janvier 2022 :- Répondre aux impératifs de qualité dans le domaine de la formation professionnelle ; - Bénéficier de fonds des financeurs mentionnés à l’article L.6316-1 du code du travail : (OPCO / CPF / l’Etat, les régions, la Caisse des dépôts et consignations, Pôle emploi et l’Agefiph.) - Professionnaliser et accroître la qualité des formations ; - Améliorer la clarté de l’offre de formation ; - Se démarquer, avantage concurrentiel ; - Assurer la satisfaction des apprenants ; - Renforcer la confiance entre les prestataires de formation et leur clientèle. - Mise à jour et lisibilité de la certification "Manager de Proximité" inscrite au RNCP : référentiels, obligation de constituer des blocs de compétences etc.

Focus sur les impératifs de Qualiopi en 2024

Merci pour votre écoute !

Alternative pragmatique et réaliste au retour sur investissement (ROI – Return on investment), le ROE (Return on expectation) est une démarche collaborative d’évaluation de l’impact, qui commence en amont de la formation par : - l’identification des attentes des commanditaires ; - leur traduction en critères de succès, qui deviendront ensuite en aval les critères d’évaluation. Il ne s’agit donc plus de répondre en priorité aux attentes des apprenants, mais bien à celles de commanditaires de haut niveau hiérarchique (direction générale, directions opérationnelles, opérateurs financiers et qualificateurs etc.), dans le cadre de projets de formation à forts enjeux. Le ROE est donc en lien direct avec la mission/la raison d’être de l’entreprise, ses objectifs stratégiques et sa pérennité !