Want to make creations as awesome as this one?

Transcript

Présentation

Sophie Caristan Llamas / Ingénieur Pédagogique

Analyse de la Formation

Manager de proximité

Henry / Responsable des formations en management

Projet 7 - Parcours IRP (Openclassrooms) - Analysez une formation Production réalisée par Sophie Caristan Llamas (novembre 2023)

Amélioration du système d’évaluation d'Itelia :

1

  • Méthodes actuelles
  • Résultats de la satisfaction
  • Résultats apprentissages
  • Point sur l'absentéisme
  • Point sur les profils apprenants

Focus sur la nécéssité de :

  • Faire évoluer le modèle d'évaluation
  • Améliorer les process
  • Entrer dans une démarche qualité

1ère demande : Mesurer l'impact de la formation Manager de proximité sur les étudiants et les opérateurs financiers - certificateurs (OPCO, France Compétences) via une analyse de l'existant.2ème demande : Proposition d'axes d'amélioration du process d'évaluation.

Analyses & préconnisations

État des lieux :

2

nIVEAU 1 Réactions

MOTIVATION PEDAGOGIE ANIMATIONORGANISATION SATISFACTION GLOBALE

EV4

EV5

EV2

EV3

MOTIVATION PEDAGOGIE ANIMATIONINSERTION PRONPS

Protocole d'évaluation et plan de collecte des données actuels

niveau 2 APPRENTISSAGES

EV6

EV1

Critères

REV1

REV2

1

REV3

REV4

REV5

REV6

Critères

Questionnaires Likert 4 et 6

Tests initial et transverses sur les acquis pédagogiques Notes sur 10

6

Test de l'ensemble des modules

étudiants / formateurs

CONNAISSANCES

Données sur les étudiants et / formateurs :

  • NOM / prénom
  • Présent / absent (0 - 1 )

Entrée

Fin

A froid 48h après

NIVEAU 4 Résultats Analyse de l'ingénieur pédagogique BILAN PEDAGOGIQUE ET FINANCIER Rapports annuels

2

Simultanément, le même jour, à chaud

Pendant

5

3

4

niveau 2 : APPRENTISSAGES 86 éTUDIANTS

niveau 1 : RÉACTIONS 63 étudiants

Taux d'échecou d'abandon : 17,4 %

Taux de réussite : 82,6 %

– 28,12

18,6

17,44

37,21

26,7

Communication des résultats à partir de données brutes Excel

Profils des étudiants :

Stats Openclassrooms :

3

Contats, correlations et analyses des résultats

ANALYSE sur l'évaluation

4 PROFILS D'ÉTUDIANTS & ABSENTÉISME

- Taux de satisfaction moyen et en baisse constante à partir du Module 3, principalement concernant la Pédagogie / animation et l'indicateur Insertion PRO ; Analyse : - Critères et indicateurs insuffisants - Pas de prise en compte des appréciations et des réclamations formulées

sATISFACTION

APPRENTISSAGES

- Protocoles d'évaluation et plan de collecte des données : insuffisamment définis dans le référentiel Itelia ; - Manquent données :

  • en AMONT (attentes des X parties) et suivi post-formation ;
  • feedback des parties ;
  • sur le distantiel
  • l'alternance etc.
- Compétences ne sont pas évaluées ;- Questionnaires à chaud : Survey fatigue et taux de retours insuffisants ; - Moyens / supports (Excel - NPS) de communication des résultats : croisements difficiles et interprétations non fiables et efficaces ; - Fréquence de la comm° des résultats (à la fin de la formation seulement ? ) : pas d'ajustements / correction / traitements des difficultés et décrochages ...

- Evaluation se cantonne au degré d’acquisition des connaissances noté : 0 /10 - Moyenne générale : 5,58 - Baisse constante aux REV 3 / 4 / 5 - Etudiants qui décrochent : Taux d'échec ou d'abandon : 17% Analyse : - Objectifs / moyens en adéquation ? - Quel retour sur les difficultés ? - Soutien pédagogique ? - Modalités d'évaluation de compétences ? - Pertinence de l'articulation distanciel/présentiel...? - Validation / certification devant Jury d'experts ?

Constats : corrélation entre le temps de présence et résulats : + les étudiants sont assidus + ils réussissent et inversement. Analyse : - Données insufffisantes sur le profil des étudiant.e.s pour suivi et accompagnement. Sont-ils suffisamment informés sur la préstation ? Pré-requis ? Absences sont à explorer pour en comprendre les raisons.- Qualification et compétences des FORMATEURS ?

4

Réactions - satisfaction : - Prendre en considération la pertinence de la formation proposée au regard des situations de travail de l’apprenant, mais également le degré d’implication de ces derniers. - Repenser les questionnaires à chaud et à froid.Apprentissages : - Identifier des objectifs précis - Ne pas se cantonner au degré d’acquisition des connaissances, repenser modalités d'évaluation des compétences, l’attitude, la confiance et l’engagement quant au fait de mettre en application ces nouvelles capacités- Réfléchir sur le programme en blocs de compétences , les activités en lien avec le professionnel, le planning, modalités et articulations blended Learning ...Référentiels : Qualiopi RNCP (France Compétences)

Comportements : Etablir des leviers permettant de s’assurer que ces nouvelles compétences se traduisent par un changement de comportements en situation PRO.

Résultats : En amont, attentes des commanditaires FINANCEURS et CERTIFICATEURS explicitement définies pour mesurer le ROE (Return on expectations).

Tutorat, mentorat, coaching

Préconnisations, pistes d'amélioration

Focus sur le modèle d'évaluation Kirk Patrick à enrichir et revisiter

5

Décrire un protocole d'évaluation :

Action : envoi d'un questionnaire Destinataire : étudiantContenu : questions niveau 1 et / ou 2 Action : envoi d'un questionnaireDestinataire : apprenant et / ou tuteur Contenu : questions sur le niveau 3

Plan de collecte de données :

Communication des résultats :

Résultats attendus :

  • Taux de retour élevés à chaud / à froid
  • Augmentation de la satisfaction
  • Traitement des non-conformités
  • Augmentation des transferts des aquis
  • Augmentation de la satisfaction des commanditaires (professionnalisme, image...)

Focus sur les process : cf. référentiel Itelia

Préconnisations, pistes d'amélioration

6

- Déclaration d’activité à la DREETS (certains justificatifs et conditions exigés, refus possibles d'enregistrement ) ; - BPF à fournir à la DREETS retraçant l'activité pour le dernier exercice comptable clos.le BPF est un indicateur financier que certains organismes certificateurs exigent pour la certification Qualiopi. La durée de l'audit dépendra notamment du chiffre d’affaires réalisé.

Focus sur les formalités ADMINISTRATIVES

Préconnisations, pistes d'amélioration

7

Focus sur les impératifs de Qualiopi en 2024

La certification Qualiopi obligatoire depuis janvier 2022 :- Répondre aux impératifs de qualité dans le domaine de la formation professionnelle ; - Bénéficier de fonds des financeurs mentionnés à l’article L.6316-1 du code du travail :(OPCO / CPF / l’Etat, les régions, la Caisse des dépôts et consignations, Pôle emploi et l’Agefiph.) - Professionnaliser et accroître la qualité des formations ; - Améliorer la clarté de l’offre de formation ; - Se démarquer, avantage concurrentiel ; - Assurer la satisfaction des apprenants ; - Renforcer la confiance entre les prestataires de formation et leur clientèle. - Mise à jour et lisibilité de la certification "Manager de Proximité" inscrite au RNCP :référentiels, obligation de constituer des blocs de compétences etc.

Certification Qualiopi et RNCP pour s'inscrire dans une démarche qualité qui assure un développement en amélioration continue des process et des formations d'Itelia.

Préconnisations, pistes d'amélioration

8

9

Merci pour votre écoute !

Alternative pragmatique et réaliste au retour sur investissement (ROI – Return on investment), le ROE (Return on expectation) est une démarche collaborative d’évaluation de l’impact, qui commence en amont de la formation par : - l’identification des attentes des commanditaires ; - leur traduction en critères de succès, qui deviendront ensuite en aval les critères d’évaluation. Il ne s’agit donc plus de répondre en priorité aux attentes des apprenants, mais bien à celles de commanditaires de haut niveau hiérarchique (direction générale, directions opérationnelles, opérateurs financiers et qualificateurs etc.), dans le cadre de projets de formation à forts enjeux. Le ROE est donc en lien direct avec la mission/la raison d’être de l’entreprise, ses objectifs stratégiques et sa pérennité !