RAMÓN ESPONDA-JournéeUStrasbourg

La qualité des analyses pré-pédagogiques des documents authentiques écrits proposées par ChatGPT

Luis Iván RAMÓN ESPONDAMémoire de master

Strasbourg, 04 décembre 2024Usages raisonnés de l’intelligence artificielle générative

3. RechercheThe good, the bad, & the ugly

2. Idée

1. Préambule

Sommaire

Document authentique (DA)- Échantillon de langue produit dans des situations de communication réelles, par des locuteurs natifs

Analyse pré-pédagogique (APP)- Technique pédagogique- Caractéristiques d'un DA- Moirand (1979), Laurens (2013)

3 notions clés

ChatGPT-4.0- Modèle de langage- IA générative- Extraction automatique d'information

Contexte

Pratiques et besoins

Perspective didactique

Outil

Préambule

Le Mexique

Préambule

Enseignants

• 40 heures de travail dont
• +30 heures d'enseignement par semaine
• Niveau B1
• Besoin de formation didactique
• UD thématiques / grammaticales "décousues"

Perspective administrative

• Cours d'ingénierie didactique
• Stage M1 (DULF B2) :
• Pas de manuel = Besoins + DA = cauchemar
• UD compliquées
• Choix du DA = Thématique ou point de grammaire
• Négligence de l'APP
• Négligence de la logique cognitive (Courtillon, 2003)

• Professeur d'ELE (master)
• Expériences empiriques d'APP et d'UD avec ChatGPT

La genèse du projet

Idée

Évaluer la capacité de ChatGPT pour réaliser une APP de qualité. Qualité ? 1. Similitude avec une APP humaine, professionnelle.2. Capacité à répondre aux difficultés des enseignants novices dans la mise en place de cette technique.

Objectif de la recherche

Idée

H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.

Hypothèse et questions de recherche

Recherche

Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?

Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?

Méthodologie

Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)

Maurin (2023)

Tang et al. (2023), Kojima et al. (2023)

Stevens & Levi (2005)

Lin (2004)

Documents authentiques

Recherche

Analyse pré-pédagogique

Recherche

Méthodologie

Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)

Maurin (2023)

Tang et al. (2023), Kojima et al. (2023)

Stevens & Levi (2005)

Lin (2004)

Prompt

Prompt utilisé

Recherche

Maurin (2023)OpenAI (2024)Ramón Esponda (2024)

Méthodologie

Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)

Maurin (2023)

Tang et al. (2023), Kojima et al. (2023)

Stevens & Levi (2005)

Lin (2004)

Méthodologie

Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)

Maurin (2023)

Tang et al. (2023), Kojima et al. (2023)

Stevens & Levi (2005)

Lin (2004)

H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.

Confirmation de l'hypothèse de départ et réponses aux deux questions de recherche.

The good

Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?

Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?

The good, the bad & the ugly

Oui

le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).

Oui, mais...

ChatGPT est capable d'identifier correctement le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).

The good

The good, the bad & the ugly

ChatGPT est capable de produire une APP globalement pertinente.

The good

The good, the bad & the ugly

La performance de ChatGPT dans la réalisation de l'APP n'a pas généré d'hallucinations importantes.

The good

The good, the bad & the ugly

Exemple les plus extrême : Objectif global de la communication (enjeu) :Récepteur : Trouver un logement répondant à leurs besoins et à leur budget, dans une localisation souhaitée.

1. Cadre épistémologique concret, issu de la DDL. 2. Démarche spécifique (et problématique) en DDL. 3. Proposition méthodologique.4. Évaluation triangulée de la performance de l'outil.

Cette recherche répond aux nombreux appels à tester et mesurer les capacités de ChatGPT dans le domaine de l'éducation/de la DDL.

The good

The good, the bad & the ugly

a. L'outil reste-t-il performant avec une variété de DA ?b. Peut-il améliorer la qualité de l'APP en utilisant d'autres techniques d'extraction d'informations (one-shot, few-shots, etc.) ?c. Comment améliorer la capacité d'exhaustivité dans l'extraction des éléments linguistiques de l'APP de ChatGPT ?d. La qualité des APP proposées par ChatGPT est-elle supérieure à celles créées par des enseignants novices ?e. ChatGPT peut-il offrir des propositions d'UD plus intéressantes en passant lui-même par une APP ?f. L'application de la technique de l'APP résulte-t-elle en des UD de meilleure qualité ? En un enseignement de meilleure qualité ? En un apprentissage de meilleure qualité ?

La recherche ouvre la voie à de nouvelles questions et/ou de futures recherches, telles que :

The good

The good, the bad & the ugly

- Peu pratique- Très chronophage- Éléments problématiques = Incohérences dans la praxis

Les enseignants novices n'utilisent pas la technique de l'APP.

The bad

The good, the bad & the ugly

- Exhaustivité- Éléments contextuelsExemple : Abréviations - ChatGPT : « hc, cc »- Laurens (2013) : « M°, hc, cc, chauff. col., en coloc., cuis. éq., cuisine USA, sdb, chbres/chs, rgts, dispo, tél, F1/2/3, ’/min, surface en m² »

La composante communicative de l’APP de ChatGPT (éléments socioculturels/sociolinguistiques et linguistico-discursifs) n’est pas optimale.

The bad

The good, the bad & the ugly

- explications excessives et superflues au lieu de relever tous les éléments d’un axe d'analyse.

ChatGPT a une tendance à la verbosité.

The bad

The good, the bad & the ugly

La taille des échantillons et la diversité des techniques d'extraction.La nouveauté du champ. L'obsolescence des résultats/des pratiques.Les contraintes contextuelles de la recherche : temps, stage, format.

The ugly

The good, the bad & the ugly

1. Dans un usage axé sur la didactique et non sur la technologie. 2. Dans la réflexion de mes pratiques enseignantes.3. Dans l'identification de problématiques et besoins. 4. Dans la littératie sur ce type de technologie.5. Dans le choix / le tri des processus didactiques à tester à l'aide de ce type d'outils.6. Dans le test, la mesure et la critique pédagogique des fonctionnalités de ce type d'outils.7. Dans la révision avant, pendant et après de la perfomance de l'outil = c'est moi l'expert, c'est moi qui décide. 8. Dans l'ouverture d'esprit. 9. Dans la conception de projets de recherche dans le champ. 10. Dans la divulgation et le partage des résultats au sein de la communauté didactique.

Des réflexions personnelles.

Où se trouve l'usage raisonné ?

Conclusion

– […] sais-tu la différence entre un professeur et un outil ? -Non ? -Le mauvais professeur n’est pas réparable...D. Pennac

Merci !