Strasbourg, 04 décembre 2024 Usages raisonnés de l’intelligence artificielle générative
La qualité des analyses pré-pédagogiques des documents authentiques écrits proposées par ChatGPT
Luis Iván RAMÓN ESPONDA Mémoire de master
Sommaire
3. Recherche The good, the bad, & the ugly
2. Idée
1. Préambule
Contexte
3 notions clés
ChatGPT-4.0 - Modèle de langage - IA générative - Extraction automatique d'information
Document authentique (DA) - Échantillon de langue produit dans des situations de communication réelles, par des locuteurs natifs
Analyse pré-pédagogique (APP) - Technique pédagogique - Caractéristiques d'un DA - Moirand (1979), Laurens (2013)
Préambule
Perspective didactique
Pratiques et besoins
Outil
Préambule
Perspective administrative
Le Mexique
- 40 heures de travail dont
- +30 heures d'enseignement par semaine
- Niveau B1
- Besoin de formation didactique
- UD thématiques / grammaticales "décousues"
Enseignants
Idée
La genèse du projet
- Cours d'ingénierie didactique
- Stage M1 (DULF B2) :
- Pas de manuel = Besoins + DA = cauchemar
- UD compliquées
- Choix du DA = Thématique ou point de grammaire
- Négligence de l'APP
- Négligence de la logique cognitive (Courtillon, 2003)
- Professeur d'ELE (master)
- Expériences empiriques d'APP et d'UD avec ChatGPT
Idée
Objectif de la recherche
Évaluer la capacité de ChatGPT pour réaliser une APP de qualité.
Qualité ? 1. Similitude avec une APP humaine, professionnelle. 2. Capacité à répondre aux difficultés des enseignants novices dans la mise en place de cette technique.
Recherche
Hypothèse et questions de recherche
H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.
Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?
Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al.
(2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Recherche
Documents authentiques
Recherche
Analyse pré-pédagogique
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al.
(2024)
Prompt
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Recherche
Prompt utilisé
Maurin (2023)OpenAI (2024) Ramón Esponda (2024)
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al.
(2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al.
(2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
The good, the bad & the ugly
The good
Confirmation de l'hypothèse de départ et réponses aux deux questions de recherche.
H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.
Oui
Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?
le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).
Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?
Oui, mais...
The good, the bad & the ugly
The good
ChatGPT est capable d'identifier correctement le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).
The good, the bad & the ugly
The good
ChatGPT est capable de produire une APP globalement pertinente.
The good, the bad & the ugly
The good
La performance de ChatGPT dans la réalisation de l'APP n'a pas généré d'hallucinations importantes.
Exemple les plus extrême : Objectif global de la communication (enjeu) : Récepteur : Trouver un logement répondant à leurs besoins et à leur budget, dans une localisation souhaitée.
The good, the bad & the ugly
The good
Cette recherche répond aux nombreux appels à tester et mesurer les capacités de ChatGPT dans le domaine de l'éducation/de la DDL.
1. Cadre épistémologique concret, issu de la DDL. 2. Démarche spécifique (et problématique) en DDL. 3. Proposition méthodologique. 4. Évaluation triangulée de la performance de l'outil.
The good, the bad & the ugly
The good
La recherche ouvre la voie à de nouvelles questions et/ou de futures recherches, telles que :
a. L'outil reste-t-il performant avec une variété de DA ? b. Peut-il améliorer la qualité de l'APP en utilisant d'autres techniques d'extraction d'informations (one-shot, few-shots, etc.) ? c. Comment améliorer la capacité d'exhaustivité dans l'extraction des éléments linguistiques de l'APP de ChatGPT ? d. La qualité des APP proposées par ChatGPT est-elle supérieure à celles créées par des enseignants novices ? e. ChatGPT peut-il offrir des propositions d'UD plus intéressantes en passant lui-même par une APP ? f. L'application de la technique de l'APP résulte-t-elle en des UD de meilleure qualité ? En un enseignement de meilleure qualité ? En un apprentissage de meilleure qualité ?
The good, the bad & the ugly
The bad
Les enseignants novices n'utilisent pas la technique de l'APP.
- Peu pratique - Très chronophage - Éléments problématiques = Incohérences dans la praxis
The good, the bad & the ugly
The bad
La composante communicative de l’APP de ChatGPT (éléments socioculturels/sociolinguistiques et linguistico-discursifs) n’est pas optimale.
- Exhaustivité - Éléments contextuels Exemple : Abréviations - ChatGPT : « hc, cc » - Laurens (2013) : « M°, hc, cc, chauff. col., en coloc., cuis. éq., cuisine USA, sdb, chbres/chs, rgts, dispo, tél, F1/2/3, ’/min, surface en m² »
The good, the bad & the ugly
The bad
ChatGPT a une tendance à la verbosité.
- explications excessives et superflues au lieu de relever tous les éléments d’un axe d'analyse.
The good, the bad & the ugly
The ugly
La taille des échantillons et la diversité des techniques d'extraction. La nouveauté du champ. L'obsolescence des résultats/des pratiques. Les contraintes contextuelles de la recherche : temps, stage, format.
Conclusion
Des réflexions personnelles.
Où se trouve l'usage raisonné ?
1. Dans un usage axé sur la didactique et non sur la technologie. 2. Dans la réflexion de mes pratiques enseignantes. 3. Dans l'identification de problématiques et besoins. 4. Dans la littératie sur ce type de technologie. 5. Dans le choix / le tri des processus didactiques à tester à l'aide de ce type d'outils. 6. Dans le test, la mesure et la critique pédagogique des fonctionnalités de ce type d'outils. 7. Dans la révision avant, pendant et après de la perfomance de l'outil = c'est moi l'expert, c'est moi qui décide. 8. Dans l'ouverture d'esprit. 9. Dans la conception de projets de recherche dans le champ. 10. Dans la divulgation et le partage des résultats au sein de la communauté didactique.
– […] sais-tu la différence entre un professeur et un outil ? -Non ? -Le mauvais professeur n’est pas réparable... D. Pennac
Merci !
RAMÓN ESPONDA-JournéeUStrasbourg
eltichersito
Created on November 25, 2024
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Create Your Story in Spanish
View
Microcourse: Key Skills for University
View
Microcourse: Learn Spanish
View
History Timeline
View
Education Timeline
View
Body Parts Game
View
Resource Bank
Explore all templates
Transcript
Strasbourg, 04 décembre 2024 Usages raisonnés de l’intelligence artificielle générative
La qualité des analyses pré-pédagogiques des documents authentiques écrits proposées par ChatGPT
Luis Iván RAMÓN ESPONDA Mémoire de master
Sommaire
3. Recherche The good, the bad, & the ugly
2. Idée
1. Préambule
Contexte
3 notions clés
ChatGPT-4.0 - Modèle de langage - IA générative - Extraction automatique d'information
Document authentique (DA) - Échantillon de langue produit dans des situations de communication réelles, par des locuteurs natifs
Analyse pré-pédagogique (APP) - Technique pédagogique - Caractéristiques d'un DA - Moirand (1979), Laurens (2013)
Préambule
Perspective didactique
Pratiques et besoins
Outil
Préambule
Perspective administrative
Le Mexique
Enseignants
Idée
La genèse du projet
Idée
Objectif de la recherche
Évaluer la capacité de ChatGPT pour réaliser une APP de qualité. Qualité ? 1. Similitude avec une APP humaine, professionnelle. 2. Capacité à répondre aux difficultés des enseignants novices dans la mise en place de cette technique.
Recherche
Hypothèse et questions de recherche
H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.
Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?
Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Recherche
Documents authentiques
Recherche
Analyse pré-pédagogique
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)
Prompt
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Recherche
Prompt utilisé
Maurin (2023)OpenAI (2024) Ramón Esponda (2024)
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
Méthodologie
Zhang et al. (2023), Tang et al. (2023), Tang et al. (2024)
Maurin (2023)
Tang et al. (2023), Kojima et al. (2023)
Stevens & Levi (2005)
Lin (2004)
The good, the bad & the ugly
The good
Confirmation de l'hypothèse de départ et réponses aux deux questions de recherche.
H1 : Les enseignants novices formés à la TMR ne recourent pas à la technique d’APP.
Oui
Q1 : Quelles sont les difficultés qu’ils rencontrent dans la mise en place de cette technique?
le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).
Q2 : ChatGPT est-il capable de réaliser une APP de manière globalement satisfaisante?
Oui, mais...
The good, the bad & the ugly
The good
ChatGPT est capable d'identifier correctement le genre discursif, le type de texte, la thématique de la communication, l'objectif de la communication et la composante pragmatique (actes de parole).
The good, the bad & the ugly
The good
ChatGPT est capable de produire une APP globalement pertinente.
The good, the bad & the ugly
The good
La performance de ChatGPT dans la réalisation de l'APP n'a pas généré d'hallucinations importantes.
Exemple les plus extrême : Objectif global de la communication (enjeu) : Récepteur : Trouver un logement répondant à leurs besoins et à leur budget, dans une localisation souhaitée.
The good, the bad & the ugly
The good
Cette recherche répond aux nombreux appels à tester et mesurer les capacités de ChatGPT dans le domaine de l'éducation/de la DDL.
1. Cadre épistémologique concret, issu de la DDL. 2. Démarche spécifique (et problématique) en DDL. 3. Proposition méthodologique. 4. Évaluation triangulée de la performance de l'outil.
The good, the bad & the ugly
The good
La recherche ouvre la voie à de nouvelles questions et/ou de futures recherches, telles que :
a. L'outil reste-t-il performant avec une variété de DA ? b. Peut-il améliorer la qualité de l'APP en utilisant d'autres techniques d'extraction d'informations (one-shot, few-shots, etc.) ? c. Comment améliorer la capacité d'exhaustivité dans l'extraction des éléments linguistiques de l'APP de ChatGPT ? d. La qualité des APP proposées par ChatGPT est-elle supérieure à celles créées par des enseignants novices ? e. ChatGPT peut-il offrir des propositions d'UD plus intéressantes en passant lui-même par une APP ? f. L'application de la technique de l'APP résulte-t-elle en des UD de meilleure qualité ? En un enseignement de meilleure qualité ? En un apprentissage de meilleure qualité ?
The good, the bad & the ugly
The bad
Les enseignants novices n'utilisent pas la technique de l'APP.
- Peu pratique - Très chronophage - Éléments problématiques = Incohérences dans la praxis
The good, the bad & the ugly
The bad
La composante communicative de l’APP de ChatGPT (éléments socioculturels/sociolinguistiques et linguistico-discursifs) n’est pas optimale.
- Exhaustivité - Éléments contextuels Exemple : Abréviations - ChatGPT : « hc, cc » - Laurens (2013) : « M°, hc, cc, chauff. col., en coloc., cuis. éq., cuisine USA, sdb, chbres/chs, rgts, dispo, tél, F1/2/3, ’/min, surface en m² »
The good, the bad & the ugly
The bad
ChatGPT a une tendance à la verbosité.
- explications excessives et superflues au lieu de relever tous les éléments d’un axe d'analyse.
The good, the bad & the ugly
The ugly
La taille des échantillons et la diversité des techniques d'extraction. La nouveauté du champ. L'obsolescence des résultats/des pratiques. Les contraintes contextuelles de la recherche : temps, stage, format.
Conclusion
Des réflexions personnelles.
Où se trouve l'usage raisonné ?
1. Dans un usage axé sur la didactique et non sur la technologie. 2. Dans la réflexion de mes pratiques enseignantes. 3. Dans l'identification de problématiques et besoins. 4. Dans la littératie sur ce type de technologie. 5. Dans le choix / le tri des processus didactiques à tester à l'aide de ce type d'outils. 6. Dans le test, la mesure et la critique pédagogique des fonctionnalités de ce type d'outils. 7. Dans la révision avant, pendant et après de la perfomance de l'outil = c'est moi l'expert, c'est moi qui décide. 8. Dans l'ouverture d'esprit. 9. Dans la conception de projets de recherche dans le champ. 10. Dans la divulgation et le partage des résultats au sein de la communauté didactique.
– […] sais-tu la différence entre un professeur et un outil ? -Non ? -Le mauvais professeur n’est pas réparable... D. Pennac
Merci !