Bienvenue sur le Kit de la Communauté SUP'amU

Bienvenue sur le Kit de la Communauté SUP'amU

Ensemble, nous construisons l'orientation de demain au sein d'amU

Commencer

SOMMAIRE

Pourquoi je teste ?

Mes 3 types de tests

Reconnaître une bonne réponse

Que faire si la réponse est mauvaise ?

Comment tester pas à pas ?

Je découvre CENTRALIA et les outils de tests

Je teste dans la Console RAG

Je découvre la communauté SUP'amU

Je note et je remonte

J'ajoute de l'information via le Back-Office

SUP'amU, c'est quoi ?

J'enrichis mon Benchmark

Mémo : bonne réponse VS mauvaise

Continuer

SUP'amU, c'est quoi ?

LES BENEFICES

LE PROBLEME

LA SOLUTION

• Pour les étudiants : une réponse immédiate, simple, adaptéeà leur situation

• Pour les directions métiers et les composantes : moins de sollicitations répétitives, leur expertise valorisée et accessible à tous.

• Pour amU : un service d'orientation et d'information moderne et innovant, un projet co-construit avec tous les acteurs.

• SUP'amU consiste à développer un chatbot intelligent par et pour amU.

• Le chatbot repndra 24h/24 aux questions des étudiants et futurs étudiants sur leur formation, orientation, vie de campus - dans leur langage.

• Il s'appuie sur les contenus et l'expertise des métiers pour donner des réponses fiables et à jour.

• Les étudiants et futurs étudiants d'amU ont du mal à trouver les bonnes informations sur leur orientation et sur les services proposés aux étudiants.

• Les infos sont éparpillées, les services nombreux, le vocabulaire complexe.

• Résultat : des étudiants mal orientés, des décrochages, des directions et services sollicités pour des questions auxquelles le numérique pourrait répondre.

Continuer

La communauté SUP'amU

Les Réalisateurs

Chef de projet technique Cheffe de projet fonctionnelle

Les Chefs d'orchestre

DIRNUM Infra & conception du chatbot

Les Bâtisseurs

DIRNUM IHM

Les Stylistes

CONCEPTION & DEVELOPPEMENT

Les Stratèges

VP COPIL - COSUI Directeurs métiers DIRCOM

Positionnement & messages clés du projet

GOUVERNANCE

Les Ambassadeurs

Experts métiers des directions métiers et SUIO

Composantes, Scolarités

DIRCOM (visibilité)

EXPERTISE & VALIDATION

Visibilité & rayonnement du projet

Les Usagers

Etudiants (LMD), futurs étudiants, enseignants, Lycéens

BENEFICIAIRES FINAUX

Coeur de cible du chatbot

Les Relais

Etudiants relais, Lycées partenaires, enseignants

MOBILISATION TERRAIN

Les Vigiles

DAJI Référent RGPD Référent Accessibilité (DVEC)

CONFORMITE & ETHIQUE

Garant du cadre légal & éthique de l'IA

Continuer

Pourquoi je teste ?

SUP'amU répond aux étudiants d'amU. Vous êtes les seuls à savoir si la réponse est juste pour votre domaine.

Valoriser l'expertise de votre drection métier +Voir plus

Améliorer leur orientation +Voir plus

Fiabiliser l'outil avant déploiement +Voir plus

Pour Vous

Pour amU

Pour les étudiants

Continuer

Mes 3 types de tests

PARCOURS CONCRETS

TESTS GRANDE ECHELLE

QUESTIONS CLES

Continuer

Reconnaître une bonne réponse

Une réponse est pertinente quand elle répond exactement à ce que l'étudiant a demandé.

Une réponse est complète quand elle contient toutes les informations dont l'étudiant a besoin pour agir.

Une réponse est juste quand les informations sont exactes et à jour

Une réponse est claire quand elle est compréhensible par un lycéen ou un étudiant en L1 sans dictionnaire.

Pertinente

Complète

Juste

Claire

+Exemples OK / NOK

+Exemples OK / NOK

+Exemples OK / NOK

+Exemples OK / NOK

Continuer

Que faire si la réponse est mauvaise ?

PAS CLAIRE

PAS JUSTE

PAS PERTINENTE

PAS COMPLETE

80% des corrections = contenu Métiers 20% = technique DIRNUM

Continuer

Comment tester pas à pas ?

BENCHMARK

ANALYSER

NOTER

PREPARER

POSER

AMELIORER & RETESTER

SIGNALER

OUVRIR

EVALUER

Plus tard

Continuer

CENTRALIA

C'est la plateforme qui regroupe tous les outils pour tester et améliorer l'outil

Lien CENTRALIA

Pour accéder aux outils de tests, il faut être connecté au VPN

ASSUREZ-VOUS DE LA QUALITE DANS LE TEMPS

AJOUTEZ UNE SOURCE DE DONNÉES

Console RAG

Back Office

Benchmark

POSEZ UNE QUESTION, LISEZ LA REPONSE ET ANALYSEZ LES SOURCES CONCERNEES

+Voir le guide Back Office

+Voir le guide Console RAG

+Voir le guide Benchmark

Continuer

Posez une question dans la CONSOLE RAG

Puis lire et analyser la réponse

Continuer

Utiliser la console de tests (Console RAG)

Quand un usager pose une question, le système recherche automatiquement dans les sources d’amU pour construire une réponse. La console rag permet de comprendre comment est construite la réponse.

• Tester les réponses = posez les questions que nos usagers pourraient poser et vérifiez que les réponses sont pertinentes
• Vérifier les données = consultez exactement quelles données sont retrouvées, avec leur contenu complet et leur URL d'origine
• Comprendre le processus = il vous montre chaque étape en temps réel (reformulation, sélection des agents, recherche, synthèse)

Continuer

J'ajoute de la donnée dans leBACK-OFFICE

Continuer

Utiliser le Back Office

A quoi sert le Back-Office ? Une réponse à une question n’est pas complète ou juste ? Une information est manquante dans les sources ? Mais cette information n’a pas vocation à être sur une page web. Vous pouvez rajouter de l’information via le Back-Office. Cet outil vous permet de :

• Ajouter un lien URL
• Ajouter un fichier avec un lien URL
• Ajouter un fichier (doc, pdf)
• Ajouter en masse

Continuer

Je note et je remonte

Un modèle de fichier EXCEL vous a été transmis pour noter et suivre vos tests.

LA REGLE DOR : Je note et je remonte - je ne corrige pas en direct

Continuer

Je mets à jour monBENCHMARK

Continuer

Utiliser le Benchmark

Le Benchmark permet de vérifier automatiquement que la chatbot continue de bien répondre aux questions clés dans le temps. On définit des questions de référence, le Benchmark les teste automatiquement tous les jours pour vérifier que les réponses restent bonnes.Cet outil permet donc

• Les questions sont testées automatiquement
• Les réponses sont comparées à une réponse attendue
• Un rapport est envoyé régulièrement

Continuer

Mémo final : bonne réponse VS réponse problématique

• Elle renvoie vers le mauvais service
• Elle contient des dates erronées ou obsolètes
• Elle est trop vague ("ça dépend", "consultez le site")
• Elle utilise du jargon administratif
• Elle omet des étapes ou des conditions importantes
• Elle est trop longue et décourage la lecture

• Elle répond exactement à la question
• Elle est structurée en étaoes ou en listes
• Elle contient des dates précises et à jour
• Elle utilise un langage simple
• Elle n'est ni trop longue, ni trop courte

Une bonne réponse, c'est...

Une mauvaise réponse, c'est...

Continuer

Merci

emeline.fantaisie@univ-amu.fr supamu.univ-amu.fr

Start

BENCHMARK

AMELIORER

Depuis le tableau de suivi, vous devez mener une action pour améliorer une réponse.

Quoi ? Où ?

• Ajoutez ou modifiez ma page web source sur le site amU
• Ajoutez ou modifiez une source dans le back-office

Voir guide Back-office

Comment ?

Voir "Que faire si la réponse est mauvaise"

• Restructurez (étapes, liste à puces)
• Ajoutez des infos manquantes, des cas particuliers, des étapes
• Corrigez le contenu (info erronée ou obsolète)
• Simplifiez (phrases courtes, vocabulaire simple, pas de jargon)

MAJ le tableau de suivi

Dans le tableau de suivi, mettez à jour le statut de l'action.

Poser la question exactement comme un étudiant la poserait - pas comme un professionnel.

Conseils :

• Utiliser un langage familier et simple
• Eviter le vocabulaire technique ou administratif
• Variez les formulations pour la même question

Guide console RAG

Lien Console RAG

Exemples :

• Pas : "Quelle est la procédure de modification d'inscription pédagogique ?"
• Oui : "Comment je fais pour changer de licence ?"

ANALYSER

• Regardez dans le pipeline de la console RAG quelle(s) source(s) de données ont été utilisée(s) pour construire la réponse
• Identifier les sources à améliorer, à mettre à jour et/ou à ajouter

PARCOURS CONCRETS

Objectif

Tester des situations réelles d'étudiants de boutr en bout, en croisant les expertisesde plusieurs directions.

Comment ?

Un participanbt joue le rôle de l'étudiant et pose les questions dans l'ordre naturel du parcours. Les aures observent.

Qui ?

Exemples :

Plusieurs directions réunies - SUIO, scolarités, DIRFOR, DVEC, DRI, etc.

- "Je veux préparer mon arrivée à amU" - "Je veux me réorienter en L2 ?"

Fréquence

1 atelier croisé tous les mois

PREPARER

Conseils :

Avant de commencer, préparez une liste de 10 questions issues de votre activité quotidienne.

• Partez de votre FAQ réelle - les questions que les étudiants vous posent le plus souvent
• Variez les formulations : "Comment faire ..." / "Je veux ..." / "C'est quoi ..."
• Incluez 1 ou 2 cas particuliers ou questions sensibles

Exemples pour le SUIO :

• "Comment réorienter en L1?"
• "Je veux changer de filière, par où je commence ?"
• "Qui contacter pour un bilan d'orientation ?"

Questions à se poser :

• Le chatbot a-t-il compris la vraie demande de l'étudiant ?
• Le service indiqué est-il le bon ?
• La réponse traite-t-elle bien le sujet et pas autre chose ?

Exemple OK

• Question : "Comment me réorienter ?"
• Réponse : "Renvoie vers le SUIO avec les étapes.

Exemple NOK

• Question : "Comment me réorienter ?"
• Réponse : Renvoie vers la scolarité.

Vous êtes les seeuls à savoir si la réponse du chatbot correspond à la réalité de votre direction. Tester, c'est aussi vous assurer que votre domaine est bien représenté et que les étudiants et futurs étudiants sont correctement orientés vers les bons services.

TESTS QUESTIONS CLES

Objectif

Couvrir les besoins simples les plus récurrents de votre direction

Comment ?

Tester les questions que posent le plus souvent les étudiants et futurs étudiants - votre FAQ habituelle.

Qui ?

Exemples :

- "Comment contacter le SUIO ?" - "Quelles sont les conditions pour obtenir une bourse ?" - "Comment s'inscrire en L1 ?"

Vous et votre équipe, membres du Collectif SUP'amU, avec les outils de test mis à disposition via la plateforme CENTRALIA.

Fréquence

Plateforme CENTRALIA

1h à 2h par semaine, en autonomie dans votre direction.

NOTER DANS LE TABLEAU DE SUIVI

Pour chaque réponse problématique, notez dans le tableau de suivi :

• la question posée
• Le type de problème (pertinence, complétude, clarté, justesse)
• Ce qui ne va pas concrètement
• L'action à mener et par qui

Ne corrigez pas la source de donnée en direct. Notez et remontez - c'est le rôle du tableau de suivi.

Le chatbot est là pour aider les étudiants et futurs étudiants à construire leur projet de formation et de vie à amU. Si une réponse est fausse ou incomplète, c'est l'étudiant qui en pâtit : mauvaise orientation, dossier raté, délai manqué, détresse, etc. Votre expertise métier est indispensable pour que l'outil soit fiable.

SUP'amU est un projet d'expérimentation. La qualité de l'outil dépend directement de la qualité des contenus testés et corrigés. Chaque test que vous faites améliore concrètement le service rendu aux étudiants et futurs étudiants d'amU.

Réponse pas complète

Actions METIERS à mener :

Il faut ENRICHIR LE CONTENU

• Ajouter des informations manquantes, des cas particuliers, des étapes dans les sources www amU et/ou dans le Back Office
• Structurer les informations par des listes, des étapes

Actions DIRNUM si besoin :

• Vérifier si le bon contenu est bien remonté ou si problème de récupération
• Ajuster si besoin

Réponse pas juste

Actions METIERS à mener :

Il faut CORRIGER LE CONTENU

• Dans les sources www amU
• Dans la FAQ
• Dans les documents dans le back-office

Actions DIRNUM si besoin :

• Vérifier les sources utilisées
• Règles de priorité, filtrage des contenus
• Ajuster prompt

Réponse pas pertinente

La réponse ne correspond pas à la questionposée ou renvoie vers le mauvais service.

Actions METIER à mener :

• Valider le bon parcours : quelle direction est la bonne pour ce type de question
• Ajouter ou corriger la règle métier (ex. orientation = SUIO, pas scolarité)
• Mettre à jour et enrichir les sources concernées

Actions DIRNUM si besoin :

• Vérifier le matching, l'indexation et les règles de routage
• Vérifier les mots-clefs et les thèmes associés
• Ajuster si nécessaire

SIGNALER

Après analyse, c'est une action DIRNUM à mener. Signalez-la dans la console RAG à partir du bouton "SIGNALER".

1. LIRE

Lisez la réponse en vous mettant à la place d'un étudiant de L1 ou d'un lycéen.

Evaluez les 4 critères : Pertinente ? Complète ? Juste ? Claire ?

Si vous répondez "non" à l'un de ces critères, c'est un problème à analyser et à noter.

OUVRIR CENTRALIA

Connectez-vous à CENTRALIA, vous arriverez sur la console RAG. Pour accéder aux outils de tests, il faut être connecté au VPN au préalable. Si vous avez un problème de connexion, contactez emeline.FANTAISIE@univ-amu.fr.

Questions à se poser :

• Les dates correspondent-elles bien à l'année en cours ?
• Le nom du service ou de la procédure est-il exact ?

Exemple OK

• "Les examens du S2 se déroulent du 2 au 20 juin 2026."

Exemple NOK

• "Les examens ont lieu en juin 2025." = année erronée, source non mise à jour.

GRANDE ECHELLE

Objectif

Mobiliser largement pour tester la robustesse de l'outil sur un grand nombrede questions et de profils.

Comment ?

Toutes les questions sont testées avec leurs variantes, formulations différentes, cas particuliers, profils atypiques, etc.

Qui ?

Exemples :

Directions métiers, composantes, étudiants, lycéens, etc.

- "C'est quoi le CROUS ?" (niveau lycéen) - "Comment je fais pour changer de filière ?" (variante de réorientation)

Fréquence

1 journée par trimestre

Questions à se poser :

• Un lycéen comprendrait-il cette réponse sans aide ?
• Les acronymes sont-ils expliqués (ENT, SUIO, FSDIE, etc.)?
• La réponse est-elle trop longue pour être luesur téléphone ?

Exemple OK

• Vous pouvez demander l'APL (une aide au logement versée par la CAF) une fois installé dans votre logement.

Exemple NOK

• "Il convient de solliciter les dispositifs d'aide au logement auprès des organismes compétents." = incompréhensible.

Réponse pas claire

Actions METIERS à mener :

Il faut SIMPLIFIER LE CONTENU

• Simplifier dans les sources par des phrases courtes et du vocabulaire simple
• Enlever jargon
• Structurer par des listes, étapes

Une communication est en langage clair lorsque « les lecteurs peuvent facilement trouver l’information dont ils ont besoin, la comprendre et l’utiliser ». Le langage clair n’est pas qu’une question de style. C’est une méthode complète qui combine rédaction, structure et design pour garantir l’accessibilité de l’information.

Actions DIRNUM si besoin :

• Ajuster prompt : structuration, ton

Questions à se poser :

• Toutes les étapes sont-elles mentionnées ?
• Les dates clés sont-elles présentes ?
• Les pièces à fournir ou les conditions sont-elles citées ?
• Les contacts (adresse, horaires) sont-ils bien renseignés ?

Exemple OK

• "Pour vous réorienter : contactez le SUIO, déposez votre dossier entre le 2 et le 20 janvier, attendez la réponse avant le 5 février."

Exemple NOK

• "Contactez le SUIO" : service cité, mais aucune étape, date, contact.