Les IAG : comment ça marche ?

N'oubliez pas... une Iag ne comprenD pas le sens de votre question ni celui de sa réponse...

Les IAg, comment ça marche ??

N'OUBLIEZ PAS... UNE IAg NE COMPREND PAS LE SENS DE VOTRE QUESTION NI CELUI DE SA REPONSE...

Image, audio, texte... ?

Les contenus générés par les IAg peuvent prendre différentes formes

L'IAg c'est quoi ?

Bon à savoir

L'originalité

En fonction de l'originalité souhaitée, ce n’est pas toujours le mot le plus probable qui est sélectionné

Le PROMPT

La réponse en sortie est directement liée à la richesse et la qualité de la requête en entrée (le prompt)

COMMENT RÉDIGER UN BON PROMPT ?

Fonctionnement

Les données

Recueil et organisation de vastes ensembles de données pour l'apprentissage

LA TOKENISATION

Découpage du texte en "unités lexicales" ou "Tokens"

L'ENCODAGE

Chaque token est associé à un identifiant unique

LE word embedding

Chaque mot est transformé en un vecteur à n dimensions qui capture les relations sémantiques

L'ajustement

Les vecteurs s'ajustent pour optimiser la représentation des mots en fonction du contexte

L'utilisation du modele

Le modèle utilise la relation de proximité entre les mots pour prédire le mot suivant

1

2

3

4

5

6

IA OU IAg

L'IAg est un type d'IA capable de générer des contenus en réponse à des requêtes (prompts)

Maximilien dossa Céline AversengIAE MONTPellier

IA OU IAg ?

L'IA apprend à partir de données et peut, avec le temps et l'expérience, améliorer ses performances.

Chatbots et assistants (Siri, Alexa…)

Systèmes de recommandation (Netflix, Amazon…)

Systèmes de navigation (Maps, Waze…)

Caméras intelligentes (iPhone, Samsung)

Détection de fraudes…

L'IA est partout !

Machine Learning

Deep Learning

Reinforcement Learning

L'Intelligence Artificielle (IA) est un ensemble de méthodes mathématiques et algorithmiques visant à concevoir des systèmes capables d'effectuer des tâches normalement réalisées par l'intelligence humaine.

Texte

L'Intelligence Artificielle Générative (IAg) est une sous-branche de l'IA spécialisée dans la création de nouveaux contenus en se basant sur des exemples ou des données préexistantes.Il s'agit des outils comme Copilot ou ChatGPT.

Les systèmes classiques d'IA reproduisent des comportements ou analysent des données

Les IAg produisent de nouvelles informations

Vidéo

Image

Musique

IA faible

IA forte

Image, audio, texte... ?

L'IAg est principalement utilisée pour générer des textes (utilisation de modèles de langage (NLP) tel que GPT), des œuvres d'art (utilisation de modèles génératifs d'images tel que DALL·E) ou des contenus multimédia (utilisation de modèles génératifs de vidéos, de musiques...).

En 2018, le collectif parisien Obvious crée l'oeuvre d'art "Portrait of Edmond de Belamy" en utilisant des modèles d'IAG.Le tableau a été vendu 432000 € aux enchères.

"Now And Then", le nouveau morceau des Beatles sorti en 2023 est né d’une collaboration entre Paul McCartney, feu John Lennon… et une intelligence artificielle.Si l'IA n'a pas créé de contenu ici, elle a permis de retravailler sur d'anciens enregistrements laissés par John Lenon, jusque-là inutilisables.

En 2020, le journal The Guardian a publié un article entièrement rédigé par un modèle de langage (GPT-3).L'article, dont les premiers mots sont : "I am not a human. I am a robot." a fait sensation en raison de sa cohérence et qualité d'écriture.

Les données

Données = matière première des algorithmes d'Intelligence Artificielle.

Avant d'être utilisées, ces données nécessitent un traitement particulier pour vérifier leur fiabilité, leur pertinence et leur cohérence.

Les modèles d'IAg utilisent souvent des données multimodales (provenant de différents formats : textes, images, audio et vidéos). Ces données proviennent majoritairement d'Internet, avec des sources comme Wikipédia, des livres numérisés, des bases d'images publiques (comme ImageNet), ou encore des plateformes musicales (comme Spotify et YouTube).

Le modèle de langage GPT utilise des millions de livres et traite plus de 300 milliards de tokens (unités de texte) !

Dans certains cas, les modèles d'IAg peuvent être enrichis avec des données spécifiques (articles, documents personnels etc.), permettant ainsi de créer des IA personnalisées.

RAG (Retrieval-Augmented Generation)

Prochaine étape : La tokenisation

LA TOKENISATION

La tokenisation consiste à découper un texte en unités appelées tokens. Un token peut être un mot, une partie de mot ou même un symbole.Exemple :Les modèles d'IA ne comprennent pas le texte comme les humains. La tokenisation est la première étape permettant de convertir le texte en unités compréhensibles par l'algorithme.Les modèles de langage comme GPT utilisent des milliards de tokens pour apprendre les relations entre les mots et le contexte.

Prochaine étape : L'encodage

L'ENCODAGE

Les modèles d'IA ne peuvent pas comprendre directement le texte et les tokens. L'encodage permet de traduire le texte ou d'autres données non structurées en une forme numérique structurée que l'algorithme peut manipuler.L’encodage peut se faire de différentes manières en fonction du type de données :Cette représentation numérique ne capture pas intrinsèquement la sémantique des mots ou leur contexte dans une phrase. Cette tâche concerne le "Word embedding".

Pour l'encodage d'un texte par exemple, chaque mot ou token unique se voit attribuer un seul et unique identifiant :

Pour encoder une image par exemple, celle-ci sera divisée en pixels et chaque pixel sera encodé par son niveau de gris :

Prochaine étape : Le word embedding

LE word embedding

Le plongement lexical (ou word embedding) est l'étape où chaque mot -converti en token (tokenisation) puis représenté sous forme d'identifiant unique (encodage)-, est transformé en un vecteur à n dimensions dans un espace vectoriel.Cette représentation permet de capturer les relations sémantiques (signification des mots) et syntaxiques (fonction des mots dans la phrase). Les mots ayant des caractéristiques similaires se trouvent à proximité les uns des autres dans cet espace.Chaque dimension de cet espace vectoriel représente une caractéristique du mot. Si le sens du mot est la caratcéristique principale à considérer, elle n'est pas la seule. Par exemple, dans un espace de plongement à quatre dimensions, une dimension pourrait représenter le sens du mot (sa définition), une autre le genre (masculin ou féminin), une autre le nombre (singulier ou pluriel) et une autre la connotation positive ou négative du mot.Ces dimensions ne sont généralement pas explicitement définies, mais sont plutôt apprises par le modèle au cours de son entraînement (deep learning).Dans le cadre de l'architecture GPT-4, les tokens sont projetés dans un espace vectoriel de très haute dimensionnalité (plus de 10000 dimensions), capturant des caractéristiques telles que les connotations émotionnelles, les catégories grammaticales (noms, verbes, adjectifs), les fréquences d'utilisation, ou encore les relations syntaxiques.

Représentation du Word Embedding

LE word embedding

Prochaine étape : L'ajustement

1

0

Tokenisation

Texte brut

2

Encodage

3

Vectorisation

4

Représentation /Mappage

En deux dimensions pour l'exemple

La dimension dans cet exemple représente les catégories grammaticales (verbes, noms, pronoms/articles...)

"Ceci est un cours sur l'Intelligence Artificielle"

L'ajustement

L'algorithme ajuste ensuite les valeurs des vecteurs (apprentissage par renforcement).Cet ajustement permet aux modèles de représenter de manière de plus en plus précise les relations sémantiques entre les mots.À la fin de l'entraînement et des ajustements, le modèle paramètre les valeurs de façon à ce que les structures du langage soient correctement représentées dans chaque dimension de l'espace vectoriel.

Prochaine étape : L'utilisation du modèle

Ajustement 1

Ajustement 2

Ajustement n

...

L'utilisation du modele

L'espace vectoriel préalablement construit permet d'établir des relations de proximité entre les tokens :

Mot 1

Mot 2

Relation de proximité (mesure de distance) des deux mots dans l’espace vectoriel

Suite

L'utilisation du modele

En utilisant la proximité entre les tokens, le modèle établit une distribution probabiliste des relations entre les mots qu'il utilise pour prédire le mot suivant. Chaque séquence de mots génère un vecteur de probabilités des mots susceptibles de suivre.Le mot dont la probabilité est la plus élevée, selon le modèle, est sélectionné comme réponse à la requête en entrée. Ce processus est ensuite réitéré pour générer des phrases cohérentes.

L'originalité

Pour chaque complétion, les mots sont classés du plus probable au moins probable. Cependant, le mot le plus probable n'est pas toujours sélectionné.Si on souhaite que le modèle génère des réponses plus originales, il peut choisir des mots ayant des proximités plus faibles.Ce comportement peut être spécifié directement dans le prompt ou ajusté via un paramètre du modèle appelé température.

RéponseGPT4 / Température 0

Exemple de prompt :"Peux-tu m'écrire un poème de 4 vers sur l'intelligence artificielle?"

RéponseGPT4 / Température 0.8

L'IA, esprit de code et de lumière,Éclaire nos chemins de sa science fière.Elle apprend, elle guide, sans jamais se lasser,Un futur façonné par ses algorithmes tracés.

L'IA explore les arcanes du savoir,Tissant des liens d'une infime beauté,Rendant possible l'impossible de notre histoire,Éclairant le futur de sa clarté.

Température proche de 1

Réponses plus créatives et variées

Température proche de 0

Réponses conventionelles

Le PROMPT

Il existe des "régions" moins denses dans l'espace vectoriel, ce qui peut entraîner des erreurs dans les prédictions du modèle.

Requête en entrée

Pour aller plus loin :

rediger un bon prompt

Il existe différentes techniques permettant de construire et structurer les prompts dans le but de maximiser la qualité des réponses générées.

La qualité des réponses générées dépend donc directement de celle du prompt : plus ce dernier est structuré et riche, plus les réponses seront pertinentes.

En utilisant des mots bien choisis et une structure de phrase rigoureuse, on aide le modèle à mieux anticiper les mots suivants en se positionnant dans des zones denses.

C'est pourquoi un contexte clair et précis est essentiel pour orienter le modèle vers les zones les plus riches de cet espace.

QUESTION 1/4

Aller à la page qui contient la réponse...

QUESTION 2/4

Aller à la page qui contient la réponse...

QUESTION 2/4

Aller à la page qui contient la réponse...

QUESTION 3/4

Aller à la page qui contient la réponse...

QUESTION 4/4

Aller à la page qui contient la réponse...

Ce qu'il faut retenir !

Ce qu'il faut retenir !

Découpage du texte en unités compréhensibles (tokens). Conversion des tokens en données numériques. Positionnement des mots dans un espace qui capture leurs relations. Un prompt clair produit des réponses de qualité.L'IA apprend en ajustant ses actions selon les résultats.

Tokenisation :

Encodage :

Word Embedding :

Prompt :

Température :

CRéDITS

Maximilien Dossa et Céline Averseng

Conception, Rédaction, et Réalisation du support

Relecture

Patricia Minouflet, David Billet, Amandine Bouchet et Matthieu Dereumaux

Applications utilisées

Genially, Chat GPT 4o

Licence CC-by-nc-nd : Attribution / Pas d’utilisation commerciale / Pas de modification

N'oubliez pas... une Iag ne comprenD pas le sens de votre question ni celui de sa réponse...

LES IAG, comment ça marche ??

N'oubliez pas... une Iag ne comprenD pas le sens de votre question ni celui de sa réponse...

Image, audio, texte... ?

Les contenus générés par les IAG peuvent prendre différentes formes

L'IAG c'est quoi ?

Bon à savoir

L'originalité

En fonction de l'originalité souhaitée, ce n’est pas toujours le mot le plus probable qui est sélectionné

Le PROMPT

La réponse en sortie est directement liée à la richesse et la qualité de la requête en entrée (le prompt)

COMMENT RÉDIGER UN BON PROMPT ?

Fonctionnement

Les données

Recueil et organisation de vastes ensembles de données pour l'apprentissage

LA TOKENISATION

Découpage du texte en "unités lexicales" ou "Tokens"

L'ENCODAGE

Chaque token est associé à un identifiant unique

LE word embedding

Chaque mot sous forme d'identifiant unique est transformé en un vecteur à n dimensions capturant les relations sémantiques

L'ajustement

Les vecteurs s'ajustent pour optimiser la représentation des mots en fonction du contexte

L'utilisation du modele

Le modèle utilise la relation de proximité entre les mots pour prédire le mot suivant

1

2

3

4

5

6

IA OU IAG ?

L'IAG est un type d'IA capable de générer des contenus en réponse à des requêtes (prompts)

Maximilien dossa Céline AversengIAE MONTPellier

C'est grâce à l'apprentissage acquis à partir de ces données que les systèmes d'IA générative (IAG) sont capables de créer des contenus qui se rapprochent de ceux produits par l'intelligence humaine...

La vectorisation permet de capturer les relations sémantiques entre les mots.Elle fait appel à des techniques de deep learning qui, après un apprentissage sur un large corpus de données, identifient ces relations et les condensent sous forme de vecteurs, résumant ainsi l'information de manière efficace.

L'IA Forte fait référence à un concept théorique d'intelligence artificielle capable d'égaler, voire de surpasser les capacités intellectuelles humaines. Elle serait capable de raisonner, de comprendre, de prendre des décisions complexes et d'apprendre de manière autonome tout en possédant une forme de conscience. À ce jour, l'IA Forte reste hypothétique, car aucun système n'a encore été développé pour rivaliser avec les capacités de raisonnement, d'intelligence et de créativité humaines. Les systèmes d'IA actuels se limitent encore à des tâches spécifiques, sans réelle compréhension des contextes plus larges ou des émotions humaines (=IA Faible).

L'Intelligence Artificielle Forte

Le machine learning consiste à développer des modèles mathématiques capables d'apprendre à partir de données.Le processus d'apprentissage repose sur des algorithmes qui analysent de grandes quantités de données, identifient des relations et ajustent les modèles en conséquence. Une fois entraînés, ces modèles généralisent leur apprentissage pour traiter des données inédites.Le machine learning est largement utilisé dans des applications comme la reconnaissance faciale, les recommandations de produits ou la prédiction de tendances.

Machine Learning (Apprentissage automatique)

Deep Learning(Apprentissage profond)

Le Deep Learning, ou apprentissage profond, est une branche avancée du machine learning qui utilise des réseaux de neurones artificiels. Ces réseaux permettent d'apprendre des représentations complexes des données, en particulier lorsqu'elles sont volumineuses ou non structurées, comme des images, des sons ou des textes.À l'inverse des modèles de machine learning, le deep learning permet d'extraire automatiquement des caractéristiques pertinentes à différents niveaux de complexité, sans nécessiter d'intervention humaine pour la sélection des caractéristiques. Cela le rend particulièrement efficace pour des tâches telles que la traduction automatique ou la génération de textes.Le Deep Learning est largement utilisé dans des domaines tels que le traitement du langage naturel et les systèmes de reconnaissance d'images.

Reinforcing learning(Apprentissage par renforcement)

L'apprentissage par renforcement est une méthode de machine learning où un agent apprend à prendre des décisions en interagissant avec un environnement. L'agent reçoit des récompenses ou des punitions en fonction de ses actions et il ajuste ses choix pour maximiser les récompenses cumulées au fil du temps.À l'inverse d'autres formes d'apprentissage, l'apprentissage par renforcement repose sur l'exploration d'actions et la rétroaction de l'environnement.Cette approche est utilisée dans des domaines tels que la conduite autonome, la robotique, l'optimisation de processus et la gestion de systèmes autonomes.

Le RAG

Le Retrieval-Augmented Generation (RAG) est une méthode en IA qui combine la récupération d'informations en temps réel (dans une base de données par exemple) et la génération de texte. Cela permet au modèle d'aller chercher des données externes avant de générer une réponse, améliorant ainsi la pertinence et l'exactitude des informations fournies.

L'IA faible désigne les systèmes d'intelligence artificielle tels que nous les connaissons aujourd'hui. Elle est conçue pour accomplir des tâches spécifiques avec une grande efficacité, mais sans véritable compréhension ou conscience. Ces systèmes imitent certaines fonctions cognitives humaines (comme le traitement du langage, la reconnaissance d'images ou la prise de décisions simples) mais leur capacité se limite strictement aux tâches pour lesquelles ils ont été programmés. Par exemple, un assistant virtuel, comme Siri ou Alexa, peut répondre à des questions précises ou exécuter des commandes, mais il ne possède pas de compréhension globale ni de conscience.

L'Intelligence Artificielle Faible