Intelligence Artificielle : l'Europe face au défi de la règlementation

L'Europe face au défi de la règlementation

Intelligence Artificielle

Commencer

Nouvelles avancées, nouveau cadre

Continuer

L'AI Act en 14 dates

La relativité du risque

La transparence

La mise en conformité

Les nouveaux interdits

EXPLORER

Nouveaux interdits

La surveillance biométrique en temps réel sera interdite par l'AI Act. Image issue de l'intelligence artificielle Midjourney (image d'illustration).

Dans l’AI Act, les eurodéputés définissent les systèmes d’intelligence artificielle qui, par essence, sont trop risqués pour la société et doivent être interdits. C’est le cas du crédit social et de la police prédictive.

Les lignes rouges à ne pas franchir

Lire

Réglementer la technologie, c’est faire des choix sur le futur de la société. L’intelligence artificielle (IA) et ses dérives ont déjà fait l’objet de nombreuses œuvres de science-fiction, dans la littérature comme au cinéma. Quand ces outils deviennent réalité, comment empêcher les scénarios catastrophes comme celui du Terminator avec Schwarzenegger, ou les sombres nouvelles dystopiques de Black Mirror sur Netflix ? C’est une des questions essentielles auxquelles doit répondre l’Union Européenne avec l’Artificial Intelligence Act (AI Act), adopté au Parlement Européen ce mercredi 14 juin. L’article 5 du texte prévoit une liste de pratiques qui seront strictement interdites, car le risque qu’elles constituent est considéré comme « inacceptable ». Une nouvelle phase de trilogue avec la Commission et le Conseil de l'Union Européenne va avoir lieu, mais ces interdictions devraient bien figurer dans le texte final. Pas de crédit social à la chinoiseLe crédit social, déjà utilisé en Chine depuis 2018,

consiste à mettre en place un système denotation des citoyens et des entreprisesen fonction de leur intégrité, leur civisme, etc. À partir de l’analyse des données personnelles et la vidéosurveillance, un algorithme attribue un « score social » aux individus. Une note faible peut entraîner une interdiction d’acheter certain billets de transports (train, avion), ou bien d’acquérir un bien immobilier. Au contraire, « un bon score [...] permet non seulement d’obtenir plus facilement des crédits bancaires, mais aussi des réductions sur des factures », rapporte Emmanuel Dubois de Prisque, chercheur à l’Institut Thomas More.« Le crédit social porte une atteinte importante à nos libertés telles que nous les concevons en Europe. Nous considérons cette application de l’IA comme incompatible avec les valeurs que nous protégeons. Il est donc à proscrire », affirme Dragoş Tudorache, corapporteur et négociateur de l’AI Act. Un consensus politique s’est également formé rapidement sur l’interdiction des « techniques subliminales », c’est-à-dire l’utilisation volontaire de procédés de manipulation mentale par les intelligences artificielles.

« Ce n'était clairement pas basé sur des données ou des preuves solides »

Les algorithmes de police ou justice prédictive seront eux aussi bannis. « Dans de nombreux endroits du monde, notamment aux États-Unis, on a cherché à aider la police à mieux anticiper la criminalité. Mais la réalité a montré que ce type d'algorithmes ne faisait souvent que multiplier les préjugés déjà existants. Notamment à l'égard de certaines catégories économiques et sociales, ou de certains quartiers, où ces algorithmes indiquaient qu'il y avait une certaine propension à commettre des crimes, ce qui n'était clairement pas basé sur des données ou des preuves solides », détaille le corapporteur du texte. En France, la gendarmerie et la police ont aussi expérimenté des algorithmes de police prédictive, avant de les abandonner pour y préférer des cartes d’agrégats statistiques. Dans la dernière version en date de l’AI Act, il est prévu que cette interdiction soit étendue aux administrations. Un choix en réponse à un scandale survenu aux Pays-Bas en 2021, où des milliers de familles avaient été accusées à tort de fraude aux allocations à cause d’une IA biaisée.

Limitations au maintien de l’ordreCertaines applications de l’IA ont fait l’objet de débats plus houleux, ou d’évolutions de dernière minute. « L'interdiction qui a été la plus débattue dans cette loi est la reconnaissance biométrique dans les espaces publics », indique l’eurodéputé Dragoş Tudorache. Car si certains s’émeuvent d’une atteinte aux libertés individuelles, d’autres la justifient par la nécessité du maintien de l’ordre. Les systèmes d’intelligence artificielle de surveillance en temps réel seront finalement interdits. Selon le texte adopté au Parlement Européen, la reconnaissance biométrique dans l’espace public ne sera possible qu’après la commission d’une infraction, et sur autorisation judiciaire.

Revenir au sommaire

Continuer

La possibilité de biais et de discrimination par l’IA concerne de nombreux domaines, comme le recrutement. Des applications à destination des ressources humaines peuvent effectuer un premier tri de CV pour gagner du temps. Contrairement à la police prédictive, où le système d’IA est aussi évincé en raison de sa finalité, ces algorithmes restent autorisés. Mais ils doivent répondre à de nombreuses réglementations afin de garantir leur intégrité : ils tombent dans le bloc du « haut risque ».

Mise en conformité

Les entreprises développant des modèles d’IA considérés comme à « haut risque » selon l’AI Act devront se plier à une série d’obligations. Un poids qui pourrait peser plus lourd sur les épaules des petites et moyennes entreprises (PME) et des entreprises de taille intermédiaire (ETI) que sur les géants de la tech.

Les entreprises à l'épreuve de la norme

Le marché européen de l'IA sera contrôlé.Image issue de l'intelligence artificielle Midjourney (image d'illustration).

Lire

« L’enjeu majeur de l’Artificial Intelligence Act, c’est la recherche d’un équilibre. Entre d’un côté l’innovation, vectrice de puissance économique et militaire européenne, et de l’autre son impact sur les citoyens et les droits fondamentaux », résume Hadrien Pouget, chercheur pour le think tank américain Carnegie Endowment.Le cœur de l’AI Act se situe dans la catégorie « haut risque » du texte, prévue à son article 6. Toutes les entreprises développant des systèmes d’IA qui pourraient constituer un risque significatif d’atteinte aux libertés seront soumises à un cadre réglementaire. Sont par exemple concernés les secteurs : de l’éducation, du recrutement, du contrôle de l’immigration, ou encore des infrastructures critiques (routes, gaz, électricité, etc.). Représentativité, robustesse et transparenceConcrètement, « il faudra passer des tests, remplir tout un tas de prérequis pour mettre son produit sur le marché européen », poursuit le spécialiste en politique de l’IA. Plusieurs points sont visés par

cette mise en conformité des entreprises,notamment « s'assurer que la base de donnéessoit représentative, et que le modèle soit robuste et transparent ».La représentativité des bases de données est nécessaire afin d’éviter les préjugés et les biais. Elle permet par exemple d’éviter qu’une IA au service de ressources humaines ne prenne des décisions discriminatoires basées sur le sexe ou la couleur de peau, car la base de données fournie lors de son entraînement était majoritairement constituée de profils d’homme blancs, qu’elle a donc considérés comme étant « les bons profils ». La robustesse d’un modèle d’IA est sa capacité à résister aux événements imprévus qu’elle peut rencontrer, et aux attaques extérieures. Enfin, la transparence d’un système, c’est la garantie que les utilisateurs soient en mesure de comprendre et de questionner les résultats produits par ce système.Surveillance par les autorités de régulationLa conformité des entreprises à l'AI Act sera vérifiée. Deux systèmes seront utilisés en parallèle.

Dans la plupart des situations, les entreprises devront faire les vérifications elles-mêmes avant de mettre leur produit sur le marché européen. Parfois, dans des circonstances précises prévues par la loi, ce sont des organismes tiers certifiés par l’UE qui les effectueront. Les secteurs les plus sensibles pourraient par exemple être concernés.Dans tous les cas, les autorités de régulation pourront demander à posteriori à vérifier la mise en conformité des modèles d’IA. Deux autorités cohabiteront : le régulateur national, propre à chaque pays membre, et l’européen. En France, les spécialistes s'accordent à dire que c’est la Commission nationale de l’informatique et des libertés (CNIL) qui devrait porter cette casquette, comme elle le fait déjà pour le RGPD (Règlement Général sur la Protection des Données). À l’échelle européenne, une nouvelle autorité sera créée, afin d’harmoniser l’application du texte. Son nom : l’AI Office. En cas de non-respect de leurs obligations, la sanction pourrait aller jusqu'à 20 millions d'euros ou 4% du chiffre d'affaires des entreprises, selon

le montant le plus élevé entre les deux.Cadre réglementaire encore flouL’esprit du texte, une décision politique, est débattu au Parlement Européen. Mais l’enjeu se cache aussi dans les standards réglementaires, ces normes techniques que devront respecter les entreprises au mot près. « Si on regarde dans le texte lui-même, les prérequis sont assez vagues. Il faut donc que les normes soient assez pointues pour tenir la route quand les systèmes évolueront, tout en ne devenant pas impossibles à respecter », analyse Hadrien Pouget. Cette tâche n’incombe pas directement aux décisionnaires politiques. Les normes sont élaborées par les Comités européens de normalisations (CEN et CENELEC), l’équivalent de l’Organisation internationale de normalisation (ISO), mais dans l'Union. Ce sont ces groupes, constitués de représentants industriels et d’experts, qui fabriquent les normes techniques afin de les faire coller au plus près de la réalité du terrain.

L'interview

« Ceux qui font l'industrie française de l'IA tremblent »

Dans tous les cas, quelles que soient les règles,tous seront logés à la même enseigne. Il n’y aurapas de distinction entre les start-up, petites et moyennes entreprises (PME), les entreprises de taille intermédiaire (ETI) ou les grands groupes comme les GAFAM (Google, Apple, Facebook, Amazon, Microsoft) et les BATX (Baidu, Alibaba, Tencent, Xiaomi). Mais selon plusieurs entrepreneurs français, dont certains préfèrent ne pas prendre la parole publiquement, cette régulation pourrait grandement pénaliser l’innovation française par rapport aux concurrents américains et chinois.

Des normes pour tous Pour l’AI Act, la demande de standardisation a été faite à ces organismes en décembre 2022. Une fois rédigées, les normes seront vérifiées par l’UE pour s’assurer qu’elles répondent bien aux exigences du texte. « Les technologies d’intelligence artificielle sont assez nouvelles, toujours en cours de développement. Elles ne sont pas encore répandues partout sur le marché, et toutes leurs utilisations n'existent pas encore. On a donc du mal à connaître les impacts et les risques matérialisés. Le mieux est alors de garder une souplesse dans les systèmes. Par exemple en édictant des normes plus indicatives que descriptives. Ne pas dire "il ne faut pas dépasser tel seuil" mais plutôt "il faut faire un nombre de tests suffisants et l’indiquer". Comme ça, le régulateur estime sur le moment si c'est acceptable, en fonction du contexte, ce qui permet davantage de flexibilité. », détaille Hadrien Pouget.

Stéphane Roder :

Interview

« La peur revient avec l’arrivée des IA génératives, c'est humain »

Ingénieur en intelligence artificielle de formation, Stéphane Roder est le PDG fondateur du cabinet de conseil AI Builders. Sa société accompagne des entreprises dans leur stratégie de développement en IA et data. Parmi ses clients, des grands groupes comme L’Oréal, Groupama, la Maïf ou Sodexo.Ce professionnel de l'IA s'inquiète de l'impact de la règlementation sur l'industrie française.

« Réguler en avance est délirant et nous met en danger »

Comment qualifieriez-vous l'arrivée de l'IAdans l'économie mondiale ? S.R. C’est une continuité de la mécanisation. On a connu la bureautique dans les années 80, les ERP [logiciels utilisés par les entreprises pour gérer leurs activités quotidiennes, ndlr] dans les années 90, puis les suites métiers, et maintenant c'est une nouvelle couche qui se rajoute. L’IA vient faire de la recommandation calquée sur des systèmes probabilistes. L’arrivée des Large language model (LLM) comme ChatGPT est une vraie révolution qui va aller très loin. Il y a un bond de puissance entre le machine learning de 2012 et ces nouveaux modèles arrivés fin 2022. C’est une vraie accélération, c'est très puissant, mais ça reste des systèmes d'information qu'on connaît depuis longtemps : il faut arrêter de fantasmer là dessus.

De quel œil voyez vous l'AI Act porté par l'Union Européenne ? Il est né en 2017-2018 où, comme toujours à l'arrivée d’une technologie complexe, on a une part de peur apocalyptique. Le texte est une réaction normale d'un État dans la sauvegarde du citoyen. Ils ont fait leur job en disant : « ne vous inquiétez pas, on s'occupe de tout ». Finalement ça n'a pas lieu d'être. C'est délirant, on sait que l’IA est un système d’information, et on en a toujours eu. Comme on a toujours eu une CNIL qui marche bien, qui tape fort quand il le faut, qui régule, qui pousse à légiférer. Pour nous cette nouvelle réglementation est incompréhensible. La peur revient avec l’arrivée des IA génératives, mais c'est comme ça c'est humain.C’est donc une mauvaise chose pour les entreprises ? Ce que j’explique à mes clients, c’est qu’ils ont trois choix. La Chine : pas de démocratie, pas de réglementation. Les États-Unis : une démocratie,

pas de réglementation. Ou l’Europe : unedémocratie merveilleuse, mais où on rajoute trop de réglementation et où au final on ne fait plus rien. On court à la catastrophe, comme avec le RGPD. Le texte est fait pour que les GAFAM ne viennent pas en Europe, ou pour pouvoir les y contrôler. Mais le poids réglementaire est tellement lourd… Le poids sera-t-il le même pour les PME que pour la Big Tech ?Les géants comme les GAFAM peuvent s'adapter, mais pas les petits. Eux ils meurent. Ça va à l'encontre de toute logique. Ceux qui font l'industrie française de l'IA tremblent chaque fois qu'une nouvelle réglementation sort ! Il faut dépenser des centaines de milliers d’euros en audits, en mise en conformité. C’est énorme, on est foutus ! Alors que les grosses boîtes américaines, ce n’est rien pour elles. Ça décourage les entreprises françaises de se mettre à l'IA, par peur d’investir des millions dans quelque chose qui pourrait contrevenir à la réglementation.

Vous êtes contre la régulation a priori ?Le législateur est là pour faire les lois qui protègent les citoyens, pour réguler si ça se passe mal.

« Les Américains et les Chinois sont pliés de rire, ils se tordent ! »

Comment la réglementation va affecter les organismes de conseil en Europe, comme le vôtre ? Comme pour le RGPD, les cabinets vont se gaver en audits, facturer des vérifications sur des mois et des mois. Moi ça me dégoûte, je ne veux pas rentrer là-dedans. C’est du fric facile obligé par la réglementation, c'est destructeur de valeur. Alors qu’aujourd'hui le challenge c'est la compétitivité de nos entreprises. Elles ne peuvent pas s'adapter si les concurrents américains et chinois sont 30% moins cher. C'est ça la vraie course aujourd’hui, pas savoir si c'est bien ou mal. Il faut avoir confiance dans la démocratie et le législateur.

Mais il ne faut pas mettre trop de barrièresen amont car ça bride la création. Réguler enavance c'est délirant, ça nous met en danger. Il faut faire comme avec la bioéthique : on laisse l’innovation suivre son cours, on voit qu’on peut cloner une brebis et ensuite on dit stop, on légifère, et ça s'arrête. C'est le rôle protecteur de l’État. Pas de jouer un rôle de freinage, de décider à notre place, de limiter la créativité, d’empiéter la compétitivité. C'est un drame.Qui sera touché par les conséquences de cette perte de compétitivité ?Le défi c'est l'équipement des entreprises de taille intermédiaire (ETI) et des petites et moyennes entreprises (PME). Elles constituent le vrai tissu industriel de notre pays. Ce ne sont pas les grands groupes qui font l'emploi, ce sont elles. Aujourd’hui on est dans une problématique de relocalisation, de coût du travail. Il faut être compétitif pour maintenir l'emploi, ne pas devenir trop cher car on ne sait faire un produit qu'à la main.

Revenir au sommaire

Continuer

Il ne faut pas se tirer une balle dans le pied alors qu'on est en plein dans un mouvement très important de réindustrialisation. Parce que pendant ce temps, les Américains et les Chinois sont pliés de rire, ils se tordent ! Quelles mutations du marché du travail envisagez-vous avec l’arrivée de la nouvelle génération d’intelligences artificielles ? L'impact social va être violent. C’est une forme de destruction créatrice, comme toujours avec ce genre de technologies, ça fait sauter des emplois mais ça en crée des nouveaux. Inéluctablement des postes entiers vont disparaître, comme les dactylos ou les caissiers au péage par le passé. La différence c’est que ça va aller beaucoup plus vite. Pourquoi ?On l’a vu avec ChatGPT, c'est démentiellement simple à utiliser, il suffit de lui parler. Pour l’instant on joue avec, on tente de comprendre, mais dans un an ça va être terrible. Ça va se déployer à une vitesse dingue.

On va arriver dans un nouveau monde, où les coûts de programmation et de production vont être très bas. Et quand on permet à un humain de se dégager des tâches inutiles, rébarbatives, il a du temps pour faire du conceptuel, pour créer. Cette intelligence là est extraordinaire, on ne sait pas la refaire, on ne sait pas la copier. C’est cette grande capacité d’abstraction qui fait le génie humain.

Transparence

Les IA conversationnelles vont devenir de plus en plus difficiles à distinguer des humains. Image issue de l'intelligence artificielle Midjourney (image d'illustration).

L'AI Act soumettra les systèmes d'IA considérés comme comportant un « risque moyen » à une simple obligation de transparence. À l'origine, il visait ici les « deepfakes » et les « chatbots ». Mais l'arrivée de ChatGPT, de Midjourney, et des autres modèles dits « de fondation » a complexifié la problématique.

Un principe fondamental de la régulation de l’IA

Lire

Au cœur de l'ère numérique, l'intelligence artificielle (IA) a transformé de nombreux aspects de notre vie quotidienne, depuis la façon dont nous communiquons et travaillons jusqu'à la façon dont nous faisons nos achats et consommons du contenu. Mais tandis que les progrès de l'IA ont ouvert des opportunités inédites, ils ont également soulevé des questions cruciales concernant l'éthique, la sécurité, la vie privée et le respect des droits de l'homme. En réponse à ces préoccupations, l'Union Européenne (UE) a présenté l'Artificial Intelligence Act (AIA), un projet de réglementation qui cherche à établir des normes éthiques pour l'IA, centrées autour du principe de transparence.Transparence de l'IA: un principe fondamentalLe principe de transparence est fondamental pour assurer un usage équitable et responsable de l'IA. Il vise à garantir que les utilisateurs et les parties prenantes comprennent comment l'IA fonctionne, comment elle prend ses décisions et quelles données elle utilise pour le faire. Il s'agit notam-

voir L'article de ChatGPT en entier

ment de divulguer les méthodologies, lesalgorithmes et les techniques de traitement desdonnées utilisées par les systèmes d'IA. Dans le contexte de l'AIA, la transparence de l'IA est conçue pour favoriser la confiance des utilisateurs dans cette technologie en assurant une compréhension claire et une explication des processus et des résultats de l'IA. En outre, la transparence est également cruciale pour responsabiliser les entreprises et les organisations qui développent et déploient des systèmes d'IA, en les rendant redevables de leurs actions.L’intégralité de cette page a été rédigée par ChatGPT-4. Vous êtes-vous fait avoir ?

Aujourd’hui, il est généralement assez facile de déceler les « chatbots » sur internet. Présents sur de nombreux sites, souvent d’e-commerce, ils prétendent s’appeler Nicolas ou Paul et demandent avec sympathie : « Comment puis-je vous aider ? ». L’arrivée de ChatGPT va rendre ces « bots » bien plus difficiles à distinguer des humains.

« Il est essentiel de renforcer la confiance des citoyens dans le développement de l'IA »

Cette intelligence artificielle dite générative est particulièrement puissante. Elle a été entraînée pour prédire la probabilité qu’un mot apparaisse après un autre dans une phrase donnée. Son aptitude à converser constitue une avancée majeure, mais est assortie de nouveaux risques. Notamment celui de ne plus savoir si on interagit avec un humain ou avec une machine.

« Il est essentiel de renforcer la confiance descitoyens dans le développement de l'IA, de définir la voie européenne pour faire face aux changements extraordinaires qui se produisent déjà », déclarait Brando Benifei, co-rapporteur de l’AI Act, après le vote du texte en commission à la mi-mai 2023. Et comme le disait à raison ChatGPT dans le début de cet article : « dans le contexte de l'AI Act, la transparence de l'IA est conçue pour favoriser la confiance des utilisateurs dans cette technologie ». La transparence, une notion très largeSi la transparence est une des conditions requises pour les IA considérées à « haut risque », elle est aussi au cœur de la catégorie du « risque moyen ». Cette dernière regroupe en effet les systèmes d’intelligence artificielle qui ne seront pas soumises à une grande panoplie de prérequis, mais qui devront quand même répondre à l’exigence de transparence. Cette notion est centrale dans l’AI Act et a plusieurs facettes.

Les images créées par l'IA sont réalistes, mais comportent encore des détails étranges, comme ici le nombre de jambes ou de bras (en bas à droite). Image issue de l'intelligence artificielle Midjourney (image d'illustration).

Elle suppose d’abord que les utilisateurs soient conscients qu’ils aient affaire à une intelligence artificielle. C’est le cas cité précédemment des chatbots. Mais cela va plus loin : cela s’applique aux contenus produits par des IA (texte, image, vidéo, musique, etc.). Le but poursuivi est d’éviter que l’humain soit dupé par des productions artificielles de plus en plus sophistiquées. Sont par exemple concernées les images créées par Midjourney, parfois très réalistes, comme celles de Donald Trump se faisant arrêter, ou d’Emmanuel Macron battant le pavé au côté des manifestants. Ou encore les deepfakes, ces vidéos truquées qui mettent en scène des célébrités mais qui sont en fait totalement fausses et souvent utilisées à des fins de désinformation. Sous l’AI Act, tous ces contenus devront être étiquetés comme étant issus de systèmes d’intelligence artificielle.

« Le texte n’était pas prévu pour les systèmes qui peuvent faire plusieurs choses à la fois »

Une exigence de loyauté et d’intégrité« La transparence, c’est aussi le besoin que l’utilisateur ait assez d'informations sur le fonctionnement du modèle pour bien interagir avec », analyse Hadrien Pouget, chercheur en intelligence artificielle pour le think tank américain Carnegie Endowment. Le règlement pose ainsi une exigence supplémentaire de loyauté au modèle : il ne suffit pas que l’utilisateur sache qu’il a affaire à une intelligence artificielle, il faut qu’il ait les cartes en main pour en faire une utilisation éclairée.Ce principe d’intégrité se retrouve aussi dans les bases de données utilisées afin d’entraîner les IA. Désormais, les entreprises devront déclarer tout contenu protégé par des droits d’auteurs exploité dans le développement d’un modèle. Cela devrait, en théorie, permettre aux ayants droit d’une œuvre de s’opposer à ce que celle-ci soit utilisée. Mais certains experts doutent de son application dans les faits. Cette mesure vise particulièrement les IA génératives, qui fabriquent des contenus à partir des données utilisées lors de leur apprentissage.

Elle a été insérée dans le texte par amendementdans les dernières semaines de négociations,avant le vote du texte en commission le 11 mai 2023.Le cas particulier de ChatGPT et autres modèles de fondationDans une course technologique permanente, ces amendements de dernière minute ont notamment eu pour vocation de règlementer les modèles dits « de fondation » dont fait partie ChatGPT. Ceux-ci sont définis dans l’AI Act comme « des modèles entraînés avec une vaste base de données à grande échelle, conçus pour des résultats généraux, qui peuvent être adaptés à un large éventail de tâches distinctes ». Leur arrivée en 2022 a bouleversé un chantier législatif en cours depuis 2018.

ChatGPT serait-il en faveurde plus de transparence dans l'IA ?

« À l’origine, le texte n’était pas prévu pour les systèmes qui peuvent faire plusieurs choses à la fois », indique le spécialiste en politique de l’IA. Dans la dernière mouture de l’AI Act, les modèles de fondation comme ChatGPT sont finalement intégrés dans un cadre particulier, quelque part entre le « haut risque » et le « risque moyen ». Bien sûr, si une application utilisant un modèle de fondation représente un risque élévé, elle sera traitée comme les autres à « haut risque ».Au-delà de l’exigence de transparence, par « l’élaboration d’une documentation technique détaillée et d’un mode d’emploi intelligible », ceux-ci devront démontrer « l’identification, la réduction et l’atténuation des risques raisonnablement prévisibles pour la santé, la sécurité, les droits fondamentaux, l’environnement, la démocratie et l’État de droit ». Car, quand l’IA est capable d’effectuer de nombreuses tâches, elle ne peut plus être catégorisée d’office : c’est l’utilisation qui en est faite qui définit son risque.

Revenir au sommaire

Liresa réponse

Continuer

Relativité du risque

Voici comment l'intelligence artificielle Midjourney imagine un développeur d'IA spécialisé dans le traitement d'image automatisé (image d'illustration).

Les risques que constituent l'IA ne sont pas forcément inhérents au système lui-même. Un même modèle peut poser des risques différents en fonction de son utilisation. Plongée dans l'univers de Picsellia, start-up spécialisée dans le traitement d'image automatisé par IA.

L'exemple de Picsellia

Lire

La start-up se situe à l’étage, après deux courtesvolées de marches. S’il n’est pas écrit sur la porteque la moyenne d’âge y est de 26 ans et quelques mois, l’intérieur livre des indices. En témoigne le tableau blanc sur lequel figure des scores de "Mario Kart", jeu vidéo sur lequel employés comme directeurs s’affrontent. Dans une salle isolée, une demi-douzaine d’employés codent sur leurs postes de travail, composés de deux à trois écrans. Quelques plantes ornementales complètent le décor.

Dans le domaine de l’intelligence artificielle, cette jeune entreprise ambitionne d’être l’un des leaders européens de demain. Picsellia est nichée au cœur d’un immeuble en briques typique du centre-ville toulousain. Pour y accéder, il faut traverser "La Cantine". C’est un tiers-lieu porté par l’association occitane "La Mêlée", actrice locale de l’innovation numérique. Dans ses murs orange et blancs, l’endroit abrite un mélange entre co-working ouvert, incubateur d’idées, et cantine – où le bruit de la machine à café ne semble jamais s’arrêter.

L’avis de Thibaut Lucas sur l’AI Act

L'interview

Nous sommes reçus par Thibaut Lucas, le président de la petite entreprise qui a déjà levé plusieurs millions d’euros pour développer son projet.

« Je pense que c’est une initiative nécessaire, mais d’une complexité quasi-infinie. Il faut encadrer une technologie qui évolue à la vitesse la lumière, sauf que la régulation se fait sur le temps long. Ca risque de poser des problèmes. La régulation va courir après la technologie comme c’est le cas pour le RGPD ou pour la cybersécurité. Et l’intelligence artificielle évolue encore plus vite. »

« L'intelligence artificielle se définit comme le contraire de la bêtise naturelle » - Woody Allen

sont utilisées par le plus grand nombre. Mais aussi avec le développement des systèmes d'IA « à usage général ». Des modèles conçus pour effectuer une large gamme de tâches intelligentes, raisonner de manière abstraite, et s'adapter aux nouvelles situations. Reste à savoir si la régulation réussira à s'adapter à eux.

Revenir au sommaire

Pour de nombreux juristes, tout l'intérêt de l'AI Act réside justement dans cette approche de régulation basée sur le risque. Cela permet de juger, au cas par cas et en fonction de critères objectifs, quelles applications doivent être encadrées. Les eurodéputés ont par exemple décidé, dans les dernières négociations du texte avant son adoption, de faire basculer dans les catégories à « haut risque » tous les systèmes pouvant nuire à la santé et à la sécurité des citoyens, aux droits fondamentaux ou même à l'environnement.Soumettre à des règles différentes les systèmes selon leur finalité paraît donc une solution adaptée. Mais elle n'est pas une solution miracle pour autant. Car la complexité de ces technologies en plein essor peut surprendre. « Parfois, les développeurs eux-même ne comprenent pas pourquoi leur modèle s'est comporté de telle façon, ou a donné tel résultat », confie un ingénieur en intelligence artificielle. Un risque qui augmente au fur et à mesure que les IA se démocratisent et

Je tenais à remercier Charlotte Hernandez, Kevin Carrière, Corentin Bell et Liliana Brel, mes camarades de promotion à l'Institut Supérieur de Journalisme de Toulouse (ISJT), pour leur aide dans ce webdocumentaire. Merci à Régis Bachelu et Thomas Gourdin, mes encadrants à l'ISJT, pour leurs précieux conseils. Merci à Clémence Laubary, Sébastien Vayssière, Hélène Ressayres, Jean-Vincent Fournis, Patricia Sultan et Guisane Humeau, pour leurs interventions. Merci à Jean-Michel Escafre, mon parrain tout au long de ce projet, pour son temps et le partage de son expérience. Merci à Tanguy Ducourtioux, mon ami et apprenti graphiste, pour sa participation gracieuse au projet.

Remerciements

Revenir au sommaire

Revenir au sommaire

©William Bernecker

FR

Europe faces the challenge of regulation

Artificial Intelligence

START

New progress, new framework

CONTINUE

The AI Act in 14 dates

Relativity of risk

Transparency

Compliance

New prohibitions

EXPLORE

New prohibitions

Real-time biometric surveillance will be banned by the AI Act. Image made with Midjourney artificial intelligence (illustration).

In the AI Act, members of the European Parliament (MEPs) define which artificial intelligence systems are inherently too risky for society and should be banned. This is the case with social credit and predictive policing.

Red lines that must not be crossed

READ

Regulating technology means making choices about the future of society. Artificial intelligence (AI) and its abuses have already been the subject of numerous pieces of science fiction, in literature as well as on the big screen. When these tools become reality, how do we prevent disaster scenarios such as the ones from Terminator with Arnold Schwarzenegger in real life? Or from Black Mirror, the dark dystopian short stories on Netflix?This is one of the key questions that the European Union must answer with the Artificial Intelligence Act. Article 5 of the document provides a list of practices that will be strictly prohibited, as the risk they pose is considered "unacceptable". Although the text will be submitted to a vote in June 2023, the main parliamentary groups agreed on the main lines in May.No Chinese-style social creditSocial credit, which has been used in China since 2018, consists of setting up a system for rating citizens and companies in terms of their integrity, civic-mindedness, etc. Based on the analysis of

personal data and video surveillance, an algorithm assigns a "social score" to individuals.A low score can lead to a ban on buying some transport tickets (train, plane), or on buying a property. On the contrary, "a good score [...] makes it easier to obtain bank loans, but also discounts on certain bills", reports Emmanuel Dubois de Prisque, a researcher at the Thomas More Institute. "It brings a level of risk so high and infringes so much on the liberties that we stand for in Europe that we consider this application incompatible with those values that we are protecting. Therefore, it is to be prohibited", says Dragoş Tudorache, one of the two rapporteurs and negotiators of the AI Act. A political consensus also quickly formed on banning "subliminal techniques", i.e. the deliberate use of mind control procedures by artificial intelligence software.Limitations to law enforcementSome of the fields where AI could be used have been the subject of a more heated debate.

"These kinds of algorithms were simply multiplying and accelerating existing biases of society"

In France, the gendarmerie and the police also experimented with predictive policing algorithms, before abandoning them in favour of statistical aggregate maps. In the latest version of the AI Act, the plan is to extend this ban to administrations. A response to a scandal in The Netherlands that occurred in 2021, where thousands of families were wrongly accused of social benefit fraud due to biased AI.

"The most debated topic about the Act, before ChatGPT came, was biometric recognition in public spaces", says MEP Dragoş Tudorache. While some are upset about an infringement of personal freedoms, others justify it by the needs of law enforcement. Artificial intelligence systems for real-time surveillance will finally be banned: according to the consolidated draft voted in May, biometric recognition in public spaces will only be possible after an offence have been committed, and with judicial authorisation. Predictive policing or justice algorithms will also be banned. “Predictive policing is an example of how AI has already been used, around the world, initially to help police in better anticipate crime. But reality has shown that these kinds of algorithms were simply multiplying and accelerating existing biases of society towards certain people and neighbourhoods, which was not based on any solid data or evidence", explains the text’s co-rapporteur.

Back to summary

Continue

The possibility of bias and discrimination by AI affects many areas, such as recruitment. Applications designed for HR departments can perform an initial screening of CVs to save time. Unlike predictive policing, where the AI system is also shunned because of its purpose, these algorithms are still allowed. But they must meet numerous regulations to ensure their integrity: they fall into the "high risk" block.

Compliance

Companies developing AI models considered "high risk" under the AI Act will have to comply with a series of obligations. This burden could fall more heavily on the shoulders of small and medium-sized enterprises (SMEs) and intermediate-sized companies (ISEs) than on tech giants.

Companies put to the testof standards

The European AI market will be regulated.Image made with Midjourney artificial intelligence (illustration).

READ

"The major challenge of the Artificial Intelligence Act (AI Act) is to find a balance. On the one hand innovation, a vector of European economic and military power, and on the other hand, its impact on citizens and fundamental rights," sums up Hadrien Pouget, a researcher for the American think tank Carnegie Endowment. The heart of the AI Act lies in the "high risk" category of the document, provided for in Article 6. All companies developing artificial intelligence systems that could pose a significant risk of infringing on freedoms will be subject to requirements. The sectors concerned include education, recruitment, immigration control and critical infrastructure (roads, gas, electricity, etc.). Representativeness, robustness and transparencyIn concrete terms, "it will be necessary to pass tests and meet a bunch of specifications in order to place a product on the EU market," continues the AI policy specialist. Several points are particularly targeted by this compliance: "ensuring that the database is representative, and that the model is

robust and transparent".The representativeness of the databases is necessary to avoid prejudice and bias. For example, it prevents an AI system in the human resources department from making discriminatory decisions based on gender or skin colour, because the database it was trained on was predominantly made up of white male profiles, which it therefore considered to be 'the right profiles'. The robustness of an AI model is its ability to resist both unforeseen events that it may encounter and external attacks. Finally, the transparency of a system is the guarantee that users are able to understand and question the results it produced.Monitoring by regulatory authorities To check if these elements comply with the AI Act, two systems will be used in parallel. In most situations, companies will have to do the checks themselves before placing their product on the EU market. Sometimes, in specific circumstances defined by the law, third party organisations certified by the EU will carry out the checks.

"If you look at the text itself, the requirements are quite vague"

In all cases, the regulatory authorities will be able to request ex post verification of the compliance of AI models. Two authorities will coexist: the national regulator, specific to each member state, and the European one. In France, experts agree that the Commission nationale de l'informatique et des libertés (CNIL) should take the job, as it already does for the GDPR (General Data Protection Regulation). At a European level, a new authority will be created to harmonise the application of the text. Its name: the AI Office.Failure to comply with their obligations could result in penalties of up to €20 million or 4% of the company's turnover, whichever is higher.Regulatory framework still unclear The spirit of the text, a political decision, is being debated in the European Parliament. But the stakes are also hidden in the regulatory standards, the technical norms that companies will have to respect. "If you look at the text itself, the requirements are quite vague. The standards must be sharp enough to hold up when the systems

evolve, while not becoming impossible tocomply with," adds Hadrien Pouget. This taskis not done directly by political decision makers. Standards are developed by the European Standardisation Committees (CEN and CENELEC), the equivalent of the International Organisation for Standardisation (ISO), but within the EU. These groups, made up of industry representatives and experts, produce these technical norms to ensure that they are as close as possible to reality on the ground. Standards for all For the AI Act, the request for standardisation was made to these bodies in December 2022. Once drafted, the standards will be checked by the EU to ensure that they meet the requirements of the Act.

Interview

"Those who make the French AI industry shake with fear"

"Artificial intelligence technologies are quite new, still under development. They are not yet widespread on the market, and not all their uses exist yet. It is therefore difficult to know the impacts and risks involved. The best thing to do is to keep the system flexible. For example, by issuing standards that are indicative rather than descriptive. Do not say "you must not exceed such and such threshold" but instead "you must carry out a sufficient number of tests and indicate them". The regulator can thus assess whether it is acceptable depending on the context, which allows for greater flexibility," explains the specialist.In any case, whatever the rules may be, everyone will be on the same footing. There will be no distinction between start-ups, small and medium-sized enterprises, intermediate-sized companies or large groups such as the Big Five (Alphabet, Amazon, Apple, Meta, Microsoft) and BATX (Baidu, Alibaba, Tencent, Xiaomi). But according to several French entrepreneurs, some of whom prefer not to speak publicly, this regulation could greatly penalise French innovation compared with American and Chinese competitors.

Stéphane Roder :

Interview

"Fear is coming back with the arrival of generative AI, but it's human"

Trained as an artificial intelligence engineer, Stéphane Roder is the founding CEO of the AI Builders consulting firm. His company supports businesses in their AI and data development strategy. His clients include major groups such as L'Oréal, Groupama, Maïf and Sodexo. This AI professional is worried about the regulation consequences on the French industry.

"Regulating in advance is crazy and puts us in danger"

How would you describe the arrival of AI in theglobal economy?S.R. It's a continuation of mechanisation. We had office automation in the 1980s, ERP [software used by companies to manage their daily activities] in the 1990s, then business suites, and now a new layer is being added. AI comes to make recommendations based on probabilistic systems. The arrival of Large Language Models (LLMs) like ChatGPT is a real revolution that will go a long way. There is a leap in power between the machine learning of 2012 and these new models which arrived at the end of 2022. It's a real acceleration, it's very powerful, but it's still information systems that we've known for a long time: we have to stop fantasising about it.

"The Americans and the Chinese are laughing their heads off!"

What do you think of the AI Act carried by the European Union? It was born in 2017-2018 where, as always with the arrival of complex technology, there is an element of apocalyptic fear. The text is a normal reaction of a state to safeguard citizens. They did their job by saying: "don't worry, we'll take care of everything". In the end, there is no need for this. It's crazy, we know that AI is an information system, and we've always had ones. Just as we have always had a CNIL that works well, that hits hard when necessary, that regulates, that pushes for legislation. For us, this new regulation is incomprehensible. Fear is coming back with the arrival of generative AI, but that's the way it is, it's human.So it's a bad thing for companies, is it? I explain to my clients that they have three options. China: no democracy, no regulation. The United States: democracy, no regulation. Or Europe: a marvellous democracy, but where too much regulation is added and in the end nothing is done.

We are heading for disaster, as with the GDPR.The text is designed to prevent GAFAMs from coming to Europe, or to control them there. But the regulatory weight is so heavy. Will the weight be the same for SMEs as for Big Tech? Giants like the GAFAMs can adapt, but not the small ones. They die. This goes against all logic. Those who make the French AI industry shake with fear every time a new regulation comes out. You have to spend hundreds of thousands of euros on audits, on compliance. It's huge, we've had it! Whereas it’s nothing for the big US companies. This discourages French companies from using AI: they are scared to invest millions in something that could contravene regulation.

"We must not put too many barriers upstream, because that restricts innovation"

How will the regulation affect consulting firms in the EU, like yours? As with the GDPR, consulting firms will gorge themselves on audits, billing for verifications over months and months. It depresses me, I don't want to get involved in this. It's easy money forced by the regulations, it's destructive of value. Whereas today the challenge is the competitiveness of our companies. But they cannot adapt if the American and Chinese competitors are 30% cheaper. That is the real race today, not whether it is good or bad. We must have confidence in our democracy and in lawmakers.Are you against early regulation? The job of lawmakers is to draft laws that protect citizens, to regulate if something goes wrong. But we must not put too many barriers upstream, because that restricts innovation. Regulating in advance is crazy, it puts us in danger. We should do as with bioethics: we let innovation take its course, we see that we can clone a sheep and then we say "stop", we legislate, and it stops. This is the

protective role of the state. Not to slow us down,to decide for us, to limit creativity, to encroach oncompetitiveness. It's a tragedy. Who will be affected by the consequences of this loss of competitiveness? The challenge is to equip SMEs and ETI. They are the real industry. Large groups do not create jobs, they do. We are faced with the problem of relocation and labour costs. We have to be competitive to maintain employment, not to become too expensive because we can only make a product by hand. We shouldn't shoot ourselves in the foot when we're in the middle of a very important re-industrialisation movement. Because in the meantime, the Americans and the Chinese are laughing their heads off!

Back to summary

Continue

What changes in the labour market do you foresee with the arrival of the new generation of artificial intelligence? The social impact will be violent. It's a form of creative destruction, as always with this kind of technology, it kills off jobs but creates new ones. Inevitably, some lines of work will disappear totally, like typists or toll booth cashiers in the past. The difference is that it will happen much faster. Why? We've seen it with ChatGPT, it's insanely easy to use, you just have to talk to it. For the time being we're playing with it, we're trying to understand it, but in a year’s time it's going to be terrible. It's going to be deployed at incredible speed. A new world is coming, where programming and production costs will be very low.

And when we allow human beings to free themselves from useless, boring tasks, they will have time for conceptual work, for creating. Their intelligence is extraordinary, it cannot me made, it cannot be copied. This great capacity for abstraction: that is human genius.

Transparency

Conversational AI will become more and more difficult to distinguish from humans. Image made with Midjourney artificial intelligence (illustration).

The AI Act will impose a simple transparency obligation on AI systems considered to carry a "medium risk". Originally, it was aimed at deepfakes and chatbots. But the arrival of "foundation" models such as ChatGPT or Midjourney has made the issue more complex.

A fundamental principle of AI regulation

READ

"It is crucial to build citizens’ trust in the development of AI"

In the heart of the digital age, artificial intelligence (AI) has transformed many aspects of our daily lives, from the way we communicate and work to the way we shop and consume content. But while AI advances have opened unprecedented opportunities, they have also raised crucial questions about ethics, safety, privacy, and respect for human rights. In response to these concerns, the European Union (EU) has introduced the Artificial Intelligence Act (AIA), a regulatory project that seeks to establish ethical standards for AI, centered around the principle of transparency. Transparency in AI: a fundamental principle The principle of transparency is fundamental in ensuring fair and responsible use of AI. It aims to ensure that users and stakeholders understand how AI works, how it makes its decisions, and what data it uses to do so. This includes disclosing the methodologies, algorithms, and data processing techniques used by AI systems.

READ THE WHOLECHATGPT ARTICLE

In the context of the AIA, AI transparency isdesigned to foster user trust in this technology by ensuring clear understanding and explanation of AI processes and outcomes. Furthermore, transparency is also crucial in holding businesses and organizations that develop and deploy AI systems accountable for their actions.The entirety of this page was written by ChatGPT-4. Were you fooled?

"AI transparency is designed to foster user trust in this technology" - ChatGPT

This generative artificial intelligence is particularly powerful. It has been trained to predict the probability that a word will appear after another in a given sentence. Its ability to converse is a major advance, but it comes with new risks. In particular, the risk of not knowing whether one is interacting with a human or a machine. These days, it is generally quite easy to detect chatbots on the Internet. Present on many sites, they claim to be called Sam or John and ask politely: "How can I help you?”. The arrival of ChatGPT will make these "bots" much more difficult to distinguish from humans.

"It is crucial to build citizens’ trust in the development of AI, to set the European way for dealing with the extraordinary changes that are already happening," said Brando Benifei, co-rapporteur of the AI Act, after the text was adopted in committee in May 2023. And as ChatGPT wrote at the start of this article, "AI transparency is designed to foster user trust in this technology by ensuring clear understanding and explanation of AI processes and outcomes. "Transparency, a broad concept While transparency is one of the requirements for AI considered as "high risk", it lies at the heart of the "medium risk" category. The latter includes AI systems that will not be subject to a wide range of requirements, but will still have to meet the transparency requirement. This concept is central to the AI Act and has several facets.

The images created by the AI are realistic, but still contain some strange details, such as the number of legs or arms (bottom right of the picture). Image from the Midjourney artificial intelligence (illustration).

First, it requires that users be aware that they are dealing with an artificial intelligence. This is the case of chatbots mentioned above. But it goes further: it also applies to content produced by AIs, whatever the type: text, image, video, music etc. The goal is to make sure humans are not fooled by artificially produced content that is increasingly sophisticated. For example, the images created by Midjourney: they are sometimes very realistic, like those of Donald Trump being arrested, or Emmanuel Macron protesting with the demonstrators. Also deepfakes, these fake videos that feature celebrities but are in fact completely false and often used for disinformation purposes. Under the AI Act, all such content will have to be tagged as coming from artificial intelligence systems.

"Originally, the text was not intended for systems that can do multiple things at once"

A requirement for loyalty and integrity"Transparency is also the need for the person interacting to have enough information about how the model works, to interact with it properly," says Hadrien Pouget, a researcher in artificial intelligence at the US think tank Carnegie Endowment. The regulation thus imposes an additional requirement of loyalty to the model: it is not enough for users to know that they are dealing with an artificial intelligence, they must be in a position to make an informed use of it. This principle of integrity is also found in the databases used to train the AIs. From now on, companies will have to declare any copyrighted content used in the development of a model. This should, in theory, allow the rights holders of a work to object to its use. But some experts are sceptical about its practical application. This measure is particularly aimed at generative AIs, which create content based on the data used in their learning process.

The text was amended accordingly in the lastweeks of negotiations, before the vote.The special case of ChatGPT and other foundation modelsIn a never-ending technological race, these last-minute amendments were intended to regulate "foundation models" like ChatGPT. These are defined in the AI Act as "AI models that are trained on broad data at scale, designed for generality of output, and can be adapted to a wide range of distinctive tasks”. Their arrival in 2022 disrupted the legislative work in progress since 2018.

Would ChatGPT be in favour of more transparency in AI?

READITS ANSWER

"Originally, the text was not intended for systems that can do multiple things at once," says the AI policy expert. In the latest iteration of the AI Act, foundation models like ChatGPT are finally included in a special framework, somewhere between "high risk" and "medium risk." Of course, if an application using a foundation model represents a high risk, it will be treated in the same way as other "high-risk" applications.Beyond the requirement of transparency, by "drawing up extensive technical documentation and intelligible instructions for use ", they will have to demonstrate "the identification, the reduction and mitigation of reasonably foreseeable risks to health, safety, fundamental rights, the environment, democracy and the rule of law". Because when AI is able to perform many different tasks, it can no longer be automatically categorised: how we use it will define how risky it is.

Back to summary

Continue

Relativity of risk

Here is how Midjourney artificial intelligence imagine an AI developer specialised in automated image processing (illustration).

The risks posed by AI are not necessarily inherent to the system itself. The same model can pose different risks depending on how it is used. Immersion in Picsellia, a start-up specialising in automated image processing using AI.

The example of Picsellia

READ

The start-up is located upstairs, after two shortflights of stairs. It is not written on the door thatthe average age is 26 years and a few months old, but the interior does provide some clues. On a whiteboard are written the scores from "Mario Kart", a video game in which employees and managers compete. In a secluded room, half a dozen employees code at their workstations, which consist of two or three screens. A few ornamental plants complete the setting.

In the field of artificial intelligence, this young company aims to be one of the European leaders of tomorrow. Picsellia is nestled in the heart of a brick building, typical of Toulouse city centre. To get there, you have to walk through "La Cantine". It's a third space run by the Occitan organization "La Mêlée", a local player in digital innovation. Within its orange and white walls, the place houses a mixture of open co-working, an ideas incubator and a canteen - where the noise of the coffee machine never seems to stop.

Thibaut Lucas's opinion on the AI Act

Interview

We are welcomed by Thibaut Lucas, the CEO of this small company which has already raised several million euros to develop its project.

"I think it's a necessary initiative, but one that is almost infinitely complex. We need to provide a framework for a technology that is evolving at the speed of light, but regulation is a long-term process. This is likely to cause problems. Regulation is going to chase after technology, as it is the case with the RGPD and cybersecurity. And artificial intelligence is evolving even faster."

"Artificial intelligence is defined as the opposite of natural stupidity" - Woody Allen

designed to perform a wide range of intelligent tasks, to reason abstractly and to adapt to new situations. But will regulation be able to adapt to them ?

Back to summary

For many legal experts, the value of the AI Act is precisely the risk-based approach to regulation. This makes it possible to judge, on a case-by-case basis and according to objective criteria, which applications should be regulated. For example, in the compromise adopted by the committee on 11 May 2023, MEPs decided to classify as "high risk" all systems that could harm the health and safety of citizens, fundamental rights or even the environment. Subjecting systems to different rules depending on their purpose therefore seems an appropriate solution. But it is not a miracle solution. The complexity of these fast-evolving technologies can be surprising. "Sometimes, the developers themselves don't understand why their model has behaved in such a way, or produced such a result", says anonymously an AI engineer. The risk is increasing as AI becomes more widely available and used. But also with the development of the "general-purpose" AI systems. These models are

Back to summary

©William Bernecker

I would like to thank Charlotte Hernandez, Kevin Carrière, Corentin Bell and Liliana Brel, my fellow students at the Toulouse Superior Institute of Journalism (ISJT), for their help in this webdocumentary. Thank you to Régis Bachelu and Thomas Gourdin, my supervisors at the ISJT, for their precious advices. Thank you to Clémence Laubary, Sébastien Vayssière, Hélène Ressayres, Jean-Vincent Fournis, Patricia Sultan and Guisane Humeau, for their classes. Thank you to Jean-Michel Escafre, my sponsor throughout this project, for his time and the sharing of his experience. And thank you to Tanguy Ducourtioux, my friend and apprentice graphic designer, for his contribution to the project.

Acknowledgements

Back to summary