Catégorie : Ethique

  • Prêtez Attention : quand « prêter » est « données » (épisode 2)

    A l’heure où Elon Musk fait un peu n’importe quoi au nom de la liberté d’expression, quand des grands patrons du numérique lui emboitent le pas sans doute pour pousser leurs intérêts économiques, il devient encore plus indispensable de comprendre les mécanismes qui causent des dysfonctionnements majeurs des plateformes numériques.  Ce deuxième épisode d’un article de Fabien Gandon et Franck Michel nous aide à mieux comprendre.  Serge Abiteboul & Thierry Viéville.

    Image générée par les auteurs avec Bing/DALL·E 3 à partir du prompt “photo of a street with many people with their smartphones displaying different hypnotic images” ©CC-BY

    Dans le précédent billet nous vous avons donné l’excuse parfaite pour ne pas avoir fait de sport ce week-end : ce n’est pas de votre faute, votre cerveau a été hacké ! Nous avons vu que, à coup de likes, de notifications, de flux infinis et d’interfaces compulsogènes, les grands acteurs du Web ont mis au point des techniques capables de piller très efficacement notre temps de cerveau. Nous avons aussi vu que, en s’appuyant sur des données comportementales massives, les algorithmes apprennent à exploiter notre biais de négativité et favorisent les contenus qui suscitent colère, peur, indignation, ressentiment, frustration, dégoût, etc. Nous avons constaté que, en nous enfermant dans un espace informationnel où rien ne contredit nos croyances, les algorithmes de recommandation ont tendance à créer des visions du monde différentes pour chaque utilisateur. Nous avons enfin conclu que cette combinaison d’émotions, de biais cognitifs et de recommandations automatisées peut conduire à une escalade émotionnelle, à la polarisation et la radicalisation des opinions.

    En manque… d’attention et en over-dose d’inattention

    Finalement, ce premier billet nous amène à nous interroger sur le caractère addictogène de certains médias sociaux. Une addiction peut survenir dans toute activité pour laquelle une personne développe un appétit excessif. Il peut s’agir d’une dépendance à une substance (ex. une drogue) ou d’une dépendance comportementale, cette dernière se caractérisant par l’impossibilité de contrôler la pratique d’une activité comme les jeux d’argent, ou dans notre cas, l’utilisation d’un média social. On sait qu’une dépendance se développe lorsqu’un comportement particulier est incité et encouragé, qu’il est récompensé d’une manière ou d’une autre, et que rien n’incite à l’arrêter. Or les algorithmes de captation de l’attention sont des héritiers directs de la captologie et suivent à la lettre la formule de développement d’un comportement addictif : les utilisateurs font l’objets de notifications régulières pour initialiser et enclencher l’habitude ; la récompense de l’utilisation repose sur de multiples mécanismes (ex. nombre de likes, émotions, etc.) ; et l’absence de moyens de « décrocher » est au cœur des interfaces (ex. fil infini, auto-play, opt-out par défaut, etc.). On dit souvent qu’un algorithme est une recette, ici on pourrait même parler de la recette d’une drogue de synthèse numérique.

    Voilà… Maintenant que le doute est là, vous voyez votre téléphone non seulement comme un espion qui vend vos données, mais aussi comme un traître, un manipulateur et même un dealer numérique ! Et vous vous interrogez sur les dégâts que font ces hackers du cerveau. Mais le problème va plus loin car le Web et Internet forment de vastes toiles qui couplent toutes leurs ressources, et les impacts de ces manipulateurs automatiques se propagent et se combinent par l’effet de mise en réseau.

    Fausses informations pour vraie attention

    Partant des constats déjà sombres du précédent billet, il faut noter que les choses s’aggravent encore lorsque les contenus dont nous parlons sont des fake news, des fausses informations. En effet, celles-ci s’appuient souvent sur la colère, la frustration ou le dégoût pour hameçonner notre attention. Elles trouvent ainsi sur les réseaux sociaux un terrain particulièrement fertile. Par leurs affirmations choquantes, elles sont vécues par beaucoup comme une injonction à prendre parti en les re-partageant plutôt que de faire appel à l’esprit critique et vérifier leur véracité. Ainsi des études ont montré que les algorithmes de recommandation tendent à favoriser les fausses informations véhiculant des idées clivantes ou des événements choquants. Et comme ces informations sont souvent relayées par des connaissances, le biais de la preuve sociale nous incite à les juger crédibles et dignes de confiance. Répétées encore et encore, associées à des représentations du monde convoquant les théories du complot, renforcées sous la pression des bulles de filtres, et propulsées par l’effet de réseau, les fausses informations instaurent une économie du doute où la vérité est remplacée par la vraisemblance. Avec une éditorialisation qui ne fait pas la différence entre un article écrit par des journalistes professionnels d’un côté, et des fausses informations relayées par un bot malveillant de l’autre, « la presse n’est plus perçue comme celle qui publie, mais comme celle qui cache« . Progressivement et insidieusement, le doute sape notre confiance dans les experts (savants, journalistes…), entraînant des risques pour la santé publique et favorisant l’émergence d’idées extrêmes et de populismes qui mettent en danger les démocraties. Ce que Giuliano Da Empoli résume par la phrase : « le populisme naît de l’union de la colère et la frustration avec les algorithmes« .

    Attentions troubles et troubles d’attention

    Qui plus est, des études ont montré que la personnalité, les valeurs, les émotions et la vulnérabilité des utilisateurs influencent leur propension à propager de la désinformation. Chacun de nous aura donc des réactions différentes face aux mécanismes que nous avons vus. Mais au-delà de ce fait, nous avons jusqu’ici considéré des utilisateurs lambda sans problème de santé particulier. Il convient cependant d’envisager ce qui se passe pour les utilisateurs souffrant de handicaps ou de troubles mentaux comme la dépression, l’anxiété, le trouble d’achat compulsif, la paranoïa, le FOMO, le FOBO, etc.

    On peut penser en particulier au trouble de déficit de l’attention (TDA). Des études attestent que les symptômes du TDA peuvent être aggravés par l’utilisation des médias numériques et de leurs applications conçues pour capter l’attention. Plus inquiétant encore, ces applications pourraient provoquer des TDA chez des personnes n’ayant aucun antécédent de ce trouble. Si ces études sont préliminaires elles nous encouragent à davantage de recherches sur le sujet ainsi qu’à nous poser la question du principe de précaution.

    A l’attention des créatifs

    Nous, les auteurs de ce billet, sommes des scientifiques. Comme d’autres collègues nous nous sommes reconnus dans l’article de David R. Smith : « Attention, attention : vos atouts scientifiques les plus précieux sont attaqués ». Dans cet article, Smith appelle à se pencher sur ce que les plateformes du Web font à la recherche et au domaine académique. En effet, même les scientifiques et ingénieurs les mieux informés sur ces sujets ne sont pas immunisés contre ces problèmes. Tout comme lire le “Petit traité de manipulation à l’usage des honnêtes gens” et “La soumission librement consentie” n’immunise pas contre la manipulation, connaître les méthodes de captation de l’attention n’est pas suffisant pour leur échapper. 

    Les « gadgets numériques », comme les appelle Smith, contribuent à ce qu’il appelle « un trouble de déficit de l’attention académique ». On sait que la concentration, mais aussi les moments d’ennui, de flânerie intellectuelle et de rêverie, sont essentiels à la pensée créative. Beaucoup d’entre nous ont déjà expérimenté l’éclair d’une idée soudaine au milieu d’un moment de détente. En volant ces moments, les systèmes de captation de l’attention entravent le processus créatif.

    Bien sûr, ces remarques peuvent être généralisées à de nombreuses autres activités et professions nécessitant concentration, créativité et imagination. On peut en effet se demander ce que les systèmes de captation de l’attention font à des domaines comme la politique, la santé, l’éducation ou la création artistique, par exemple. En d’autres termes : attention penseurs et créateurs ! Nous devons repenser ces systèmes pour qu’ils répondent à nos besoins, et non l’inverse car la véritable monnaie d’échange de nos métiers est celle des idées.

    Attention Fragile ! Vers des principes de préservation de l’attention

    Après ces constats anxiogènes, essayons maintenant d’être constructifs. Puisque, dans un monde de plus en plus numérique, notre attention sur-sollicitée s’avère fragile, nous proposons d’aller vers une gouvernance responsable de l’attention sur le Web en posant plusieurs principes.

    Un premier groupe de principes concerne les utilisateurs. Pour renforcer leur autonomie, le principe de la réflexivité continue propose que les plateformes leur fournissent régulièrement des retours d’information leur permettant d’être conscients de leurs usages (temps passé, exposition à des contenus négatifs, diversité, etc.), et permettant ainsi de garantir leur consentement éclairé à chaque instant. En outre, le principe de transparence préconise de leur expliquer clairement les motivations et les raisons derrière chaque recommandation, et le principe de soutien à la diligence raisonnable insiste sur l’importance de leur fournir les moyens et les informations nécessaires pour échapper aux boucles et processus imposés par les systèmes. Enfin, le principe d’opt-in par défaut suggère que les notifications et la personnalisation des recommandations soient désactivées par défaut, et activées uniquement après un consentement éclairé et un paramétrage volontaire.

    Attention by design

    Un deuxième groupe de principes vise à s’assurer que les plateformes intègrent dès leur conception (by design) le respect des utilisateurs. Le principe d’incitation orientée recommande d’utiliser des moyens légaux (interdire certaines pratiques) et économiques (taxes) pour encourager les plateformes à adopter des comportements ayant un impact sociétal positif (éducation, soutien à la collaboration et au débat constructif, élaboration collective de solutions sur les grands problèmes de société…). Et inversement, sanctionner les comportements nuisibles, une sorte de politique de la carotte et du bâton. 

    De plus, le principe de conception d’interactions bienveillantes appelle à placer le bien-être des utilisateurs au cœur de la conception des interfaces et de leurs objectifs algorithmiques, en s’alignant sur les bonnes pratiques des bright patterns plutôt que celles des dark patterns. D’autres médias sociaux sont en effet possibles, comme Wikipédia qui fait émerger du contenu de qualité sans jamais rechercher la viralité des contenus ni la popularité des contributeurs qui restent pour l’essentiel des citoyens anonymes.

    Le principe des recommandations équilibrées vise à éviter la spécialisation excessive des contenus recommandés et à prévenir la formation de bulles de filtres. Notons aussi que lorsqu’une fausse information est corrigée ou démentie, il est fréquent que le message portant la correction ou le démenti soit quasiment invisible en comparaison de la viralité avec laquelle la fausse information a circulé. Aussi, pour aller vers plus de transparence, le principe de la visibilité équilibrée propose que les mesures préventives et correctives d’un problème soient rendues aussi visibles que le problème qu’elles traitent.

    Enfin, pour que ces principes soient appliqués, le principe d’observabilité stipule que les plateformes doivent fournir aux institutions, à la société civile et aux chercheurs les instruments juridiques et techniques leur permettant d’effectuer un contrôle et une vérification actifs de l’application et de l’efficacité des réglementations.

    L’attention comme bien commun

    Dans une perspective plus large, si nous considérons l’attention comme un bien commun au sens économique, le principe de la préservation des communs numériques stipule aussi que les services ayant un impact mondial sur nos sociétés doivent être considérés comme des communs numériques, et à ce titre, protégés et soumis à des règles spécifiques de « préservation ». Cela pourrait par exemple passer par le fait de doter ces services (ou au moins les nouveaux entrants) d’une mission de soutien à un débat public constructif. 

    Enfin, le principe de transfert des meilleures pratiques invite à s’inspirer des approches éprouvées dans d’autres domaines, comme le droit encadrant la publicité, les casinos ou le traitement de certaines addictions, pour réguler efficacement les pratiques sur le Web. Prenons l’exemple de l’industrie du jeu vidéo : il a été montré qu’un lien existe entre les « loot boxes » (sortes de pochettes surprises des jeux vidéos) et l’addiction aux jeux d’argent. Celles-ci seraient comparables aux jeux de hasard, pouvant entraîner des comportements addictifs et mettre les joueurs en danger. Ce constat a donné lieu à plusieurs régulations. La manière d’étudier et de traiter cette exploitation indésirable de nos comportements et la transposition de connaissances issues d’autres domaines sont des sources d’inspiration pour d’autres pratiques problématiques sur le Web, telles que celles dont nous venons de parler.

    Faisons attention… à nous

    Résumons-nous. Avec l’objectif initial, somme toute banal, de rendre la publicité plus efficace, la généralisation des techniques de captation de l’attention et l’utilisation qu’elles font des biais cognitifs et des émotions ont des effets délétères très préoccupants sur nos sociétés : polarisation des opinions, diffusion de fausses informations, menace pour la santé publique, les économies et les démocraties. Et oui ! Ce sont donc des (ro)bots qui hackent notre attention car ils sont conçus pour cela ou, plus précisément, pour la capter de façon optimale en vue de la monétiser. De fait, ils utilisent le Web dans un but économique qui va à l’encontre du bien commun. Mais en adoptant les principes proposés ci-dessus, nous pensons qu’il est possible de construire un Web qui continue de soutenir l’activité économique sans pour autant entraîner la captation systématique de l’attention.

    Dans ses essais, Montaigne nous disait “quand on me contrarie, on éveille mon attention, non pas ma colère : je m’avance vers celui qui me contredit, qui m’instruit.”. Or les plateformes nous poussent à faire le contraire : éveiller l’émotion négative et s’éloigner d’autrui. Mais il n’est pas raisonnable de laisser de multiples moyens technologiques hacker nos cerveaux et créer un déficit mondial d’attention, nous empêchant ainsi de la porter sur des sujets qui devraient actuellement nous « contrarier ». A une époque où nous devons modifier nos comportements (par exemple, la surconsommation de biens et d’énergie) et porter notre attention sur des questions cruciales comme le changement climatique, nous devrions nous demander si les algorithmes de recommandation font les bonnes recommandations, et pour qui. Compte tenu des quatre milliards d’utilisateurs pris chaque jour dans leurs boucles de recommandation, il est important de surveiller en permanence comment et dans quel but ces systèmes captent notre attention. Car lorsque notre attention est consacrée à un contenu choisi par ces plateformes, elle est perdue pour tout le reste.

    Merci… pour votre attention 🙂

    Fabien Gandon, Directeur de Recherche Inria et Franck Michel, ingénieur de recherche, Université Côte d’Azur, CNRS, Inria. 

  • Prêtez Attention : quand « prêter » est « données » (épisode 1)

    A l’heure où Elon Musk fait un peu n’importe quoi au nom de la liberté d’expression, quand des grands patrons du numérique lui emboîtent le pas sans doute pour pousser leurs intérêts économiques, il devient encore plus indispensable de comprendre les mécanismes qui causent des dysfonctionnements majeurs des plateformes numériques.  Ce premier épisode d’un article de Fabien Gandon et Franck Michel nous aide à mieux comprendre.  Serge Abiteboul & Thierry Viéville.

    Image générée par les auteurs avec Bing/DALL·E 3 à partir du prompt “photo of a street with many people with their smartphones displaying different hypnotic images” ©CC-BY

    Nous sommes un dimanche après-midi. Vous avez un petit moment pour vous. Vous pourriez lire, vous balader, aller courir ou écouter de la musique mais machinalement votre main saisit votre téléphone. Le « sombre miroir » s’éclaire et vous passez de l’autre côté. Vous ouvrez l’application de votre réseau social préféré qui vient de vous notifier qu’elle a du nouveau pour vous. Et c’est vrai ! Jean a posté un message à propos de la tragicomédie « Qui a hacké Garoutzia ? » qu’il a vue au théâtre hier soir. Vous approuvez ce poste d’un pouce virtuel et déjà votre vrai pouce pousse vers le poste suivant. Entre une publicité pour un abonnement au théâtre, une photo postée d’Avignon par un ami que vous avez du mal à remettre, l’annonce pour un jeu où tester vôtre culture générale… votre pouce se lance dans un jogging numérique effréné. Imperceptiblement le flux d’information qui vous est proposé dévie, une vidéo de chats acrobates, un « clash » entre stars de la télévision, une manifestation qui tourne à l’affrontement… Et avant que vous ne le réalisiez une petite heure s’est écoulée et il est maintenant trop tard pour un vrai jogging. Vous ressentez une certaine résistance à reposer votre téléphone : après tout, il y avait peut-être encore tant de contenus intéressants, inédits, surprenants ou croustillants dans ce fil de recommandations. Mais vous devez vous rendre à l’évidence, ce fil est sans fin. Vous ne pouvez croire à quelle vitesse la dernière heure est passée. Vous avez l’impression qu’on vous l’a volée, que vous avez traversé un « tunnel temporel ». Sans même vous rappeler de ce que vous avez vu défiler, vous reposez ce téléphone un peu agacé en vous demandant… mais qui a hacké mon attention ?

    A l’attention de tous…

    Sir Tim Berner-Lee, récipiendaire du prix Turing pour avoir inventé le Web, a toujours considéré que les Web devait « être pour tout le monde », mais il a aussi partagé début 2024 un dialogue intérieur en deux articles à propos du Web : « Le dysfonctionnement des réseaux sociaux » et « Les bonnes choses ». Et oui… même le père du Web s’interroge gravement sur celui-ci et met face à face ce qu’il y a de meilleur et de pire sur le Web. Loin d’avoir réalisé l’idéal d’une communauté mondiale unie, Tim constate que des applications du Web comme les réseaux sociaux amplifient les fractures, la polarisation, la manipulation et la désinformation, menaçant démocraties et bien-être. Tout en reconnaissant les nombreuses vertus du Web (outils éducatifs, systèmes open source ou support à la souveraineté numérique), il nous propose de mettre l’accent sur la transparence, la régulation, et une conception éthique d’un Web et d’un Internet plus sûrs et responsables. Autrement dit, l’enjeu actuel est de préserver les richesses du Web tout en se protégeant de ses dérives.

    Parmi ces dérives, on trouve le problème de la captation de notre attention, un sujet sur lequel nous voulons revenir dans ce billet ainsi que le suivant. C’est l’objet d’un de nos articles publié cette année à la conférence sur l’IA, l’éthique et à la société (AIES) de l’Association pour l’Avancement de l’Intelligence Artificielle (AAAI), que nous résumons ici. Le titre pourrait se traduire par « Prêtez attention : un appel à réglementer le marché de l’attention et à prévenir la gouvernance émotionnelle algorithmique ». Nous y appelons à des actions contre ces pratiques qui rivalisent pour capter notre attention sur le Web, car nous sommes convaincus qu’il est insoutenable pour une civilisation de permettre que l’attention soit ainsi gaspillée en toute impunité à l’échelle mondiale.

    Attention à la march…andisation (de l’attention)

    Si vous lisez cette phrase, nous avons déjà gagné une grande bataille, celle d’obtenir votre attention envers et contre toutes les autres sollicitations dont nous sommes tous l’objet : les publicités qui nous entourent, les « apps » dont les notifications nous assaillent jour et nuit, et tous les autres « crieurs numériques » que l’on subit au quotidien. 

    Depuis l’avènement de la consommation de masse dans les années 50, les médias et les publicitaires n’ont eu de cesse d’inventer des méthodes toujours plus efficaces pour capter notre attention et la transformer en revenus par le biais de la publicité. Mais ce n’était qu’un début… Au cours des deux dernières décennies, en s’appuyant sur la recherche en psychologie, en sociologie, en neurosciences et d’autres domaines, et soutenues par les avancées en intelligence artificielle (IA), les grandes plateformes du Web ont porté le processus de captation de l’attention à une échelle sans précédent. Basé presque exclusivement sur les recettes publicitaires, leur modèle économique consiste à nous fournir des services gratuits qui, en retour, collectent les traces numériques de nos comportements. C’est le célèbre “si c’est gratuit, c’est nous le produit” et plus exactement, ici, le produit c’est notre attention. Ces données sont en effet utilisées pour maximiser l’impact que les publicités ont sur nous, en s’assurant que le message publicitaire correspond à nos goûts, nos inclinations et notre humeur (on parle de “publicité ciblée”), mais aussi en mettant tout en place pour que nous soyons pleinement attentifs au moment où la publicité nous est présentée.

    Recrutant des « armées » de psychologues, sociologues et neuroscientifiques, les plateformes du Web comme les médias sociaux et les jeux en ligne ont mis au point des techniques capables de piller très efficacement notre « temps de cerveau disponible ». Résultat, nous, les humains, avons créé un marché économique où notre attention est captée, transformée, échangée et monétisée comme n’importe quelle matière première sur les marchés.

    Faire, littéralement, attention

    A l’échelle individuelle, lorsque l’on capte notre attention à notre insu, on peut déjà s’inquiéter du fait que l’on nous vole effectivement du temps de vie, soit l’un de nos biens les plus précieux. Mais si l’attention est un mécanisme naturel au niveau individuel, l’attention collective, elle, est le fruit de l’action de dispositifs spécifiques. Il peut s’agir de lieux favorisant l’attention partagée (ex. un théâtre, un cinéma, un bar un soir de match, une exposition), de l’agrégation d’attention individuelle pour effectuer des mesures (ex. audimat, nombre de vues, nombre de partages, nombre de ventes, nombre d’écoutes, etc.) ou autres. Pour ce qui est de l’attention collective, nous faisons donc, littéralement, l’attention. En particulier, les plateformes créent l’attention collective et dans le même temps captent ce commun afin de le commercialiser sans aucune limite a priori.

    Parmi les techniques utilisées pour capter notre attention, nous pouvons distinguer deux grandes catégories. Tout d’abord, certaines techniques sont explicitement conçues pour utiliser nos biais cognitifs. Par exemple, les likes que nous recevons après la publication d’un contenu activent les voies dopaminergiques du cerveau (impliquées dans le système de récompense) et exploitent notre besoin d’approbation sociale ; les notifications des apps de nos smartphones alimentent notre appétit pour la nouveauté et la surprise, de sorte qu’il est difficile d’y résister ; le « pull-to-refresh », à l’instar des machines à sous, exploite le modèle de récompense aléatoire selon lequel, chaque fois que nous abaissons l’écran, nous pouvons obtenir une nouveauté, ou rien du tout ; le défilement infini (d’actualités, de posts ou de vidéos…) titille notre peur de manquer une information importante (FOMO), au point que nous pouvons difficilement interrompre le flux ; l’enchaînement automatique de vidéos remplace le choix délibéré de continuer à regarder par une action nécessaire pour arrêter de regarder, et provoque un sentiment frustrant d’incomplétude lorsqu’on l’arrête ; etc. De même, certaines techniques exploitent des « dark patterns » qui font partie de ce qu’on nomme design compulsogène ou persuasif, pour nous amener, malgré nous, à faire des actions ou des choix que nous n’aurions pas faits autrement. C’est typiquement le cas lorsque l’on accepte toutes les notifications d’une application sans vraiment s’en rendre compte, alors que la désactivation des notifications nécessiterait une série d’actions fastidieuses et moins intuitives.

    Les petites attentions font les grandes émotions… oui mais lesquelles?

    Une deuxième catégorie de techniques utilisées pour capter notre attention repose sur les progrès récents en matière d’apprentissage automatique permettant d’entraîner des algorithmes de recommandation de contenu sur des données comportementales massives que Shoshana Zuboff appelle le « surplus comportemental« . Ces algorithmes apprennent à recommander des contenus qui non seulement captent notre attention, mais également augmentent et prolongent notre « engagement » (le fait de liker, commenter ou reposter des contenus, et donc d’interagir avec d’autres utilisateurs). Ils découvrent les caractéristiques qui font qu’un contenu attirera plus notre attention qu’un autre, et finissent notamment par sélectionner des contenus liés à ce que Gérald Bronner appelle nos invariants mentaux : la conflictualité, la peur et la sexualité. En particulier, les émotions négatives (colère, indignation, ressentiment, frustration, dégoût, peur) sont parmi celles qui attirent le plus efficacement notre attention, c’est ce que l’on appelle le biais de négativité. Les algorithmes apprennent ainsi à exploiter ce biais car les contenus qui suscitent ces émotions négatives sont plus susceptibles d’être lus et partagés que ceux véhiculant d’autres émotions ou aucune émotion particulière. Une véritable machine à créer des “réseaux soucieux” en quelque sorte.

    Bulles d’attention et bulles de filtres

    En nous promettant de trouver pour nous ce qui nous intéresse sur le Web, les algorithmes de recommandation ont tendance à nous enfermer dans un espace informationnel conforme à nos goûts et nos croyances, une confortable bulle de filtre qui active notre biais de confirmation puisque nous ne sommes plus confrontés à la contradiction, au débat ou à des faits ou idées dérangeants.

    En apparence bénignes, ces bulles de filtres ont des conséquences préoccupantes. Tout d’abord, au niveau individuel, parce que, s’il est important de se ménager des bulles d’attention pour mieux se concentrer et résister à l’éparpillement, il est aussi important de ne pas laisser d’autres acteurs décider quand, comment et pourquoi se forment ces bulles. Or c’est précisément ce que font les algorithmes de recommandation et leurs bulles de filtres, en décidant pour nous à quoi nous devons penser.

    Ensuite, au niveau collectif, Dominique Cardon pointe le fait que les bulles de filtres séparent les publics et fragmentent nos sociétés. Ceux qui s’intéressent aux informations sont isolés de ceux qui ne s’y intéressent pas, ce qui renforce notamment le désintérêt pour la vie publique.

    Et en créant une vision du monde différente pour chacun d’entre nous, ces techniques nous enferment dans des réalités alternatives biaisées. Or vous et moi pouvons débattre si, alors que nous observons la même réalité, nous portons des diagnostiques et jugements différents sur les façons de résoudre les problèmes. Mais que se passe-t-il si chacun de nous perçoit une réalité différente ? Si nous ne partons pas des mêmes constats et des mêmes faits ? Le débat devient impossible et mène vite à un affrontement stérile de croyances, au sein de ce que Bruno Patino appelle une « émocratie, un régime qui fait que nos émotions deviennent performatives et envahissent l’espace public« . Dit autrement, il n’est plus possible d’avoir un libre débat contradictoire au sein de l’espace public, ce qui est pourtant essentiel au fonctionnement des démocraties.

    La tension des émotions

    Puisque les algorithmes de recommandation sélectionnent en priorité ce qui produit une réaction émotionnelle, ils invibilisent mécaniquement ce qui induit une faible réponse émotionnelle. Pour être visible, il devient donc impératif d’avoir une opinion, de préférence tranchée et clivante, de sorte que la réflexion, la nuance, le doute ou l’agnosticisme deviennent invisibles. L’équation complexe entre émotions, biais cognitifs et algorithmes de recommandation conduit à une escalade émotionnelle qui se manifeste aujourd’hui sur les médias sociaux par une culture du « clash », une hypersensibilité aux opinions divergentes interprétées comme des agressions, la polarisation des opinions voire la radicalisation de certains utilisateurs ou certaines communautés. Ce qui fait dire à Bruno Patino que « les biais cognitifs et les effets de réseau dessinent un espace conversationnel et de partage où la croyance l’emporte sur la vérité, l’émotion sur le recul, l’instinct sur la raison, la passion sur le savoir, l’outrance sur la pondération ». Recommandation après recommandation, amplifiée par la désinhibition numérique (le sentiment d’impunité induit par le pseudo-anonymat), cette escalade émotionnelle peut conduire à des déferlements de violence et de haine dont l’issue est parfois tragique, comme en témoignent les tentatives de suicide d’adolescents victimes de cyber-harcèlement. Notons que cette escalade est souvent encore aggravée par les interfaces des plateformes, qui tendent à rendre les échanges de plus en plus brefs, instinctifs et simplistes.

    Le constat que nous dressons ici peut déjà sembler assez noir, mais il y a pire… Et à ce stade, pour garder votre attention avant que vous ne zappiez, quoi de mieux que de créer un cliffhanger, une fin laissée en suspens comme dans les séries télévisées à succès, et d’utiliser l’émotion qui naît de ce suspens pour vous hameçonner dans l’attente du prochain épisode, du prochain billet à votre attention…

    Fabien Gandon, Directeur de Recherche Inria, et Franck Michel, ingénieur de recherche, Université Côte d’Azur, CNRS, Inria. 

  • Une intelligence artificielle à la tête d’un pays : science-fiction ou réalité future? 

    Petit mot sur l’auteur : Jason Richard, étudiant en master expert en systèmes d’information et informatique, est passionné par l’Intelligence Artificielle et la cybersécurité. Son objectif est de partager des informations précieuses sur les dernières innovations technologiques pour tenir informé et inspiré le plus grand nombre. Ikram Chraibi Kaadoud, Jill-jenn Vie

    Introduction

    Dans un monde où l’intelligence artificielle (IA) est de plus en plus présente dans notre quotidien, de la recommandation de films sur Netflix à la prédiction de la météo, une question audacieuse se pose : une IA pourrait-elle un jour diriger un pays ? Cette idée, qui semble tout droit sortie d’un roman de science-fiction, est en réalité de plus en plus débattue parmi les experts en technologie et en politique.

    L’IA a déjà prouvé sa capacité à résoudre des problèmes complexes, à analyser d’énormes quantités de données et à prendre des décisions basées sur des algorithmes sophistiqués. Mais diriger un pays nécessite bien plus que de simples compétences analytiques. Cela nécessite de la sagesse, de l’empathie, de la vision stratégique et une compréhension profonde des nuances humaines – des qualités que l’IA peut-elle vraiment posséder ?

    Dans cet article, nous allons explorer cette question fascinante et quelque peu controversée. Nous examinerons les arguments pour et contre l’idée d’une IA à la tête d’un pays, nous discuterons des implications éthiques et pratiques. Que vous soyez un passionné de technologie, un politologue ou simplement un citoyen curieux, nous vous invitons à nous rejoindre dans cette exploration de ce qui pourrait être l’avenir de la gouvernance.

    L’intelligence artificielle : une brève introduction

    Avant de plonger dans le débat sur l’IA en tant que chef d’État, il est important de comprendre ce qu’est l’intelligence artificielle et ce qu’elle peut faire. L’IA est un domaine de l’informatique qui vise à créer des systèmes capables de réaliser des tâches qui nécessitent normalement l’intelligence humaine. Cela peut inclure l’apprentissage, la compréhension du langage naturel, la perception visuelle, la reconnaissance de la parole, la résolution de problèmes et même la prise de décision.

    L’IA est déjà largement utilisée dans de nombreux secteurs. Par exemple, dans le domaine de la santé, l’IA peut aider à diagnostiquer des maladies, à prédire les risques de santé et à personnaliser les traitements. Dans le secteur financier, l’IA est utilisée pour détecter les fraudes, gérer les investissements et optimiser les opérations. Dans le domaine des transports, l’IA est au cœur des voitures autonomes et aide à optimiser les itinéraires de livraison. Et bien sûr, dans le domaine de la technologie de l’information, l’IA est omniprésente, des assistants vocaux comme Siri et Alexa aux algorithmes de recommandation utilisés par Netflix et Amazon.

    Cependant, malgré ces avancées impressionnantes, l’IA a encore des limites. Elle est très bonne pour accomplir des tâches spécifiques pour lesquelles elle a été formée, mais elle a du mal à généraliser au-delà de ces tâches*. De plus, l’IA n’a pas de conscience de soi, d’émotions ou de compréhension intuitive du monde comme les humains. Elle ne comprend pas vraiment le sens des informations qu’elle traite, elle ne fait que reconnaître des modèles dans les données.

    Cela nous amène à la question centrale de cet article : une IA, avec ses capacités et ses limites actuelles, pourrait-elle diriger un pays ? Pour répondre à cette question, nous devons d’abord examiner comment l’IA est déjà utilisée dans le domaine politique.

     

    *Petit aparté sur ChatGPT et sa capacité de généralisation :

    Chatgpt est une intelligence artificielle (de type agent conversationnel) qui, en effet, à pour but de répondre au maximum de question. Cependant, si on ne la « spécialise » pas avec un bon prompt, les résultats démontrent qu’elle a du mal à être juste. Google l’a encore confirmé avec PALM, un modèle de « base » où l’on vient rajouter des briques métiers pour avoir des bons résultats.

    L’IA en politique : déjà une réalité ?

    L’intelligence artificielle a déjà commencé à faire son chemin dans le domaine politique, bien que nous soyons encore loin d’avoir une IA en tant que chef d’État. Cependant, les applications actuelles de l’IA en politique offrent un aperçu fascinant de ce qui pourrait être possible à l’avenir.

    L’une des utilisations les plus courantes de l’IA en politique est l’analyse des données. Les campagnes politiques utilisent l’IA pour analyser les données des électeurs, identifier les tendances et personnaliser les messages. Par exemple, lors des élections présidentielles américaines de 2016, les deux principaux candidats ont utilisé l’IA pour optimiser leurs efforts de campagne, en ciblant les électeurs avec des messages personnalisés basés sur leurs données démographiques et comportementales.

    L’IA est également utilisée pour surveiller les médias sociaux et identifier les tendances de l’opinion publique. Les algorithmes d’IA peuvent analyser des millions de tweets, de publications sur Facebook et d’autres contenus de médias sociaux pour déterminer comment les gens se sentent à propos de certains sujets ou candidats. Cette information peut être utilisée pour informer les stratégies de campagne et répondre aux préoccupations des électeurs.

    Dans certains pays, l’IA est même utilisée pour aider à la prise de décision politique. Par exemple, en Estonie, un petit pays d’Europe du Nord connu pour son adoption précoce de la technologie, le gouvernement développe une intelligence artificielle qui devra arbitrer de façon autonome des affaires de délits mineurs.

    En plus du « juge robot », l’État estonien développe actuellement 13 systèmes d’intelligence artificielle directement intégrés dans le service public. Cela s’applique également au Pôle Emploi local, où plus aucun agent humain ne s’occupe des personnes sans emploi. Ces derniers n’ont qu’à partager leur CV numérique avec un logiciel qui analyse leurs différentes compétences pour ensuite créer une proposition d’emploi appropriée. Premier bilan : 72 % des personnes qui ont trouvé un emploi grâce à cette méthode le conservent même 6 mois plus tard. Avant l’apparition de ce logiciel, ce taux était de 58 %.

    Cependant, malgré ces utilisations prometteuses de l’IA en politique, l’idée d’une IA en tant que chef d’État reste controversée. Dans les sections suivantes, nous examinerons les arguments pour et contre cette idée, et nous discuterons des défis et des implications éthiques qu’elle soulève.

    L’IA à la tête d’un pays : les arguments pour

    L’idée d’une intelligence artificielle à la tête d’un pays peut sembler futuriste, voire effrayante pour certains. Cependant, il existe plusieurs arguments en faveur de cette idée qui méritent d’être examinés.

    Efficacité et objectivité : L’un des principaux avantages de l’IA est sa capacité à traiter rapidement de grandes quantités de données et à prendre des décisions basées sur ces données. Dans le contexte de la gouvernance, cela pourrait se traduire par une prise de décision plus efficace et plus objective. Par exemple, une IA pourrait analyser des données économiques, environnementales et sociales pour prendre des décisions politiques éclairées, sans être influencée par des biais personnels ou politiques.

    Absence de corruption : Contrairement aux humains, une IA ne serait pas sujette à la corruption**. Elle ne serait pas influencée par des dons de campagne, des promesses de futurs emplois ou d’autres formes de corruption qui peuvent affecter la prise de décision politique. Cela pourrait conduire à une gouvernance plus transparente et plus équitable.

    Continuité et stabilité : Une IA à la tête d’un pays pourrait offrir une certaine continuité et stabilité, car elle ne serait pas affectée par des problèmes de santé, des scandales personnels ou des changements de gouvernement. Cela pourrait permettre une mise en œuvre plus cohérente et à long terme des politiques.

    Adaptabilité : Enfin, une IA pourrait être programmée pour apprendre et s’adapter en fonction des résultats de ses décisions. Cela signifie qu’elle pourrait potentiellement s’améliorer avec le temps, en apprenant de ses erreurs et en s’adaptant aux changements dans l’environnement politique, économique et social.

    Cependant, bien que ces arguments soient convaincants, ils ne tiennent pas compte des nombreux défis et inquiétudes associés à l’idée d’une IA à la tête d’un pays. Nous examinerons ces questions dans la section suivante.

    **Petit aparté sur la corruption d’une IA:

    Le sujet de la corruption d’une IA ou de son incorruptibilité a généré un échange en interne que l’on pense intéressant de vous partager

    Personne 1 : Ça dépend de qui contrôle l’IA !

    Auteur : La corruption est le détournement d’un processus. L’intelligence en elle-même n’est pas corruptible. Après, si les résultats ne sont pas appliqué, ce n’est pas l’IA que l’on doit blâmer

    Personne 1 : En fait on peut en débattre longtemps, car le concepteur de l’IA peut embarquer ses idées reçues avec, dans l’entraînement. De plus, une personne mal intentionnée peut concevoir une IA pour faire des choses graves, et là il est difficile de dire que l’IA n’est pas corruptible.

    Auteur : Oui c’est sûr ! Volontairement ou involontairement, on peut changer les prédictions, mais une fois entrainé, ça semble plus compliqué. J’ai entendu dire que pour les IA du quotidien, une validation par des laboratoires indépendants serait obligatoire pour limiter les biais. A voir !

    En résumé, la corruption d’une IA est un sujet complexe à débattre car il implique une dimension technique liée au système IA en lui-même et ses propres caractéristiques (celle-ci sont-elles corruptibles?) et une dimension humaine liée aux intentions des personnes impliqués dans la conception, la conception et le déploiement de cette IA. Sans apporter de réponses, cet échange met en lumière la complexité d’un tel sujet pour la réflexion citoyenne.

    L’IA à la tête d’un pays : les arguments contre

    Malgré les avantages potentiels d’une IA à la tête d’un pays, il existe de sérieux défis et préoccupations qui doivent être pris en compte. Voici quelques-uns des principaux arguments contre cette idée.

    Manque d’empathie et de compréhension humaine : L’une des principales critiques de l’IA en tant que chef d’État est qu’elle manque d’empathie et de compréhension humaine. Les décisions politiques ne sont pas toujours basées sur des données ou des faits objectifs ; elles nécessitent souvent une compréhension nuancée des valeurs, des émotions et des expériences humaines. Une IA pourrait avoir du mal à comprendre et à prendre en compte ces facteurs dans sa prise de décision.

    Responsabilité : Un autre défi majeur est la question de la responsabilité. Si une IA prend une décision qui a des conséquences négatives, qui est tenu responsable ? L’IA elle-même ne peut pas être tenue responsable, car elle n’a pas de conscience ou de volonté propre. Cela pourrait créer un vide de responsabilité qui pourrait être exploité.

    Risques de sécurité : L’IA à la tête d’un pays pourrait également poser des risques de sécurité. Par exemple, elle pourrait être vulnérable au piratage ou à la manipulation par des acteurs malveillants. De plus, si l’IA est basée sur l’apprentissage automatique, elle pourrait développer des comportements imprévus ou indésirables en fonction des données sur lesquelles elle est formée.

    Inégalités : Enfin, l’IA pourrait exacerber les inégalités existantes. Par exemple, si l’IA est formée sur des données biaisées, elle pourrait prendre des décisions qui favorisent certains groupes au détriment d’autres. De plus, l’IA pourrait être utilisée pour automatiser des emplois, ce qui pourrait avoir des conséquences négatives pour les travailleurs.

    Ces défis et préoccupations soulignent que, bien que l’IA ait le potentiel d’améliorer la gouvernance, son utilisation en tant que chef d’État doit être soigneusement considérée et réglementée. Dans la section suivante, nous examinerons les points de vue de différents experts sur cette question.

    Points de vue des experts : une IA à la tête d’un pays est-elle possible ?

    La question de savoir si une IA pourrait un jour diriger un pays suscite un débat animé parmi les experts. Certains sont optimistes quant à la possibilité, tandis que d’autres sont plus sceptiques.

    Les optimistes : Certains experts en technologie et en politique croient que l’IA pourrait un jour être capable de diriger un pays. Ils soulignent que l’IA a déjà prouvé sa capacité à résoudre des problèmes complexes et à prendre des décisions basées sur des données. Ils suggèrent que, avec des avancées supplémentaires en matière d’IA, il pourrait être possible de créer une IA qui comprend les nuances humaines et qui est capable de prendre des décisions politiques éclairées.

    Les sceptiques : D’autres experts sont plus sceptiques. Ils soulignent que l’IA actuelle est loin d’être capable de comprendre et de gérer la complexité et l’incertitude inhérentes à la gouvernance d’un pays. Ils mettent également en garde contre les risques potentiels associés à l’IA en politique, tels que de responsabilité, les risques de sécurité et les inégalités.

    Les pragmatiques : Enfin, il y a ceux qui adoptent une approche plus pragmatique. Ils suggèrent que, plutôt que de remplacer les dirigeants humains par des IA, nous devrions chercher à utiliser l’IA pour soutenir et améliorer la prise de décision humaine. Par exemple, l’IA pourrait être utilisée pour analyser des données politiques, économiques et sociales, pour prédire les conséquences des politiques proposées, et pour aider à identifier et à résoudre les problèmes politiques.

    En fin de compte, la question de savoir si une IA pourrait un jour diriger un pays reste ouverte. Ce qui est clair, cependant, c’est que l’IA a le potentiel de transformer la politique de manière significative. À mesure que la technologie continue de progresser, il sera essentiel de continuer à débattre de ces questions et de réfléchir attentivement à la manière dont nous pouvons utiliser l’IA de manière éthique et efficace en politique.

    Conclusion : Vers un futur gouverné par l’IA ?

    L’idée d’une intelligence artificielle à la tête d’un pays est fascinante et controversée. Elle soulève des questions importantes sur l’avenir de la gouvernance, de la démocratie et de la société en général. Alors que l’IA continue de se développer et de s’intégrer dans de nombreux aspects de notre vie quotidienne, il est essentiel de réfléchir à la manière dont elle pourrait être utilisée – ou mal utilisée – dans le domaine de la politique.

    Il est clair que l’IA a le potentiel d’améliorer la prise de décision politique, en rendant le processus plus efficace, plus transparent et plus informé par les données. Cependant, il est également évident que l’IA présente des défis et des risques importants, notamment en termes de responsabilité, de sécurité et d’équité.

    Alors, une IA à la tête d’un pays est-elle science-fiction ou réalité future ? À l’heure actuelle, il semble que la réponse soit quelque part entre les deux. Bien que nous soyons encore loin d’avoir une IA en tant que chef d’État, l’IA joue déjà un rôle de plus en plus important dans la politique. À mesure que cette tendance se poursuit, il sera essentiel de continuer à débattre de ces questions et de veiller à ce que l’utilisation de l’IA en politique soit réglementée de manière à protéger les intérêts de tous les citoyens.

    En fin de compte, l’avenir de l’IA en politique dépendra non seulement des progrès technologiques, mais aussi des choix que nous faisons en tant que société. Il est donc crucial que nous continuions à nous engager dans des discussions ouvertes et éclairées sur ces questions, afin de façonner un avenir dans lequel l’IA est utilisée pour améliorer la gouvernance et le bien-être de tous.

    Références et lectures complémentaires

    Pour ceux qui souhaitent approfondir le sujet, voici les références :

    Pour ceux qui souhaitent approfondir le sujet, voici une de lectures complémentaires :

    • « The Politics of Artificial Intelligence » par Nick Bostrom. Ce livre explore en profondeur les implications politiques de l’IA, y compris la possibilité d’une IA à la tête d’un pays.
    • « AI Superpowers: China, Silicon Valley, and the New World Order » par Kai-Fu Lee. Cet ouvrage examine la montée de l’IA en Chine et aux États-Unis, et comment cela pourrait remodeler l’équilibre mondial du pouvoir.
    • « The Ethics of Artificial Intelligence » par Vincent C. Müller et Nick Bostrom. Cet article examine les questions éthiques soulevées par l’IA, y compris dans le contexte de la gouvernance.
    • « Artificial Intelligence The Revolution Hasn’t Happened Yet » par Michael Jordan. Cet article offre une perspective sceptique sur l’IA en politique, mettant en garde contre l’excès d’optimisme.
    • « The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation » par Brundage et al. Ce rapport explore les risques de sécurité associés à l’IA, y compris dans le contexte de la politique.

    Ces ressources offrent une variété de perspectives sur l’IA en politique et peuvent aider à éclairer le débat sur la possibilité d’une IA à la tête d’un pays. Comme toujours, il est important de garder à l’esprit que l’IA est un outil, et que son utilisation en politique dépendra des choix que nous faisons en tant que société.

  • Policer les internets : « Vos papiers ! »

     

    Lead Certification Expert at European Union Agency for Cybersecurity (ENISA)

    Un ancien collègue de mes collègues, Éric Vétillard, nous a proposé un article sur les contrôles d’identité. À l’heure du numérique, cette vérification peut cacher d’autres utilisation de votre identité pas les entités qui veulent la vérifier ou connaitre votre âge sans parler de la difficulté de prouver la parenté… Pierre Paradinas.

    Dans le monde physique, nous avons de longues traditions de contrôles d’identité, de vérifications d’âge, par exemple pour acheter de l’alcool. Le contrôle des certificats COVID a poussé cette tradition dans ses limites. En Grèce, je montrais le certificat de vaccination et une pièce d’identité pour manger au restaurant, mais en France, uniquement le certificat de vaccination.

    Nous acceptions ces contrôles parce que le monde physique a la mémoire courte. La personne qui vérifie chaque jour l’âge ou le statut vaccinal de centaines de clients ne mémorise pas ces informations.

    Le monde virtuel est très différent. Il a une mémoire infinie. C’est parfois avantageux, puisqu’il suffit enligne de démontrer son âge une fois pour toutes. Mais quelle information sera mémorisée, et comment sera-t-elle exploitée ? De nombreux services en ligne, dont les réseaux sociaux, vivent de l’exploitation des données que nous mettons à leur disposition de manière plus ou moins consciente.

    Et pourtant, des contrôles vont devoir être mis en place. Après le filtrage d’âge pour les sites pornographiques, un filtrage similaire a été voté pour les réseaux sociaux. L’impact est significatif, car si il est difficile de connaître l’audience des sites pornographiques avec précision, nous savons que la grande majorité d’entre nous utilise des réseaux sociaux, et autour de 100% des adolescents, y compris de nombreux utilisateurs de moins de 15 ans. L’impact de ces vérifications sera donc très significatif, car il s’appliquera à nous tous.

    Le bon sens de ces mesures est évident, si vous ne comprenez pas que le monde virtuel est différent du monde physique. Au-delà des problèmes de confiance, il y a un fort sentiment d’impunité sur les réseaux, ainsi qu’une culture beaucoup plus libre, avec beaucoup de fausses identités, de pseudonymes, de personnages fictifs,etc. Bref, il est plus facile de tricher en ligne, même moralement.

    Alors, comment démontrer son âge sans confiance avec une méthode sûre et accessible à tous ? Ce nést pas évident. La carte de paiement semblait un bon moyen, mais elle de répond à aucun des critères : il faut faire confiance au fournisseur, on peut facilement tricher, et tout le monde n’en a pas. Un scan de pièce d’identité n’est pas non plus idéal, pour des raisons très similaires. Pour ceux qui pensent au code QR authentifié des nouvelles cartes d’identité françaises pour résoudre au moins un problème, pas de chance : il ne contient pas la date de naissance.

    Les problèmes de confiance peuvent être réglés en utilisant un service dédié, dit « tiers de confiance », dont le rôle est de collecter des données sensibles et de ne communiquer que l’information nécessaire à d’autres entités, par exemple des réseaux sociaux. C’est plus simple que ça en a l’air : nous pourrions aller chez un buraliste, montrer une pièce d’identité, et le buraliste attesterait auprès du réseau socialque nous avons plus de 15 ans.

    En même temps, au niveau Européen, la réglementation sur l’identité numérique avance lentement, et définit un portefeuille numérique qui devrait simplifier l’authentification en ligne. En particulier, ce portefeuille serait associé à une personne de manière forte, et pourrait contenir des attestations de type « Le porteur de ce document a plus de 18 ans ». Une telle attestation serait très pratique pour les contrôles d’âge requis, car elle permet de limiter l’information divulguée. De plus, une des exigences de la loi est que le fournisseur de l’attestation, par exemple l’état, ne doit pas être informé des utilisations de l’attestation, ce qui devrait rendre la constitution d’un fichier national d’utilisateurs des sites pornographiques impossible, ou du moins illégale.

    Ces portefeuilles électroniques devraient être déployés d’ici à la fin de la décennie. Si les citoyens les adoptent, ils pourraient apporter une solution technique au problème de vérification d’âge. En attendant, je pense très fort aux experts de l’ARCOM qui seront en charge de définir un référentiel de vérification d’âge à la fois efficace et suffisamment protecteur de notre vie privée pour être approuvé par la CNIL.

    Pour finir, une petite colle. La dernière loi sur les réseaux sociaux inclut une notion d’autorisation parentale entre 13 et 15 ans. Cette autorisation doit être donnée par un parent, qui doit donc prouver sa qualité de parent. Nos documents d’identité français, même électroniques, ne contiennent pas d’informations de filiation. Quel mécanisme pourrons-nous donc utiliser pour autoriser nos chers ados ?

    Éric Vétillard

  • Qui a hacké Garoutzia ? En Avignon

    Un éditeur de binaire, Serge Abiteboul, et deux amis du blog, Laurence Devillers et Gilles Dowek, ont écrit une pièce qui sera présentée en grande première en Avignon, dans le cadre du festival off – les  15,  16, 17 juillet au Grenier à Sel. Si vous les connaissez, vous ne serez pas surpris que cela parle d’intelligence artificielle dans un texte plutôt déjanté. Pierre Paradinas.

  • ChatGPT et test de Turing inversé

    Erwan Le Merrer,  chercheur Inria, étudie le fonctionnement des plateformes du Web et analyse leurs comportements. Il préside le conseil scientifique de la Société informatique de France. Il nous propose une réflexion sur un sujet qui fait énormément parler aujourd’hui, ChatGPT et les modèles génératifs. Turing a proposé un test pour savoir si un humains pouvait distinguer des réponses émanant d’une intelligence artificielle de celles produites par d’autres humains. Erwan montre que dans une inversion étonnante, le test est aujourd’hui posé aux intelligences artificielles. Pierre Paradinas

    ChatGPT et les autres modèles génératifs sont amenés à modifier profondément nos usages. La génération instantanée de textes, d’images et de vidéos, inspire déjà quantité d’applications. Au delà de l’objectif affiché, la nature des sources de données sur lesquelles ChatGPT va poursuivre sa construction est critique.

    Image du jeu classique « snake »

    Le test de Turing est une expérience proposée en 1950 par Alan Turing et consistant pour un expérimentateur à deviner si la réponse à une question émane d’un être humain ou d’un ordinateur. L’expérimentateur est à l’aveugle par rapport au questionné, la vision de ce dernier étant occultée par un mur. La finalité du test est de questionner la distinguabilité de l’être humain des processus numériques en cours d’élaboration à l’époque. L’application aujourd’hui dans d’autres contextes est par exemple : étant donnée une copie de devoir à corriger pour un enseignant, a-t-elle été rédigée par l’étudiant ou par ChatGPT ?

    Les textes et données présents sur le web sont (encore) en grande partie le fait d’humains : journalistes, blogueurs, scientifiques, passionnés ou utilisateurs de réseaux sociaux. ChatGPT s’en nourrit pour construire le modèle probabiliste qui le dirige. Sans ces données, pas d’apprentissage et donc de génération satisfaisante. Mais voila, des textes ainsi générés sont déjà utilisés plus ou moins directement (peut-être sans modification) pour alimenter les sites web, et autres contenus de documents partagés [1].

    Il résulte la possibilité d’un cercle vicieux : ChatGPT devra être mis à jour fréquemment pour s’adapter aux événements ou nouvelles connaissances ; les nouveaux contenus aspirés pour être ingurgités seront ils alors des contenus déjà générés par ce même ChatGPT ? Ce serait problématique à plus d’un sens. On peut ici faire le parallèle avec des techniques relativement similaires dites de génération adversarielles (GANs), ou deux modèles d’apprentissage machine se font face. L’un pour améliorer sa génération de données essaie de tromper le second, qui lui essaie de discriminer ces données reçues d’autres données émanant cette fois d’êtres humains. L’intuition est simple : si le premier modèle génère par exemple des images trop facilement discriminables d’autres images réelles, alors il ne fait pas bien son travail. Il s’améliore alors jusqu’à ce que cette génération ne permette plus au second modèle de juger correctement du fait que ces images sont générées, avec plus d’une chance sur deux. Le premier modèle a alors “convergé” et atteint son objectif de génération indistinguable de données.

    Nous revoilà devant cette question d’indistinguabilité, cette fois concernant les données d’apprentissage de ChatGPT : les données glanées sur le web sont-elles le fait d’humains, de ChatGPT, ou d’autres modèles génératifs ? Mais l’expérimentateur du test de Turing est cette fois un processus numérique — ChatGPT lui même — plutôt qu’une personne : à ChatGPT d’arriver à distinguer sa propre création, ou des variantes manipulées par des personnes, dans cette instance inversée du test de Turing.

    Et on peut douter du succès de ChatGPT sur ce test, même à court terme. Ce dernier est bien précisément entrainé pour produire des sorties indistinguables de textes produits par des humains. Des chercheurs proposent de forcer ces modèles génératifs à embarquer des traces qui les confondent dans chacun de leurs textes générés (techniques dites de “tatouage” [2]). D’autres proposent au contraire une attaque pour contrer le tatouage qui paraphrase le texte généré pour ainsi permettre de rendre inopérant ce tatouage [3].  Ils fournissent au contraire une preuve d’impossibilité (i.e., d’indistinguabilité), qui s’appuie sur la nécessaire convergence de la distribution des mots dans les phrases générées vers celle naturellement présente dans les textes humains [3], au fur et à mesure de l’amélioration des capacités de ChatGPT ou de ses compétiteurs. Le problème est évidemment le même pour un système concurrent (e.g., Bard de Google) qui consommerait du ChatGPT, et inversement.

    Il est ici central de rappeler que l’indistinguabilité statistique de la formation de phrases n’a rien à voir avec l’indistinguabilité de la véracité ou non de ce que disent ces mêmes phrases : elles peuvent être syntaxiquement parfaites et sembler cohérentes, mais contenir des erreurs factuelles. Or ChatGPT est entraîné pour répondre parfaitement à ce premier objectif, mais pas au second. Lorsque le web sera alors peuplé de données non distinguables, le problème technique sera d’imaginer ce qu’il adviendra de la convergence d’un ré-apprentissage périodique pour ChatGPT, qui n’a aucun intérêt pratique à ingurgiter ses propres sorties. Un regain du nombre d’erreurs factuelles peut alors survenir dans ces textes générés, pour être ensuite intégrés sur le web de façon consciente ou non. Et ce dans une itération continue de la forme “génération, insertion sur le web, ingestion, ré-apprentissage”, etc.

    Les conséquences sociétales à craindre sont probablement une dilution encore plus grande de la capacité d’attribution aux créateurs ou penseurs, et conséquemment un risque de confusionnisme accru par la présence en ligne d’affirmations contraires concernant tous les faits possibles.

    Que deviendra le ver quand le fruit sera pourri ?

    Erwan Le Merrer, Inria

    Références :

    [1] https://www.theguardian.com/technology/2023/may/02/chatbot-journalists-found-running-almost-50-ai-generated-content-farms
    [2] A Watermark for Large Language Models, Arxiv, 2023.
    [3] Can AI-Generated Text be Reliably Detected?, Arxiv, 2023.

  • Nous sommes les réseaux sociaux, par Abiteboul et Cattan

    Cet ouvrage, publié chez Odile Jacob, s’attaque à un serpent de mer, la régulation des réseaux sociaux, ces complexes objets mi-humains mi-machines, qui nous unissent pour le meilleur et pour le pire. Tout le monde a un avis, souvent très tranché, sur la question. L’intérêt, ici, est d’avoir l’avis de deux spécialistes, un informaticien, Serge Abiteboul (*), membre de l’Arcep (Autorité de régulation des communications électroniques, des postes et de la distribution de la presse), et un juriste, Jean Cattan, Secrétaire général du Conseil national du numérique.

     

    Mais précisément, ces deux spécialistes s’abstiennent soigneusement dans le livre de donner un cours. En préambule, ils s’appuient sur une remarque évidente et pourtant pas toujours évidente : les réseaux sociaux, c’est nous, nous tous. Nous, mais régulés par les entreprises qui gèrent Facebook, Twitter, Instagram et les autres. Des humains régulés par d’autres humains, finalement. Et donc, c’est à nous, nous tous, de définir ce qui doit être fait. Ils nous proposent une réflexion sur les principes qui devraient être au centre du développement des réseaux sociaux, et surtout, sur une méthode qui permettrait d’intégrer tout le monde, plaidant pour une intervention forte des États dans ce débat.

    Dès l’introduction, ils préviennent : tout le monde ne sera pas d’accord. Mais la situation actuelle n’est pas satisfaisante, et ce n’est pas en ignorant nos désaccords qu’on avancera. Faites-vous votre avis, ouvrez le livre, et puis ouvrez le débat !
    Charlotte Truchet
    (*) Serge Abiteboul est éditeur de binaire.

  • Interfaces numériques : mille nuances de liberté

    Devant notre écran de smartphone ou d’ordinateur, nous avons souvent l’impression de nous faire influencer, embarquer, accrocher, balader, manipuler, enfermer, empapaouter peut-être,… Où est passée notre liberté de choix ? Cet article de Mehdi Khamassi nous aide à nous y retrouver. Mais attention, il ne se contente pas d’aligner quelques formules simplistes. Il fait appel à notre liberté de réfléchir. Saisissons-là ! Serge Abiteboul & Thierry Viéville.

    Toute une série de rapports et de propositions de régulations des interfaces numériques (notamment les réseaux sociaux) est parue ces derniers mois, aux niveaux français, européen et international. Un des objectifs importants est de limiter les mécanismes de captation de l’attention des utilisateurs, qui réduisent la liberté des individus en les maintenant engagés le plus longtemps possible, en les orientant subrepticement vers des publicités, ou en les incitant malgré eux à partager leurs données.

    Le rapport de la Commission Bronner considère que « ce que nous pourrions penser relever de notre liberté de choix se révèle ainsi, parfois, le produit d’architectures numériques influençant nos conduites […] se jou[ant] des régularités de notre système cognitif, jusqu’à nous faire prendre des décisions malgré nous »[1]. Le rapport du Conseil National du Numérique stipule que « par certains aspects, l’économie de l’attention limite donc notre capacité à diriger notre propre attention, et in fine, notre liberté de décider et d’agir en pleine conscience »[2]. Pour le Conseil de l’Europe « les outils d’apprentissage automatique (machine learning) actuels sont de plus en plus capables non seulement de prédire les choix, mais aussi d’influencer les émotions et les pensées et de modifier le déroulement d’une action » ce qui peut avoir des effets significatifs sur « l’autonomie cognitive des citoyens et leur droit à se forger une opinion et à prendre des décisions indépendantes »[3]. Enfin, l’OCDE considère que ces influences relèvent parfois d’une véritable « manipulation », en particulier dans le cas de ce qu’on appelle les « dark patterns », qui désignent toute configuration manipulatrice des interfaces de façon à orienter nos choix malgré nous[4]. Certains auteurs parlent même de design de produits « addictifs »[5], qui de façon similaire aux machines à sous des casinos, « enferment les gens dans un flux d’incitation et de récompense »[6], « ne laissant plus aucune place au libre arbitre individuel »[7].

    On voit donc que la préservation de l’autonomie et de la liberté de choix en conscience des utilisateurs est un des enjeux majeurs de la régulation des interfaces numériques.

    Toutefois ces discussions sont minées par le très vieux débat sur le « libre arbitre » (entendu comme « libre décret », selon les termes de Descartes). Pour certains dont la position est dite « réductionniste », celui-ci n’existe pas, car tout se réduit aux interactions matérielles à l’échelle atomique. Il n’y a donc pas de problème de réduction de liberté par les interfaces numériques puisque nous ne sommes déjà pas libres au départ, du fait du déterminisme qui résulte du principe de causalité, épine dorsale de la science[8]. Ceci conduit à un fatalisme et à une déresponsabilisation. Circulez, il n’y a rien à voir !

    A l’opposé, pour les tenants d’une position dite « libertarianiste », nous restons toujours libres puisqu’une entité immatérielle, notre âme, elle-même totalement « libre » en cela qu’elle ne subirait aucune influence externe, déterminerait causalement notre corps à agir selon notre propre volonté. Nous restons donc toujours entièrement libres et responsables de nos actes sur les interfaces numériques, et il n’y a pas lieu de les réguler. Continuez de circuler !

    Une troisième voie est possible

    Il existe pourtant une troisième voie, naturaliste[9] et ancrée dans la science, dans laquelle le déterminisme n’empêche pas une autre forme de liberté que le dit « libre arbitre ». Une forme qui préserve la responsabilité de l’humain pour ses actes et son aptitude au questionnement éthique. Il s’agit d’une liberté de penser et d’agir par nous-mêmes, selon nos déterminismes internes et moins selon les déterminismes externes. Pour simplifier, le ratio entre nos déterminismes internes et externes dans nos prises de décision pourrait ainsi définir une sorte de quantification de notre degré de liberté. Par exemple, si un stimulus externe comme la perception d’une publicité pour un produit sur Internet me pousse à cliquer dessus sans réfléchir (type de comportement qualifié de stimulus-réponse en psychologie, et que je mets dans la catégorie déterminisme externe pour simplifier), je suis moins libre que lorsque je décide sans voir de publicité qu’il est l’heure d’aller sur un site commercial car j’ai besoin d’acheter un produit en particulier (dit comportement orienté vers un but en psychologie). Je suis davantage libre dans le deuxième cas puisque ma décision est guidée par mon intention, même si des mécanismes déterministes internes à mon système nerveux m’ont conduit à formuler cette intention et à prévoir un plan d’actions en conséquence. Pourtant, il n’est pas si simple de définir ce qui est interne et qui reflèterait notre nature, et ce qui est externe. Toute chose qui nous affecte dépend à la fois de celle-ci et de ce que nous sommes (l’influence sur moi d’un stimulus tel que la photo d’un produit va dépendre de mon expérience antérieure d’interaction avec des stimuli de ce type, et de nombreux autres facteurs).

    Les dialogues les plus récents entre philosophie et science cognitives[10] montrent comment il est possible de concilier déterminisme, liberté et responsabilité. Ceci est vrai notamment dans la philosophie de Spinoza, qui considère tout d’abord que le corps et l’esprit sont deux modes d’une même substance, deux manières de décrire la même chose dans deux espaces de description différents. Autrement dit, à tout état mental correspond un état cérébral, et il n’y a pas de causalité croisée entre les deux, mais seulement des causalités à l’intérieur de chaque espace : les états mentaux causent d’autres états mentaux, et les états physiques causent d’autres états physiques. Par exemple, la sensation d’avoir faim cause la décision d’aller manger ; ce qui correspond, en parallèle, à une causalité entre une activité neurophysiologique représentant un manque d’énergie pour le corps et une autre activité neurophysiologique qui déclenche une impulsion vers les muscles.

    D’un point de vue scientifique, cela implique qu’il faut éviter de faire de la psychologie une province des neurosciences, en cherchant toutes les explications à l’échelle de l’activité des neurones. De même, toutes les propriétés du vivant ne peuvent pas être réduites aux propriétés des éléments physiques (ni même atomiques) qui le composent. D’une part, les recherches en neurosciences cognitives ont besoin de termes se référant au comportement et aux phénomènes psychologiques pour concevoir des expériences et faire sens des activités cérébrales mesurées[11]. D’autre part, si le naturalisme considère que le déterminisme causal est incontournable, cela n’implique pas nécessairement un réductionnisme. Les sciences actuelles s’inscrivent en effet dans la complexité. Les composantes d’un système complexe, les interactions entre celles-ci, ainsi que leur organisation, font émerger de nouvelles propriétés globales (causalité ascendantes) qui en retour exercent des contraintes sur l’ensemble des parties (causalités descendantes)[12]. Ainsi, il n’est pas possible de réduire les propriétés d’un système complexe aux propriétés des éléments qui le composent. C’est la notion d’émergence. Par exemple, dans un certain contexte et dans un certain état physiologique, je peux ressentir une émotion. Puis, par l’interaction avec la société, je peux mettre un mot sur cette émotion, donc mieux la catégoriser, mieux la comprendre. En retour, ma connaissance et ma compréhension du mot pourront elles-mêmes moduler l’émotion que je ressens.

    Une liberté par degrés en philosophie comme en psychologie et en neurosciences

    À partir de là, un des apports des dialogues entre philosophie et sciences cognitives consiste à souligner ce qui peut moduler ces différents degrés de liberté possibles à l’humain. Ceci nous donne des indications sur comment réguler les interfaces numériques pour favoriser la liberté plutôt que la réduire, comme c’est le cas actuellement.

    Du côté de la philosophie, Spinoza considère que la connaissance adéquate des causes qui nous déterminent augmente notre liberté. Ce n’est qu’une fois que nous savons qu’un stimulus nous influence que nous pouvons y réfléchir et décider de lutter contre cette influence, ou au contraire de l’accepter lorsqu’elle nous convient. Cela veut dire qu’il faut imposer aux interfaces numériques une transparence sur les stimuli qu’elles utilisent, les algorithmes qui les déclenchent, et les données personnelles sur lesquelles ils s’appuient. Cette transparence permettrait de favoriser notre réflexivité sur nos interactions avec l’interface. Célia Zolynski, professeur de droit à La Sorbonne Paris 1, propose même de consacrer un droit au paramétrage, que la Commission Nationale Consultative des Droits de l’Homme a soutenu[13]. Ce droit permettrait à l’utilisateur de construire son propre espace informationnel afin d’y trier les influences qui lui semblent acceptables pour lui.

    On pourrait y ajouter la possibilité de trier nos automatismes comportementaux sur les interfaces numériques. Du côté de la psychologie, on sait en effet depuis longtemps que toutes nos décisions ne sont pas toujours réfléchies ni guidées par une intention explicite, mais peuvent souvent être automatiques et du coup sujettes à davantage d’influence par les stimuli externes[14]. Par exemple, quand notre esprit critique se relâche, nous avons plus de risques de cliquer sur les publicités qui apparaissent à l’écran. Les connaissances les plus récentes en neurosciences[15] nous permettent de mieux comprendre les mécanismes neuraux par lesquels la perception de stimuli conditionnés (qui ont été associés de façon répétée avec une récompense, comme de la nourriture, du plaisir, ou une reconnaissance sociale) peuvent venir court-circuiter les réseaux cérébraux sous-tendant nos processus délibératifs, et ainsi favoriser la bascule vers des réseaux liés à un mode de contrôle plus implicite et automatique (donc souvent inconscient) de l’action.

    Nous pouvons augmenter notre liberté par le tri de nos automatismes comportementaux, pour choisir ceux que nous gardons. Par exemple, je décide d’accepter l’automatisme de mon comportement quand je trie rapidement mes messages, car c’est ce qui me permet d’être efficace et d’économiser du temps. Mais je décide de combattre mon comportement consistant à automatiquement faire dérouler le fil sans fin d’actualités sur les réseaux sociaux. Car ceci m’amène à être encore connecté sur l’interface une demi-heure plus tard, alors que je voulais n’y passer que 5 minutes.

    Enfin, il faut imposer aux interfaces de mettre en visibilité nos possibilités alternatives d’agir. En effet, la modélisation mathématique en sciences cognitives nous permet dorénavant de mieux comprendre les mécanismes cérébraux qui sous-tendent notre capacité à simuler mentalement les possibilités d’actions alternatives avant de décider. Malgré le déterminisme, grâce à la simulation mentale[16], il est possible de réduire l’influence relative des causes externes (stimuli) au profit de causes internes (notre mémoire, nos intentions ou buts, nos valeurs, notre connaissance d’actions alternatives), ces éléments internes ayant eux-mêmes des causes. C’est ce qui permet au mode intentionnel de prise de décision de s’exercer[17], par opposition aux automatismes comportementaux, et ainsi de nous rendre « libres de l’immédiateté » de l’influence des stimuli externes[18]. Une hypothèse consiste à considérer qu’en augmentant le temps de réflexion, nous augmentons la longueur et la complexité de la chaîne causale qui détermine notre choix d’action, nous pouvons par la réflexion moduler le poids relatif de chaque cause dans l’équation, et ainsi réduire l’influence relative des stimuli externes, donc être plus libres[19].

    On comprend ainsi mieux pourquoi tout ce qui, sur les interfaces numériques, opacifie ou court-circuite notre réflexivité, nous empêche d’évaluer par la simulation mentale les conséquences à long-terme de nos actions. Comme il a été souligné récemment, « ce n’est pas tant que les gens accordent peu d’importance à leur vie privée, ou qu’ils sont stupides ou incapables de se protéger, mais le fait que les environnements [numériques], comme dans le cas des dark patterns, ne nous aident pas à faire des choix qui soient cohérents avec nos préoccupations et préférences vis-à-vis de la personnalisation [des services digitaux] et de la confidentialité des données. »[20]

    Paradoxe d’une société de consommation qui exagère la promotion du libre-arbitre

    Mais la liberté ne dépend pas que de l’individu et de ses efforts cognitifs. Il est important de prendre en compte les travaux en sciences humaines et sociales (SHS), notamment en sociologie, pour comprendre les autres dimensions qui influencent nos choix, comme les interactions avec les autres utilisateurs sur Internet et le rôle de la société. C’est pourquoi il faut ouvrir davantage les données des interfaces numériques aux recherches en SHS.

    Ces réflexions à l’interface entre sciences et philosophie viennent en tout cas appuyer le constat qu’une société qui met en avant des influenceurs commerciaux et politiques, des discours simplistes, des publicités mettant en scène des stéréotypes, contribue à nous habituer à ne pas faire l’effort de sortir de nos automatismes de pensée. Cela contribue même à en créer de nouveaux, donc à nous rendre moins libres et à nous éloigner de l’idéal démocratique.

    Nous sommes face à un paradoxe : celui d’une société de consommation qui acclame le libre arbitre, célèbre notre liberté de rouler plus vite à bord de notre véhicule privatif ou d’accéder à une quantité quasi-infinie de connaissances et d’information sur Internet, et pourtant gonfle notre illusion de liberté absolue tout en orientant nos choix et en nous proposant de choisir entre des produits plus ou moins équivalents. Le business model ancré sur la publicité et la surveillance des données[21] contribue à nous rendre moins libres par ses injonctions, par la manipulation de nos émotions, par le détournement de nos données et la captation de notre attention à nos dépens. Cette année le comité du prix Nobel de la paix a observé que « la vaste machinerie de surveillance des entreprises non seulement abuse de notre droit à la vie privée, mais permet également que nos données soient utilisées contre nous, sapant nos libertés et permettant la discrimination. »[22]

    Conclusion

    Vous l’aurez compris : le déterminisme n’empêche pas l’humain de disposer d’une certaine marge de liberté dans ses décisions. Il est la cause dernière de ses choix d’actions, garde la capacité de la réflexion éthique et ne peut donc être exempté d’une responsabilité sociétale et juridique[1]. Vous avez lu cet article jusqu’au bout. (Merci !) Il y avait des causes à cela. Et votre décision d’y re-réfléchir ou pas aura elle-même des causes internes et externes. Néanmoins, chercher à mieux comprendre ces causes contribue à nous rendre plus libres. Ceci peut nous aider à entrevoir les possibilités qui s’offrent à nous pour réguler les interfaces numériques de façon à ce qu’elles favorisent la liberté de penser par soi-même plutôt qu’elles ne la réduisent.

    Mehdi Khamassi, directeur de recherche en sciences cognitives au CNRS

    Remerciements

    L’auteur souhaite remercier Stefana Broadbent, Florian Forestier, Camille Lakhlifi, Jean Lorenceau, Cyril Monier, Albert Moukheiber, Mathias Pessiglione et Célia Zolynski pour les nombreux échanges qui ont nourri ce texte

    [1] Bigenwald, A., & Chambon, V. (2019). Criminal responsibility and neuroscience: no revolution yet. Frontiers in psychology, 10, 1406.

    [1] Rapport de la Commision Bronner, janvier 2022.

    [2] Rapport du Conseil National du Numérique, octobre 2022.

    [3] Conseil de l’Europe (2019), Déclaration du Comité des ministres sur les capacités de manipulation des processus algorithmiques.

    [4] OECD (2022), « Dark commercial patterns », OECD Digital Economy Papers, No. 336, OECD Publishing, Paris, https://doi.org/10.1787/44f5e846-en.

    [5] Eyal, N. (2014). Hooked: How to build habit-forming products. Penguin.

    [6] Natasha Schüll (2012) Addiction by design: Machine gambling in Las Vegas. Princeton Univ Press.

    [7] Yuval Noah Harari, Homo Deus, Une brève histoire de l’avenir, Paris, Albin Michel, 2017.

    [8] Dans le paradigme scientifique, tout ce qui constitue la nature obéit à des lois. Pour que la science existe nous devons considérer que les mêmes causes produiront les mêmes effets, si toutes choses sont équivalentes par ailleurs (ce qui est forcément une approximation et une simplification car il ne peut pas y avoir deux situations strictement identiques en tout point). Ce qui signifie que nous considérons qu’il existe un déterminisme causal et que ce positionnement métaphysique n’est en aucun cas démontrable, c’est une posture. Le fait que cette posture permette d’expliquer de plus en plus de phénomènes et de comportements plaide en sa faveur sans pour autant constituer une démonstration.

    [9] C’est à dire que la nature est une, qu’elle est intelligible, et que nous pouvons l’étudier à l’aide d’une approche scientifique.

    [10] Atlan, H. (2018). Cours de philosophie biologique et cognitiviste : Spinoza et la biologie actuelle. Éditions Odile Jacob. Voir aussi Monier, C. & Khamassi, M. (Eds.) (2021). Liberté et cognition. Intellectica, 2021/2(75), https://intellectica.org/fr/numeros/liberte-et-cognition.

    [11] Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., & Poeppel, D. (2017). Neuroscience needs behavior: correcting a reductionist bias. Neuron, 93(3), 480-490.

    [12] Feltz, B. (2021). Liberté, déterminisme et neurosciences. Intellectica, 75.

    [13] Avis de la CNCDH relatif à la lutte contre la haine en ligne du 8 juil. 2021, JORF 21 juil. 2021, proposition dont le CNNum s’est ensuite fait l’écho : CNNum, Votre attention s’il vous plaît, 2022.

    [14] Houdé, O. (2020). L’inhibition au service de l’intelligence : penser contre soi-même. Paris, Presses universitaires de France-Humensis.

    [15] Khamassi, M. (Ed.) (2021). Neurosciences cognitives. Grandes fonctions, psychologie expérimentale, neuro-imagerie, modélisation computationnelle. Éditions De Boeck Supérieur.

    [16] Exemple de simulation mentale : si je me simule mentalement réalisant une action, je peux mieux estimer dans quelle situation je vais probablement me retrouver après avoir agi. Je peux alors estimer si c’est en adéquation avec mes buts et mes valeurs, et non plus être simplement en mode stimulus-réponse.

    [17] Patrick Haggard (2008). Human volition: towards a neuroscience of will. Nature Neuroscience Reviews.

    [18] Shadlen, M. N., & Gold, J. I. (2004). The neurophysiology of decision-making as a window on cognition. The cognitive neurosciences, 3, 1229-1441.

    [19] Khamassi, M. & Lorenceau, J. (2021). Inscription corporelle des dynamiques cognitives et leur impact sur la liberté de l’humain en société. Intellectica, 2021/2(75), pages 33-72.

    [20] Kozyreva, A., Lorenz-Spreen, P., Hertwig, R. et al. Public attitudes towards algorithmic personalization and use of personal data online: evidence from Germany, Great Britain, and the United States. Humanit Soc Sci Commun 8, 117 (2021). https://doi.org/10.1057/s41599-021-00787-w

    [21] Shoshana Zuboff, L’âge du capitalisme de surveillance, Paris, Zulma, 2020.

    [22] Cités par le rapport forum info démocratie, sept 2022.

    [23] Bigenwald, A., & Chambon, V. (2019). Criminal responsibility and neuroscience: no revolution yet. Frontiers in psychology, 10, 1406.

  • Mon rosbif est biaisé

    Avant de vous souhaitez de joyeuses fêtes de fin d’année, partageons cette petite fiction qui nous aide à comprendre la notion de biais des algorithmes et leurs origines possibles à travers des exemples tirés de la vie quotidienne. Nous avons emprunté cet article du  numéro 20 de 1024, le bulletin de la Société Informatique de France, qui vient de sortir. Merci à Serge Abiteboul et Julia Stoyanovich. Thierry Viéville.

    Une discrimination systématique par un algorithme est appelée un biais. Les biais peuvent avoir différentes origines, et ils correspondent tous à des situations de la vie réelle. Pour illustrer cela, pensez à cuisiner du rosbif.

    Pat décide de publier un site internet de recettes familiales en commençant par la plus populaire : le rosbif. La mère de Pat, sa sœur et son frère préparent tous le rosbif à peu près de la même manière : « comme le fait grand-mère ». Ils utilisent tous la même recette — le même algorithme. Leur choix de cuisiner le rosbif de cette manière montre une sorte de biais de familiarité — privilégiant les goûts et les expériences familiers par rapport aux nouveaux.

    Lorsqu’elle sélectionne une recette de rosbif familière de manière biaisée, Pat ne fait rien de mal — elle suit simplement une tradition familiale agréable. Mais dans d’autres cas, le biais d’habitude peut être nocif : il peut conduire à une discrimination illégale dans l’embauche, le prêt ou l’octroi d’une libération conditionnelle. Aussi inoffensive soit-elle, la recette de rosbif de la famille de Pat nous permettra de discuter différents types de préjugés.

    Comment choisir une recette de rosbif à suivre ? Commencez par sélectionner vos données d’entraînement, une recette « générique » que vous avez vu d’autres utiliser, et faites-la vôtre ! Dans le cas de Pat, le type de préjugé le plus visible vient des personnes dont elle adopte la recette : sa famille. Par exemple, au Maroc, la recette générique serait de préparer du bœuf avec du curcuma, du gingembre, du cumin et de la coriandre, ainsi que du jus de grenade. Par contre, en Alsace, la base du rossbif n’est pas du tout du bœuf, mais de la viande de cheval (ross signifie cheval en alsacien). En clair, selon les personnes qu’on choisit, on obtient des recettes différentes. La famille de Pat est plutôt traditionnelle, ils utilisent du bœuf et le garnissent de persil, de sauge, de romarin et de thym (comme dans la chanson). Le biais introduit par la sélection des données d’entraînement est parfois appelé biais préexistant, car il provient de recettes qui existaient avant que vous n’envisagiez même de faire vous-même ce rosbif.

    Une pratique s’avère assez particulière dans la famille de Pat : ils découpent des tranches aux deux extrémités du rôti avant de le mettre au four. Pourquoi font-ils cela, demande Pat ? Un cousin propose : à cause de l’oxydation du rôti aux extrémités. Un autre n’est pas d’accord : parce que nous, les enfants, aimons notre rosbif bien cuit, et les petits morceaux sont alors hyper cuits. Pat demande à sa mère, sa tante et son oncle qui répondent : nous faisons ceci parce que maman faisait cela. Alors, quand elle en a l’occasion, elle demande à sa grand-mère qui répond : ma mère faisait comme ça. Mais pourquoi ? Parce que son four était trop petit pour contenir tout le rôti. C’est ce qu’on appelle le biais technique. En informatique, un tel biais peut être introduit, par exemple, parce qu’une représentation incorrecte des données a été choisie. Et ce n’est peut-être pas si facile à détecter car les programmeurs ont toujours tendance à supposer la perfection de leur code. Ou, du moins, ils remettent rarement en question un morceau de code qui fonctionne.

    Pour introduire le dernier type de biais, revenons à l’Angleterre médiévale*. Il était une fois une ville avec deux chefs qui avaient inventé des recettes de rosbif concurrentes. Le duc qui avait entendu parler de ces deux nouvelles recettes se déplaça pour venir les déguster. Malheureusement, l’un des deux chefs eut un rhume ce jour-là. Ainsi, seul Maistre Chiquart, un chef français originaire de Lyon, put faire déguster son rosbif. Le duc l’apprécia tant qu’il l’introduisit à la cour du roi. Ce fut le début de la saga de la recette du rosbif que l’on connaît aujourd’hui, alors que la recette de l’autre chef se perdit dans l’histoire, jusqu’au nom de ce chef. Sans ce rhume ce jour fatidique, la recette de rosbif de Pat aurait peut-être été très différente. C’est ce qu’on appelle le biais émergent : plus les gens utilisent la recette de Chiquart, plus elle deviendra populaire et plus les gens l’utiliseront. Cela rendra la préparation du rosbif de plus en plus uniforme.

    Le site web de Pat n’est pas très populaire auprès des millenials, la génération Y ; beaucoup d’entre eux sont végétariens et se soucient peu de recettes de rosbif. Un biais générationnel ?

    Serge Abiteboul, Inria et ENS Paris, Julia Stoyanovich, Professeure à New York University.

    [*] Attention : cette histoire est une pure fiction. Il n’y a aucune preuve réelle que le rosbif ait été inventé par un chef français, même si cela est fort probable.

  • Le recommandeur de Youtube et les sondages électoraux

    Les algorithmes de recommandations utilisés par les grandes plateformes du web telles YouTube ne sont pas connus ou accessibles. Des chercheurs essaient d’en découvrir le fonctionnement. Leurs travaux permettent de mieux comprendre ce que font ces algorithmes, et aussi d’observer les relations entre les recommandations et les sondages d’intention de vote. Pierre Paradinas.

    Un système de recommandation est un objet informatique ayant pour but de sélectionner de l’information pertinente pour les utilisateurs d’une plateforme (vidéos, articles, profils…). Sur YouTube par exemple, ces recommandations sont omniprésentes: en 2018, 70% des vues de vidéos provenaient de recommandation (par opposition à des vues provenant des recherches intentionnelles). On comprend alors que cet objet est à la fois critique pour l’entreprise, qui compte sur son efficacité pour maintenir l’utilisateur sur sa plateforme le plus longtemps possible, mais aussi critique pour l’utilisateur lui même, pour qui la recommandation façonne l’exploration, puisque c’est principalement via ce prisme qu’il accède à l’information.

    Cette double importance conduit la recherche en informatique a s’intéresser à la conception de tels recommandeurs. Il s’agit ainsi tout d’abord de prendre la perspective de la plateforme afin d’améliorer la mise au point de la machinerie complexe qui permet à celles-ci de produire des recommandations, en général en exploitant les historiques de consommation des utilisateurs (principe du filtrage collaboratif).

    D’un autre coté et plus récemment, la recherche s’intéresse à la perspective utilisateur de la situation. Pour analyser les algorithmes de recommandation, on les observe comme des boîtes noires. Cette notion de boîte noire fait référence au peu de connaissance qu’à l’utilisateur sur le fonctionnement du recommandeur qui est généralement considéré par les plateformes comme un secret industriel. L’objectif de ces recherches est de comprendre ce qu’on peut découvrir du fonctionnement de la boîte noire sans y avoir accès, simplement en interagissant avec comme tout autre utilisateur. L’approche consiste ainsi, en créant des profils ciblés, à observer les recommandations obtenues afin d’extraire de l’information sur la politique de la plateforme et son désir de pousser telle ou telle catégorie ou produit, ou bien de mesurer une éventuelle censure apportée aux résultats de recherche. On notera qu’un des buts du Digital Services Act récemment discuté au parlement Européen, est de permettre l’audit indépendant des grandes plateformes, c’est-à-dire de systématiser les contrôles sur le comportement de ces algorithmes.

    Une illustration de ce qu’il est possible d’inférer du côté utilisateur a vu le jour dans le cadre de la campagne présidentielle de 2022 en France. Il a été tentant d’observer les recommandations « politiques », et ce pour étudier la question suivante. Puisque qu’un recommandeur encode le passé des actions sur la plateforme (ici des visualisations de vidéos), est-ce que, par simple observation des recommandations, on peut apprendre quelque-chose sur l’état de l’opinion Française quant aux candidats en lice pour l’élection ? Le rationnel est la boucle de retro-action suivante : si un candidat devient populaire, alors de nombreuses personnes vont accéder à des vidéos à son sujet sur YouTube ; le recommandeur de YouTube va naturellement mettre en évidence cette popularité en proposant ces vidéos à certains de ses utilisateurs, le rendant encore plus populaire, etc.

    Une expérience : les recommandations pour approximer les sondages

    Pouvons-nous observer ces tendances de manière automatisée et du point de vue de l’utilisateur ? Et en particulier, que nous apprend la comparaison de ces mesures avec les sondages effectués quotidiennement durant cette période ?

    Dans le cadre de cette étude, nous — des chercheurs — avons pris en compte les douze candidats présentés officiellement pour la campagne. Nous avons mis en place des scripts automatisés (bots) qui simulent des utilisateurs regardant des vidéos sur YouTube. A chaque simulation, « l’utilisateur » se rend sur la catégorie française « Actualités nationales », regarde une vidéo choisie aléatoirement, et les 4 vidéos suivantes proposées en lecture automatique par le recommandeur

    Cette action a été effectuée environ 180 fois par jour, du 17 janvier au 10 avril (jour du premier tour des élections). Nous avons extrait les transcriptions des 5 vidéos ainsi vues, et recherché les noms des candidats dans chacune. La durée d’une phrase dans laquelle un candidat est mentionné est comptée comme temps d’exposition et mise à son crédit. Nous avons agrégé le temps d’exposition total de chaque candidat au cours d’une journée et normalisé cette valeur par le temps d’exposition total de tous les candidats. Nous avons ainsi obtenu un ratio représentant le temps d’exposition partagé (TEP) de chaque candidat. Cette valeur est directement comparée aux sondages mis à disposition par le site Pollotron.

    La figure présente à la fois l’évolution des sondages (en ordonnée) et les valeurs de TEP (en pointillés) pour les cinq candidats les plus en vue au cours des trois mois précédant le premier tour des élections (score normalisé en abscisse) ; les courbes sont lissées (fenêtre glissante de 7 jours). Les valeurs TEP sont moins stables que les sondages ; cependant les deux présentent généralement une correspondance étroite tout au long de la période. Cette affirmation doit être nuancée pour certains candidats, Zemmour étant systématiquement surévalué par le TEP et Le Pen inversement sous-évaluée. Il est intéressant de noter que les sondages et le TEP fournissent tous deux une bonne estimation des résultats réels des candidats lors du premier tour de l’élection (représentés par des points), présentant respectivement des erreurs moyennes de 1,11% et 1,93%. L’erreur moyenne de prédiction est de 3,24% sur toute la période pour tous les candidats. L’ordre d’arrivée des candidats a été respectée par le TEP, pour ceux présents sur la figure tout au moins.

    Évolution des sondages et du TEP de YouTube sur la campagne, pour les 5 candidats les mieux placés. Nous observons une proximité importante entre les courbes pleines et pointillées pour chacune des 5 couleurs. Les ronds finaux représentent les résultats officiels du premier tour : les sondages ainsi que le TEP terminent relativement proche de ceux-ci, et tous sans erreur dans l’ordre d’arrivée des candidats.

    Les sondages sont effectués auprès de centaines ou de milliers d’utilisateurs tout au plus. Le recommandeur de YouTube interagit avec des millions de personnes chaque jour. Étudier de manière efficace l’observabilité et la corrélation de signaux de ce type est certainement une piste intéressante pour la recherche. Plus généralement, et avec l’introduction du DSA, il parait urgent de développer une compréhension fine de ce qui est inférable ou pas pour ces objets en boîte noire, en raison leur impact sociétal majeur et toujours grandissant.

    Erwan Le Merrer (Inria), Gilles Trédan (LAAS/CNRS) and Ali Yesilkanat (Inria)

  • Les cinq murs de l’IA 6/6 : des pistes de solutions

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ? Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes. Pascal Guitton et Thierry Viéville.

    Episode 6: des pistes pour éviter de se fracasser sur les cinq murs

    Je ne voulais pas laisser cette série se terminer sur une note négative, il me reste donc à évoquer quelques pistes pour le futur. Amis lecteurs, je suppose que vous avez lu les cinq épisodes précédents, ils sont indispensables à la compréhension de ce qui suit.

    D’abord, sur la confiance. C’est un des sujets majeurs de recherche et développement en IA depuis quelques années, pour les systèmes dits à risques ou critiques1. Par exemple, le programme confiance.ai, qui réunit des partenaires industriels et académiques sur quatre ans pour développer un environnement d’ingénierie pour l’IA de confiance, aborde de multiples sujets: qualité et complétude des données d’apprentissage; biais et équité; robustesse et sûreté; explicabilité; normes et standards; approche système; interaction avec les humains. Et ce n’est pas le seul, de multiples initiatives traitent de ce sujet, directement ou indirectement. On peut donc espérer avoir dans quelques années un ensemble de technologies permettant d’améliorer la confiance des utilisateurs envers les systèmes d’IA. Sera-ce suffisant ? Pour ma part, je pense que faute d’avancées fondamentales sur la nature des systèmes d’IA on n’arrivera pas à des garanties suffisantes pour donner une confiance totale, et probablement des accidents, catastrophiques ou non, continueront à se produire. Mais on aura fait des avancées intéressantes et on aura amélioré les statistiques. En attendant d’avoir la possibilité de démontrer les facteurs de confiance, il faudra s’appuyer sur des quantités d’expériences : des centaines de millions de kilomètres parcourus sans encombre par des véhicules autonomes, des dizaines de milliers de décisions automatiques d’attributions de crédits non contestées, de diagnostics médicaux jugés corrects par des spécialistes etc.). On en est encore loin. Et la confiance n’est pas qu’un sujet technologique, les facteurs humains et sociaux sont prépondérants. L’étude2 – un peu ancienne mais certainement toujours pertinente – faite par les militaires américains – est éclairante.

    Sur l’énergie, plusieurs pistes sont développées, car le mur est proche de nous ! Si la croissance actuelle se poursuit, il faudra en 2027 un million de fois plus d’énergie qu’aujourd’hui pour entraîner les systèmes d’IA, à supposer que l’on continue à le faire de la même manière.

    Je vois principalement trois types de solutions, dont les performances sont très différentes: a) solutions matérielles; b) amélioration des architectures et algorithmes de réseaux neuronaux profonds: c) hybridation avec d’autres formalismes d’IA.

    Je ne m’étends pas sur a), il existe des dizaines de développements de nouveaux processeurs, architectures 3D, architectures neuro-inspirées, massivement parallèles, etc., et d’aucuns disent que l’ordinateur quantique lorsqu’il existera, résoudra la question. Lorsque Google est passé des GPU (Graphical Processing Units) de Nvidia aux TPU (Tensor Processing Units) qu’il a développé pour ses propres besoins, un saut de performance a été obtenu, pour une consommation d’énergie relativement stable. Disons que les pistes matérielles permettent des économies d’énergie intéressantes, mais ne changent pas fondamentalement les choses.

    Les recherches sur b) sont plus intéressantes: améliorer la structure des réseaux par exemple en les rendant parcimonieux par la destruction de tous les neurones et connexions qui ne sont pas indispensables; ou encore par la définition d’architectures spécifiques, à l’image des réseaux récurrents de type LSTM pour le signal temporel, ou des Transformers (BERT, Meena, GPT3 etc.) pour le langage, dont la structure permet de faire de la self-supervision et donc au moins d’économiser l’annotation des données d’entraînement3 – mais tout en restant particulièrement gourmands en temps d’apprentissage. Je pense également à l’amélioration du fonctionnement interne des réseaux comme l’ont proposé divers auteurs avec des alternatives à la rétro-propagation du gradient ou autres.

    Enfin, la troisième approche consiste à combiner les modèles neuronaux à d’autres types de modèles, essentiellement de deux natures: modèles numériques utilisés pour la simulation, l’optimisation et le contrôle de systèmes; modèles symboliques, à base de connaissances. Si on est capable de combiner l’expertise contenue dans ces modèles, basée sur la connaissance établie au cours des années par les meilleurs spécialistes humains, à celle contenue dans les données et que l’on pérennise par apprentissage, on doit pouvoir faire des économies substantielles de calcul, chacune des deux approches bénéficiant de l’autre. Le sujet est difficile car les modèles basés sur les données et ceux basés sur les connaissances ne sont pas compatibles entre eux, a priori. Quelques travaux existent sur la question, par exemple ceux de Francesco Chinesta4, ou le projet IA2 de l’IRT SystemX5.

    J’ai bien peur que le mur de la sécurité de l’IA soit très solide. Ou plutôt, il a une tendance naturelle à s’auto-réparer lorsqu’il est percé. Je m’explique (réécriture d’extraits d’un billet paru dans le journal Les Echos).

    D’une manière générale, les questions de cybersécurité sont devenues cruciales dans notre monde où le numérique instrumente une partie de plus en plus importante des activités humaines. De nouvelles failles des systèmes sont révélées chaque semaine ; des attaques contre des sites ou des systèmes critiques ont lieu en continu, qu’elles proviennent d’états mal intentionnés, de groupes terroristes ou mafieux. Les fournisseurs proposent régulièrement des mises à jour des systèmes d’exploitation et applications pour intégrer de nouvelles protections ou corrections de failles. Le marché mondial de la sécurité informatique avoisine les cent milliards d’euros, les sociétés spécialisées fleurissent. En la matière il s’agit toujours d’un jeu d’attaque et de défense. Les pirates conçoivent des attaques de plus en plus sophistiquées, l’industrie répond par des défenses encore plus sophistiquées. Les générateurs d’attaques antagonistes et de deepfakes produisent des attaques de plus en plus sournoises et des faux de plus en plus crédibles, l’industrie répond en augmentant la performance des détecteurs de faux. Les détecteurs d’intrusions illégales dans les systèmes font appel à des méthodes de plus en plus complexes, les attaquants sophistiquent encore plus leurs scénarios de pénétration. Les protocoles de chiffrement connaissent une augmentation périodique de la longueur des clés de cryptographie, qui seront ensuite cassées par des algorithmes de plus en plus gourmands en ressources de calcul. Et ainsi de suite.

    Pour les attaques adverses, une solution déjà évoquée est d’entraîner les réseaux avec de telles attaques, ce qui les rend plus robustes aux attaques connues. Mais, la course continuant, les types d’attaques continueront d’évoluer et il faudra, comme toujours, répondre avec un temps de retard. Quant aux attaques de la base d’apprentissage, leur protection se fait avec les moyens habituels de la cybersécurité, voir ci-dessus.

    Comparons au domaine militaire, qui a connu la course aux armements pendant de longues périodes : glaives, boucliers et armures il y a des milliers d’années, missiles et anti-missiles aujourd’hui. La théorie de la dissuasion nucléaire, établie il y a une soixantaine d’années, a modéré cette course, puisque la réponse potentielle d’une puissance attaquée ferait subir des dommages si graves que cela ôterait toute envie d’attaquer. Début 2018, l’État français a reconnu s’intéresser à la Lutte Informatique Offensive. Israël a déjà riposté physiquement à une cyber-attaque. Il faudrait peut-être imaginer une doctrine équivalente à la dissuasion nucléaire en matière de cybersécurité de l’IA … ou espérer que l’IA apporte suffisamment de bonheur à la population mondiale, et ce de manière équitable, pour que les causes sociales et autres (politiques, religieuses, économique etc.) de la malveillance disparaissent. Cela va prendre un peu de temps.

    J’aborde maintenant le mur de l’interaction avec les humains. On peut commencer à le fracturer en ajoutant des capacités d’explication associées à la transparence des algorithmes utilisés. La transparence est indispensable lorsqu’il s’agit de systèmes qui sont susceptibles de prendre des décisions (imposées) ayant un impact important sur notre vie personnelle et sociale. Un sujet qui a par exemple fait l’objet d’un petit rapport de l’institut AINow de Kate Crawford6, dont l’objectif est de définir un processus assurant la transparence des systèmes de décision mis en place au sein des administrations. On pense notamment aux domaines de la justice, de la police, de la santé, de l’éducation, mais le texte se veut générique sur l’ensemble des sujets d’intérêt des administrations. La démarche préconisée par les auteurs est en quatre étapes et s’accompagne d’une proposition organisationnelle. Les quatre étapes sont 1) Publication par les administrations de la liste des systèmes de décision automatisée qu’elles utilisent ; 2) auto-évaluation des impacts potentiels de ces systèmes par les administrations, notamment en phase d’appels d’offres ; 3) ouverture des systèmes au public et aux communautés – en respectant les conditions de confidentialité ou de propriété intellectuelle – pour examen et commentaires ; 4) évaluation externe par des chercheurs indépendants.

    J’ai déjà abordé, dans la section correspondante, les travaux sur l’explicabilité. Un « méta-état de l’art7 » a été produit par le programme confiance.ai, c’est-à dire une synthèse de nombreuses synthèses déjà publiées dans la communauté. Les pistes sont nombreuses, je ne les détaillerai pas plus ici. Ma faveur va à celles qui combinent apprentissage numérique et représentations à base de connaissances (logiques, symboliques, ontologiques), même si elles sont encore à l’état de promesses: le passage du numérique (massivement distribué dans des matrices de poids) au symbolique est un sujet particulièrement ardu et non résolu de manière satisfaisante pour le moment.

    Plus généralement, l’interaction entre systèmes d’IA et humains entre dans le concept général d’interaction humain-machine (IHM ou HCI, human-computer interaction en anglais). La communauté IHM travaille depuis des décennies sur le sujet général, avec des réalisations remarquables en visualisation, réalité virtuelle, réalité augmentée, interfaces haptiques etc.; on peut – et il faut – faire appel à leurs compétences pour le cas particulier des interactions avec des machines d’IA. C’est par exemple ce que propose la deuxième édition du Livre Blanc d’Inria sur l’Intelligence Artificielle8, qui consacre un chapitre au sujet en soulignant quatre orientations majeures:
    –     créer une meilleure division du travail entre les humains et les ordinateurs, en exploitant leurs pouvoirs et capacités respectifs tout en reconnaissant leurs limites et leurs faiblesses;
    – apporter une transparence et une explication véritables aux systèmes d’IA grâce à des interfaces utilisateur et des visualisations appropriées;
    – comment combiner les systèmes interactifs et les systèmes d’IA afin que chacun tire parti des forces de l’autre au moment opportun, tout en minimisant ses limites;
    – créer de meilleurs outils, davantage axés sur l’utilisateur, pour les experts qui créent et évaluent les systèmes d’IA

    La piste que je préconise donc (à l’image d’autres chercheurs et institutions qui l’ont également encouragé) est de resserrer les liens entre les deux communautés IA et IHM. Les chercheurs en IA y trouveront des éléments pour repousser le quatrième mur, et les chercheurs en IHM y trouveront la source de nouveaux défis pour leurs méthodes et leurs outils.

    Reste le mur de l’inhumanité: le plus éloigné, mais aussi le plus solide pour le moment. Le risque n’est pas encore très important, mais s’amplifiera au fur et à mesure de l’insertion de systèmes IA de plus en plus autonomes, intrusifs, et impactants, dans notre société. En ce qui concerne la quête du sens commun, on a vu que des millions de dollars et des années de recherche investis sur CYC n’ont pas réglé la question, loin de là. Peut-on miser sur des nouvelles architectures et organisations de réseaux neuronaux pour cela? Certains l’espèrent. Personnellement, je miserai plutôt sur une autre branche de l’IA, celle de la robotique développementale (developmental robotics) qui a pour but de faire acquérir à des robots doués de sens les notions de base du monde en interagissant avec leur environnement – peuplé d’objets et d’humains – et surtout en stimulant ce qu’on appelle la curiosité artificielle, à savoir doter les robots d’intentions et de capacités d’exploration et d’envoi de stimuli vers leur environnement afin d’en recevoir un feedback pour l’apprentissage par renforcement. Certaines expérimentations faites par l’équipe Inria FLOWERS (image ci-contre) sont assez convaincantes en ce sens.

    Image Inria, équipe-projet FLOWERS

    J’ai déjà abordé les recherches en cours sur la découverte de la causalité par apprentissage automatique. C’est un sujet de longue haleine bien identifié mais disposant de peu de résultats. Les équipes de Bernhard Schöllkopf à Tubingen9 et de Yoshua Bengio à Montréal10 ont publié des premiers résultats encore insuffisants, basés sur la notion d’intervention. L’équipe TAU d’Inria Saclay a développé des méthodes pour identifier des relations de causalité dans des tableaux de données11. Je pense que l’introduction explicite de causalité soit par conception d’architecture, soit par ajout d’une couche causale symbolique, apporteront des résultats plus rapidement et plus concrètement – modulo la difficulté de combiner symbolique et numérique, dont j’ai déjà parlé. Une piste alternative, très intéressante, est celle utilisée par la startup américaine de Pierre Haren CausalityLink12, qui se base sur le texte pour détecter automatiquement – et statistiquement – les liens de causalité entre variables d’un domaine, sujet qui intéresse beaucoup les financiers.

    Enfin, pour le passage de l’IA au niveau du Système 2, j’ai abordé les pistes dans la section correspondante. La principale question est de savoir si cela peut être atteint par apprentissage de réseaux neuronaux – après tout, c’est bien ainsi que nous fonctionnons – ou par la conjonction de réseaux avec d’autres modes de représentations des connaissances, réalisant une IA hybride conjuguant symbolique et numérique, mettant en résonance les rêves et avancées de l’IA de la fin du vingtième siècle avec les progrès remarquables de celle du début du vingt-et-unième.

    Tout ceci pour réaliser des IA faibles, spécialisées sur la résolution d’un seul ou d’un petit nombre de problèmes, bien entendu, même si certains comme DeepMind ont l’ambition de développer une IA Générale. Mais essayons déjà de ne pas nous écraser dans les murs de l’IA spécialisée.

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes:

    1 Pour des applications non critiques comme la recommandation de contenu ou de chemin optimal pour aller d’un point à un autre, cette question est évidemment moins cruciale. Nous utilisons ces systèmes tous les jours sans nous poser de questions.

    2 Foundations for an Empirically Determined Scale of Trust in Automated System, Jiun-Yin Jian, et aL, (2000) International Journal of Cognitive Ergonomics

    3 Attention is All you Need, Ashish Vaswani et al. (2017), ArXiv 1706.03762

    4 https://project.inria.fr/conv2019/program/#program, communication non publiée

    5 https://www.irt-systemx.fr/activites-de-recherches/programme-ia2

    6 Algorithmic Impact Assessments: a practical framework for public agency accountability, AINow Institute, 2018, https://ainowinstitute.org/aiareport2018.html

    7 Characterisation of the notion of trust, State of the art, T. Boissin et coll. , confiance.ai EC2&EC3&EC4 projects, (2021), disponible sur demande

    8 Artificial Intelligence: current challenges and Inria’s engagement, second edition, B. Braunschweig et al., 2021; https://www.inria.fr/en/white-paper-inria-artificial-intelligence

    9 Causality for Machine Learning, B. Schöllkopf, 2019, ArXiv:1911.10500v1

    10 LEARNING NEURAL CAUSAL MODELS FROM UNKNOWN INTERVENTIONS, N.R. Ke et al., 2019, ArXiv:1910.01075v1

    11 https://raweb.inria.fr/rapportsactivite/RA2020/tau/index.html

  • Les cinq murs de l’IA 5/6 : l’inhumanité

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ? Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes. Pascal Guitton et Thierry Viéville.

    Episode 5: le mur de l’inhumanité

    Cet épisode s’intéresse à des capacités intellectuelles qui distinguent fortement les humains des machines, en tous cas pour le moment. Le paragraphe sur Système 2 reprend principalement un billet paru dans le journal Les Échos courant 2021.

    Je range plusieurs composantes dans ce cinquième mur que j’appelle globalement celui de l’humanité des machines, ou plutôt celui de leur inhumanité : acquisition du sens commun; raisonnement causal; passage au système 2 (au sens de Kahneman1). Toutes composantes que nous, humains, possédons naturellement et que les systèmes d’intelligence artificielle n’ont pas – et n’auront pas à court ou moyen terme.

    Le sens commun, c’est ce qui nous permet de vivre au quotidien. Nous savons qu’un objet posé sur une table ne va pas tomber par terre de lui-même. Nous savons qu’il ne faut pas mettre les doigts dans une prise électrique. Nous savons que s’il pleut, nous serons mouillés. Dans les années 80-90, un grand projet de modélisation des connaissances, CYC2, initié par Doug Lenat, a tenté de développer une base de connaissances du sens commun, en stockant des millions de faits et règles élémentaires sur le monde. Ce projet n’a pas abouti, les systèmes d’IA actuels ne sont capables que de résoudre des problèmes très précis dans un contexte limité, ils ne savent pas sortir de leur domaine de compétence. Sans aller jusqu’à parler d’Intelligence Artificielle Générale (celle qui fait peur et qu’aucun spécialiste du domaine n’envisage réellement à un futur atteignable), faute de disposer de bases élémentaires faisant sens, les systèmes d’IA seront toujours susceptibles de faire des erreurs monumentales aux conséquences potentielles dommageables.

    Il est très largement connu que les systèmes d’IA entraînés par apprentissage établissent des corrélations entre variables sans se soucier de causalité. Dans l’exemple référence du classement d’images de chats, le réseau établit une corrélation – complexe certes – sans lien de causalité entre les données d’entrées (les pixels de l’image) et la donnée de sortie (la catégorie). Il existe de nombreux exemples de corrélations « fallacieuses » (spurious correlations) comme dans celui-ci, tiré du site du même nom3 qui établit une corrélation à 79% entre le nombre de lancers de navettes spatiales et celui de doctorants en sociologie.

    Un exemple de corrélation fallacieuse issues de https://www.tylervigen.com/spurious-correlations

    Autrement dit, un système d’IA entraîne par apprentissage sera capable de reproduire cette relation et de prédire très correctement l’un à partir de l’autre. De même, on doit pouvoir décider si un jour est pluvieux à partir des ventes de parapluies, mais la causalité est évidemment dans l’autre sens. L’absence de prise en compte de la causalité dans les systèmes d’IA est une grande faiblesse: globalement, les systèmes d’apprentissage automatique se basent sur le passé pour faire des prédictions sur le futur, faisant implicitement l’hypothèse que la structure causale du système ne changera pas. On a vu les limites de cette hypothèse suite à la pandémie de Covid-19 qui a changé le comportement des populations: les outils d’IA intégrés dans les chaînes de décision des grandes entreprises, notamment financières, n‘étaient plus capables de représenter la réalité et ont dû être ré-entraînés sur des données plus récentes.

    Il y a principalement deux manières de prendre en compte la causalité dans un système d’apprentissage automatique: le faire en injectant manuellement des connaissances sur le domaine d’intérêt, ou faire découvrir les liaisons causales à partir de données d’apprentissage4. Mais c’est très difficile: dans le premier cas, on revient aux problèmes des systèmes experts, avec les questions de cohérence des connaissances, de l’effort nécessaire pour les acquérir, et cela demande beaucoup de travail de configuration manuelle, à l’opposé de ce que l’on espère de l’apprentissage automatique; dans le deuxième cas, on ne sait traiter aujourd’hui que des exemples « jouets » à très peu de variables, en utilisant des « interventions », c’est à dire des actions connues qui font évoluer le système de l’extérieur. Lors de mon dernier échange à ce sujet avec Yoshua Bengio, dont c’est un des thèmes de recherche, il a parlé de quelques dizaines de variables, ce qui est déjà très encourageant. Mais si l’on ajoute les phénomènes de feedback, forcément présents dans les systèmes complexes, matérialisés par des boucles causales avec un contenu temporel, on ne sait plus le faire du tout.

    Enfin, la troisième composante du mur de l’inhumanité est le passage au niveau du système 2. La très grande majorité des applications de l’IA consiste à (très bien) traiter un signal en entrée et à produire une réponse quasiment instantanée : reconnaissance d’objets ou de personnes dans des images et des vidéos ; reconnaissance de la parole ; association d’une réponse à une question, ou une traduction à une phrase ; estimation du risque financier associé à un client d’après ses données, etc. Dans son livre « Thinking, fast and slow », déjà cité, Daniel Kahneman s‘appuie sur des travaux en psychologie qui schématisent le fonctionnement de notre cerveau de deux manières différentes, qu’il nomme « Système 1 » et « Système 2 ». Système 1 est le mode rapide, proche de la perception : il ne vous faut qu’un instant pour reconnaître une émotion sur une photo, pour comprendre un mot ou une courte phrase. C’est Système 1 qui vous donne ces capacités. Par contre, si vous devez faire une multiplication compliquée et si vous n’êtes pas un calculateur prodige, vous devrez faire appel à du raisonnement pour donner le résultat. Les processus mentaux plus lents sont de la responsabilité de Système 2. Et les deux modes sont en permanente interaction, Système 1 fournit les éléments pré-traités à Système 2 qui peut conduire ses raisonnements dessus.

    Cette théorie commence à inspirer les chercheurs en intelligence artificielle : aujourd’hui, avec l’apprentissage machine profond, l’IA est au niveau du Système 1. Pour pouvoir dépasser cela, représenter les connaissances de sens commun, faire de la planification, des raisonnements élaborés, il faudra coder le Système 2. Mais les avis diffèrent sur la manière d’y arriver : certains pensent qu’il suffit d’empiler des couches de neurones artificiels en organisant très finement leur architecture et leur communication ; d’autres pensent que des paradigmes différents de représentation de l’intelligence humaine seront nécessaires – par exemple en hybridant l’apprentissage machine avec le raisonnement symbolique utilisant des règles, des faits, des connaissances. Et il faudra aussi coder l’interaction continue entre Système 1 et Système 2. De beaux sujets de recherche pour les prochaines années, mais pour l’instant, un idéal encore bien lointain, même si des premiers exemples ont été réalisés sur des problèmes jouets comme l’a récemment montré Francesca Rossi d’IBM lors de la conférence AAAI-20225.

    Il y a d’autres facteurs d’inhumanité dans l’IA (par exemple la question de l’émotion, de l’empathie, ou encore la réalisation de l’intelligence collective, sujets intéressants que je ne développe pas ici, considérant que les trois premiers constituent déjà un mur très solide sur lequel l’IA va inévitablement buter dans les prochaines années.

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes:

    1 Thinking, Fast and Slow; D. Kahneman, 2013, Farrar, Straus and Giroux;

    2 https://en.wikipedia.org/wiki/Cyc

    3 https://tylervigen.com/spurious-correlations

    4 Une solution hybride étant de spécifier « manuellement » un graphe causal concis et de faire apprendre ses paramètres à partir de données.

    5 Combining Fast and Slow Thinking for Human-like and Efficient Navigation in Constrained Environments, Ganapini et al. (2022), arXiv:2201.07050v2.

     

  • Les cinq murs de l’IA 4/6 : l’interaction avec les humains

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ? Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes. Pascal Guitton et Thierry Viéville.

    Episode 4: le mur de l’interaction avec les humains

    Cet épisode débute par des éléments développés par le programme confiance.ai dans son état de l’art sur les facteurs humains et la cognition1, établi mi-2021. Je remercie en particulier Christophe Alix (Thales), le coordonnateur de cet état de l’art sur un sujet clé pour notre futur avec les systèmes d’IA.

    De très nombreux systèmes d’intelligence artificielle doivent interagir avec les humains; certains robots, notamment, et on pense en particulier aux véhicules autonomes; mais aussi les robots d’assistance aux personnes, les dialogueurs (chatbots), et plus généralement tous les systèmes qui ont besoin de communiquer avec leurs utilisateurs. Au-delà de ces fonctions de dialogue avec les humains, il y a tout le domaine de la cobotique, la collaboration étroite entre humains et robots, où la communication se fait en permanence dans les deux sens.

    On peut classer ces applications en grandes catégories:
    – dialogue (chatbots);
    – résolution partagée de problèmes et de prise de décision;
    – partage d’un espace et de ressources (cohabitation avec des robots qu’on ignore ou à qui on donne des ordres);
    – partage de tâches (robot coéquipier).

    Les machines intelligentes d’aujourd’hui sont essentiellement des outils, pas des coéquipiers. Au mieux, ces technologies sont utiles dans la mesure où elles étendent les capacités humaines, mais leurs compétences communicatives et cognitives sont encore inadéquates pour être un coéquipier utile et de confiance. En effet, les machines collaboratives intelligentes doivent être flexibles et s’adapter aux états du coéquipier humain, ainsi qu’à l’environnement. Elles doivent comprendre les capacités et les intentions de l’utilisateur et s’y adapter.

    Or, nous ne comprenons pas suffisamment la cognition, la motivation et le comportement social de haut niveau de l’être humain social. Les humains excellent dans l’apprentissage et la résolution de problèmes d’une manière qui diffère de celle des machines, même sophistiquées. La nature de l’intelligence humaine reste difficile à cerner. Même si d’importants efforts de recherche en sciences cognitives ont été consacrés à la compréhension de la façon dont les humains pensent, apprennent et agissent, dans les environnements naturels, la séquence d’actions qui mène à un objectif n’est pas explicitement indiquée, voire même la connaissance même des objectifs d’un humain reste complexe à appréhender. Stuart Russell a consacré un excellent ouvrage à ce sujet4, dans lequel il montre à quel point il est difficile pour un système d’IA de connaître les intentions d’un humain ou d’un groupe d’humains, et il propose que l’IA questionne systématiquement lorsqu’il y a ambiguïté.

    Réciproquement, il est également indispensable de permettre aux collaborateurs humains de comprendre les buts et actions des machines avec lesquelles ils sont en interaction. Les machines ont souvent des caractéristiques physiques et des capacités très différentes de celles des humains, ce qui a un impact sur les rôles qu’elles peuvent jouer dans une équipe. Dans ce contexte, les besoins d’explications (qu’on nomme souvent « explicabilité ») de la part des systèmes d’intelligence artificielles sont cruciaux – ils font d’ailleurs l’objet d’une des mesures de la réglementation proposée par la Commission Européenne (déjà citée), ou encore du projet de référentiel concernant la certification du processus de développement de ces systèmes, développé par le Laboratoire National de Métrologie et d’Essais2. Mais les capacités d’explication des systèmes actuels d’IA sont très limitées, particulièrement lorsqu’il s’agit de réseaux neuronaux profonds dont les modèles internes sont composés de très grandes matrices de poids qu’il est difficile d’interpréter. J’en veux pour preuve les innombrables recherches sur l’explicabilité de l’IA, initialement popularisées par le programme « XAI » de la DARPA américaine lancé en 20173.

    Il existe certes une tendance, illustrée par le propos de Yann LeCun ci-dessous, qui défend l’idée que l’explicabilité (causale notamment) n’est pas indispensable pour que les utilisateurs aient confiance envers un système, et qu’une campagne de tests couvrant le domaine d’utilisation suffit. Mais d’une part la dimension d’une telle campagne peut la rendre impossible à réaliser dans un temps imparti et avec des moyens finis; d’autre part il n’est pas toujours aisé de définir le domaine d’utilisation d’un système. Enfin, la plupart des cas pour lesquels nous n’avons pas besoin d’explications sont ceux où les systèmes disposent d’un autre mode de garantie; par exemple nous ne demandons pas nécessairement d’explications à un médecin qui nous prescrit un médicament, parce que nous savons que le médecin a été diplômé pour l’exercice de son métier après de longues études.

    Reproduit de https://twitter.com/ylecun/status/1225122824039342081

    L’interaction avec les humains peut prendre des formes diverses: parole, texte, graphiques, signes, etc. En tous cas elle n’est pas nécessairement sous forme de phrases. Un excellent exemple d’interaction que je trouve bien pensé, est celui d’une Tesla qui a l’intention de procéder à un dépassement: la voiture affiche la voie de gauche pour montrer qu’elle souhaite le faire, et le conducteur répond en activant le clignotant. Un problème plus général, illustré par le cas des véhicules autonomes4, est celui du transfert du contrôle, lorsque la machine reconnaît être dépassée (par exemple en cas de panne, de manque de visibilité etc.) et doit transférer le contrôle à un humain, qui a besoin de beaucoup de temps pour assimiler le contexte et pouvoir reprendre la main.

    En résumé, l’interaction avec les humains est un sujet complexe et non résolu aujourd’hui; et il ne le sera pas de manière générale, mais plutôt application par application, comme dans l’exemple précédent.

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes :

    1 « EC2 Human Factors and Cognition 2021 », C. Alix, B. Braunschweig, C.-M. Proum, A. Delaborde, 2021, document interne du projet confiance.ai, disponible sur demande

    2 REFERENTIEL DE CERTIFICATION: Processus de conception, de développement,

    d’évaluation et de maintien en conditions opérationnelles des intelligences artificielles. LNE, 2021.

    3 https://www.darpa.mil/program/explainable-artificial-intelligence

    4 Dans la classification des niveaux d’autonomie pour le véhicule autonome, le niveau maximum 5 et celui de l’autonomie complète. Au niveau juste inférieur, 4, le véhicule gère presque toutes les situations mais rend la main dans des situations exceptionnelles, ce qui est extrêmement délicat à mettre en œuvre.

  • Les cinq murs de l’IA 3/6 : la sécurité

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ?  Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes. Pascal Guitton et Thierry Viéville.

    Episode 3: le mur de la sécurité

    Les questions de sécurité des systèmes d’information ne sont pas propres à l’IA, mais les systèmes d’IA ont certaines particularités qui les rendent sensibles à des problèmes de sécurité d’un autre genre, et tout aussi importants.

    Si les systèmes d’IA sont, comme tous les systèmes numériques, susceptibles d’être attaqués, piratés, compromis par des méthodes « usuelles » (intrusion, déchiffrage, virus, saturation etc.), ils possèdent des caractéristiques particulières qui les rendent particulièrement fragiles à d’autres types d’attaques plus spécifiques. Les attaques antagonistes ou adverses («adversarial attacks » en anglais) consistent à injecter des variations mineures des données d’entrée, lors de la phase d’inférence, afin de modifier de manière significative la sortie du système. Depuis le célèbre exemple du panneau STOP non reconnu lorsqu’il est taggé par des étiquettes, et celui du panda confondu avec un gibbon suite à l’ajout d’une composante de bruit, on sait qu’il est assez facile de composer une attaque de sorte à modifier très fortement l’interprétation des données faite par un réseau de neurones. Et cela ne concerne pas que les images: on peut concevoir des attaques antagonistes sur du signal temporel (audio en particulier), sur du texte, etc. Les conséquences d’une telle attaque peuvent être dramatiques, une mauvaise interprétation des données d’entrée peut conduire à une prise de décision dans le mauvais sens (par exemple, accélérer au lieu de s’arrêter, pour une voiture). Le rapport du NIST sur le sujet1 établit une intéressante taxonomie des attaques et défenses correspondantes. Il montre notamment que les attaques en phase d’inférence ne sont pas les seules qui font souci. Il est notamment possible de polluer les bases d’apprentissage avec des exemples antagonistes, ce qui compromet naturellement les systèmes entraînés à partir de ces bases. Bien évidemment la communauté de recherche en intelligence artificielle s’est saisie de la question et les travaux sur la détection des attaques antagonistes sont nombreux. Il est même conseillé d’inclure de telles attaques pendant l’apprentissage de manière à augmenter la robustesse des systèmes entraînés.

    Panneau stop non reconnu et panda confondu avec un gibbon, extrait de publications usuelles sur ces sujets.

    Toujours est-il que des accidents – aujourd’hui inévitables – sur des systèmes à risque ou critiques, causés par ces questions de sécurité, auront des conséquences extrêmement néfastes sur le développement de l’intelligence artificielle.

    Un deuxième point d’attention est la question du respect de la vie privée. Cette question prend une dimension particulière avec les systèmes d’IA qui ont une grande capacité à révéler des données confidentielles de manière non désirée: par exemple retrouver les images individuelles d’une base d’entraînement dans les paramètres d’un réseau de neurones, ou opérer des recoupements sur diverses sources pour en déduire des informations sur une personne. Ces questions sont notamment à l’origine des travaux en apprentissage réparti (federated learning)2 dont le but est de réaliser un apprentissage global à partir de sources multiples réparties sur le réseau pour composer un modèle unique contenant, d’une certaine manière, une compression de toutes les données réparties mais sans pouvoir en retrouver l’origine.

    Si l’on y ajoute les questions de sécurité « habituelles », ainsi que les problèmes multiples causés par les deepfakes, ces fausses images ou vidéos très facilement créées grâce à la technologie des réseaux génératifs antagonistes (GAN: generative adversarial networks), il est clair que le mur de la sécurité de l’IA est aujourd’hui suffisamment solide et proche pour qu’il soit essentiel de s’en protéger.

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes :

    1 NISTIR draft 8269, A Taxonomy and Terminology of Adversarial Machine Learning, E. Tabassi et al. , 2019, https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf

    2 Advances and Open Problems in Federated Learning, P. Kairouz et al., 2019, ArXiv:1912.04977v1

  • Les cinq murs de l’IA 2/6 : l’énergie

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ? Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes. Pascal Guitton et Thierry Viéville.

    Episode 2: le mur de l’énergie

    Cet épisode, consacré à la consommation énergétique des systèmes d’apprentissage profond, reprend en les approfondissant des éléments d’un billet que j’ai publié dans les pages sciences du journal Les Échos début 2020.

    Le super-calculateur Jean Zay (du nom d’un fondateur du CNRS) est un des 3 sites nationaux pour le calcul haute performance. Grâce à ses milliers de processeurs de dernière génération il atteint aujourd’hui1 une puissance de 28 pétaflop/s (vingt-huit millions de milliards d’opérations arithmétiques par seconde). Refroidi par des circuits hydrauliques à eau chaude allant au cœur des processeurs, il ne consomme « que » environ deux mégawatts. Jean Zay est la première grande machine européenne « convergée » capable de fournir à la fois des services de calcul intensif (modélisation, simulation, optimisation) et des services pour l’intelligence artificielle et l’apprentissage profond. Elle va permettre des avancées majeures dans les domaines d’application du calcul intensif (climat, santé, énergie, mobilité, matériaux, astrophysique …), et de mettre au point des systèmes d’IA basés sur des très grands volumes de données. Mieux encore, la jonction de ces deux mondes (modélisation/simulation et apprentissage automatique) est porteuse de nouveaux concepts pour développer les systèmes intelligents de demain.

    Oui, mais … Les chercheurs de l’université de Stanford publient annuellement l’édition du «AI Index» qui mesure la progression des technologies d’IA dans le monde. L’édition de fin 2019 présentait pour la première fois l’évolution des besoins de calcul des applications de l’IA qui ont suivi la loi de Moore (doublement tous les dix-huit mois) de 1960 à 2012. Depuis, ces besoins doublent tous les 3.5 mois ! La demande du plus gros système d’IA connu à l’époque (et qui a donc doublé plusieurs fois depuis) était de 1860 pétaflop/s*jours (un pétaflop/s pendant un jour) soit plus de deux mois de calcul s’il utilisait la totalité de la machine Jean Zay pour une consommation électrique de près de trois mille mégaWatts-heure. Pis encore, si le rythme actuel se poursuit, la demande sera encore multipliée par un facteur 1000 dans trois ans …. et un million dans six ans!

    Provient de l’article de Strubell et coll cité dans le texte.

    Le mur de l’énergie est bien identifié par certains chercheurs en apprentissage profond. L’article fondateur d’Emma Strubell et coll. 2 établissait que l’entraînement d’un grand réseau de neurones detraitement de la langue naturelle de type « transformer », avec optimisation de l’architecture du réseau, consommait autant d’énergie que cinq voitures particulières pendant toute leur durée de vie (ci-dessous).

    `L’article de Neil Thompson et coll.3 allait plus loin en concluant que « les limites de calcul de l’apprentissage profond seront bientôt contraignantes pour toute une série d’applications, ce qui rendra impossible l’atteinte d’importantes étapes de référence si les trajectoires actuelles se maintiennent ». Encore une fois, souligné par les chiffres donnés par le AI Index qui insistait sur le facteur exponentiel correspondant. Fin 2021, Neil Thomson et coll. ont complété cette analyse4 sur l’exemple du traitement d’images (ImageNet) et abouti à estimer à 9 ce facteur entre la réduction du taux d’erreur et le besoin en calcul et données, ce qui signifie qu’une division par 2 du taux d’erreur nécessite 500 fois plus de calcul … et une division par 4 demanderait 250.000 fois plus.

    On pourrait imaginer que cette croissance s’interrompra une fois que toutes les données disponibles (toutes les images, tous les textes, toutes les vidéos etc.) auront été utilisées par l’IA pour s’entraîner, mais le monde numérique n’est pas dans une phase de stabilisation du volume de données exploitables, sujet auquel vient s’ajouter, dans un autre registre, les limites en termes de stockage. Selon le cabinet IDC, la production mondiale de données atteindra 175 zettaoctets en 2025, pour une capacité de stockage limitée à une vingtaine de zettaoctets5. La croissance de la production de données est actuellement d’un ordre de grandeur plus rapide que la croissance de la capacité de stockage. Les programmes d’apprentissage automatique devront de plus en plus traiter des données en flux (et donc les oublier une fois le traitement effectué) faute de capacité de mémorisation de l’ensemble de la production.

    Quoiqu’il en soit, le mur de la consommation énergétique liée aux besoins de calcul intensif des applications de l’IA basées sur l’apprentissage profond et consommatrices de très grandes quantités de données, en arrêtera inévitablement la croissance exponentielle, à terme relativement rapproché, si l’on ne fait rien pour y remédier.

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes :

    1 de nouveaux investissements de l’Etat français devraient encore accroître sa puissance

    2 E. Strubell, A. Ganesh, A. McCallum. Energy and Policy Considerations for Deep Learning in NL (2019), https://arxiv.org/abs/1906.02243v1

    3 N. Thompson et coll. The Computational Limits of Deep Learning (2020), arXiv:2007.05558v1

    4 N. Thompson et coll. Deep Learning Diminishing Returns. https://spectrum.ieee.org/deep-learning-computational-cost

    5 https://www.idc.com/getdoc.jsp?containerId=prUS47560321

  • Le métavers, quels métavers ? (2/2)

    En octobre 2021, Facebook a annoncé le développement d’un nouvel environnement virtuel baptisé Metaverse. Cette information a entrainé de très nombreuses réactions tant sous la forme de commentaires dans les médias que de déclarations d’intention dans les entreprises. Comme souvent face à une innovation technologique, les réactions sont très contrastées : enfer annoncé pour certains, paradis pour d’autres. Qu’en penser ? C’est pour contribuer à cette réflexion que nous donnons la parole à Pascal Guitton et Nicolas Roussel. Dans un premier article, ils nous expliquaient de quoi il s’agit et dans celui-ci ils présentent des utilisations potentielles sans oublier de dresser une liste de questions à se poser.
    Binaire, le blog pour comprendre les enjeux du numérique, en collaboration avec theconversation 

    Pourquoi et pour quoi des métavers ?

    Comme souvent dans le domaine des technologies numériques, on entend dans les discussions sur les métavers des affirmations comme « il ne faudrait pas rater le coche » (ou le train, la course, le virage, le tournant). Il faudrait donc se lancer dans le métavers uniquement parce que d’autres l’ont fait ? Et s’ils s’y étaient lancés pour de mauvaises raisons, nous les suivrions aveuglément ? On pourrait aussi se demander si la direction qu’ils ont prise est la bonne. Autre interrogation plus ou moins avouée, mais bien présente dans beaucoup d’esprits : qu’adviendrait-il de nous si nous ne suivions pas le mouvement ? Finalement, est-ce que la principale raison qui fait démarrer le train n’est pas la peur de certains acteurs de le rater ?

    Pourquoi (pour quelles raisons) et pour quoi (dans quels buts) des métavers ? Les motivations actuelles sont pour nous liées à différents espoirs.

    Le métavers, c’est l’espoir pour certains que la réalité virtuelle trouve enfin son application phare grand public, que ce qu’elle permet aujourd’hui dans des contextes particuliers devienne possible à grande échelle, dans des contextes plus variés : l’appréhension de situations complexes, l’immersion dans une tâche, l’entrainement sans conséquence sur le monde réel (apprendre à tailler ses rosiers dans le métavers comme on apprend à poser un avion dans un simulateur), la préparation d’actions à venir dans le monde réel (préparation d’une visite dans un musée), etc.

    C’est l’espoir pour d’autres d’une diversification des interactions sociales en ligne (au-delà des jeux vidéo, réseaux sociaux et outils collaboratifs actuels), de leur passage à une plus grande échelle, de leur intégration dans un environnement fédérateur. C’est l’espoir que ces nouvelles interactions permettront de (re)créer du lien avec des personnes aujourd’hui isolées pour des raisons diverses : maladie ou handicap (sensoriel, moteur et/ou cognitif), par exemple. Des personnes éprouvant des difficultés avec leur apparence extérieure dans le monde réel pourraient peut-être s’exprimer plus librement via un avatar configuré à leur goût. Imaginez un entretien pour une embauche ou une location dans lequel il vous serait dans un premier temps possible de ne pas dévoiler votre apparence physique.

    C’est aussi l’espoir d’un nouveau web construit aussi par et pour le bénéfice de ses utilisateurs, et non pas seulement celui des plateformes commerciales. Au début du web, personne ne savait que vous étiez un chien. Sur le web d’aujourd’hui, les plateformes savent quelles sont vos croquettes préférées et combien vous en mangez par jour. Dans le métavers imaginé par certains, personne ne saura que vous n’êtes pas un chien (forme choisie pour votre avatar) et c’est vous qui vendrez les croquettes.

    C’est enfin — et probablement surtout, pour ses promoteurs actuels — l’espoir de l’émergence de nouveaux comportements économiques, l’espoir d’une révolution du commerce en ligne (dans le métavers, et dans le monde réel à travers lui), l’espoir d’importants résultats financiers dans le monde réel.

    Tous ces espoirs ne sont évidemment pas nécessairement portés par les mêmes personnes, et tous ne se réaliseront sans doute pas, mais leur conjonction permet à un grand nombre d’acteurs de se projeter dans un espace configuré à leur mesure, d’où l’expression d’auberge espagnole qu’utilisent certains pour qualifier les métavers

    Qu’allons-nous faire dans ces métavers ?

    « La prédiction est très difficile, surtout lorsqu’il s’agit de l’avenir ». A quoi servira le métavers ? Des communautés spirituelles prévoient déjà de s’y rassembler. On peut parier qu’il ne faudra pas longtemps pour que des services pour adultes s’y développent  ; on sait bien qu’« Internet est fait pour le porno », et la partie réservée aux adultes de Second Life était encore récemment active, semble-t-il. Au-delà de ces paris sans risque, essayons d’imaginer ce que pourraient permettre les métavers…

    Imaginez un centre-ville ou un centre commercial virtuel dont les boutiques vous permettraient d’accéder à des biens et services du monde virtuel et du monde réel. Dans une de ces boutiques, vous pourriez par exemple acheter une tenue pour votre avatar (comme un tee-shirt de l’UBB Rugby), qu’il pourrait dès lors porter dans toutes les activités possibles dans le métavers (rencontres entre amis, activités sportives ou culturelles, mais aussi réunions professionnelles). Dans une autre boutique, vous pourriez choisir et personnaliser une vraie paire de chaussures qui vous serait ensuite livrée à domicile dans le monde réel.

    Quelle différence avec les achats en ligne d’aujourd’hui ? Vous pourriez être assistés dans les boutiques du métavers par des personnages virtuels, avatars d’êtres humains ou d’intelligences artificielles. Vous pourriez vous y rendre accompagnés, pour faire du shopping à plusieurs ou vous faire conseiller par des proches. Vous pourriez aussi demander conseil à d’autres « clients » de la boutique qui la visiteraient en même temps que vous. Dans les boutiques où en passant de l’une à l’autre, il vous serait possible de croiser des personnes de votre connaissance (du monde réel ou virtuel) et interagir avec elles.

    Le centre commercial évoqué proposerait les grandes enseignes habituelles, mais vous auriez la possibilité de le personnaliser en y intégrant vos artisans et petits commerçants préférés, comme cette brasserie artisanale découverte sur un marché il y a quelque temps. Quel intérêt pour vous et pour elle ? La boutique dans le métavers serait un lieu de rencontre, d’échanges et de commerce, au même titre qu’un étal sur un marché, mais sans les contraintes de jour et d’heure, sans les contraintes logistiques, sans la météo capricieuse, etc. Il y a bien sur de nombreuses choses du monde réel qu’on préfèrera voir, goûter ou essayer avant d’acheter. Il y en a aussi de nombreuses qu’on peut acheter sans discuter, « les yeux fermés », ce qui fait le succès des courses en ligne livrées en drive ou à domicile. Mais pour certaines choses, le métavers pourrait offrir une expérience plus riche que le commerce en ligne actuel et moins contraignante que les formes de commerce physiques.

    Le métavers pourrait vous offrir la possibilité d’organiser vous-même vos activités collectives. Vous voulez revoir vos oncles, tantes, cousins et cousines perdus de vue depuis des lustres ? Vous ne voulez pas faire le tour de France et ne pouvez pas loger tout ce monde ? Organisez la rencontre dans le métavers, et profitez des reconstitutions de grands lieux touristiques ! Envie de voir avec eux les calanques de Marseille ou Venise ? L’expérience ne sera évidemment pas la même que dans le monde réel, mais vous pourrez avoir ces lieux rien que pour vous et vos proches, et vous pourrez les visiter de manière inédite, en les survolant par exemple. L’agence de voyage du métavers vous proposera peut-être de compléter l’expérience en dégustant un plat typique (livré chez vous et vos proches) dans une ambiance visuelle et sonore reconstituée. Alors les cousins : supions à la provençale sur le vieux port, ou cicchetti sur la place Saint-Marc ?

    Photo Helena Lopez – Pexels

    Comme certains jeux vidéo actuels, le metavers permettra sans doute la pratique de différents sports, seul ou à plusieurs. L’hiver, avec votre club de cyclisme, vous pourrez vous entraîner sur des parcours virtuels (avec un vrai vélo comme interface, si vous le souhaitez). Envie de lâcher le vélo pour un parcours de randonnée au départ du village dans lequel vous venez d’arriver ? Pas de problème : le métavers est un monde dans lequel on peut basculer facilement d’une activité à l’autre. De nouveaux sports pourraient être inventés par les utilisateurs du métavers, au sens « activités nécessitant un entraînement et s’exerçant suivant des règles, sur un mode coopératif ou compétitif ». La pratique d’un sport virtuel vous amènera peut-être à constituer avec d’autres une équipe, un club. Pour vous entraîner, quel que soit votre niveau, vous devriez sans problème trouver dans le métavers d’autres personnes de niveau similaire ou à peine supérieur, pour peu que les clubs se regroupent en fédérations. Le métavers pourrait aussi changer votre expérience de spectateur de compétitions sportives. Pourquoi ne pas vivre le prochain match de votre équipe de football préférée dans le métavers du point de vue de l’avatar de son avant-centre plutôt que depuis les tribunes virtuelles ?

    Photo Rodnae – Pexels

    Le métavers pourrait fournir l’occasion et les moyens de reconsidérer la manière dont nous organisons le travail de bureau. Un bureau virtuel peut facilement être agrandi pour accueillir une nouvelle personne, si besoin. Un étage de bureaux virtuel peut facilement placer à proximité des personnes qui travaillent dans un même service mais qui sont géographiquement réparties dans le monde réel. En combinant l’organisation spatiale de l’activité permise par le métavers avec des outils que nous utilisons déjà (messageries instantanées, suites bureautiques partagées en ligne, outils de visioconférence, etc.), peut-être pourra-t-on proposer de nouveaux environnements de travail collaboratifs permettant de (re)créer du lien entre des personnes travaillant à distance, quelle qu’en soit la raison ? Il ne s’agit pas seulement ici d’améliorer la manière dont on peut tenir des réunions. Le métavers pourrait aussi permettre des rencontres fortuites et des échanges spontanés et informels entre des personnes, à travers des espaces collectifs (couloirs entre les bureaux, salles de détente) ou des événements (afterwork virtuel).

    On pourrait voir des usages du métavers se développer dans le domaine de la santé. La réalité virtuelle est déjà utilisée depuis de nombreuses années pour traiter des cas de phobie (animaux, altitude, relations sociales, etc.) et de stress post-traumatiques (accidents, agressions, guerres, etc.). Ces thérapies reposent sur une exposition graduelle et maîtrisée par un soignant à une représentation numérique de l’objet engendrant la phobie. Le fait d’agir dans un environnement virtuel, d’en maîtriser tous les paramètres et de pouvoir rapidement et facilement stopper l’exposition ont contribué au succès de ces approches, qu’on imagine facilement transposables dans un métavers où elles pourraient être complétées par d’autres activités. Les simulateurs actuellement utilisés pour la formation de professionnels de santé ou les agents conversationnels animés développés ces dernières années pour le diagnostic ou le suivi médical pourraient aussi être intégrés au métavers. De nouveaux services de téléconsultation pourraient aussi être proposés.

    Le métavers pourrait servir de plateforme d’accès à des services publics. La municipalité de Séoul a ainsi annoncé qu’elle souhaitait ouvrir en 2023 une plateforme de type métavers pour « s’affranchir des contraintes spatiales, temporelles ou linguistiques ». Cette plateforme intègrera des reconstitutions des principaux sites touristiques de la ville actuelle, mais aussi des reconstitutions d’éléments architecturaux disparus. Les habitants pourront interagir avec des agents municipaux via leurs avatars et pourront ainsi accéder à une variété de services publics (économiques, culturels, touristiques, éducatifs, civils) dont certains nécessitaient jusqu’ici de se rendre en mairie. Des manifestations réelles seront dupliquées dans le métavers afin de permettre à des utilisateurs du monde entier de les suivre.

    Questions ouvertes

    Le métavers, par son organisation spatiale et sa dimension sociale, sera l’opportunité de développer des communautés, pratiques et cultures. Ce qui en sortira dépendra beaucoup de la capacité de ses utilisateurs à se l’approprier. Le métavers pose toutefois dès aujourd’hui un certain nombre de questions.

    Qui pourra réellement y accéder ? Il faudra sans aucun doute une « bonne » connexion réseau et un terminal performant, mais au-delà, les différences entre le métavers et le web n’introduiront-elles pas de nouvelles barrières à l’entrée, ou de nouveaux freins ? Le World Wide Web Consortium (W3C) a établi pour celui-ci des règles pour l’accessibilité des contenus à l’ensemble des utilisateurs, y compris les personnes en situation de handicap (WCAG). Combien de temps faudra-t-il pour que des règles similaires soient définies et appliquées dans le métavers ? Sur le web, il n’y a pas d’emplacement privilégié pour un site, la notion d’emplacement n’ayant pas de sens. Dans un monde virtuel en partie fondé sur une métaphore spatiale, la localisation aura de l’importance. On voit déjà de grandes enseignes se précipiter pour acquérir des espaces dans les proto-métavers, et des individus payant à prix d’or des « habitations » voisines de celles de stars. Qui pourra dans le futur se payer un bon emplacement pour sa boutique virtuelle ?

    Le métavers, comme nous l’avons expliqué, c’est la combinaison de la réalité virtuelle, des jeux vidéo, des réseaux sociaux et des cryptomonnaies, propices à la spéculation. En termes de risques de comportements addictifs, c’est un cocktail explosif ! L’immersion, la déconnexion du réel, l’envie de ne pas finir sur un échec ou de prolonger sa chance au jeu, la nouveauté permanente, la peur de passer à côté de quelque chose « d’important » pendant qu’on est déconnecté et l’appât du gain risquent fort de générer des comportements toxiques pour les utilisateurs du métavers et pour leur entourage. En France, l’ANSES — qui étudie depuis plusieurs années l’impact des technologies numériques sur la santé[1] — risque d’avoir du travail. De nouvelles formes de harcèlement ont aussi été signalées dans des métavers, particulièrement violentes du fait de leur caractère immersif et temps réel. En réponse, Meta a récemment mis en place dans Horizon World et Horizon Venues une mesure de protection qui empêche les avatars de s’approcher à moins d’un mètre de distance. D’autres mesures et réglementations devront-elles être mises en place ?

    On a vu se développer sur le web et les réseaux sociaux des mécanismes de collecte de données personnelles, de marketing ciblé, de manipulation de contenus, de désinformation, etc.  S’il devient le lieu privilégié de nos activités en ligne et que celles-ci se diversifient, ne risquons-nous pas d’exposer une part encore plus importante de nous-même ? Si ces activités sont de plus en plus sociales, regroupées dans un univers unique et matérialisées (si on peut dire) à travers nos avatars, ne seront-elles pas observables par un plus grand nombre d’acteurs ? Faudra-t-il jongler entre différents avatars pour que nos collègues de travail ne nous reconnaissent pas lors de nos activités nocturnes ? Pourra-t-on se payer différents avatars ? Quel sera l’équivalent des contenus publicitaires aujourd’hui poussés sur le web ? Des modifications significatives et contraignantes de l’environnement virtuel ? « Ce raccourci vers votre groupe d’amis vous permettant d’échapper à un tunnel de panneaux publicitaires vous est proposé par Pizza Mario, la pizza qu’il vous faut » Les technologies chaîne de blocs (blockchain en anglais) permettront-elles au contraire de certifier l’authenticité de messages ou d’expériences et d’empêcher leur altération ?

    Lors de la rédaction de ce texte, nous avons souvent hésité entre « le métavers » et « les métavers ». Dans la littérature comme dans la vidéo d’annonce de Facebook/Meta, le concept est présenté comme un objet unique en son genre, mais on imagine assez facilement des scénarios alternatifs, trois au moins, sans compter des formes hybrides. Le premier est celui d’une diversité de métavers sans passerelle entre eux et dont aucun ne s’imposera vraiment parce qu’ils occuperont des marchés différents. C’est la situation du web actuel (Google, Meta, Twitter, Tik Tok et autres sont plus complémentaires que concurrents), qui motive en partie les promoteurs du Web3. Le deuxième scénario est celui d’un métavers dominant largement les autres. Celui-ci semble peu probable à l’échelle planétaire, ne serait-ce qu’à cause de la confrontation USA – Chine (– Europe ?). Le troisième scénario est celui d’une diversité de métavers avec un certain niveau d’interopérabilité technique et existant en bonne harmonie. Il n’est pas certain que ce soit le plus probable : l’interopérabilité est souhaitable mais sera difficile à atteindre. Nous pensons plutôt que c’est le premier scénario qui s’imposera. La diversité, donc le choix entre différents métavers, est une condition nécessaire tant à l’auto-détermination individuelle qu’à la souveraineté collective.

    Qui va réguler les métavers ? Dans le monde du numérique, les normes prennent parfois du temps à s’établir et n’évoluent pas nécessairement très vite. Quand il s’agit de normes techniques, ce n’est pas un problème : le protocole HTTP est resté figé à la version 1.1 de 1999 à 2014, et cela n’a pas empêché le développement du web. Quand il s’agit de réguler les usages, les comportements, ce peut être plus problématique. Jusqu’ici, on peut s’en réjouir ou s’en désoler, le secteur du web a été peu régulé. Ceux qui définissent les règles sont souvent les premiers joueurs, qui sont en fait les premiers possédant les moyens de jouer, c’est à dire les grands acteurs du web aujourd’hui. Si demain, une partie de nos activités personnelles et professionnelles se déroule dans des métavers créés par eux sur la base d’infrastructures matérielles et logicielles extra-européennes, quels seront le rôle et la pertinence dans ces mondes des états européens ? Si ces mondes sont créés par des collectifs transcontinentaux et autogérés par des individus, la situation sera-t-elle plus favorables à ces états ?

    Enfin, mais ce n’est pas le moins important, d’un point de vue beaucoup plus pragmatique et à plus court terme, on peut s’interroger sur la pertinence de se lancer dans le développement de métavers au moment où nous sommes déjà tous confrontés aux conséquences de nos activités sur l’environnement. Le tourisme virtuel aidera peut-être à réduire notre empreinte carbone, mais le coût écologique lié à la mise en œuvre des métavers (réalité virtuelle, réseaux haut-débit, chaîne de blocs, etc.) ne sera-t-il pas supérieur aux économies générées ? Le bilan devra bien sur tenir compte des usages effectifs des métavers, de leur utilité et de leur impact positif sur la société.

    Pour conclure

    Ni enfer, ni paradis par construction, les métavers présentent des facettes tant positives que négatives, à l’image de beaucoup d’autres innovations technologiques (comme l’intelligence artificielle, par exemple). Nous avons tendance à surestimer l’impact des nouvelles technologies à court-terme et à sous-estimer leur impact à long-terme, c’est la loi d’Amara. Les métavers tels qu’on nous les décrits seront sans doute difficiles à mettre en œuvre. Rien ne dit que ceux qui essaieront y arriveront, que les environnements produits seront massivement utilisés, qu’ils le resteront dans la durée ou que nous pourrons nous le permettre (pour des raisons environnementales, par exemple). Les choses étant de toute manière lancées et les investissements annoncés se chiffrant en milliards d’euros, on peut au minimum espérer que des choses intéressantes résulteront de ces efforts et que nous saurons leur trouver une utilité.

    Alors que faire ? Rester passifs, observer les tentatives de mise en œuvre de métavers par des acteurs extra-européens, puis les utiliser tels qu’ils seront peut-être livrés un jour ? S’y opposer dès à présent en considérant que les bénéfices potentiels sont bien inférieurs aux risques ? Nous proposons une voie alternative consistant à développer les réflexions sur ce sujet et à explorer de façon maîtrisée les possibles ouverts par les technologies sous-jacentes, en d’autres termes, à jouer un rôle actif pour tenter de construire des approches vertueuses, quitte à les abandonner – en expliquant publiquement pourquoi – si elles ne répondent pas à nos attentes. Nous sommes persuadés qu’une exploration menée de façon rigoureuse pour évaluer des risques et des bénéfices est nettement préférable à un rejet a priori non étayé.

    Pascal Guitton (Université de Bordeaux & Inria) & Nicolas Roussel (Inria)

    [1] Voir par exemple son avis récent sur les expositions aux technologies de réalité virtuelle et/ou augmentée

    Références additionnelles (*)

    Quelques émissions, interviews ou textes récents :

     

    Deux articles de recherche illustrant des approches très différentes des environnements virtuels collaboratifs :

     

    • Solipsis: a decentralized architecture for virtual environments (D. Frey et al., 05/11/2008)
      https://hal.archives-ouvertes.fr/inria-00337057
    • Re-place-ing space: the roles of place and space in collaborative systems (S. Harrison & P. Dourish, 03/12/96)
      https://www.dourish.com/publications/1996/cscw96-place.pdf

    Deux fictions dans lesquelles on parle d’onirochrone et de cyberespace :

     

    Et aussi : https://estcequecestlanneedelavr.com

    (*) en plus de celles pointées par des liens dans le texte de l’article

  • Les cinq murs de l’IA 1/6 : la confiance

    Mais jusqu’où ira l’intelligence artificielle à la vitesse avec laquelle elle fonce ?  Et bien … peut-être dans le mur ! C’est l’analyse qu’en fait Bertrand Braunschweig, qui s’intéresse justement à ces aspects de confiance liés à l’IA. Donnons lui la parole pour une réflexion détaillée interactive en six épisodes.   Pascal Guitton et Thierry Viéville.

    Episode 1 : introduction générale, et le premier mur.

    L’intelligence artificielle progresse à un rythme très rapide tant sur le plan de la recherche que sur celui des applications et pose des questions de société auxquelles toutes les réponses sont loin d’être données. Mais en avançant rapidement, elle fonce sur ce que j’appelle les cinq murs de l’IA, des murs sur lesquels elle est susceptible de se fracasser si l’on ne prend pas de précautions. N’importe lequel de ces cinq murs est en mesure de mettre un terme à sa progression, c’est pour cette raison qu’il est essentiel d’en connaître la nature et de chercher à apporter des réponses afin d’éviter le fameux troisième hiver de l’IA, hiver qui ferait suite aux deux premiers des années 197x et 199x au cours desquels la recherche et le développement de l’IA se sont quasiment arrêtés faute de budget et d’intérêt de la communauté.

    Les cinq murs sont ceux de la confiance, de l’énergie, de la sécurité, de l’interaction avec les humains et de l’inhumanité. Ils contiennent chacun un certain nombre de ramifications, et sont bien évidemment en interaction, je vais toutefois les présenter de manière séquentielle, en cinq épisodes. Le sixième épisode examinera quelques pistes pour éviter une issue fatale pour l’IA.

    Ce texte se veut un outil de réflexion pour le lecteur, il est destiné à susciter des commentaires et réactions que ce soit sur la réalité de ces murs, sur la complétude de mon analyse, ou sur la manière d’échapper à l’écrasement sur l’un de ces murs. Je précise cependant qu’il y a d’autres facteurs, non technologiques, qui mettent en cause l’avenir de l’IA, et que je ne traite pas dans cette série. Ainsi, par exemple, la pénurie de chercheurs, ingénieurs, techniciens capables de développer et de mettre en oeuvre les technologies d’IA est très bien identifiée ; elle se matérialise par les salaires élevés qui sont versés à celles et ceux qui affichent l’IA comme spécialité, et par la mise en place de nombreux programmes de formation qui, à terme, devraient permettre de revenir à une situation normale en la matière, l’offre rejoignant la demande. Il ne manque pas non plus de démarches gouvernementales, collectives, associatives et autres pour réglementer et gouverner l’IA, je n’aborderai pas ces aspects ici. Je recommande plutôt de s’intéresser aux travaux du Partenariat Mondial sur l’Intelligence Artificielle (GPAI en anglais) qui rassemble nombre d’experts de disciplines, d’origines et de cultures différentes sur les sujets de société autour de l’IA.

    Je reconnais également qu’il y a des avis différents à ce sujet. Par exemple, l’article « Deep learning for AI » de Yoshua Bengio, Yann LeCun et Geoffrey Hinton1, rédigé suite à leur prix Turing collectif, donne des pistes pour l’avenir de l’AI par l’apprentissage profond et les réseaux neuronaux sans aborder les mêmes sujets; le rapport d’étape 2021 de l’étude longitudinale sur cent ans de Stanford2 examine les avancées de l’IA à ce jour et présente des défis pour le futur, très complémentaires à ceux que j’aborde ici; le récent livre de César Hidalgo, chaire de l’institut 3IA ANITI à Toulouse, « How Humans Judge Machines »3 s’intéresse à la perception de l’IA (et des machines) par les humains; l’ouvrage « Human Compatible »4 de Stuart Russell, professeur à Berkeley et auteur du principal livre de cours sur l’IA depuis deux décennies, s’intéresse à la compatibilité entre machines et humains, sujet que je traite différemment quand je parle du mur de l’interaction; enfin, la publication que j’ai co-éditée en 2021 avec Malik Ghallab, « Reflections on Artificial Intelligence for Humanity »5 aborde dans ses quatorze chapitres divers aspects de l’avenir de l’IA, notamment sur le futur du travail, la prise de décision par les machines, les questions de réglementation, d’éthique, de biais etc.

    Dans ce premier épisode je m’intéresse au mur de la confiance, un sujet particulièrement mis en exergue depuis quelques années.

    La confiance

    Dialogue entre Lonia, le chatbot de la banque et Y, qui a demandé un crédit.
    Y: est-ce que mon prêt a été accordé ?
    Lonia: non.
    Y: peux-tu me dire pourquoi mon prêt n‘a pas été accordé?
    Lonia: non
    Y: mais, pourquoi ne peux-tu pas me dire pourquoi mon prêt n’a pas été accordé?
    Lonia: parce que je suis une intelligence artificielle, entraînée à partir de données de crédits passés, et je ne sais pas produire d’explications.
    Y: c’est bien dommage! Mais peux-tu au moins prouver que ta décision est la bonne?
    Lonia: Non, on ne peut pas prouver les conclusions établies par des IA entraînées par apprentissage à partir de données.
    Y: ah, bon. Mais, alors, as-tu été certifiée pour le travail que tu fais? As-tu un quelconque label de qualité?
    Lonia: Non, il n’existe pas de normes pour les IA entraînées par apprentissage, il n’y a pas de certification.
    Y: Merci pour tout cela. Au revoir, je change de banque.

    Bien évidemment, derrière ce dialogue imaginaire, c’est la question de la confiance qui est posée. Et cela ne concerne pas que le domaine financier, par exemple le même échange pourrait avoir lieu au sujet d’un diagnostic médical pour lequel la machine ne pourrait fournir ni garanties ni explications.  Si les personnes n’ont pas confiance envers les systèmes qu’IA avec lesquels ils interagissent, ils les rejetteront. Il y a largement de quoi causer un troisième hiver de l’IA !

    La confiance est une notion riche et multi-factorielle, beaucoup de sociologues et de technologues se sont intéressés aux mécanismes de son établissement. Plusieurs organismes tentent de fournir des définitions de ce qu’est la confiance envers les systèmes d’intelligence artificielle, elle a été le sujet principal du groupe d’experts mobilisés par la Commission Européenne (dont tous les travaux6 se font dans l’optique « trustworthy AI »). L’organisation internationale de normalisation, ISO, considère une vingtaine de facteurs différents, avec des ramifications.

    Je résumerai ici en disant que la confiance, en particulier envers les artefacts numériques dont l’IA fait partie, est une combinaison de facteurs technologiques et sociologiques. Technologiques, comme la capacité de vérifier la justesse d’une conclusion, la robustesse à des perturbations, le traitement de l’incertitude etc. Sociologiques, comme la validation par des pairs, la réputation dans les réseaux sociaux, l’attribution d’un label par un tiers de confiance etc. Les questions d’interaction avec les utilisateurs sont intermédiaires entre ces deux types de facteurs: transparence, explicabilité, qualité des interactions de manière plus générale.

    Les facteurs sociologiques ne sont pas propres à l’IA: dans un réseau de confiance entre humains, la transmission de la confiance ne fait pas nécessairement appel aux facteurs technologiques. Par contre, la base technologique de la confiance en IA est bien spécifique et pose de nombreux défis. On ne sait pas, aujourd’hui, prouver que les conclusions d’un système entraîné par apprentissage sur une base de données sont les bonnes, qu’elles sont robustes à des petites variations, qu’elles ne sont pas entachées de biais etc. Il existe de nombreux programmes de R&D à ce sujet, dont un des plus importants est l’initiative Confiance.ai7 centrée sur les systèmes critiques (transport, défense, énergie, industrie) portée par de grands groupes industriels dans le cadre du Grand Défi sur la fiabilisation et la certification de l’IA.

    Tant que cette question restera ouverte, le risque pour l’IA de se heurter au mur de la confiance sera majeur. Il le sera encore plus pour les systèmes à risque (au sens de la Commission Européenne dans sa proposition de réglementation de l’IA8) et pour les systèmes critiques (au sens du programme Confiance.ai).

    ​Bertrand Braunschweig a été en charge pour Inria de la stratégie nationale de recherche en intelligence artificielle, il est aujourd’hui consultant indépendant et coordonnateur scientifique du programme Confiance.ai.

    Notes :

    1 Deep Learning for AI. Yoshua Bengio, Yann Lecun, Geoffrey Hinton Communications of the ACM, July 2021, Vol. 64 No. 7, Pages 58-65

    2 Michael L. Littman, Ifeoma Ajunwa, Guy Berger, Craig Boutilier, Morgan Currie, Finale Doshi-Velez, Gillian Hadfield, Michael C. Horowitz, Charles Isbell, Hiroaki Kitano, Karen Levy, Terah Lyons, Melanie Mitchell, Julie Shah, Steven Sloman, Shannon Vallor, and Toby Walsh. “Gathering Strength, Gathering Storms: The One Hundred Year Study on Artificial Intelligence (AI100) 2021 Study Panel Report.” Stanford University, Stanford, CA, September 2021. Doc: http://ai100.stanford.edu/2021-report. Accessed: September 16, 2021.

    3 https://www.judgingmachines.com/

    5 B. Braunschweig & M. Ghallab (eds.), Reflections on Artificial Intelligence for Humanity, Elsevier, 2021

  • Pour une gouvernance citoyenne des algorithmes

    Un nouvel entretien autour de l’informatique.
    Karine Gentelet est professeure agrégée de sociologie au département de sciences sociales à l’Université du Québec en Outaouais et professeure invitée à l’Université Laval. Elle a été en 2020-21 titulaire de la Chaire Abeona – ENS-PSL, en partenariat avec l’Observatoire international sur les impacts sociétaux de l’IA et du numérique. Le titre de sa chaire était « La gouvernance citoyenne pour renverser l’invisibilité dans les algorithmes et la discrimination dans leurs usages ». Elle aborde ce sujet pour binaire.
    Binaire, le blog pour comprendre les enjeux du numérique, en collaboration avec theconversation.

    Karine Gentelet, Site de l’ENS

     Binaire : Peux-tu nous parler du parcours qui t’a conduite notamment à être titulaire de la chaire Abeona ?

    Karine Gentelet : Mon profil est multidisciplinaire, avec une formation en anthropologie et en sociologie. J’ai un doctorat en sociologie, mais je préfère me définir par mes thèmes de recherche plutôt que par des disciplines.

    Française d’origine, je suis arrivée au Québec il y a plus de trente ans. C’était à une période traumatique de l’histoire du Québec, une grave crise interne, la crise d’Oka[1]. Cela m’a marquée de me retrouver face à des personnes en position de minorité, en difficulté. Je me suis intéressée à la reconnaissance des droits des peuples autochtones, à la façon dont ils mobilisent la scène internationale pour faire reconnaître leurs droits, et à la façon dont ils ont accès à la justice d’une manière large.

    Un moment donné, j’ai rencontré quelqu’un qui travaillait pour une communauté extrêmement excentrée au Nord du Québec. Là-bas, quand ils sont arrêtés pour une infraction, les prévenus sont emmenés dans le sud à 6 ou 7 heures de vol d’avion. A cause de la distance, leur famille ne peut plus les voir alors qu’ils sont parfois très jeunes. Pour pallier ce problème, la solution a été d’utiliser la technologie numérique pour déplacer virtuellement le tribunal et l’installer dans le Nord. Cela a redéfini l’espace du procès de façon remarquable : les bancs du juge, des accusés, du procureur, tout change ; les salles d’audience deviennent rondes par exemple. Ces minorités qu’on voit comme vulnérables arrivaient à renverser des rapports de pouvoir, et à redessiner l’espace du procès.

    Cela m’a conduite à être impliquée dans des projets de recherche sur les conditions de mise en place d’une cyber-justice. Et c’est ainsi que je suis arrivée à technologie numérique et l’intelligence artificielle (IA pour faire court).

    En général, ce qui m’intéresse c’est toujours de regarder l’angle mort, non pas tant ce qui se passe que ce qui ne se passe pas, ce qui n’est pas dit. Prenez des questions de décisions automatisées. J’étudie comment les gens voient le déploiement de ces outils, comment ils aimeraient qu’ils soient déployés. C’est là que mon expérience d’anthropologue me sert, à étudier comment les gens vivent avec ces technologies.

    B : La sociologie est typiquement plus dans l’observation que dans l’action ? Est-ce que cela te satisfait ?

    KG : Il y a plusieurs types de sociologie et la discipline a évolué. La sociologie devient, selon moi, de plus en plus anthropologique et regarde la société non plus telle qu’elle est mais avec un point de vue d’altérité, ce qui change le regard. On est dans une perspective beaucoup plus critique qu’avant, beaucoup plus près de l’action. De toute façon, comme je l’ai dit, je ne me vois pas uniquement comme sociologue mais plutôt dans la pluridisciplinarité.

    Pour l’IA, il ne faut pas se cantonner à l’observation de ce qui s’y passe. Il faut comprendre comme on se l’approprie, apporter un regard critique.

    Jon Tyson, unsplash.com

    B : En quoi les sciences sociales peuvent-elles servir à mieux comprendre l’IA ?

    KG : Souvent l’IA est présentée en termes purement techniques. Mais en fait, dans la manière dont elle est déployée, elle a des impacts sociétaux essentiels qu’il faut comprendre et qui nécessitent une perspective de sciences sociales.

    Il y a en particulier des enjeux de classification des datasets qui vont nourrir les algorithmes d’IA. Distinguer entre un chat et un chien n’a pas d’impact sociétal critique. Par contre, le classement d’une personne comme femme, homme, non binaire ou transgenre, peut soulever des questions de prestations sociales, voire conduire à la discrimination de certaines communautés, à des drames humains.

    Pour un autre exemple, pendant la pandémie, dans certains hôpitaux, les systèmes d’aide au triage tenaient compte des dépenses qui avaient été faites en santé auparavant : plus on avait fait de dépenses en santé dans le passé, moins la santé était considérée comme bonne ; on devenait prioritaire. Cela peut paraitre logique. Mais ce raisonnement ne tenait pas compte d’une troisième dimension, le statut socio-économique, qui conduisait statistiquement à un mécanisme inverse : les personnes socialement défavorisées avaient souvent fait moins de dépenses de santé parce qu’elles ne disposaient pas d’une bonne couverture de santé, et étaient en plus mauvaises conditions.

    Une analyse en science sociale permet de mieux aborder ce genre de questions.

    B : La question se pose aussi pour les peuples autochtones ?

    KG : Historiquement marginalisés, les peuples autochtones du Canada ont pris conscience très rapidement de la pertinence des données qui les concernent. Ceci a alors une incidence sur l’importance de ces données dans le fonctionnement des algorithmes. Ce sont des peuples avec une tradition orale, nomade, ce qui a une incidence sur la manière dont ils conçoivent les relations à l’espace, au temps, et à autrui. Pour eux, leurs données deviennent une extension de ce qu’ils sont, et doivent donc rester proches d’eux et c’est pourquoi c’est particulièrement important pour ces peuples autochtones de garder la souveraineté de leurs données. Ils tiennent à ce que leur acquisition, leur classification, leur analyse en général, restent sous leur contrôle. Ils veulent avoir ce contrôle pour que ce que l’on tire de ces données ne soit pas déconnecté de leur compréhension du monde.

    B : Est-ce qu’il y aurait un lien épistémologique entre les constructions de données et la compréhension du monde ?

    KG : Bien sûr. Les classifications de données que nous réalisons dépendent de notre compréhension du monde.

    J’ai co-réalisé une étude sur Wikipédia. Le système de classification de la plateforme entre en conflit avec la perspective de ces groupes autochtones. Pour eux, un objet inanimé a une existence, une responsabilité dans la société. Et puis, la notion de passé est différente de la nôtre. Les ancêtres, même décédés, sont encore dans le présent. La classification de Wikipédia qui tient par construction de notre culture ne leur convient pas.

    Ils considèrent plus de fluidité des interactions entre choses matérielles et immatérielles. Pour eux les pierres par exemple ont une agentivité et cela amènerait à une autre représentation du monde. Cela conduirait les algorithmes d’IA a d’autres représentations du monde

    Photo de Ian Beckley provenant de Pexels

    B : Tu veux dire que, pour structurer les données, on a plaqué notre interprétation du monde, alors que celle des peuples autochtones pourrait apporter autre chose et que cela pourrait enrichir notre connaissance du monde ?

    KG : Oui. J’ai même un peu l’impression que l’interprétation du monde qu’apportent les peuples autochtones est presque plus adaptée à des techniques comme les réseaux neuronaux que la nôtre à cause de l’existence de liens tenus entre les différentes entités chez eux, dans la fluidité des interactions. Mais je ne comprends pas encore bien tout cela ; cela demanderait d’être véritablement approfondi.

    Pour ceux qui ne correspondent pas forcément aux classifications standards de notre société occidentale, cela serait déjà bien d’avoir déjà plus de transparence sur la formation des datasets : comment ils ont été collectés, comment les gens ont consenti, et puis comment les classifications ont été réalisées. C’est véritablement une question de gouvernance des données qui est cruciale pour ceux qui sont minoritaires, qui ne correspondent pas forcément au cadre habituel.

    B : Est-ce que selon toi l’IA pourrait être une menace pour notre humanité, ou est-ce qu’elle pourrait nous permettre d’améliorer notre société, et dans ce cas, comment ?

    Photo de Nataliya Vaitkevich provenant de Pexels

    KG : On essaie de nous pousser à choisir notre camp. L’IA devrait être le bien ou le mal. Les technophiles et l’industrie essaient de nous convaincre que c’est beau, bon, pas cher, et que ça va améliorer le monde. Pourtant, cela a clairement des impacts négatifs sur certains groupes au point que leurs droits fondamentaux peuvent être à risque. Pour moi, l’IA, c’est comme souvent dans la vie, ni blanc ni noir, c’est plutôt le gris. Mais, si je ne vois pas dans l’IA une menace de notre mode de vie, je crois qu’il y a besoin d’une vraie réflexion sociétale sur les impacts de cette technologie. En fait, je me retrouve à accompagner certains groupes sur leur compréhension des impacts, et souvent les impacts sont négatifs.

    Il faut cesser de se bloquer sur la question de choisir son camp, pour ou contre l’IA, et travailler à comprendre et éliminer les impacts négatifs.

    L’IA est censée être un progrès. Mais un utilisateur se retrouve parfois dans a situation d’être confronté à une IA imposée, de ne pas comprendre ses décisions automatisées, de ne pas pouvoir les remettre en cause. Le résultat c’est que cela peut amplifier une possible situation de précarité.

    Quand j’ai renouvelé mon assurance auto, on m’a proposé une réduction de 15% si j’acceptais que la compagnie d’assurance traque tout mon comportement au volant. J’ai refusé. Mais d’autres n’auront pas les moyens de refuser. Cela pose la question du consentement et d’une société à deux vitesses suivant ses moyens financiers.

    On pourrait multiplier les exemples. Il faut que les citoyens puissent décider ce qu’on fait avec les algorithmes, et en particulier ceux d’IA.

    B : La notion de gouvernance des algorithmes est centrale dans ton travail. Comment tu vois cela ?

    KG : Le discours institutionnel à la fois des acteurs privés et des acteurs publics parle de la gouvernance de l’IA comme s’il y avait une dichotomie entre gouvernance de la société et gouvernance de IA, comme s’il y avait une forme d’indépendance entre les deux. L’IA est un outil et pas une entité vivante, mystérieuse et incompréhensible, qui flotterait au-dessus de la société. Je ne comprends pas pourquoi on devrait réinventer la roue pour l’IA. Nous avons déjà des principes, des pratiques de gouvernance, des lois, des représentants élus dans la société, etc. Pourquoi l’IA aurait-elle besoin d’autre chose que de structures existantes ?

    On voit arriver des lois autour de l’IA, comme l’ « Artificial Intelligence Act[2] » de l’Union européenne, cela me pose problème. S’il y a des enjeux importants qui amèneront peut-être un jour des modifications en termes de régulation, il n’y a pas de raison d’autoriser à cause de l’IA des atteintes ou des risques sur les droits humains. A qualifier un droit spécifique pour l’IA, on risque de passer son temps à courir derrière les progrès de la techno.

    Le problème vient de la représentation anthropomorphique qu’on a de ces technologies, la place que l’on donne à l’IA, la sacralisation qu’on en fait. Les décideurs publics en parlent parfois comme si ça avait des pouvoirs magiques, peut-être un nouveau Dieu. Il faut sortir de là. C’est juste une technologie développée par des humains.

    Le point de départ du droit qui s’applique pour l’IA devrait être l’impact sur les êtres humains. Il n’y a aucune raison de sacraliser le fait qu’on parle de numérique. C’est avant tout un problème de droits humains. Alors, pourquoi faudrait-il inventer de nouveaux outils de régulation et de gouvernance plutôt que d’utiliser les outils qui sont déjà là.

    Serge Abiteboul, Inria et ENS, Paris, et Claire Mathieu, CNRS et Université de Paris

    [1] La crise d’Oka ou résistance de Kanehsatà:ke est un événement politique marquant qui opposa les Mohawks au gouvernement québécois puis canadien, durant l’été du 11 juillet au 26 septembre 1990. La crise demandera l’intervention de l’armée canadienne après l’échec d’une intervention de la Sûreté du Québec. (Wikipédia, 2022)

    [2] Note des auteurs : l’ « Artificial Intelligence Act » est une proposition pour le moins discutable de la Commission européenne pour construire un cadre réglementaire et juridique pour l’intelligence artificielle.

    https://binaire.socinfo.fr/page-les-communs-numeriques/

  • La Chine et les communs numériques


    Stéphane Grumbach est directeur de recherche à Inria et enseignant à Sciences Po. Il a été directeur de l’IXXI, l’institut des systèmes complexes de la Région Auvergne Rhône Alpes. Il a été directeur du Liama, le laboratoire sino-européen en informatique, automatique et mathématiques appliquées de Beijing.  L’essentiel de sa recherche concerne les questions globales, et notamment comment le numérique modifie les rapports entre les nations et oriente les sociétés dans l’adaptation aux changements écosystémiques. Nous l’avons interviewé notamment pour mieux comprendre ce qui se passe en Chine autour du numérique et des communs numériques.

    Peux-tu nous parler de ton activité professionnelle actuelle ?

    Depuis quelques temps, je fais moins de technique et plus de géopolitique. Je m’intéresse au numérique et pour moi le numérique est un système de pouvoir qui implique de nouveaux rapports de force entre les personnes et les pays. Je reste fasciné par le regard que les Européens portent sur la Chine. Ils ne voient dans la stratégie chinoise que l’aspect surveillance de sa population alors que cette stratégie est fondée sur la souveraineté numérique. Les États-Unis ont aussi un système de surveillance du même type et les Américains ont bien saisi la question de souveraineté numérique.

    A l’École Normale Supérieure de Lyon, je travaille avec des gens qui étudient les systèmes complexes, sur la prise de conscience de changements de société causés par la transition numérique, ses imbrications avec la transition écologique. Il y a des anthropologues et des juristes ce qui me permet d’élargir mon horizon.

    Où est-ce qu’on publie dans ce domaine ?

    Ce n’est pas facile. Sur cet aspect, je regrette le temps où ma recherche était plus technique ; je savais alors précisément où publier. Par exemple, sur les aspects plus politiques du développement durable, il n’est pas facile de trouver le bon support.

    Emblème national de la République populaire de Chine

    Parle nous d’un de tes sujets de prédilections, la Chine.

    Je voudrais en préambule proposer une analyse globale de la situation. Contrairement à la vision qui mettrait la Chine d’un côté et le monde occidental de l’autre, le monde numérique se sépare entre Chine et États-Unis d’un côté et de l’autre l’Europe.

    Entre la Chine et les États-Unis, une différence est la liberté d’expression. Aux États-Unis, cette liberté fait l’objet du premier amendement de la constitution, c’est dire son importance. En Chine, le sujet n’existe pas. Il y a une forme de possibilité de critiquer, mais la critique doit se faire de biais, jamais directement. L’expression critique reste typiquement métaphorique, mais les Chinois la comprennent bien. Depuis l’ère Trump, les Américains ont essayé de bloquer le développement numérique chinois. Deux idées sont importantes : la souveraineté et l’extension extraterritoriale. Ce sont les bases du conflit États-Unis et Chine.

    Actuellement la tension monte de manière inquiétante. Des deux côtés, un processus de désimbrication intellectuelle et technologique est enclenché. C’est une mauvaise nouvelle globalement car c’est le chemin vers des conflits.

    La pensée numérique s’est beaucoup développée en Chine, qui est devenue depuis un certain temps précurseur au niveau mondial. Aux États-Unis, les liens entre l’industrie numérique et l’État sont importants, mais se cantonnent principalement à la sécurité. En Chine en revanche, cela va plus loin : le rôle stratégique des plateformes numériques est mieux reconnu et plus large, dans l’économie, le social, au-delà de la simple surveillance. C’est ce qui donne au pays une avance sur le reste du monde.

    La Chine est aujourd’hui dans une phase de définition des rapports de force entre les plateformes et l’État. Les États-Unis feront la même chose, mais probablement plus tard. Le dogme dominant aujourd’hui est que la régulation nuirait à l’innovation et à la sécurité nationale. En Chine, la définition de ces rapports est dictée par l’État : c’est une décision politique de l’État.

    Par ailleurs, on assiste actuellement à un durcissement politique en Chine, une baisse de la liberté de critique et une moins grande ouverture. L’instabilité sociale potentielle pousse à une politique de redistribution des richesses. Une forte régulation des plateformes a été lancée depuis l’arrêt brutal de l’IPO d’Ant Financial l’année dernière. Ces régulations touchent aussi les plateformes de la EdTech, avec des arguments de justice sociale également.

    Comment arrives-tu à t’informer sur la Chine ?

    C’est devenu plus difficile parce que malheureusement on ne peut plus y aller à cause de la politique de protection face au Covid. Mais il se publie beaucoup de choses en Chine qui sont accessibles.

    Est-ce qu’il y a des sites de données ouvertes en Chine ?

    Oui il y a par exemple des équivalents de data.gouv en Chine, beaucoup au niveau des provinces et des villes. En matière de données ouvertes, la politique chinoise est différente de celle que nous connaissons en Europe. Plutôt que d’ouvrir les données et d’attendre que des acteurs s’en saisissent, on procède en ciblant des acteurs précis pour réaliser des services innovants à partir potentiellement d’un cahier des charges, sous contrôle de l’administration publique. L’ouverture se fait dans le cadre d’appels d’offres comme c’est le cas, par exemple, à Shanghai. Bien sûr, comme ailleurs, on assiste à des résistances, des villes qui hésitent à ouvrir leurs données.

    Il faut aussi parler des expérimentations mettant en œuvre le social scoring, une notation sociale. Il s’agit de mesurer la “responsabilité citoyenne” de chacun ou de chacune, suivant les bonnes ou les mauvaises actions qu’il ou elle commet. C’est aujourd’hui très expérimental, mais différentes villes l’ont déjà implémenté.

    Il faut bien réaliser que la frontière entre espace public et privé est plus floue en Chine que chez nous. Par exemple, la circulation des voitures est monitorée et les PV sont mis automatiquement, ils sont visibles sur un site en ligne. Il faut avoir une vignette qui atteste de sa capacité à conduire et avoir bien payé ses PV. Cette approche est similaire à ce qui se pratique aux États-Unis avec le financial scoring qui est largement utilisé. Les Chinois sont globalement bienveillants face aux développements numériques et ils font preuve d’un “pragmatisme décontracté” à son égard. Les données personnelles ne sont pas accessibles à tous, et une nouvelle législation est entrée en vigueur au mois de novembre 2021, inspirée du RGPD.

    Le quartier général de Baidu, Wikipédia

    Est-ce qu’il y a des plateformes basées sur les communs numériques comme Wikipedia ou OpenStreetMap ?

    Oui des analogues existent. Il y a un équivalent de Wikipédia réalisé par Baidu, et des équivalents locaux d’OpenStreetMap. Sur les pages Wikipédia en chinois les points de vue ne sont pas toujours ceux des autorités. C’est parfois censuré mais les gens savent souvent contourner la censure.

    Et pour ce qui est des logiciels libres ?

    L’open source est relativement présent. La tech peut parfois avoir des accents libertaires qui la mettent en opposition avec les autorités. Mais l’État chinois sait se servir de l’open source en particulier comme outil de souveraineté numérique. Le système d’exploitation Harmony de Huawei (basé sur Android) est bien un enjeu de la lutte entre la Chine et les États-Unis pour la dominance technologique et le découplage des économies numériques.

    Plus généralement, que peut-on dire sur les communs numériques en Chine ?

    Il n’y aurait aucun sens à ne pas profiter de tels communs en Chine comme en France. D’ailleurs, ces communs sont fortement développés en Chine, plus que dans d’autres pays. Les données accumulées par les plateformes en Occident ne sont utilisées que par celles-ci pour un intérêt mercantile, au-delà de la sécurité. Mais ces données peuvent être vues comme des communs, dont l’usage doit être encadré bien sûr par exemple par l’anonymisation.

    Si on regarde bien, Google dispose de données stratégiques pour un grand nombre de sujets au-delà de la sécurité comme la santé, l’économie ou l’éducation. Pourtant aux États-Unis et en Europe, les relations entre l’État et les plateformes sont focalisées sur la sécurité. Cela fait passer à côté de nombreuses opportunités. En Chine, tous les sujets sont abordés en s’appuyant sur les services numériques, y compris par exemple la grogne sociale. Avec ces services, on peut détecter un problème régional et procéder au remplacement d’un responsable.

    La Chine construit une société numérique nouvelle, et exploite les données pour la gouvernance. En ce sens, elle est en avance sur le reste du monde.

    Et quelle est la place de l’Europe dans tout ça ?

    Pour l’Europe, la situation est différente. Contrairement à la Chine ou aux États-Unis, elle n’a ni technologie ni plateforme. Elle est donc dépendante sur ces deux dimensions et essaie de compenser par la régulation. Mais sa régulation est focalisée sur la protection de l’individu, pas du tout sur les communs ou l’intérêt global de la société. L’Europe n’a aucune souveraineté numérique et ses outils et services n’ont pas de portée extraterritoriale, parce qu’elle n’a pas d’outils de taille mondiale.

    Pour les Chinois, l’Europe n’existe plus : les cadres chinois voient l’Europe comme nous voyons la Grèce, une région qui a compté dans l’histoire mais qui ne pèse plus au niveau politique et stratégique, sympa pour les vacances. Je ne suis pas sûr que la vision des américains soit très différente de celle des Chinois d’ailleurs.

    La stratégie chinoise des routes de la soie, une infrastructure absolument géniale du gouvernement Chinois, contribuera d’ailleurs à augmenter la dépendance de l’Europe vis à vis de la Chine, à long terme peut-être dans un équilibre avec les États-Unis, voire dans une séparation de l’Europe dans deux zones d’influence comme c’était le cas pendant la guerre froide.

    Serge Abiteboul, Inria et ENS, Paris, & François Bancilhon, serial entrepreneur

    https://binaire.socinfo.fr/page-les-communs-numeriques/

  • Pour un développement des IAs respectueux de la vie privée

    Une matinée d’étude sur les Intelligences Artificielles (IA)s et la vie privée a été organisée par les projets Digitrust et OLKi de Lorraine Université d’Excellence le 10 juin. Cette matinée, animée par Cyrille Imbert, philosophe des sciences au CNRS, était centrée sur la restitution de la charte « Pour un développement des IAs respectueux de la vie privée »  rédigée par Maël Pégny, chercheur à l’Université de Tübingen, lors de son post-doctorat à OLKi. La charte introduit un certain nombre de principes pour des IA respectueuses de la vie privée mais dont la mise en œuvre n’est pas toujours évidente et qui ont été discutés au cours des différentes interventions. Compte-rendu. Ikram Chraibi Kaadoud et Laurence Chevillot.

    Maël Pegny, Chercheur post-doctoral en Ethique en IA à l’Université de Tübingen, auteur de charte « Les 10 principes de l’éthique en IA »

    Pour Maël Pégny il s’agit de proposer aux développeurs et développeuses un cadre éthique et opérationnel permettant le respect de la vie privée par les IAs, en intégrant l’éthique dès les premières phases du développement. L’objectif de la charte est d’inciter les programmeurs et programmeuses à se positionner sur ces problématiques. Elle est dédiée essentiellement aux défis posés à l’éthique dès la conception par la reconstitution des données d’entraînement à partir de modèles d’IA  et le pouvoir prédictif trop fin.

    Contexte

    Dans un modèle d’apprentissage machine, la  distinction entre programme et données n’est pas claire car les paramètres du programme sont déterminés par entraînement sur une base de données particulières. Certaines attaques permettent une reconstitution des données d’entraînement à partir des informations encodées dans les paramètres du modèle : on parle alors de “rétro-ingénierie” des données. Si le modèle a été entraîné sur des données personnelles, on peut ainsi retrouver celles-ci, même si elles ont été détruites après l’entraînement du modèle. Donc si un modèle entraîné lambda est sous licence libre, ses paramètres  sont en libre accès. Il se pose alors la question  de la protection des données personnelles incluses dans le modèle. Ces attaques sur les modèles d’IA représentent donc un point de tension entre l’ouverture du logiciel et le respect de la protection des données personnelles. Cette tension devrait devenir un enjeu de positionnement pour les partisans du logiciel libre, des communs numériques et de la reproductibilité de la recherche. Ce problème éthique se pose dans la configuration technologique présente car, s’il existe des techniques de protection contre ces attaques de rétro-ingénierie, il n’existe pas de barrière de sécurité mathématiquement prouvée offrant une garantie absolue contre elles.

    L’intelligence artificielle au service des humains. ©Blurredculture.com

    Le développement d’un pouvoir prédictif trop fin de certains modèles d’IA peut également poser des problèmes éthiques complexes. Par exemple, un logiciel de complétion textuelle fondé sur l’apprentissage machine peut ainsi permettre de trouver le numéro de carte de crédit de l’utilisateur en tapant la phrase « Mon numéro de carte de crédit est… ». Là encore, cette attaque demeure possible même si on détruit les données brutes de l’utilisateur, parce que les informations personnelles ont été encodées dans le modèle durant son interaction avec l’utilisateur. Il s’agit bien d’un pouvoir prédictif trop fin, et d’ailleurs imprévu, car le logiciel de complétion est fait pour apprendre les pratiques d’écriture de l’utilisateur, et non ses données personnelles. Attention toutefois à ne pas confondre le problème de pouvoir prédictif trop fin avec la suroptimisation ou le phénomène de sur-apprentissage (l’apprentissage des données par cœur plutôt que de caractéristiques généralisables), car il peut survenir très tôt dans l’apprentissage. Pour protéger les données personnelles, il convient donc aussi de veiller au respect de sa spécification par le modèle d’apprentissage machine.

    La Charte: les 10 principes de l’éthique en IA

    Le triangle éthique avec les trois pôles d’une carte éthique @wikicommon

    HAL est une plateforme en ligne du CNRS, destinée au dépôt et à la diffusion de travaux de recherches (articles scientifiques, rapports techniques, manuscrit de thèse etc.) de chercheurs, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. L’accès aux données est libre et gratuit, mais pas nécessairement leur utilisation ou réutilisation. @Wikipedia

    La charte, disponible sur la plateforme HAL du CNRS au lien ici, énonce dix principes que l’on peut résumer ainsi :

    Principe 1 – Dans le cadre de recherches scientifiques, déclarer les finalités et l’extension nécessaire de la collecte, puis apporter une justification scientifique à tout écart à cette déclaration initiale, en discutant ces possibles impacts sur la vie privée .

    Principe 2 – Tester et questionner les performances finales du modèle par rapport à la finalité déclarée, et veiller à éviter l’apparition d’un pouvoir prédictif trop fin .

    Principe 3 –  Prendre en compte le respect de la vie privée dans l’arbitrage entre suroptimisation et perte de performances.

    Principe 4  – Entraîner son modèle sans faire usage de données personnelles. Si cela est impossible, voir les principes plus faibles 5 et 6.

    Principe 5 – Entraîner son modèle sans faire usage de données personnelles dont la diffusion pourrait porter atteinte aux droits des personnes.

    Principe 6 – Entraîner son modèle sans faire usage de données ayant fait l’objet d’un geste explicite de publication. 

    Principe 7  – Si le recours à des données personnelles est inévitable, déclarer les raisons justifiant ce recours, ainsi que les mesures prises contre la rétro-ingénierie des données et leur complétude par rapport à l’état de l’art.

    Principe 8 – Diffuser en licence libre tous les outils de lutte contre la rétro-ingénierie. 

    Principe 9 – Si le principe 8 n’entraîne pas de risque de sécurité intolérable, mettre le modèle à disposition de tous afin que chacun puisse vérifier les propriétés de sécurité, et justifier explicitement la décision prise.

    Principe 10 – La restriction de l’accès à un modèle entraîné sur des données personnelles ne peut être justifiée que par des enjeux d’une gravité tels qu’ils dépassent les considérations précédentes. Cette exception doit être soigneusement justifiée, l’emploi du modèle devant être réduit dans sa temporalité et ses modalités par les raisons justifiant l’exception. L’exception doit être justifiée en des termes prenant en compte la spécificité scientifique des modèles d’apprentissage machine, comme la capacité à apprendre en temps réel de grandes masses de données, l’opacité du fonctionnement et son évolution, et leurs performances comparées aux autres modèles.

    Pour être bien compris, ces principes appellent quelques commentaires: 

    Le premier principe est conçu pour encadrer la liberté donnée par le droit existant à la recherche scientifique de modifier la finalité du traitement et l’extension de la collecte des données, contrairement aux autres activités de développement où la collecte est restreinte à ce qui est nécessaire à une finalité pré-déclarée. Il s’agit d’instaurer une traçabilité des décisions d’extension de la collecte, et une prise en compte systématique de leurs risques en termes de respect de la vie privée.

    L’invitation à ne pas utiliser de données personnelles ne vise naturellement pas à interdire tout entraînement de modèle sur des données personnelles, qui est incontournable pour nombre d’applications de grand intérêt comme la recherche médicale. Il vise seulement à empêcher de considérer la collecte de données personnelles comme une évidence par défaut, et s’interroger sur la possibilité de stratégies de contournement employant des données moins problématiques.

    Les principes 5 et 6 ne peuvent être compris que si l’on voit que l’extension du concept de donnée personnelle est extrêmement large, un fait radicalement sous-estimé par le grand public. Elle comprend toute donnée concernant une personne physique (vivante). Non seulement cela n’est en aucun cas restreint à des données qu’on qualifierait intuitivement de « privées » ou « sensibles, » mais il comprend des données publiques par nature : par exemple, la phrase « Madame Diomandé est maire de sa commune. » comprend une donnée personnelle sur Madame Diomandé que personne ne songerait à qualifier de privée. Il convient donc de s’interroger sur la possibilité de restreindre la collecte des données personnelles à un sous-ensemble non-problématique.  L’exclusion des données considérées « sensibles », considérée dans le principe 5, fait l’objet de travaux techniques aux performances intéressantes, mais pose de redoutables problèmes de définition et d’opérationnalisation. La restriction aux données faisant l’objet d’un geste de publication explicite, explorée dans le principe 6, peut sembler une solution simple et pratique. Mais il convient de rappeler qu’une personne peut porter atteinte à la vie privée d’une autre dans ses publications, et que le geste de publication n’est pas un solde de tout compte pour le droit des données : l’exercice des droits à rectifier des informations erronées, à retirer une publication, à l’effacement (« droit à l’oubli ») et leurs difficiles opérationnalisations face aux modèles d’apprentissage machine posent de nombreux défis.

    La mise sous licence libre des outils de lutte contre la rétro-ingénierie (principe 7) et l’ouverture des modèles à la vérification (principe 8) constitue une forme d’approche libriste des modèles d’apprentissage machine : ces modèles doivent être ouverts à tous non seulement pour respecter les principes fondamentaux du logiciel libre, mais aussi pour vérifier leur respect de la vie privée. Cette ouverture pose cependant le problème redoutable du « vérificateur voleur » : en ouvrant ainsi les modèles à la vérification en l’absence actuelle de barrières de sécurité dures, on crée la possibilité d’atteintes à la vie privée. Nous ouvrons donc la possibilité de limiter l’application stricte des principes libristes dans le dernier principe : s’il est absolument indispensable d’entraîner un modèle sur des données personnelles sensibles, et que son ouverture à la vérification publique présentait un grave danger de « vérificateur voleur », il est possible de justifier une exception à la perspective libriste stricte. Il est légitime de craindre que l’introduction d’une exception ouvre la porte à la violation massive de la perspective libriste dans la pratique. Trancher la question d’une approche libriste stricte aurait cependant supposer de s’engager dans des débats philosophiques bien au-delà de la portée de cette charte. Doit-on par exemple autoriser l’entraînement d’un modèle de Traitement Automatique de la Langue sur des quantités énormes de données tirées des réseaux sociaux si cela permet de mieux suivre la progression d’une pandémie ? La charte a donc choisi de rester modeste, et d’ouvrir le débat en demandant avant tout à chacun de prendre position explicitement et honnêtement, en prenant en compte les risques politiques autant que techniques de chaque position. La charte a avant tout été conçue pour montrer que la conciliation du développement de l’apprentissage machine avec le respect de la vie privée pose un problème fondamental aux communautés du logiciel libre, des communs numériques et de la reproductibilité, et que ce problème mérite d’être discuté. Les principes de la charte sont introduits non pas tant pour susciter des adhésions que pour susciter des réactions et la discussion de cas, qui permettra un véritable retour sur expérience sur l’opérationnalisation de ces principes : il ne faut pas séparer opérationnalisation et question de principe.

    Une charte opérationnelle nécessaire .. mais de nombreuses questions encore en suspens

    Marc Anderson, philosophe et chercheur.

    Marc Anderson, philosophe canadien en post-doctorat au LORIA, spécialiste de l’éthique de l’IA et militant libriste (un libriste est une personne attachée aux valeurs éthiques véhiculées par le logiciel libre et la culture libre en général. @wikipedia), a noté qu’en général les chartes sont peu ancrées dans la réalité mais que cette charte a au contraire le mérite d’introduire des suggestions précises dans ses principes : une approche progressive dans l’exclusion des données, une mention directe des propriétés singulières des modèles de l’apprentissage automatique, l’incitation à entraîner les modèles sans données personnelles. Il souligne l’importance du contexte pour décider du niveau de protection des données personnelles (par exemple pour les cookies* des sites web, quelles sont les sociétés qui ont accès à nos données?), d’où l’importance de travailler directement avec les concepteurs d’IAs. 

    Les cookies des sites web sont de petits fichiers de texte qui sont enregistrés sur l’ordinateur d’un utilisateur à chaque fois qu’il visite un site. Ni logiciels espions ni virus, ils peuvent toutefois servir au pistage de l’activité internet d’un utilisateur.

    Maël Pégny a remarqué qu’un autre problème difficile à aborder est celui de l’inférence de données sensibles à partir de données publiques, que les capacités statistiques accrues de l’apprentissage automatique ont contribué à rendre plus fréquentes. On peut ainsi inférer avec une confiance forte votre orientation sexuelle à partir de vos activités sur les réseaux sociaux, ou votre état de santé, comme une possible maladie neuro-dégénérative, à partir de vos activités sur les moteurs de recherche. Comme le proposent un bon nombre de juristes, il devient nécessaire non seulement de reconceptualiser la portée et de lever les ambiguïtés de la notion de données personnelles, mais aussi d’étendre le droit au-delà des données brutes pour réguler les inférences.

    Bastien Guerry, militant libriste

    Bastien Guerry, militant libriste, remarque qu’un modèle d’apprentissage se rapproche plus d’un programme compilé et qu’il n’existe pas encore de bonnes pratiques de publication pour ce type d’objets. La publication des éléments entrant dans la construction d’un modèle crée un dilemme éthique : les licences libres visent à permettre à l’utilisateur de se réapproprier les codes sources pour lutter contre l’asymétrie de pouvoir entre les producteurs de logiciels et les utilisateurs, mais dans le cas de modèles d’IA, une telle publication entre en conflit avec le besoin de respecter la vie privée. Bastien Guerry note la difficulté de définir une éthique pour la production et la publication de modèles d’apprentissage. Si les données sont gardées secrètes se pose le problème de la reproductibilité des résultats. Si des données personnelles, même publiques, sont utilisées se pose le problème du consentement. Il indique aussi qu’il faut distinguer deux points de vue libristes sur le traitement des données personnelles. Une position forte, qui proscrirait de confier le traitement des données personnelles à un tiers. Une position souple, qui autoriserait de confier des données à un tiers de confiance si celui-ci s’engage à respecter un cadre éthique*. La charte n’est pas acceptable du point de vue de la position forte.

     Les positions forte et souple sont défendues respectivement par Richard M.  Stallman, fondateur du mouvement du logiciel libre, et Bastien Sibille, président et fondateur de Mobicoop, une plateforme coopérative de covoiturage.  Voir le débat sur les logiciels libres et les plateformes coopératives.

    Daniel Adler, mathématicien et philosophe français.

    Daniel Andler, professeur émérite de philosophie à Paris-Sorbonne et membre de l’Académie des sciences morales et politiques, considère que la charte a pour principale vertu de susciter des réactions. Comme désormais toute donnée publique est trouvable et exploitable, faut-il accepter que le domaine privé a disparu ? Il suggère de développer une éthique pratique de terrain non généralisable, pour arbitrer chaque cas.  L’approche d’éthique dès la conception laissée à elle-même est insuffisante : il faut également proposer des mesures de répression du mauvais usage de l’IA. Pour Maël Pégny, une telle remarque est compatible avec l’esprit de la charte. Celle-ci insiste en introduction sur l’impossibilité de résoudre tous les problèmes éthiques en amont, et sur la nécessité d’empêcher les institutions d’utiliser le label « éthique dès la conception » comme un blanc-seing (Feuille blanche sur laquelle on appose sa signature et que l’on confie à quelqu’un pour qu’il la remplisse lui-même @Larousse) les protégeant à l’avance de toute critique. Le développement éthique doit être pensé sur tout le cycle de vie du logiciel, et comprendre un retour sur expérience incluant les problèmes éthiques imprévus rencontrés après le déploiement : c’est l’une des principales raisons pour laquelle la charte invite à ne séparer discussion de principe et discussion de l’opérationnalisation.

    Le mouvement du libre a incité des développeurs à prendre conscience de la responsabilité qu’ils ont dans le respect des libertés des utilisateurs ; un mouvement éthique comparable doit naître pour inciter les datascientistes à respecter la vie privée des personnes dont ils manipulent les données.