Catégorie : Recherche

  • Prendre des décisions optimales sans avoir toutes les cartes en main, 2/2 : la science des révélations

    L’article « Revelations: A Decidable Class of POMDP with Omega-Regular Objectives » a été primé par le « Outstanding Paper Award » à la conférence AAAI 2025, la plus prestigieuse conférence internationale en intelligence artificielle (https://aaai.org/). Cette récompense couronne le fruit d’un travail de recherche initié à Bordeaux, au sein de l’équipe Synthèse (https://synth.labri.fr/) du Laboratoire Bordelais de Recherche en Informatique (LaBRI), où travaillent quatre des auteurs: Marius Belly, Nathanaël Fijalkow, Hugo Gimbert et Pierre Vandenhove, en coopération avec des chercheurs à Paris (Florian Horn) et Anvers (Guillermo Pérez). Après nous avoir raconté la genèse de ce papier dans un précédent article, ce billet en esquisse les idées principales, tandis que l’article complet est consultable librement à l’adresse https://arxiv.org/abs/2412.12063 . Chloé Mercier et Serge Abiteboul.

    L’équipe Synthèse du LaBRI s’attaque au problème ardu de la synthèse de programme. Il s’agit de développer des algorithmes qui eux-mêmes génèrent d’autres algorithmes, à partir de quelques exemples ou d’une spécification de ce qui est attendu. Concrètement, ces algorithmes très puissants sont utilisés dans une variété de contextes. Par exemple, la plupart des tableurs proposent aujourd’hui des fonctions de remplissage automatique : vous remplissez quelques cellules et, à partir de ces quelques exemples, un petit algorithme est synthétisé à la volée et se charge de finir le travail (https://deepsynth.labri.fr/). Un autre exemple est le contrôle robotique : un opérateur transmet à un robot une tâche à exécuter, par exemple reprendre le contrôle de la balle dans un match de  Robocup, et charge au robot et à ses algorithmes de programmer la bonne suite de mouvements et d’actions à effectuer pour arriver au but escompté. 

    Quand les ingénieurs et chercheurs en Intelligence Artificielle (IA) ont besoin de résoudre des problèmes de synthèse, ils utilisent couramment un formalisme mathématique appelé processus de décision Markoviens, ou pour faire plus court, les MDP. La question centrale est la suivante : dans une situation où il faut prendre une suite de décisions, décrite par un MDP, comment faire pour prendre de bonnes décisions ? Ou, encore mieux, comment faire pour calculer automatiquement la meilleure suite de décisions possibles, ce qui s’appelle également une stratégie optimale ?

    Les MDP pour décider

    Mais qu’est-ce qu’un MDP exactement ? Dans le contexte de cette recherche, c’est un système à états finis dont l’évolution est déterminée à la fois par les décisions (choix d’action), mais également par le hasard. Voilà à quoi ressemble un tel animal :

    Un exemple de MDP
    Ce MDP illustre un exemple issu de l’article. C’est un jeu classique : il y a deux portes, et un tigre se cache derrière l’une des deux. On doit choisir quelle porte ouvrir, mais on ne sait pas où est le tigre. Grâce à l’action “écouter” (“listen” dans l’illustration) on peut révéler où se cache le tigre avec une probabilité positive.
    Crédits: les auteurs.

     

    Dans la vie courante, on peut se servir des MDP à de multiples occasions (nous les avions déjà rencontré dans le cas du Cluedo dans un autre article binaire), par exemple pour jouer au « Solitaire », également appelé « Patience » ou encore « Spider Solitaire » dans sa célèbre variante. La situation ci-dessous illustre le dilemme de la prise de décision dans un MDP : faut-il placer un des deux rois noirs sur la pile vide à gauche ? Si oui, lequel des deux ? Le choix est épineux car certaines cartes sont masquées et ne seront révélées qu’ultérieurement.

    Jeu de Solitaire
    Le jeu de Solitaire. Même quand toutes les cartes sont révélées, le problème est difficile : cf https://web.stanford.edu/~bvr/pubs/solitaire.pdf.
    Crédits: les auteurs.

    Stratégies de résolution des MDP

    Il y a deux grandes catégories d’algorithmes IA pour résoudre un MDP, qui peuvent paraître similaires à première vue mais qui pour les chercheurs en informatique sont bien distinctes. D’une part, il y a les algorithmes qui fonctionnent bien en pratique mais sans garantie de fournir la meilleure solution, ce qui est le cas de la plupart des méthodes d’apprentissage, notamment celles utilisant les réseaux de neurones (DeepRL). D’autre part, il y a les algorithmes qui fournissent à coup sûr une réponse exacte, qui relèvent de l’IA de confiance, basée sur la notion de calculabilité et de problème décidable développé par le génie Alan Turing, pionnier de l’informatique théorique. L’article des chercheurs bordelais appartient à la seconde catégorie : quand l’algorithme proposé produit une stratégie gagnante, on peut utiliser cette stratégie en toute confiance — elle garantit de gagner avec probabilité 1.

    Soyons modestes et réalistes : les techniques d’apprentissage permettent de calculer des stratégies dans des problèmes très complexes alors que les techniques exactes au sens de la théorie de la calculabilité sont pour l’instant circonscrites à des problèmes plus simples, car elles sont en général beaucoup plus gourmandes en ressources de calcul. Par exemple, Google DeepMind a exploité les techniques de DeepRL afin de synthétiser d’excellentes stratégies à StarCraft, un jeu vidéo populaire dans lequel il faut prendre des dizaines de décisions par seconde en fonction de millions de paramètres. L’IA de DeepMind a initialement battu les meilleurs joueurs mondiaux, mais sa stratégie n’était pas parfaite : des contre-stratégies difficilement prévisibles ont ensuite été découvertes.  Les méthodes exactes sont aujourd’hui inexploitables pour résoudre un problème aussi complexe que StarCraft, mais cela ne les empêche pas d’être efficaces en pratique. Par exemple, autre succès bordelais, l’équipe Rhoban du LaBRI a remporté une médaille d’or à la Robocup 2023 en exploitant des méthodes exactes pour résoudre de petits MDP en se basant sur le partage d’informations entre plusieurs robots coopératifs (https://github.com/Rhoban/TeamPlay).

    La difficulté de la résolution exacte de problèmes de décision est très variable en fonction de l’information disponible au moment de la décision. Le cas idéal est celui de l’information parfaite, c’est le cas où toute l’information est disponible. Un exemple classique est celui d’un robot qui doit sortir d’un labyrinthe dont on connaît le plan ainsi que la propre position et orientation exacte du robot. Dans ce cas, le calcul est relativement facile à effectuer : il faut calculer un chemin vers la sortie (par exemple avec l’algorithme de Dijkstra) puis suivre ce chemin avec la suite de commandes de déplacement adéquates. Mais dans les problèmes rencontrés en pratique, il est rare d’avoir toutes les cartes en main. C’est le cas au solitaire, où une partie des cartes est masquée, ce qui nécessite de faire des hypothèses. Dans ce cas, en toute généralité le problème ne peut être résolu de manière exacte, la réponse n’est pas calculable au sens de Turing : aucun algorithme, aussi puissant que soit l’ordinateur sur lequel il est programmé, ne peut résoudre avec exactitude tous les problèmes de contrôle de MDP. C’est assez démoralisant à première vue pour un informaticien mais cela n’arrête pas certains chercheurs en informatique qui s’attellent à trouver des classes de MDP pour lesquelles le problème est moins complexe. En informatique théorique, on appelle cela une classe décidable

    Le travail de recherche primé à AAAI fournit justement une classe décidable de MDP : c’est le cas des problèmes avec « révélation forte », pour lesquels à chaque instant il y a une probabilité non-nulle que l’état exact du monde soit révélé. L’article donne aussi des résultats de décidabilité pour le cas des « révélations faibles », qui garantit que l’état exact du monde ne peut rester inconnu infiniment longtemps.

    Un article de recherche se doit d’être tourné vers le futur, d’ouvrir des pistes. Notre algorithme permet d’analyser les jeux avec des révélations (fortes). Une perspective intéressante est de retourner le problème : on peut se demander plus généralement ce que fait l’algorithme lorsqu’il est utilisé pour n’importe quel jeu, avec ou sans révélations. Cela permet d’envisager d’analyser tous les jeux, même les plus compliqués, mais en restreignant plutôt le type de stratégie que les joueurs utilisent, ou la quantité d’informations qu’ils sont capables de traiter.

    Marius Belly, Nathanaël Fijalkow, Hugo Gimbert, Florian Horn, Guillermo A. Pérez et Pierre Vandenhove

  • Prendre des décisions optimales sans avoir toutes les cartes en main, 1/2 : la genèse d’un papier scientifique

    Les chercheurs ont toujours du mal à expliquer comment la recherche progresse dans un cadre international, pluridisciplinaire et collaboratif. Nous allons illustrer cela avec la genèse d’un article scientifique « Revelations: A Decidable Class of POMDP with Omega-Regular Objectives ». Cet article a été primé par le « Outstanding Paper Award » à la conférence AAAI 2025, la plus prestigieuse conférence internationale en intelligence artificielle (https://aaai.org/). Quatre des auteurs, Marius Belly, Nathanaël Fijalkow, Hugo Gimbert et Pierre Vandenhove, sont au laboratoire bordelais de recherche en informatique (LaBRI). Ils ont collaboré avec des chercheurs à Paris (Florian Horn) et Anvers (Guillermo Pérez). L’article est consultable librement à l’adresse https://arxiv.org/abs/2412.12063. Les auteurs racontent ici pour binaire l’histoire de ce travail. L’intérêt de l’article est d’observer la recherche en train de se faire. Il n’est pas nécessaire de comprendre même leurs résultats. Dans un second article, ils donneront plus de détails sur les contributions scientifiques. Serge Abiteboul et Chloé Mercier.

    La question originale a été posée pendant le workshop « Gamenet » sur la théorie des jeux mêlant informaticiens, mathématiciens et économistes à Maastricht (Pays-Bas) en 2022.  Les résultats mathématiques présentés par Guillaume Vigeral et Bruno Ziliotto sur les phénomènes de “révélations” dans les modèles de jeux à information imparfaite ont suscité la curiosité de Hugo et Florian au sujet des propriétés algorithmiques de ces jeux.

    Le poker est un exemple classique de jeu à information imparfaite : chaque joueur possède à tout moment une information partielle de la partie, à savoir il connaît sa main et ce que les autres joueurs ont annoncé, mais pas la main des autres joueurs. Les jeux à information imparfaite sont extrêmement durs à comprendre d’un point de vue algorithmique, et l’on peut même prouver que, dans des modèles très simples, ils sont “indécidables”, ce qui signifie qu’il n’existe pas d’algorithme permettant de construire une stratégie optimale. Analyser algorithmiquement les jeux à information imparfaite est un vaste programme de recherche, très actif dans le monde académique mais également dans l’industrie : Google DeepMind s’est par exemple attaqué à StarCraft. Son succès a été mitigé puisque, si l’IA a initialement battu les meilleurs joueurs mondiaux, des stratégies imprévisibles contrant l’IA ont ensuite été découvertes.

    Informellement, une “révélation” dans un jeu à information imparfaite correspond à un instant où les joueurs possèdent une connaissance complète de l’état du jeu. Par exemple au poker, lorsque tous les joueurs révèlent leurs cartes. Mais le mécanisme du jeu peut introduire après ce moment à nouveau des incertitudes, par exemple si un joueur pioche une nouvelle carte et ne la révèle pas. A son retour à Bordeaux, Hugo a posé à Nathanaël cette question fascinante : les jeux qui impliquent “régulièrement” des révélations sont-ils plus faciles à analyser d’un point de vue algorithmique ? Intuitivement, la difficulté d’analyser les jeux à information imparfaite est due à la multiplication des possibilités. Mais s’il y a “souvent” des révélations, ce nombre de possibilités devrait être réduit. Nous avons commencé à plancher sur ce sujet à trois : Nathanaël, Hugo, et Florian.

    Hugo et Florian ont rendu visite à Nathanaël pendant son année sabbatique à l’Université de Varsovie (en 2023), et l’hiver polonais leur a permis de faire une première découverte : ils ont prouvé que ces jeux n’étaient pas plus faciles à analyser que le cas général. Au lieu d’abandonner, ils ont décidé de se focaliser sur les processus de décisions Markoviens (MDP), cas particulier des jeux où il n’y a qu’un seul joueur. Dans ce nouveau cadre, ils ont formulé des conjectures et conçu un algorithme pour résoudre ces MDP, mais ils n’avaient pas encore de preuve complète.

    Encouragé par ces résultats, Hugo a proposé à Marius, alors étudiant en Master, d’effectuer son stage de recherche sur cette question au printemps 2023. Après de longs mois à manipuler des outils probabilistes et topologiques et après deux visites à Paris pour travailler avec Florian, les premières preuves ont été couchées sur papier. Le stage a en particulier permis de formaliser une distinction importante : il a distingué entre deux notions différentes de “révélations”, dites “faible” et “forte”. Malgré les progrès, de nombreuses questions restaient ouvertes.

    Pierre a alors commencé un post-doctorat dans l’équipe bordelaise en septembre 2023, peu après la fin du stage de Marius. Il a dévoré son rapport de stage, relançant encore une fois la machine : l’espoir fait vivre et nourrit la recherche. Nous avons alors fait de grands pas en avant, et obtenu des résultats positifs dans le cas de révélations fortes ainsi que des résultats négatifs pour les révélations faibles. Plus précisément, nous avons construit un algorithme permettant d’analyser les jeux avec des révélations fortes, et montré que cela était impossible (indécidable) en cas de révélations faibles. C’est aussi une expérience classique en recherche : lorsque l’on se lance dans un nouveau problème, on commence par faire de tout petits pas. Plus on avance dans la compréhension des objets, et plus on fait de grands pas, jusqu’à résoudre le problème (ou pas). Faire de la recherche, c’est ré-apprendre à marcher à chaque nouveau problème !

    Pour valider nos résultats empiriquement, nous avons collaboré avec Guillermo, expert des méthodes statistiques et exactes pour les jeux stochastiques. L’intérêt de l’algorithme que nous avions construit était d’être conceptuellement très simple et facile à implémenter. Il s’est avéré qu’il permet également en pratique de construire des stratégies plus performantes !

    Un article de recherche se doit d’être tourné vers le futur, d’ouvrir des pistes. Notre algorithme permet d’analyser les jeux avec des révélations (fortes). Une perspective intéressante est de retourner le problème : on peut se demander plus généralement ce que fait l’algorithme lorsqu’il est utilisé pour n’importe quel jeu, avec ou sans révélations. Cela permet d’envisager d’analyser tous les jeux, même les plus compliqués, mais en restreignant plutôt le type de stratégie que les joueurs utilisent, ou la quantité d’informations qu’ils sont capables de traiter.

    Marius Belly, Nathanaël Fijalkow, Hugo Gimbert, Florian Horn, Guillermo A. Pérez et Pierre Vandenhove

  • Un érudit pèse-t-il plus lourd qu’un ignare ?

    Combien pèse un gigaoctet, un tera, un exa ? La question ne vous parait pas avoir de sens. Pourtant elle passionne plus d’un et en particulier l’ami Max Dauchet qui nous initie au sujet. Max Dauchet est un brillant informaticien de l’Université de Lille, spécialiste d’algorithmique et de méthodes formelles pour la programmation.. Serge Abiteboul et Thierry Viéville.

    De Boltzmann à Landauer

    Gauche : Ludwig Boltzmann, (1844 – 1906), © Gerhard Fasol Droite : Rolf Landauer, (1927 – 1999), © IBM Archive

     

     On trouvera à l’adresse  http://maxdauchet.fr/ une version plus détaillée de cet article

    Si la question du poids de la connaissance dans un cerveau fait sourire et n’a guère de sens, celle du poids de l’information chargée dans une clé USB est bien réelle et inspire les Youtubers.

    On parle d’information dématérialisée quand elle est accessible sous forme numérique plutôt que stockée dans des bibliothèques soumises à des contraintes architecturales draconiennes tant le papier est lourd. Jusqu’où peut-on aller dans l’allégement du support ? Rien ou Presque rien ? « Rien » signifierait que l’information est immatérielle. « Presque rien » signifierait qu’elle a un lien irréductible avec la matière. Idéalisme d’un côté, matérialisme de l’autre ? éclairer le distinguo vaut le détour. Le chemin nous fait passer par la thermodynamique et l’entropie, celle-là même qui nous fascine quand il s’agit du cosmos, dont la formule S = k logW orne la sépulture de Boltzmann à Vienne. Il  aboutit à un « Presque rien » que quantifie le principe de Landauer.

    Ce qu’en disent les Youtubers

    Le Youtuber scientifique Théo Drieu a mis en ligne ce printemps la vidéo Combien pèse la totalité d’internet sur sa chaîne Balade Mentale (un million d’abonnés). Il ne s’agit bien entendu pas de la masse des infrastructures du net – des millions de tonnes – ni de l’équivalent en masse de l’énergie consommée – dans les 10 à 15 % de l’électricité de la planète. Il s’agit d’une estimation de la masse des électrons nécessairement mis en jeu pour faire circuler l’information sur le net. Dans la vidéo, l’animateur sacrifie à la loi du genre en tripotant une orange afin de marquer les esprits : la masse des informations sur le net serait celle d’une orange. Drieu ne fait là, comme il l’annonce, qu’actualiser les chiffres avancés par son collègue d’Outre-Atlantique Michael Stevens qui dans une vidéo de 2012 intitulée How Much Does The Internet Weigh? croquait modestement une fraise, les millions de térabits sur le net étant alors moins nombreux que maintenant. Dans cette même vidéo sur sa chaîne Vauce (vingt-deux millions d’abonnés) Stevens évoquait deux aspects : le nombre d’électrons nécessairement mobilisés selon les technologies du moment pour faire circuler l’information, et le nombre nécessaire pour la stocker. Dans ce cas, il estimait la masse inférieure à celle non plus d’une fraise mais d’une graine de fraise[i].

     Ce qu’en disent les chercheurs

    Ce qu’en dit précisément la science est plus saisissant encore, car la limite théorique est des milliards de fois moindre que la masse d’une graine de fraise évoquée par Stevens. Pour le raconter mieux vaut le faire en énergie plutôt qu’en matière, puisque matière et énergie se valent selon la célébrissime formule d’Einstein E = m c².  Cela évite le biais lié à l’usage de la matière pour coder, que l’on peut ajouter, comme la plume encre le papier,  ou retrancher comme le burin incise la pierre.  D’autre part nous nous limitons ici au stockage, sans considérer la circulation de l’information.

    La clé de voûte du raisonnement est le principe formulé en 1961 par Rolf Landauer, physicien américain chez IBM[ii] : l’effacement d’un bit dissipe au moins une énergie de k T log2 Joule, où k est la constante de Boltzmann, T la température absolue (en Kelvin) et log 2 ≈ 0,693. L’irruption de Boltzmann au milieu de l’informatique théorique peut surprendre, c’est pourtant lui qui fait le lien entre la physique-chimie – donc les sciences de la matière – et l’informatique – donc les sciences de l’information.

    Landauer est pour sa part le premier à avoir tiré clairement toutes les conséquences de la théorie de Boltzmann. Les systèmes que considère Boltzmann sont des gaz, avec des milliards de milliards de milliards d’états possibles au niveau de l’ensemble des particules. Landauer applique l’idée de Bolzmann sur un système à … deux états, le 0 et le 1, juste de quoi stocker un bit. Pour étudier les propriétés d’un bit d’information, il applique ainsi un concept – l’entropie – basé sur quatre siècles d’intenses recherches en physique-chimie.  On comprend que les laboratoires de physique demeurent mobilisés pour monter des expériences de confirmation ou d’invalidation de la proposition de Landauer, car de leurs résultats dépend notre conception des rapports entre matière, énergie et information.  Ces expériences se situent au niveau quantique et font face à des phénomènes complexes comme les fluctuations statistiques d’énergie qui sont ici passés sous silence. Le présent regard est celui d’un informaticien, illustré par un petit démon imaginé par Maxwell, démon qui lui aussi a suscité de nombreuses vidéos.

    L’entropie, une histoire de gaz et de piston

     Wikipédia définit l’entropie comme une grandeur physique qui caractérise le degré de désorganisation d’un système. Cette notion  naît de l’étude du rendement de la machine à vapeur et des travaux de Carnot sur les échanges de chaleur, autrement dit de la thermodynamique au sens littéral du terme. Le principe de Carnot dit que sans apport extérieur d’énergie, une source chaude et une source froide s’équilibrent irréversiblement en un système de température homogène. Ce principe a été généralisé en ce qui est maintenant le deuxième principe de thermodynamique, en introduisant la notion d’entropie pour quantifier « le désordre » vers lequel tout système sans apport extérieur d’énergie évolue inexorablement selon ce principe.

    Clausius relie en 1865 la baisse d’entropie d’un gaz parfait à la la chaleur que dégage le travail d’un piston qui comprime le gaz à température constante[iii].

     Quelques années plus tard, Bolzmann propose une définition radicalement différente de l’entropie S. Cette définition s’appuie sur la description statistique de l’état du gaz et aboutit à la formule  S = k log W déjà évoquée (la version étendue de cet article montre l’équivalence des deux approches).

    W est la clé du lien avec le numérique, ce symbole  désigne le nombre de configurations possibles du gaz en considérant la position et de la vitesse de chaque particule. Quand le piston divise par deux le volume du gaz, le nombre possible de positions d’une particule est également divisé par deux :  Pour chaque particule, il n’y a plus à préciser si elle est à gauche ou à droite dans la boite. Landauer en déduira plus tard que c’est l’effacement de cette information pour chaque particule qui produit la chaleur.

    Cette présentation de l’entropie de Boltzmann et de son interprétation par Landauer enjambe l’histoire. Entre temps, les réflexions des physiciens ont évolué pas à pas, et elles ne sont pas closes. Le démon de Maxwell illustre ces réflexions.

    Le démon de Maxwell : quand le calcul et la mémoire s’en mêlent

    Se plaçant comme Boltzmann au niveau des particules, Maxwell proposa une expérience de pensée comme les physiciens aiment à les imaginer.

    Maxwell considéra une boîte partagée en deux par une cloison munie d’une trappe qu’un démon actionne sans frottement de façon à faire passer une à une des particules[iv]. En les faisant passer de gauche à droite, le démon « range les particules », il diminue l’entropie du gaz sans fournir de travail, contrairement au piston : le deuxième principe de thermodynamique est contredit !

    Pour lever la contradiction, les physiciens cherchèrent du côté des calculs effectués par le démon de Maxwell, considérant que si celui-ci n’exerce pas sur le gaz un travail mécanique, il exerce en quelque sorte un travail intellectuel, il observe, il acquière de l’information et il calcule. Tel fut le point de vue de Szilárd, un des principaux scientifiques du projet Manhattan connu pour son opposition farouche à l’usage de la bombe atomique[v]. Puis Brillouin[vi] ébaucha l’idée ensuite érigée en principe par Landauer que c’est l’effacement d’information qui augmente l’entropie, comme nous allons le préciser.

    Le principe de Landauer : du gaz à l’ordinateur

    Le principe de Landauer est une extrapolation de la formule de Boltzmann aux systèmes informatiques. La relation entre énergie et nombre de micro-états est étendue par analogie.

    Landauer pose directement la formule de Boltzmann  en considérant un seul bit de mémoire comme un système à deux états possibles, 0 et 1 [vii]. Si le bit est effacé, il n’y a plus qu’un seul état, l’entropie a donc diminué et ce travail d’effacement s’est dissipé en chaleur. 

    Retour sur le démon de Maxwell 

    Pour la simplicité de l’interprétation numérique, nous avons seulement considéré plus haut le cas où le volume du gaz est réduit de moitié. Mais le parallèle entre le piston et le démon doit tenir pour tous les taux de compression. Pour pouvoir revenir aux conditions initiales, le démon doit compter les particules de gauche à droite, afin d’en renvoyer autant si l’on poursuit le parallèle avec le piston. D’après Landauer, pour ne pas chauffer, le démon ne doit effacer aucun bit intermédiaire, ce qui n’est pas le cas avec l’addition habituelle mais est réalisé par exemple en « comptant des bâtons ». Or le démon fait partie du système physique considéré dans l’expérience de pensée, il doit donc être remis dans son état d’origine si l’on veut faire un bilan énergétique à l’issue de la compression comme c’est le cas ici. Autrement dit, il doit alors effacer sa mémoire, ce qui dégage la chaleur prévue par la physique. 

    Réversibilité et entropie

    Pour imaginer un système informatique ne consommant aucune énergie, ce système ne doit donc effacer aucune information durant ses calculs, ce qui revient à considérer des machines logiquement réversibles, où l’on peut remonter pas-à-pas les calculs comme si on remontait le temps . C’est ainsi que nous avons réinterprété le démon. Les opérateurs logiques et arithmétiques usuels ne sont évidemment pas réversibles (l’addition et le ET perdent les valeurs de leurs données) . Cependant Bennett[viii], [ix], [x] a montré que l’on peut rendre tout calcul logiquement réversible en donnant un modèle de machine de Turing conservant l’historique de tous ses calculs. Ces considérations sont particulièrement prometteuses pour les ordinateurs quantiques, où la superposition d’états dans les q-bits conduit (sous les nombreuses contraintes liées à ce type de machine) à considérer directement des opérateurs réversibles.

    Les physiciens continuent de se passionner pour le principe de Landauer[xi], imaginant des nano machines parfois extravagantes, à cliquets, escaliers, poulies ou trappes et construisant des expériences de plus en plus fines[xii] pour mesurer l’énergie dégagée par l’effacement d’un bit[xiii]. Jusqu’à présent, le principe est confirmé, dans le cadre de la physique classique comme de la physique quantique. Il n’est cependant pas exclu que sa limite soit un jour abaissée, notamment en exploitant des propriétés de la physique quantique encore mal connues. Cela remettrait en cause les interprétations qui viennent d’être décrites, et ce serait alors une nouvelle source de progrès dans les modèles scientifiques de l’organisation de la matière et de l’information.

    En guise de conclusion

    La limite de Landauer commence à influencer l’architecture des systèmes et plaide pour l’informatique quantique. Elle fournit un horizon qui nous incite à méditer sur ce qu’est le traitement de l’information, que ce soit par le vivant ou la machine.

    La théorie associe à l’information une masse minimale de matière  bien moindre encore que celle mise en scène par les Youtubers, déjà spectaculaire par sa modicité.  De même il faut peu de matière pour libérer beaucoup d’énergie (bombe, centrale nucléaire) et beaucoup d’énergie pour générer quelques particules (au LHC du CERN). Le second principe de thermodynamique et l’entropie nous font penser qu’il est plus facile de désordonner que de structurer. Pourtant l’univers fabrique sans cesse de nouveaux objets cosmiques et la vie s’est développée sur terre[xiv]. Nous devons nous méfier de nos appréciations sur le petit ou le grand, le beaucoup ou le peu, qui sont des jugements attachés à notre échelle et à notre condition.

    Max Dauchet, Professeur Émérite de l’Université de Lille.

    [i] Estimation tirée d’articles universitaires. Cinquante ans avant, Richard Feynman, prix Nobel de physique , dans sa célèbre conférence de 1959 intitulée There’s Plenty of Room at the Bottom, annonciatrice de l’essor des nanotechnologies, estimait que l’on pourrait coder avec les technologies de l’époque toutes les connaissances du monde dans un grain de poussière, et indiquait les pistes pour le faire.

    [ii] Rolf Landauer, Irreversibility and Heat Generation in the Computing Process, IBM Journal of Research and Development, 5(3), 183–191 (1961).

    [iii] Die mechanische Wärmetheorie, Friedrich Vieweg und Sohn ed (1865 -1867).

    [iv] Historiquement, le démon trie les particules les plus rapides et les plus lentes, distribuées statistiquement autour de la valeur moyenne, pour créer une source chaude et une source froide  à partir d’un milieu en équilibre thermique.

    [v] La première planche de La bombe, BD consacrée au projet Manhattan, illustre un cours de Szilárd sur le sujet en 1933. Alcante, Bollée, Rodier, Ed. Glénat, 2020.

    [vi] Brillouin est sans doute un des noms les moins connus de ceux cités ici. Alfred Kastler, prix Nobel de physique, lui rendait hommage dans les colonnes du Monde lors de sa disparition 1969 : Léon Brillouin : un des plus brillants physiciens français.

    [vii] En réalité un réseau de bits statistiquement liés, pour des raisons de phénomènes physiques.

    [viii] C. H. Bennett, Logical reversibility of computation, IBM journal of Research and Development, 1973.

    [ix] J.-P. Delahaye, Vers du calcul sans coût énergétique, Pour la science, pp 78-83, janvier 2017

    [x] C. H. Bennett, Notes on Landauer’s Principle, Reversible Computation, and Maxwell’s Demon, 2002       https://arxiv.org/abs/physics/0210005

    [xi] La plupart des références données ici sont les références historiques – il est souvent instructif de découvrir les idées « dans leur jus ». Cependant il suffit de parcourir le net pour en trouver des récentes en pagaille.

    [xii] Les fluctuations statistiques ici négligées y jouent un rôle important.

    [xiii] Séminaire information en physique quantique  de l’Institut Henri Poincaré, 17/11/2018 . vidéos sur carmin.tv, les mathématiques vivantes. Landauer et le démon de Maxwell, Sergio Ciliberto. Thermodynamique et information, Kirone Mallik.

    [xiv] Dans son article déjà cité, Bennett évoque l’économie de moyens de la duplication des gènes, déjà remarquée  par Landauer en 1961.

  • De l’apprentissage à l’éducabilité, de Vapnik à Valiant

    Max Dauchet nous a parlé ici d’une nouvelle théorie de l’apprentissage Probablement Approximativement Correct (PAC) en présentant le dernier livre de Leslie Vaillant. Ici, pour nous permettre d’aller un peu plus loin, il nous fait partager l’évolution scientifique d’une approche purement statistique à la vision scientifique de l’apprentissage. Max y arrive, sans alourdir son propos d’aucune équation. Serge Abiteboul et Thierry Viéville.

    Pour mieux situer les travaux de Leslie Valiant, il faut évoquer ceux conduits antérieurement en URSS par Vladimir Vapniki.

    La dimension de Vapnik-Chervonenkis (VC-dimension). 

    La motivation de Vapnik et ses collègues est purement statistique : comment assurer qu’un modèle minimise à la fois l’erreur sur les données d’apprentissage (erreur empirique) et l’erreur de généralisation sur l’ensemble des données ? Comme lors des sondages électoraux, par exemple : s’assurer que ce qui est approximativement vrai sur un échantillon, l’est toujours à peu près sur toute la population visée.

    Cette propriété, appelée convergence uniforme, n’est évidemment pas satisfaite en général. En fait, si un modèle possède tellement de paramètres à ajuster, qu’il puisse coller très précisément et de manière spécifique aux données d’apprentissage, il ne saura pas bien prédire des données plus générales.

    La VC-dimension est un indicateur de ces classes de modèles – souvent désignées par le terme de classes de concepts – qui conditionne la convergence uniforme. 

    Pour définir la VC-dimension, considérons un ensemble de données et une classe de modèles. Pour chaque modèle, une donnée satisfait ou ne satisfait pas ce modèle. Par exemple, si l’on considère comme données les points d’un carré de taille 1 du plan, et comme modèles les portions de demi-plans inférieuresii, alors pour tout demi-plan, une donnée appartient ou non à ce demi-plan.
    La suite de la définition repose sur la possibilité pour les modèles de prédire si les données correspondent ou pas au modèle. On parle de pulvériser (shatter) des échantillons finis de données pour une classe C de modèles et un échantillon D de données, si pour tout sous-échantillon D’ de D, il existe un modèle de C tel que D’ est la partie de D satisfaisant ce modèle.

    Figure 1 : tout échantillon de deux données est pulvérisé par un demi-plan  : que A ou B lui appartiennent ou ne lui appartiennent pas , il y a toujours un demi plan qui satisfait ce résultat.

    La Figure 1 illustre que tout couple de points peut être pulvérisé par des demi-plansiii. Par contre un échantillon de 3 points n’est pas pulvériséiv. La VC-dimension d’une classe de modèles C est alors le plus grand nombre d’échantillons d tel que tous les échantillons D de cette taille soient pulvérisables.

    Dans notre exemple, la classe des fonctions affines (ces droites qui définissent des demi-plan) est donc de VC-dimension 2, puisqu’elles pulvérisent tous les couples de 2 points, mais pas de 3.

    Figure 2 : approximer par une classe de modèles ni trop simple ni trop large, les données correspondant aux 5 points, en noir par une droite, en pointillé rouge par une parabole, en violet par une courbe qui passe par tous les points.

     

    La Figure 2 illustre l’influence de la VC-dimension. Une parabole (que l’on ignore) définit la fonction à approximer à partir d’échantillons bruités. La classe des fonctions affines (VC-dimension 2) est trop pauvre, l’erreur empirique est grande. La classe des polynômes de degré 5 (VC-dimension 6) est trop riche, elle permet un sur-apprentissage (erreur empirique faible ou nulle mais erreur de généralisation forte).

    Dans leur papier fondateur, Vapnik et Chervonenkis établissent que la convergence est uniforme si et seulement si la VC-dimension est finie, et ils bornent en fonction de cette dimension la taille des échantillons nécessaires pour obtenir un résultat d’une précision donnée.

     Du cadre de pensée de Vapnik à l’ingénierie algorithmique de Valiant

    En un mot : un algorithme ne rase pas gratisvi . Les travaux de Vapnik et Chervonenkis sur la VC-dimension sont publiés en anglais en 1971 dans une revue soviétique renommée. Lorsqu’il introduit l’apprentissage PAC treize ans plus tard, Valiant ne cite pas Vapnik. Pourtant dans la foulée du papier de Valiant il est vite démontré  qu’un concept est PAC apprenable si et seulement si sa VC-dimension est finie.

    Il y a donc une concordance entre l’approche statistique et l’approche algorithmique,  résultat remarquable qui ancre la problématique de l’apprentissagevii. Et c’est la notion de complexité algorithmique promue par Valiant qui a depuis inspiré l’essentiel des recherches en informatique, parce qu’en général la VC-dimension ne dit pas grand-chose du fait qu’il puisse exister un algorithmique d’apprentissage.

     L’ingénierie algorithmique de Valiant appliquée au réseaux de neurones

     On peut voir également les réseaux d’apprentissage profond avec des neurones artificiels comme des classes de concepts. Une architecture constitue une classe dans laquelle l’apprentissage consiste à trouver un concept en ajustant les coefficients synaptiques. Il est difficile d’en estimer la VC-dimension mais celle-ci est considérable et n’aide pas à expliquer l’efficacité. Comme l’évoquait Yann le Cun déjà cité, l’efficacité d’un réseau profond de neurones et l’importance de bien le dimensionner sont à rechercher dans son adéquation aux structures cachées du monde où il apprend, ce qui rejoint à très grande échelle la problématique sommairement illustrée par la Figure 1. On perçoit bien que disposer d’un cadre théorique solide, ici la notion d’apprenabilité, fournit un cadre de pensée mais ne fournit pas l’ingénierie nécessaire pour le traitement d’une question particulière. Les recherches ont de beaux jours devant elles. Pour en savoir beaucoup plus sur l’apprentissage en sciences informatiques et statistiques, les cours, articles et ouvrages accessibles sur le net ne manquent pas. Le panorama précis de Shai Shalev-Shwartz et Shai Ben-Davidviii peut être combiné avec les vidéos des cours de Stéphane Mallat, titulaire de la chaire de sciences des données au Collège de France.

    Max Dauchet, Université de Lille.

    i Vapnik, V. N., & Chervonenkis, A. Y. (1971). « On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities. » Theory of Probability and its Applications, 16(2), 264-280.

    ii Ensemble des points sous la droite frontière. Il faut en effet considérer les demi-plans et non les droites pour appliquer rigoureusement la définition en termes d’appartenance d’une donnée à un concept.

    iii Sauf si les deux points ont même abscisse, ce qui a une probabilité nulle. Pour un échantillon de deux données, il y a 4 cas à étudier, et il y en a 2dpourddonnées.

    iv A delà des fonctions affines, qui sont des poylynômes de degré 1, on établit sans peine que la classe des polynômes de degré n est de VC-dimension n+1. La classe de l’ensemble des polynômes est donc de VC-dimension infinie.

    v Soit A le point de plus faible ordonnée. Pour aucun demi-plan inférieur A n’est au dessus et les deux autres points en dessous de la droite frontière.

    vi En référence au No-Free-Lunch -Theorem qui stipule qu’il n’y a pas d’algorithme universel d’apprentissage.

    vii Valiant passera toujours les travaux de Vapnik sous silence, on peut se demander pourquoi, alors qu’il aurait pu faire de la VC-dimension un argument en faveur de la pertinence de sa propre démarche sans prendre ombrage de Vapnik. C’est qu’en général la VC-dimension ne dit pas grand-chose de la praticabilité algorithmique. En effet, pour de nombreuses classes d’intérêt, le nombre n de paramètres définit une sous classe Cn : c’est le cas pour le degré n des polynômes, la dimension n d’un espace ou le nombre n de variables d’une expression booléenne. Or, c’est la complexité relative à cet qu’adresse l’algorithmique et la VC-dimension de Cn ne permet pas de la calculer, même si elle est parfois de l’ordre de n comme c’est le cas pour les polynômes. Ainsi, selon les concepts considérés sur les expressions booléennes à n variables ( les structures syntaxiques comme CNF, 3-CNF, DNF ou 3-terms DNF sont des classes de concepts), il existe ou il n’existe pas d’algorithme d’apprentissage en temps polynomial relativement à n, même si la VC-dimension est polynomiale en n.

    viii Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning :From Theory to Algorithms, Cambridge University Press, 2014.

  • Ce qu’il faut savoir sur les compilateurs et leur vérification (2/2)

    Sandrine Blazy, Professeure à l’université de Rennes et directrice adjointe de l’IRISA, est une spécialiste des compilateurs et des logiciels sûrs. Elle a développé avec Xavier Leroy, CompCert, le premier compilateur pour le langage C vérifié à l’aide de Coq. Pour ce véritable tour de force scientifique et technique, elle a obtenu la médaille d’argent du CNRS (une des plus belles récompenses scientifiques en France). Si vous ne comprenez pas en quoi cela consiste, Sandrine va l’expliquer à binaire et ce sera l’occasion d’un peu mieux comprendre ce qui se passe dans un ordinateur. Serge Abiteboul et Pierre Paradinas

    Deuxième partie de l’article.

    © Jean-Claude MOSCHETTI / IRISA / CNRS Images

    La sémantique de ces langages et la vérification déductive

    Dès l’invention des premiers langages de programmation, s’est posée la question de savoir comment définir précisément un langage, c’est-à-dire comment décrire le comportement de tout programme. Une première réponse pragmatique a été de considérer qu’un langage est défini par son compilateur (compiler le programme pour l’exécuter ensuite et observer certains de ses comportements). Une seconde réponse est venue à nouveau des mathématiques, cette fois-ci de la logique mathématique. En effet, indépendamment du développement des premiers ordinateurs, des logiciens ont proposé des théories des langages de programmation, focalisées sur des langages de programmation théoriques, comme le lambda calcul de Church (1930), dont les principes seront par la suite mis en œuvre dans les langages de programmation fonctionnelle. Ainsi sont apparus les formalismes fondamentaux caractérisant un langage de programmation, notamment la syntaxe, la sémantique formelle (caractériser sans ambiguïté le comportement attendu de tout programme, quelles que soient ses valeurs fournies en entrée) et ses différents styles, et les principes de raisonnement déductif associés. Ces formalismes sont toujours l’objet de recherches actives.

    Un de ces styles sémantiques est à l’origine de la vérification déductive, qui permet d’avoir des garanties très fortes sur l’absence d’erreurs dans les logiciels. Cela été l’occasion de revisiter et pousser plus loin les premières intuitions de Turing lorsqu’il avait démontré la correction de son organigramme. La vérification déductive permet de démontrer mathématiquement la correction d’un logiciel, c’est-à-dire qu’il satisfait sa spécification, écrite dans un langage logique pour éviter toute ambiguïté du langage humain. Aujourd’hui, grâce à la vérification déductive, on dispose de logiciels vérifiés, constitués d’un logiciel et d’une preuve de sa correction, qu’on peut rejouer ou fournir à un tiers de confiance. Cette preuve nécessite de raisonner sur des propriétés du langage dans lequel est écrit le logiciel, en particulier sur la sémantique formelle de ce langage.

    Avec des langages réalistes, le raisonnement ne peut plus se faire à la main, mais il nécessite d’être automatisé par des outils logiciels d’aide à la preuve. Les premiers de ces outils sont apparus au début des années 70. De même que les premières machines ont été conçues pour mécaniser la résolution d’équations, les sémantiques formelles et la logique ont permis de mécaniser le raisonnement déductif sur les programmes, et donc de développer les outils logiciels automatisant les idées issues des intuitions de la fin des années 60. Ces outils ont beaucoup progressé ces dernières années. Ils se regroupent en deux familles :

        1. les logiciels de preuve automatique, qui prennent en charge la totalité d’une preuve, en déchargeant les formules logiques à prouver vers des solveurs de logique capables de déterminer si ces formules sont vraies ou fausses; et
        2. les assistants à la preuve, des logiciels qui permettent de mener une preuve mathématique vérifiée par ordinateur, c’est-à-dire une démonstration en interaction avec l’assistant de preuve, au moyen de commandes indiquant comment progresser. L’assistant de preuve automatise une partie du raisonnement, s’assure que la démonstration est complète et respecte les lois de la logique mathématique, alors que l’utilisateur décide comment raisonner et progresser dans le raisonnement.

    Mener une preuve de correction est une activité à part entière, qui nécessite d’inventer puis établir les invariants (sémantiques) du logiciel, qui sont des assertions devant être garanties à tout moment de l’exécution du programme. Cela peut nécessiter de définir les principes de raisonnement associés. Le programme “majorité” (Boyer, Moore, 1980) déterminant de façon efficace le candidat majoritaire (i.e., qui remporte une élection à scrutin majoritaire) d’un ensemble de bulletins de vote en est une illustration. Le programme est surprenant de par sa simplicité, mais sa compréhension demande à réfléchir à son invariant qui est difficile à trouver, car cela nécessite d’imaginer un arrangement des bulletins de vote, qui n’est pas calculé par le programme. On se retrouve ainsi dans le cas plus général où il est nécessaire d’inventer pour les besoins de la preuve une structure de données qui n’est pas utile au programme.

    Retournons au début des années 70. Le premier programme dont la preuve a été mécanisée est un compilateur rudimentaire d’un langage d’expressions arithmétiques (Milner, 1972, LCF). Un compilateur était un exemple représentatif d’un programme particulièrement complexe. Le théorème de correction d’un compilateur exprime que le code produit doit s’exécuter comme prescrit par la sémantique du programme source dont il est issu. C’est une propriété de préservation sémantique, qui devient mathématiquement précise dès lors qu’on dispose de sémantiques formelles (pour les langages source et cible du compilateur). Ici, il devient : pour toute expression, sa valeur calculée par la sémantique du langage source est exactement la valeur renvoyée par l’exécution du code de l’expression compilée. Ce théorème est établi une seule fois, pour toute expression donnée en entrée au compilateur. Désormais, la vérification de ce petit compilateur jouet de 1972 est enseignée à titre d’exercice dans des cours de master.

    Aujourd’hui, le compilateur demeure un logiciel particulièrement complexe (de par les nombreuses optimisations qu’il effectue afin de produire du code efficace), mais également le point de passage obligé dans la chaîne de production du logiciel. Aussi, le vérifier permet de s’assurer qu’aucune erreur n’est introduite lors de la compilation, et de préserver les garanties obtenues au niveau source sur le logiciel. L’idée d’avoir un théorème unique démontré une fois pour toutes, ainsi qu’une preuve lisible était déjà présente en 1972, mais il a fallu attendre plusieurs dizaines d’années pour que la compilation vérifiée se développe et passe à l’échelle.

    Diagram of the CompCert compiler

    CompCert est le premier compilateur optimisant ciblant plusieurs architectures et utilisé dans l’industrie, qui soit doté d’une preuve mathématique de correction vérifiée par ordinateur. Cette preuve a été menée avec l’assistant à la preuve Coq. C’est un compilateur modérément optimisant du langage C, le langage le plus utilisé dans l’industrie pour programmer des logiciels embarqués critiques, dont le mauvais comportement peut avoir des conséquences catastrophiques. C’est aussi un projet de recherche qui a démarré il y a vingt ans, et également un logiciel commercialisé par la société AbsInt, qui a été employé dans l’industrie pour compiler des logiciels embarqués critiques utilisés dans l’avionique et le nucléaire. Dans ces domaines, l’intérêt pour CompCert a résulté d’un besoin d’améliorer les performances du code produit, tout en garantissant des exigences de traçabilité requises par les processus de développement en vigueur dans ces domaines critiques, ce qu’a effectivement permis CompCert.

    Le langage C a été conçu au début des années 70, afin de laisser davantage de liberté aux écrivains de compilateurs pour programmer au plus près de la machine. Ce langage n’a pas été conçu avec l’optique d’être mathématiquement défini. Établir la correction de CompCert a nécessité de définir une sémantique formelle du langage C qui décrit non seulement des programmes fournissant un résultat final (comme le compilateur jouet de 1972), mais aussi des programmes dont l’exécution ne termine jamais, comme ceux utilisés par les commandes de vol d’un avion. Le théorème de correction établit que ces comportements sont préservés lors de la compilation.

    © Jean-Claude MOSCHETTI / IRISA / CNRS Images

    Pour mener cette preuve, il a fallu résoudre plusieurs défis :

        1. se fonder sur des formalismes adaptés,
        2. avoir des principes de raisonnement associés (notamment proposer un style sémantique adapté au raisonnement inductif), et plus généralement une méthodologie de preuve passant à l’échelle, et enfin,
        3. disposer d’outils logiciels facilitant la mise en oeuvre de ces formalismes et automatisant le raisonnement.

    CompCert a reçu plusieurs récompenses, dont l’ACM software system award en 2022, le prix le plus prestigieux décerné à un logiciel issu de la recherche, qui a par la passé été décerné aux compilateurs C les plus utilisés, GCC (2015) et LLVM (2012).

    CompCert est un jalon. Il a montré qu’il est désormais possible de mener des preuves sur des objets aussi complexes que des compilateurs réalistes. Les formalismes et la méthodologie de preuve qu’il propose ont été réutilisés dans plusieurs projets de recherche en France et à l’étranger. Par exemple, à Rennes, nous poursuivons nos travaux dans le but de doter CompCert de davantage de possibilités de compilation, et d’offrir des garanties supplémentaires en matière de sécurité logicielle.

    Sandrine Blazy

    Pour aller plus loin retrouvez  :

        • La vidéo du CNRS à l’occasion de la Médaille d’argent de Sandrine
        • La vidéo pour le Prix ACM décerné au logiciel CompCert
  • Un exercice avec ChatGPT

    Un exercice obligé en ce moment est de rédiger un texte avec ChatGPT pour illustrer ce que ce logiciel peut faire. Cela peut être une dissertation de philo pour le bac. Ici, Claire Mathieu, une amie et grande contributrice de binaire, demande à ChatGPT de rédiger le rapport de la mission Gillet au sujet de l’évolution de l’écosystème de la recherche en France.  Serge Abiteboul
    Cet article est repris de  Academia.hypotheses.org hébergé par la plateforme Hypothèses, une plateforme d’OpenEdition pour les blogs de recherche en sciences humaines et sociales.
    Sa version en pdf :  UtiliserChatGPT.

    Introduction

    Pour explorer le potentiel de ChatGPT comme assistant1, essayons la tâche de rédaction d’un rapport. Ici, nous avons pris pour exemple la mission confiée fin 2022 à Philippe Gillet par Sylvie Retailleau, ministre de l’Enseignement Supérieur et de la Recherche, lui demandant un rapport au sujet de l’évolution de l’écosystème de la recherche en France.

    https://www.flickr.com/photos/192902634@N05/52878130124/in/photolist-2oyEeQG-2ood7q4-2oo8aXS-2ooccEy-2oqTj89-2o89QAj-2oiMPXZ-2oq9UPn-2owVA36-2oespQo-2ob4nys-2oqs5pY-2ood3rc-2od9s9g-2owCwum-2oob2w1-2ovTvJf-2ocFAkw-2oAsvpm-2omMX5s-2oaKYyK-2om8AJR-2ooaR4H-2oo7Zdf-2obE6Pa-2ooaTzj-2oyScUy-2oqgFcH-2oi1iJR-2oAJXYt-2ocxZ7B-2ooc8uE-2o6m5bA-2oocfKb-2otrA6x-2ooccc9-2oo83WH-2oyfTds-2owANwt-2oigrZ4-2owV4pq-2odnFMW-2owouv8-2oyiwiL-2oq95Ge-2ousxEP-2kUcD6i-2ovtwKn-2oC8pJM-2o53ad8

    Crédit: Focal Foto,2023

    Conversation avec ChatGPT

    Prompt #1: Voici une lettre de mission de la ministre de l’enseignement superieur et de la recherche: Les deux dernières décennies ont été marquées par des transformations majeures qui ont conduit à l’émergence d’acteurs plus autonomes et maîtres de leur stratégie de recherche, à des politiques de site renforcées. a ministre, Madame Retailleau, a missionné Philippe Gillet sur « les évolutions de l’écosystème national de la recherche et de l’innovation », il s’agit justement de « poursuivre et renforcer ce qui a été mis en place à travers les PEPR ». Et dans cette logique la lettre de mission met en avant la « notion d’agences de programmes ». Que contiendra le rapport écrit en réponse à la lettre de mission?

    ChatGPT

    Le rapport écrit en réponse à la lettre de mission abordera les différentes dimensions de l’écosystème national de la recherche et de l’innovation, en se concentrant sur les évolutions et les améliorations possibles. Voici quelques éléments clés que le rapport pourrait inclure :

    1. Analyse de l’écosystème actuel : Le rapport dressera un état des lieux de l’écosystème national de la recherche et de l’innovation, en examinant les acteurs impliqués, les politiques en place et les résultats obtenus au cours des dernières décennies. Il identifiera les forces et les faiblesses de l’écosystème existant.
    2. Renforcement des acteurs autonomes : Le rapport mettra en avant l’émergence d’acteurs plus autonomes et maîtres de leur stratégie de recherche. Il proposera des mesures pour renforcer cette autonomie, en favorisant la collaboration entre les institutions de recherche, les universités, les entreprises et les organismes publics.
    3. Politiques de site renforcées : Le rapport examinera les politiques de site mises en place et évaluera leur efficacité. Il formulera des recommandations pour renforcer ces politiques, notamment en encourageant la spécialisation et la complémentarité des sites de recherche, en favorisant les synergies entre les acteurs locaux et en renforçant les partenariats public-privé.
    4. Les Plans d’Ensemble Pluriannuels de la Recherche (PEPR) : Le rapport évaluera l’impact des PEPR et proposera des mesures pour poursuivre et renforcer ce qui a été mis en place à travers ces plans. Il examinera la pertinence des priorités fixées, l’allocation des ressources et les mécanismes de suivi et d’évaluation.
    5. Notion d’agences de programmes : Le rapport explorera la notion d’agences de programmes dans le contexte de l’écosystème national de la recherche et de l’innovation. Il analysera les avantages potentiels de la création de telles agences, en termes de coordination, de financement ciblé et de promotion de la recherche de pointe. Il proposera des recommandations sur la manière de mettre en place ces agences et de les intégrer efficacement dans le paysage de la recherche et de l’innovation.

    Le rapport fournira également des données statistiques, des exemples de bonnes pratiques nationales et internationales, ainsi que des propositions concrètes pour améliorer l’écosystème de la recherche et de l’innovation en réponse aux orientations de la lettre de mission.

    Commentaire : Dans cette première réponse, ChatGPT utilise les bons éléments de langage, mais il se contente de rappeler des définitions de termes (tout en se trompant sur la signification de l’acronyme PEPR) et fait beaucoup de recommandations génériques (analyser, explorer, examiner, faire un état des lieux, faire des recommandations) qui valent pour n’importe quel rapport sur n’importe quoi. Ce n’est pas cela que doit contenir le rapport. Il faut lui demander de creuser.
    Prompt #2: que pourraient être ces propositions concrètes ?

    ChatGPT

    Voici quelques exemples de propositions concrètes qui pourraient être incluses dans le rapport :

    1. Renforcement de la coopération interinstitutionnelle : Encourager les collaborations entre les institutions de recherche, les universités et les entreprises en facilitant l’échange d’expertise, de ressources et de bonnes pratiques. Mettre en place des incitations et des mécanismes de soutien financier pour promouvoir les partenariats public-privé.
    2. Développement de pôles d’excellence : Identifier et soutenir les domaines de recherche où la nation peut se positionner en tant que leader mondial. Investir dans ces pôles d’excellence en fournissant des ressources supplémentaires, en favorisant le recrutement de talents et en établissant des infrastructures de pointe.
    3. Accroissement des financements compétitifs : Augmenter les financements alloués à la recherche et à l’innovation par le biais de programmes compétitifs. Encourager les chercheurs et les institutions à participer à des appels à projets, en mettant l’accent sur l’excellence scientifique, l’impact socio-économique et la collaboration internationale.
    4. Renforcement du transfert de technologie : Mettre en place des mécanismes pour faciliter le transfert des connaissances et des technologies issues de la recherche vers le secteur privé. Encourager les partenariats entre les chercheurs et les entreprises, promouvoir la création d’entreprises innovantes et simplifier les procédures de valorisation de la recherche.
    5. Promotion de la recherche interdisciplinaire : Encourager la collaboration entre les différentes disciplines scientifiques en soutenant la recherche interdisciplinaire. Créer des incitations pour les chercheurs à travailler ensemble sur des projets transversaux et favoriser l’émergence de nouvelles approches et découvertes grâce à cette synergie.
    6. Renforcement des mécanismes d’évaluation et de suivi : Améliorer les processus d’évaluation et de suivi de la recherche et de l’innovation. Mettre en place des critères clairs pour évaluer l’impact et la qualité des projets de recherche, et utiliser ces évaluations pour allouer les financements de manièr plus efficace.
    7. Promotion de la mobilité des chercheurs : Encourager la mobilité internationale des chercheurs en facilitant les échanges, les collaborations et les séjours de recherche à l’étranger. Mettre en place des programmes de bourses et des infrastructures de soutien pour promouvoir la mobilité et l’échange d’idées.

    Ces propositions sont données à titre d’exemples et peuvent varier en fonction des besoins et des spécificités de chaque pays. Le rapport pourrait également inclure des recommandations sur les modalités de mise en œuvre de ces propositions, les ressources nécessaires et les indicateurs de suivi et d’évaluation.

    Commentaire : cette fois-ci, ChatGPT a fait des recommandations qui pourraient effectivement être mises dans le rapport. Cependant, les mots “ces propositions..  peuvent varier en fonction… des spécificités de chaque pays” montrent que ce serait un rapport avec des recommandations génériques pour la recherche, mais pas spécialement en France. Voyons si on peut obtenir quelque chose de plus précis.
    Prompt #3: Ce serait spécifiquement pour la France.

    ChatGPT

    Bien sûr, en prenant en compte le contexte français, voici quelques propositions concrètes spécifiques à l’écosystème de recherche et d’innovation en France :

    1. Renforcement du financement de la recherche : Accroître les investissements publics dans la recherche et l’innovation afin d’atteindre les objectifs fixés, notamment en augmentant les budgets alloués aux organismes de recherche tels que le CNRS, l’INSERM, et le CEA.
    2. Simplification des procédures administratives : Réduire la bureaucratie et simplifier les procédures administratives liées aux demandes de financement et aux projets de recherche, afin de libérer plus de temps et de ressources pour la recherche effective.
    3. Promotion de la recherche collaborative : Encourager les collaborations entre les organismes de recherche, les universités et les entreprises en facilitant les partenariats et en mettant en place des incitations pour les projets de recherche collaborative. Favoriser la création de consortiums de recherche public-privé
      pour stimuler l’innovation.
    4. Renforcement de la recherche fondamentale : Reconnaître l’importance de la recherche fondamentale en tant que socle de l’innovation et de la découverte scientifique. Allouer des ressources supplémentaires aux laboratoires de recherche fondamentale et favoriser la liberté académique des chercheurs.
    5. Développement de structures de soutien à l’innovation : Mettre en place des structures dédiées au soutien à l’innovation, telles que des incubateurs et des accélérateurs, pour accompagner les chercheurs et les entrepreneurs dans le processus de transfert de technologie et de création d’entreprises.
    6. Renforcement de l’attractivité des carrières scientifiques : Mettre en œuvre des mesures visant à attirer et à retenir les talents scientifiques, tels que l’augmentation des salaires des chercheurs, l’amélioration des conditions de travail et la création de perspectives de carrière attractives.
    7. Internationalisation de la recherche : Favoriser la participation des chercheurs français à des collaborations internationales, en encourageant les échanges, les partenariats et la mobilité des chercheurs à l’échelle mondiale. Développer des programmes spécifiques pour attirer des chercheurs étrangers de haut niveau en France.

    Ces propositions sont des exemples qui pourraient être envisagés pour renforcer l’écosystème national de la recherche et de l’innovation en France. Elles nécessitent une analyse plus approfondie et une évaluation de leur faisabilité et de leur impact potentiel, ainsi que des discussions plus larges avec les parties prenantes concernées pour définir les mesures les plus adaptées à la situation spécifique du pays.

    Commentaire : cette fois-ci c’est spécifique à la France. On voit apparaître les noms des trois plus grands organismes de recherche français (CNRS, CEA, INSERM), la bureaucratie est identifiée comme un problème, etc. Il est intéressant de comparer dans ses grandes lignes cette réponse avec la précédente ! Mais en fait c’est plus un plan de rapport qu’un rapport complet, et il faudrait développer chaque partie. (Je note cependant que la dernière phrase est obsolète car des programmes spécifiques pour attirer des chercheurs étrangers ont été développés depuis quelques années.) Je choisis le point 2 (simplification des procédures administratives, un sujet dont nous avons discuté au CS du CNRS) et lui demande de le développer.
    Prompt #4: Concrètement comment simplifier les procédures administratives ?

    ChatGPT

    Pour simplifier les procédures administratives dans le domaine de la recherche et de l’innovation, voici quelques mesures concrètes qui pourraient être prises en compte en France :

    1. Rationalisation des formulaires et des demandes de financement : Simplifier et harmoniser les formulaires de demande de financement afin de réduire la charge
      administrative pour les chercheurs et les équipes de recherche. Éviter les redondances et les exigences excessives en matière de documentation.
    2.  Centralisation des processus administratifs : Mettre en place des structures centrales ou des guichets uniques chargés de la gestion administrative des projets de recherche. Cela permettrait de regrouper les demandes, les rapports et les procédures de suivi au sein d’une seule entité, réduisant ainsi les démarches pour les chercheurs.
    3. Utilisation des technologies numériques : Développer des plateformes umériques conviviales et intuitives pour la soumission en ligne des demandes de financement, le suivi des projets et la communication avec les organismes de recherche. Automatiser les processus lorsque cela est possible pour réduire les délais et les erreurs.
    4. Simplification des règles de gestion financière : Clarifier et simplifier les règles de  gestion financière applicables aux projets de recherche, en tenant compte des  spécificités de la recherche scientifique. Réduire les contraintes administratives  iées à la justification des dépenses et faciliter la gestion des budgets alloués.
    5. Formation et assistance aux chercheurs : Fournir une formation et un soutien adéquats aux chercheurs sur les procédures administratives, les règles de  financement et les exigences documentaires. Mettre à leur disposition des ressources en ligne, des guides pratiques et des personnes-ressources pour les accompagner dans leurs démarches administratives.
    6. Évaluation des pratiques administratives : Réaliser des évaluations régulières des pratiques administratives en place pour identifier les points de blocage et les sources de complexité. Réviser et adapter les procédures en fonction des retours d’expérience des chercheurs et des gestionnaires de projet.
    7. Coordination interinstitutionnelle : Promouvoir la coordination et la coopération la gestion des projets de recherche. Faciliter les échanges d’informations et la mutualisation des bonnes pratiques pour harmoniser les procédures administratives.

    Ces mesures visent à réduire la bureaucratie et à simplifier les procédures administratives pour les chercheurs et les équipes de recherche, afin de leur permettre de se concentrer davantage sur leurs travaux scientifiques. Il est important de mener une analyse approfondie des processus existants et de travailler en étroite collaboration avec les parties prenantes pour mettre en œuvre ces mesures de simplification de manière efficace.

    Commentaire : tout ceci semble de bon sens. Pour voir s’il est capable de remplir ces sections en les développant de façon plus détaillée, je choisis une de ses propositions, la réduction des contraintes administratives liées à la justification des dépenses (car je sais que des collègues ne se font pas rembourser certaines choses simplement parce que c’est administrativement trop compliqué) et lui demande de la développer.
    Prompt #5: Peux-tu donner un exemple de réduction des contraintes administratives liées à la justification des dépenses ?

    ChatGPT

    Certainement ! Voici un exemple concret de réduction des contraintes administratives liées à la justification des dépenses dans le contexte de la recherche :

    Actuellement, les chercheurs doivent souvent fournir de nombreuses pièces ustificatives détaillées pour chaque dépense effectuée dans le cadre d’un projet de recherche. Cela peut inclure des factures, des reçus, des rapports de dépenses détaillés, des autorisations spécifiques, etc. Cette procédure peut être chronophage et complexe, entraînant une charge administrative supplémentaire pour les chercheurs  Pour simplifier cette procédure, une approche pourrait consister à mettre en place une méthode simplifiée de justification des dépenses basée sur des seuils prédéfinis. Par exemple :

    1. Seuils de dépenses : Établir des seuils de dépenses en fonction de la nature des dépenses et de leur montant. Par exemple, un seuil de 100 euros pour les petites dépenses courantes et un seuil de 500 euros pour les dépenses plus importantes
    2.  Justification simplifiée pour les petites dépenses : Pour les dépenses en dessous du seuil prédéfini (par exemple, 100 euros), les chercheurs pourraient être dispensés de fournir des pièces justificatives détaillées. Ils pourraient simplement déclarer la nature générale de la dépense et son montant total dans un rapport de dépenses global.
    3. Justification allégée pour les dépenses intermédiaires : Pour les dépenses situées entre les seuils prédéfinis (par exemple, entre 100 et 500 euros), une justification simplifiée pourrait être demandée. Il pourrait s’agir de fournir un justificatif de paiement, tel qu’un relevé de carte de crédit, une facture récapitulative ou une note de frais résumée.
    4. Justification complète pour les grandes dépenses : Les dépenses dépassant le seuil prédéfini le plus élevé (par exemple, 500 euros) pourraient nécessiter une justification complète et détaillée, conformément aux procédures existantes. Cette approche permettrait de réduire la charge administrative liée à la justification des dépenses de faible montant, tout en conservant des mécanismes de contrôle pour les dépenses plus importantes. Cela permettrait aux chercheurs de consacrer plus de temps à leurs travaux de recherche et de réduire la complexité administrative associée à chaque dépense.

    Il est important de noter que la mise en place d’une telle approche nécessite une évaluation minutieuse des risques et des implications financières, ainsi qu’une adaptation des politiques et des procédures existantes en matière de justification  des
    dépenses.

    Commentaire : Alors là, je suis bluffée. C’est concret, pertinent, réaliste. Rien à dire. Il n’y aurait plus qu’à faire le même travail de prompts qui demandent des détails sur chacun des points, en le guidant lorsque ses suggestions ne me plaisent pas ou ne correspondent pas aux orientations suggérées par la lettre de mission (que pour bien faire j’aurais du recopier en entier), et j’ai l’impression que cela mènerait à un rapport complet et utilisable.

    Conclusion

    Comment a-t-on pu arriver à une telle qualité ? Pour répondre à mes demandes, ChatGPT se promène dans un espace mathématique dont les liens ont été préalablement construits par l’analyse d’un très grand nombre de documents.

    Dans ma première question, j’ai essayé de donner un contexte qui lui ferait se positionner dans une région particulière de l’espace mathématique : la région qui, à ce que j’imagine, est occupée par des bouts de textes de documents et rapport administratifs sur la recherche française. Les deux questions suivantes ont permis de préciser le contexte pour mieux le positionner.

    Une fois cela réussi, ChatGPT s’est mis à construire ses réponses en s’inspirant de bouts de phrases qui se trouvent dans cette zone de l’espace. C’est un peu comme si j’avais lu tout un ensemble de rapports, projets, propositions sur l’évolution de la recherche en France, et que j’en eusse extrait un texte synthétisant une partie de ce qui s’y trouvait. Mais au lieu de passer des semaines ou des mois à ce travail de collecte et d’analyse de l’information, j’ai laissé ChatGPT s’en charger.

    Pour obtenir en quelques heures un rapport complet, il faudra continuer à poser des questions pour développer chaque élément, en corrigeant le tir lorsque la direction prise ne convient pas, et en évitant de remonter à un niveau de généralité qui produirait des recommandations inutiles. Il faudra pour cela acquérir l’art de poser des bonnes questions de façon à obtenir de bonnes réponses.

    Cette méthode n’est pas exempte de dangers : d’une part, ChatGPT se base sur les documents produits avant 2021, ce qui peut l’amener à faire des suggestions obsolètes qui ne seraient plus à l’ordre du jour ; d’autre part, même si je peux par mes questions orienter et guider le rapport vers les pistes qui m’intéressent le plus, c’est ChatGPT qui fait les suggestions de recommandations, et il peut très bien ne pas mentionner quelque chose qui se trouve dans l’un ou l’autre des documents et qui m’aurait plu si j’en avais connu l’existence, mais qui est trop marginal pour être facilement repéré par le radar de ChatGPT. (Cela dit, un travail personnel classique risquerait aussi de passer à côté, faute de temps pour tout lire). De plus, il y a un risque de plagiat : par exemple, la dernière suggestion de ChatGPT, avec une procédure à base de seuils, est si précise qu’on peut se demander si elle n’a pas été copiée à partir d’un document particulier.

    Étant donné la façon dont ChatGPT procède, il n’y aura probablement pas de création, d’idée complètement nouvelle. Il n’en demeure pas moins qu’il est désormais possible pour moi de court-circuiter le travail de lecture, d’assimilation, de sélection, et de synthèse des travaux existants sur la réforme de la recherche en France, pour obtenir en quelques heures un rapport utilisable et qui, grâce à mes questions qui guident ChatGPT dans son exploration, reflètera cependant jusqu’à un certain point es priorités et ma perspective.

    Évidemment, même avec l’aide de ChatGPT, je ne peux pas produire ainsi un rapport intéressant sur n’importe quel sujet : j’utilise ma propre connaissance du domaine pour orienter mes questions et sélectionner parmi les réponses de ChatGPT ce qui me semble le plus pertinent dans la construction du rapport.

    En m’appuyant sur ChatGPT pour produire un rapport, je ne me serai pas instruite comme je l’aurais fait par l’approche traditionnelle, mais j’aurai gagné énormément de temps. C’est trop tentant pour ne pas être mis en application partout ce gain de temps est significatif. Ainsi, cet exemple d’utilisation montre que ChatGPT risque de transformer certaines activités professionnelles qui jusqu’à présent étaient à l’abri des transformations technologiques : par exemple, à l’Assemblée Nationale il pourrait être envisageable de réduire le nombre de collaborateurs parlementaires ; et dans les ministères, les onéreux rapports d’experts demandés à des consultants tels que McKinsey pourraient être remplacés par quelques heures de conversation gratuite avec ChatGPT. Cela permettrait de faire des économies substantielles, pour un résultat qui pourrait en moyenne se révéler tout aussi bon ou même supérieur. On ne regrettera pas la disparition des cabinets de conseils.

    Claire Mathieu, CNRS

    1. L’autrice a transmis la version complète de l’échange qu’elle a obtenu de ChatGPT, sans en corriger les coquilles ortho-typographiques. Nous reproduisons le document “Utiliser ChatGPT” .pdf en htlm par souci d’accessibilité. [↩]
  • Apprendre à un ordinateur à apprendre à voir

    Le Prix de thèse Gilles Kahn récompense chaque année, depuis 1988, une thèse en Informatique. Cette année l’un des accessit revient à Mathilde Caron. pour ses travaux sur l’apprentissage auto-supervisé en vision algorithmique : entre devoir fournir des millions d’exemples pour qu’une machine puisse faire une tâche de reconnaissance visuelle, et imaginer que celà puisse se faire de manière autonome, il existe une voie de recherche très innovante, Mathilde nous l’explique de manière très claire ici. Pierre Paradinas et Thierry Viéville.

    (photo personnelle)

    Regardez cette image. En tant qu’humain, il est évident pour vous de décrire ce qu’il s’y passe. Par exemple, vous pourriez facilement dire que l’on y voit une statue au premier plan, représentant deux dragons enchevêtrés, puis un temple de style japonais en arrière plan. En effet, les humains et de nombreux animaux peuvent percevoir le monde et le comprendre sans effort.

    Ici, nous parlons bien de la vision ou perception visuelle et non de la vue qui elle réfère à la capacité physique de voir, c’est-à-dire de réagir à notre environnement au moyen de rayonnements lumineux perçus par l’œil. De façon schématique, on peut dire que notre cerveau (en particulier, le cortex visuel) reçoit en entrée les signaux nerveux en provenance de nos yeux et produit en sortie une perception visuelle, c’est-à-dire du sens, de la compréhension ou de la reconnaissance de ce qu’il y a en face de nous. Cette capacité de perception visuelle de notre cerveau fait partie de notre intelligence, et le but de “la reconnaissance d’image”, une branche de la “vision par ordinateur” en informatique, est de simuler  la perception visuelle par des algorithmes dits d’intelligence artificielle, par exemple avec un ordinateur. Ce n’est pas une tâche facile, car l’on ne comprend pas encore très bien notre propre intelligence.

    Du point de vue d’un ordinateur, une image, peu importe comment elle a été acquise (par un appareil photo, trouvée sur le web ou créée de toutes pièces avec un logiciel) est simplement un tableau de nombres. En effet, une image numérique est composée de pixels: de minuscules carrés de couleur qui organisés sous forme de grille constituent l’image. Par exemple, l’image du dessus est composée de pas moins de 12 millions de pixels (3000 dans le sens de la largeur et 4000 dans le sens de la longueur). Chaque pixel est un code de trois nombres décrivant précisément les trois composantes (rouge, verte et bleue) dont le mélange donne une couleur. Bref, une image numérique n’est ni plus ni moins qu’un tableau de nombres, un peu de la même manière que, pour nous, une image est un ensemble de faisceaux lumineux qui pénètrent notre œil, puis un ensemble de décharges nerveuses. Faire du sens à partir de ce tableau de nombres n’est pas une tâche aisée, et c’est le défi du domaine de la reconnaissance d’image.

    (figure personnelle)

    Plus précisément, la reconnaissance d’image découpe le problème de la perception visuelle en plusieurs tâches distinctes à résoudre par des algorithmes. Par exemple, la tâche peut être de classifier une image parmi un ensemble de propositions (cette image représente-t-elle un chien, une voiture, une sculpture ou un arbre ?) ou de générer un texte décrivant l’image ou encore de détecter les différents objets composant l’image.

    Dans ce travail de thèse, nous ne nous concentrons pas sur une tâche de reconnaissance d’image en particulier. Nous cherchons plutôt à développer une perception visuelle artificielle générale, qui pourra ensuite être utilisée comme pièce de base commune pour résoudre des tâches spécifiques.

    L’apprentissage profond: apprendre à partir d’exemples

    De nos jours, l’approche la plus prometteuse et la plus adoptée pour la reconnaissance d’image est de loin le “deep learning”, ou “apprentissage profond” en français (voir un article introductif ici,  ou une vidéo très pédagogique, en lien avec une formation citoyenne à l’intteligence artificielle, qui aborde aussi le sujet). Le deep learning est une puissante branche d’algorithmes issue du “machine learning” (ou “apprentissage automatique”) qui consiste à laisser le système découvrir (ou “apprendre”) par lui même comment résoudre un problème étant donnée une grande quantité d’exemples au lieu de lui dicter en amont une série de règles. Un exemple classique est la détection de spam (ou “pourriel” en français): les approches classiques vont dire à l’ordinateur de classifier un mail en tant que spam si son contenu ou l’adresse de son émetteur contient certains mots ou caractères tandis que les approches basées sur le machine learning vont laisser l’algorithme découvrir les paramètres de ses calculs par l’observation d’exemples de mails catégorisés comme spam ou valide.

    En reconnaissance d’images, on peut imaginer un exemple où un système doit reconnaître la présence de chien dans une image et catégoriser leurs races. Une approche classique sera typiquement basée sur une série de règles: étant donné la forme du museau et des oreilles, la couleur du pelage ou le rapport longueur-largeur de l’animal, on va avoir une réponse pré-établie par un ensemble d’experts canins. Cependant, dans ce cas là, même les sous-tâches du problèmes sont difficiles à résoudre par une approche classique. Comment décrire avec des règles la forme d’un museau à un ordinateur afin qu’il puisse en détecter ?

    C’est là la force des approches de deep learning qui donnent la possibilité à l’algorithme d’établir ses propres règles suite à l’observation d’une très grande quantité d’images de chiens.

    Vers l’apprentissage autonome

    Le paradigme dominant en deep learning est celui de l’apprentissage supervisé. C’est-à-dire que dans notre exemple au-dessus, l’algorithme ingère à la fois l’image et une information supplémentaire, par exemple le nom de la race du chien, pour chaque image de la base de donnée. Les approches supervisées sont les plus adoptées en reconnaissance d’images aujourd’hui mais elles sont problématiques pour plusieurs raisons.

    D’abord, elles ne sont pas alignées avec la manière dont on a l’impression que les humains ou les animaux acquièrent la perception visuelle. En effet, les bébés sont capables de percevoir les éléments de leur environnement souvent bien avant de les nommer. Ils ont donc appris à percevoir le monde sans qu’un superviseur extérieur leur explique ce qu’il y avait à voir dans chaque situation mais plutôt par l’expérience et l’observation répétée.

    Une autre limitation de l’apprentissage supervisée est le biais ou même les erreurs dans les annotations. En effet, l’acte d’annotation de données est ambiguë dans le sens ou il y a souvent plusieurs manières d’annoter, sujette à interprétation. Cela peut introduire des biais dans les systèmes qui utilisent ces annotations.

    Finalement, la raison peut-être la plus pragmatique pour vouloir se débarrasser des données supervisées est le fait qu’elles sont plus compliquées et plus chères à acquérir. En effet, annoter des données requiert une expertise humaine et du temps qui empêchent le passage à l’échelle des algorithmes.

    Mon travail de thèse

    Pendant ma thèse, mon travail a consisté à développer des algorithmes d’apprentissage profond pour la reconnaissance d’image qui se basent uniquement sur les images et n’utilisent aucune annotation manuelle. En d’autres termes, il s’agit de permettre à l’ordinateur d’acquérir une perception visuelle de manière autonome à partir des images seules (au contraire des images + leurs annotations dans le cadre de l’apprentissage supervisée). Ce type d’algorithme est appelé “self-supervised learning” (ou auto-supervisé en français).

    Nous sommes partis de l’observation que dans une base de données, plusieurs images “se ressemblent” même si on ne sait pas identifier ce qu’elles représentent. Nous avons utilisé ce critère de ressemblance pour créer des pseudo-annotations (donnés par l’algorithme lui-même et non par un expert humain), que nous affinons au fur et à mesure de l’entraînement et que la perception visuelle de l’algorithme s’améliore. 

    Mon manuscrit de thèse, intitulé Apprentissage Auto-Supervisé de Représentations Visuelles avec des Réseaux de Neurones Profonds, est accessible gratuitement en ligne sur ce lien.

    Nous avons aussi rédigé quelques articles de semi-vulgarisation plus spécialisés à propos de certains travaux spécifiques de ma thèse que vous pouvez lire en suivant les liens suivants: [lien 1] [lien 2].

    Mathilde Caron, thèse au LJK, Université Grenoble Alpes, Inria Grenoble Rhône Alpes, en partenariat avec Facebook AI Research (FAIR). Ses publications.

     

  • Quand les objets virtuels deviennent palpables

    © Inria / Photo Kaksonen

    Doté d’un casque de réalité virtuelle, un utilisateur peut manier des objets en 3D. Mais ces derniers sont le plus souvent intangibles. Comment ressentir leur forme, texture, poids ou température, ces informations essentielles pour les appréhender et faciliter leur manipulation ? Simuler ces sensations est l’enjeu des interfaces dites haptiques, des technologies qui stimulent le sens du toucher et du mouvement. Justine Saint-Aubert et Anatole Lécuyer nous en parlent ici. Thierry Vieville.

    Cet article est repris d’un article de La Recherche avec l’aimable autorisation de la Direction de la Rédaction.

    De multiples dispositifs haptiques cherchent à rendre toujours plus tangible le monde virtuel. Les premiers systèmes étaient des bras mécaniques munis de moteurs à leurs articulations. Ils étaient amarrés à une surface fixe, comme une table, d’un côté, et tenus de l’autre par l’utilisateur. En bougeant le bras, on déplaçait son avatar – sa représentation dans le monde virtuel – et les moteurs s’activaient pour produire des forces de résistance, par exemple dès qu’une collision intervenait entre son personnage et un mur virtuel. Ces dispositifs possédaient des espaces de ­travail limités et restreignaient donc fortement les sensations du toucher. Progressivement, d’autres technologies ont vu le jour. Des systèmes portables sont apparus, comme les gants « exosquelettes » dont la structure englobe la main et permet de simuler la saisie d’un objet. Différents types de mécanismes sont à l’essai avec, par exemple, des actionnements par câbles, attachés à des capuchons positionnés sur le bout des doigts et tirés en arrière, grâce à des poulies, par des moteurs sur le poignet. Lorsqu’un moteur est actionné, il génère un effort sur l’extrémité d’un doigt. Le nombre de moteurs peut être multiplié afin d’obtenir des sensations sur plusieurs doigts. De nombreuses autres pistes sont également étudiées, comme les technologies de retour haptique « à distance » fondées sur des émissions d’ultrasons, ou les retours haptiques « de surface » pour ajouter des sensations tactiles aux écrans de téléphones portables. Malgré ces efforts, les sensations restent souvent sommaires, et le « rendu haptique » en réalité virtuelle très loin du compte.

    Préparation de crêpes virtuelles avec des interfaces haptiques à retour d’effort. L’utilisateur peut ressentir physiquement l’interaction avec des liquides comme la pâte à crêpes ou le caramel © Julien Pettré.

    Le défi, exciter les capteurs de la main sans restreindre sa mobilité

    Simuler une sensation haptique est complexe pour plusieurs raisons. Tout d’abord, la main humaine possède une grande mobilité, avec pas moins de 27 os, poignet compris, qui permettent de manipuler une grande variété d’objets. Elle est également l’un des organes les plus sensibles du corps humain, avec de nombreux et minuscules récepteurs enfouis sous la peau et capables de détecter la pression, l’étirement ou encore les vibrations – des mécanorécepteurs. Réussir à exciter tous ces capteurs tactiles sans restreindre la mobilité de la main reste un défi pour la recherche actuelle. Avec la nécessité de concevoir des dispositifs portatifs, donc légers et peu encombrants, la conception mécanique est devenue encore plus complexe. Les gants haptiques doivent généralement utiliser l’avant-bras comme support, ce qui permet de simuler des objets préhensibles, mais pas des objets statiques. Par exemple, l’utilisateur sentira le contact des doigts saisissant une tasse virtuelle, mais il ne pourra pas poser cette tasse sur une table virtuelle : impossible de ressentir la surface et les forces de réaction exercées par cette dernière. Devant la complexité d’obtenir des sensations haptiques exhaustives, des technologies ­simplifiées ont été proposées. Les interfaces « tactiles », par exemple, ne cherchent pas à stopper le mouvement, mais simplement à stimuler certains mécanorécepteurs de la peau. La plupart des manettes de réalité virtuelle actuelles se concentrent sur ce type de retour et utilisent le plus souvent de petits actionneurs envoyant des vibrations dans la main. D’autres dispositifs tactiles vont simuler des sensations de pression, de température ou d’étirement de la peau des doigts. Notre équipe s’intéresse notamment à l’utilisation de légères stimulations électriques, transmises sur la peau par des électrodes, en vue de faire ressentir des informations de contact [1].

    Gant haptique électro-tactile. Les stimulations électriques produites au niveau des phalanges via les électrodes simulent des sensations tactiles liées à l’exploration d’objets virtuels ©Projet TACTILITY.

    Exploiter les failles de notre perception.

    Pour pallier les limites actuelles des technologies, il est également possible d’exploiter les failles de notre perception et de jouer sur des « illusions haptiques ». Ainsi, lorsqu’on appuie sur un ressort et que l’on regarde en même temps, sur un écran d’ordinateur, un piston virtuel se déformer sous cet effet, si ce dernier se modifie grandement et rapidement, on aura la sensation d’effectuer une pression sur un ressort très mou. À l’inverse, si ce même piston virtuel se déforme peu ou lentement à l’écran, on aura alors l’impression que le ressort devient particulièrement dur. En réalité, pendant tout ce temps, notre doigt comprimait le ressort avec une raideur constante ! Cette technique, baptisée « pseudo-haptique », est peu coûteuse, car elle est basée sur de simples effets visuels. Elle a pu être testée à de nombreuses reprises et a notamment fait ses preuves pour simuler la ­texture d’une image, le poids d’un objet ou encore la viscosité d’un liquide [2]. Dans certains cas, ce type d’approche représente donc une alternative très intéressante aux technologies haptiques traditionnelles et plus complexes, ou en attendant que celles-ci deviennent plus accessibles. L’objectif restant toujours de réussir à berner notre cerveau et lui faire croire à une autre réalité. Car, si généralement on « ne croit que ce que l’on voit », en réalité virtuelle, pouvoir toucher augmente d’autant la crédibilité.

    Effets visuels pour simuler des sensations tactiles sur une tablette. En jouant sur des déformations du curseur qui entoure le doigt il devient possible de simuler artificiellement le côté collant ou texturé d’une image ©Antoine Costes. Voir aussi la présentation vidéo.

    [1] S. Vizcay et al., ICAT-EGVE 2021, hal-03350039, 2021.
    [2] A. Lécuyer, Presence: Teleoperators and Virtual Environments, 18, 39, 2009.

    Justine Saint-Aubert est mécatronicienne, chercheuse postdoctorante dans l’équipe Hybrid.
    Anatole Lécuyer est informaticien, Directeur de recherche Inria, responsable de l’équipe Hybrid (Inria, université de Rennes, Insa Rennes, Irisa, CNRS).

    Pour aller plus loin:  The Kinesthetic HMD (vidéo).

  • Des algorithmes pour la chasse à la fraude scientifique?

    Guillaume Cabanac est un chercheur en informatique à l’Université Paul Sabatier et membre junior de l’Institut universitaire de France (IUF). Il se spécialise dans l’analyse de texte et a fait partie, en 2021, de la liste des top 10 chercheurs de Nature pour son travail permettant de détecter des articles scientifiques frauduleux. Son travail est essentiel pour la crédibilité et la robustesse des processus scientifiques. Dans cet entretien, Guillaume nous explique comment il est en est arrivé à travailler sur ce sujet ainsi que le fonctionnement de son programme pour détecter les articles frauduleux.

     

    Binaire : Peux-tu nous présenter ton parcours et ce qui t’a poussé à chasser la fraude scientifique ?

    Guillaume : Mon choix de parcours était partagé. D’une part, je voulais faire un Bac L. parce que la littérature me plaisait. D’autre part, je voulais être informaticien. C’est finalement grâce à un ami de mon père, un ingénieur, qui un jour m’a expliqué : « Écoute ton but c’est d’être informaticien . Les lettres te plaisent beaucoup mais tu sais que tu pourrais en faire ton hobby pendant ton temps libre… » que j’ai finalement opté pour un Bac S et plus tard pour un DUT car mes parents, qui n’ont pas été à l’université, étaient un peu inquiets que je m’oriente pour la fac. J’ai fait deux ans à l’IUT mais j’ai de suite su que l’entreprise n’était pas pour moi. Franchement j’étais même un peu stressé parce qu’il fallait faire un stage de DUT assez long, au total plus de dix semaines. Et je cherchais, mais sans trouver. Je regardais mes professeurs  en cours, (ceux que j’avais étaient vraiment sympathiques), ils étaient investis, motivés. Puis, je les voyais dans leurs bureaux, ils travaillaient sur des projets intéressants.  Et moi, je me suis complètement projeté là-dedans. Je leur ai dit : “Mais ça a l’air trop bien ce boulot. Que faut-il faire pour y parvenir ?” Ils m’ont répondu : une thèse.

    C’est donc ce que j’ai commencé à vouloir faire. J’ai finalement fait mon stage dans le laboratoire d’informatique à l’université Paul Sabatier de Toulouse, où j’étudiais. J’ai appris à connaître cet univers, à voir les collègues sous leurs deux facettes, les enseignants qui sont aussi chercheurs. J’ai participé à quelques séminaires et j’ai aimé cet univers. C’était tellement super. Et je me suis dit que c’était vraiment ce que je voulais faire.
    Je suis alors parti en thèse et j’ai été recruté juste après l’obtention de mon doctorat. J’ai eu la chance d’avoir un recrutement post-thèse. Je suis un « pur produit » de l’université Paul-Sabatier de Toulouse et je pense que c’est vraiment « une espèce en voie d’extinction ». Récemment, il a été question d’imposer lors des recrutements de Maître de conférences à l’IRIT une mobilité obligatoire entre la soutenance du doctorat et le recrutement. J’espère donc ne pas être une «disgrâce »pour l’université.

    Quand je me suis présenté pour l’audition, on m’a demandé si je ne voulais pas “aller un peu à l’étranger, voir comment ça marche ailleurs, créer des liens, etc.”
    J’ai expliqué qu’ayant une famille je ne voulais pas, et que je souhaitais également favoriser un poste stable plutôt qu’un poste précaire. D’autant plus qu’après l’obtention d’un poste stable , j’aurais tout le temps de créer des liens et des connections avec d’autres collègues. Pour moi c’était soit j’étais pris en poste en France dans l’univers académique, soit j’irais dans l’industrie (où je ne tenais vraiment pas aller) car je ne voulais pas demander à ma famille de faire des sacrifices pour ma carrière. Je me disais également que si je ne trouvais pas un poste académique à Toulouse, je me consacrerai à la recherche le week-end, pendant mes temps libres et à toutes mes heures perdues car j’adore la recherche. Déjà à l’époque, j’avais compris que je pouvais faire des choses, même sans argent.

    Binaire : à quel moment t’es-tu intéressé à ces problèmes de fraude, de fake papers ?

    Guillaume : Je suis dans le domaine des systèmes d’information et plus précisément dans mon équipe nous travaillons sur le texte, le texte sur le web par exemple. J’étais captivé par l’idée travailler sur la littérature scientifique, parce que c’est un domaine très hétérogène. Il y a de la masse, il y a des réseaux de citations, d’auteurs, d’affiliations. C’est « un tout-en-un », et donc un super matériau d’étude. Par ailleurs, j’ai commencé un livre sur la science de la science, la scientométrie. Je suis allé frapper à la porte du bureau d’une sociologue d’un département proche du mien. Elle m’a accueilli à bras ouverts avant de commencer une discussion sur les sujets qui nous intéressaient tous les deux. Elle m’a proposé ensuite de rejoindre le projet ANR qu’elle venait de décrocher et de me joindre tous les vendredis au séminaire de sociologie des sciences. J’ai suivi les cours de Yves Gingras et qui est un scientomètre très réputé mais qui reste très simple, humble, et disponible. Cette nouvelle immersion dans la sociologie m’a fait réaliser qu’il est possible de ne pas faire que de la recherche en profondeur que sur un seul sujet mais qu’on peut être curieux et s’intéresser à plusieurs domaines et explorer la largeur des connaissances scientifiques (même si cela pose encore des soucis en terme de carrière).  J’ai aussi été exposé à des théories de sociologie des sciences qui ont formé mes intérêts et notamment les normes CUDOS de la science selon Merton. Il y définit notamment que la science doit être “Désintéressée” en ce sens que le chercheur ne doit pas faire ça pour être reconnu ou gonfler son h-index mais pour servir la société, et qu’elle doit se conformer au “Scepticisme Organisé” car les résultats sont soumis à un examen critique avant d’être acceptés et peuvent toujours être remis en cause.

    En réalité ces deux derniers piliers, désintéressement et scepticisme organisé, sont les deux piliers qui sont attaqués par ce sur quoi je travaille aujourd’hui.
    Le désintéressement est mis à mal lorsque des fraudeurs essaient, pour progresser, pour être promus, de publier de fausses études pour gonfler leurs métriques. Ils sont tout sauf désintéressés. Et il y a également le scepticisme organisé qui s’effrite de nos jours. On voit en effet des comités éditoriaux de revues scientifiques qui comprennent des ‘gatekeepers’ qui devraient protéger la science. Or ces ‘boards’ actuellement ne fonctionnent pas correctement. Cela peut s’expliquer parce qu’en 20 ans le nombre de revues scientifiques qui existent et sont actives a été multiplié par deux. Ces deux phénomènes, en parallèle, font qu’il y a des fraudeurs qui produisent, avec des techniques informatiques des papiers « bidons » qu’ils envoient à certaines revues. Sur les 40 000 revues qui existent dans le monde il n’y en qu’une cinquantaine qui sont ainsi affectées.

    Dans nos travaux avec Cyril Labbé et Alexander Magazinov, nous ne parlons pas des revues prédatrices, nous parlons des revues, de la “haute couture”, des revues qui ont un impact factor chez Springer ou chez Wiley par exemple. Nous travaillons, ensemble, sur cette détection de papiers « bidons ». C’est du travail volontaire sur Zoom, en pleine pandémie, poussés par l’intérêt intellectuel. Il y a également cette prise de conscience que ce que l’on trouve, via nos travaux, est important pour la communauté scientifique.

    Binaire : Quel genre de fraude peut être détectée par l’outil que vous avez développé tous les trois ?

    Guillaume : Pour expliquer comment fonctionne notre outil et ce qu’il détecte, j’aime utiliser une métaphore liée au crime. Ce que nous avons créé c’est un logiciel qui agit comme un indic ; il va d’abord fureter et mettre son nez partout et ensuite il va aller voir le commissaire de temps en temps pour lui dire : “Tu devrais aller voir ça parce que là, c’est louche.” Le commissaire et ses détectives vont pouvoir cibler un individu particulier dans la ville. Imaginons que dans cette ville il y est 16 000 personnes, grâce à l’indic il saura que c’est cette personne sur les 16 000 qui est intéressante à surveiller. En fait, en science, il y a beaucoup de gens qui sont prêts à aider à débusquer et expliquer les problèmes de certaines publications scientifiques. Mais, sans outils, à l’image du commissaire, sans les renseignements d’un indic, ils ne savent pas où regarder. Des publications indexées dans “Dimensions” par exemple, il y en a 120 000 000, et environ 6 000 000 par an, ce qui fait 16 000 par jour, un nombre bien trop conséquent pour que chacune soit passée à la loupe. Tout comme le commissaire, les scientifiques ne peuvent pas surveiller 16 000 choses différentes par jour. Je me suis dit que j’allais créer un logiciel qui aide à savoir où regarder. Le logiciel passe au peigne fin l’ensemble de la littérature scientifique en cherchant ces fameuses ‘tortured phrases’, les expressions torturées. Les expressions torturées sont le résultat d’une tentative de manipulation de la part des fraudeurs.

    Maintenant il faut comprendre le principe du paper mill. Un paper mill, c’est une entreprise, bien souvent en Chine et en Inde, qui vend des articles préparés sur commande. Il faut savoir qu’un scientifique est soumis à l’évaluation par son organisme de recherche qui lui demande d’atteindre des quotas. Par exemple, dans l’équivalent des CHU en Chine, il faut faire, comme en France, de l’enseignement, de la recherche et aussi opérer. Et peut être encore plus qu’en France, il faut atteindre ces quotas, autrement on est licencié. Il y a donc des personnels des hôpitaux qui vont voir les paper mills et contre de l’argent, ils vont faire fabriquer un article. La commande ressemble à quelque chose comme “Moi, je travaille sur le rein, il faudrait tester l’effet de telle protéine sur le rein et reporter les résultats.” Les paper mills, bien qu’on puisse penser qu’ils sont formés en science, ne sont tout de même pas des chercheurs. Ce qu’ils font, vraisemblablement, c’est une sorte d’état de l’art ou ils trouvent des articles intéressants sur le thème imposé. Ne sachant pas faire un vrai état de l’art, bien réfléchi et bien articulé, ils font ce qu’on appelle un lazy survey, c’est-à-dire qu’ils vont dire “X a fait ça”, “Y a fait ça”, “Z a fait ça”. Les paragraphes qu’ils écrivent commencent comme ça avec la citation de l’article suivi d’un copié paraphrasé collé du résumé de l’article cité. Pourquoi pas un copié/collé directement ? Parce que les maisons d’édition ont des logiciels détecteurs de plagiat. Les paper mills utilisent une technique qui va remplacer les mots par des synonymes. Donc pour « cancer du sein », le logiciel pioche un synonyme pour “cancer”, par exemple “péril”, et un synonyme pour “du sein”, par exemple “poitrine”. On obtient donc “péril de la poitrine” pour remplacer “cancer du sein”. De la même façon, “Intelligence artificielle”, devient “conscience contrefaite”. Une publication de ‘paper mills’ pourra donc contenir une phrase telle que “La voiture autonome dans la ville se guidera par sa conscience contrefaite.”

    Ces phrases torturées, nous en avons trouvées quelques-unes au début avec mes deux collègues et nous avons pioché des articles qui les contenaient. Une forme de ‘grep’ généralisé sur toute la littérature. Et en lisant les paragraphes qu’il y a autour, nous pouvions trouver de plus en plus de phrases torturées. Par effet boule de neige, nous les ajoutions dans une liste et avant de recommencer le processus entier. Et notre logiciel Problématic Paper Screener (PPS), remontait donc de plus en plus d’articles de recherche à chaque fois. En résumé, PPS est finalement cet indic qui va lister les papiers candidats à ce qu’on appelle une “réévaluation par des humains”. Par exemple, un article qui en contient sept, il n’y a aucun doute sur le fait qu’il est issu d’un ‘paper mill’ et nous invitons la communauté scientifique, via le site de PPS, à regarder les phrases torturées, prendre un screenshot et apporter la preuve du problème et le poster sur Pubpeer, la plateforme de relecture post publication.

    Mon cas est typique, je ne suis pas expert biomédical mais j’arrive quand même à lire les papiers qui sont remontés par notre logiciel et signaler les phrases torturées.
    Mais le détail de la science et les problèmes dans la science biomédicale c’est un autre sujet, qui est lui bien complexe. Je poste donc sur Pubpeer le papier concerné et les experts qui ne savaient pas où regarder, pour aider à protéger la science, peuvent commencer là car ils le voient sur la file d’accueil de Pubpeer. Et si on trouve des phrases torturées dans l’état de l’art et que le papier expose une expérience ou des études on peut être quasi sûr que les experts du domaine vont pouvoir trouver beaucoup d’autres problèmes. De façon simplifiée, par exemple, ils diront étudier 18 souris et en faire deux groupes. Chaque groupe devrait donc contenir 9 souris. Cependant, en lisant l’article, on observe qu’il y a en fait un groupe qui en contient 7 et l’autre 4. Bien évidemment, les problèmes sont en réalité plus complexes, mais les scientifiques du domaine peuvent plus facilement disséquer tous les problèmes de ces articles, les poster sur Pubpeer et contacter les éditeurs qui ont publié les articles en joignant les preuves qu’ils ont accumulé pendant leurs investigations. Via notre outil, nous sommes depuis rentrés en contact avec d’autres whistleblowers qui ont des informations importantes sur ce business de la fausse publication scientifique mais qui restent anonymes car ils sont menacés ; mais nous aident à découvrir et à signaler d’autres pratiques problématiques. Par contre, nous voulions être certains de ne pas avoir toute la reconnaissance pour nous, donc dans notre logiciel du Problematic Paper Screener, il y a une colonne en plus pour préciser qui a signalé ça sur Pubpeer et on peut ensuite dans le logiciel faire remonter tous les post Pubpeer qui contiennent une phrase torturée et remonter qui en est à l’origine.

    Binaire : Quand on regarde de plus près, l’approche que tu as à toi, qui est beaucoup plus automatisée, elle apparait comme assez complémentaire de ce que fait Elizabeth Bik qui est plutôt à regarder elle-même, apparemment manuellement, les articles pour chasser les duplications d’images, les Photoshop “maladroits” ; on pourrait imaginer que les approches automatisées soient plus efficaces qu’une approche humaine. Est-ce que tu penses qu’on peut automatiser d’autres tâches que celles que vous avez voulues automatiser ? 

    Guillaume : Il y a des collègues qui travaillent sur le p-hacking depuis au moins les années 2013. Ils ont conçu des approches pour aller identifier les différents paramètres utilisés dans les tests statistiques qui relancent le calcul et qui comparent avec ce que les chercheurs ont reporté dans le papier. ‘Statcheck’, par exemple, fais ce genre de vérification.

    Il y a beaucoup de personnes qui travaillent sur cette détection d’erreurs. Ce sont des problèmes reconnus qui sont à la fois sur les erreurs ou alors sur des approches à améliorer. Par exemple, il y a une personne qui travaille sur un logiciel qui va détecter des couleurs dans les figures qui ne sont pas perceptibles par des personnes qui sont atteintes de déficience visuelle. Et certains de ces outils automatiques ont déjà été développés plus en profondeur et intégrés par des maisons d’éditions. Ça n’est pas le cas du Problematic Paper Screener, car, même si les maisons d’édition sont intéressées, ça n’est pas ce qui nous intéresse nous.

    Binaire : Est-ce que tu vois des limites directes dans l’approche que vous avez mise en place, par exemple sur les faux positifs ?

    Guillaume : C’est quelque chose que nous avons regardé. L’exemple c’est l’utilisation du terme « acknowledgement » dans une phrase torturée mais qui apparait aussi dans la section remerciements (acknowledgments en anglais) d’un article. Alors dans ces cas-là, nous utilisons d’autres informations pour déterminer si l’article est problématique. Par exemple si c’est un article qui date d’une époque où les paper mills n’existaient pas, il est facile d’éliminer cet article. Il y a beaucoup d’autres sortes de vérifications assez simples. En revanche, on sait que si un article compte au moins deux phrases torturées repérées par notre logiciel, il n’y a quasiment jamais de faux positifs. En fait les seuls faux positif, pour le moment, ce sont nos propres papiers sur les phrases torturées, puisqu’ils contiennent ces expressions problématiques. Nous pensions en avoir trouvé un dans Nature, mais c’était en fait un article dans Nature qui parlait de notre travail.

    Une limite de notre système, c’est que notre analyse repose sur du travail manuel. On ne veut pas essayer de trouver de façon automatique plus de phrases torturées parce qu’il y aurait beaucoup de  bruit et donc potentiellement beaucoup plus de faux positifs. On pourrait imaginer utiliser un algorithme qui détecterait des nouvelles expressions dans des articles, mais ça produirait certainement beaucoup de bruit. Ça ne veut pas dire qu’il ne faut pas essayer de le faire, mais ça n’est pas notre idée initiale, ou notre intérêt direct pour le moment.

    Binaire : Suite à votre travail à tous les trois, est-ce qu’il y a un risque que les techniques pour écrire ces articles frauduleux en fait, deviennent meilleures ?

    Guillaume : C’est certain. Ce qui a fait beaucoup de bruit récemment c’est le fait qu’on a trouvé une revue scientifique très problématique avec un très grand nombre d’articles problématiques et Elsevier a fini par rétracter 400 articles scientifiques. Mais, au départ, c’était pourtant une revue très sérieuse qui avant 2019 publiait beaucoup d’articles du CNRS et qui, d’un coup, s’est mise à publier de plus grands nombres d’articles de façon plus rapide. Nous n’avons pas détecté ça via les phrases torturées mais via un screening des abstracts des articles pour détecter le langage synthétique, c’est à dire le langage généré automatiquement par des outils comme GPT 2.
    Mais ce que l’on détecte avec les phrases torturées, ça n’est que la partie visible de l’iceberg ; celle qu’il est facile de trouver. La fraude plus élaborée on ne l’a pas encore trouvée, par exemple simplement les articles générés par GPT-3. Il suffit de donner à GPT-3 un début cohérent d’article, et en appuyant sur tabulation, l’algorithme écrit le reste de façon crédible. Ça ne veut pas dire grand chose sur le fond c’est vrai mais ça peut quand même être publié dans des revues sérieuses. Si le reviewer est un expert du domaine mais qu’il n’a pas le temps et donne la relecture à ses étudiants, si la personne, junior ou non, n’ose pas dire qu’elle ne comprend pas… l’article peut être publié, et c’est l’ensemble du processus scientifique qui est danger. Les conséquences ne sont pas forcément dramatiques, mais c’est quand même de l’argent de recherche qui a été gaspillé. C’est quand même du temps qui a été gaspillé car certains chercheurs pourraient lire des papiers frauduleux et s’appuyer sur leurs résultats pour faire avancer un peu plus la science et finalement gaspiller leur temps, argent, ou matériaux à cause de ça.

    Disclaimer : cet entretien a été réalisée par Lonni Besançon qui fait partie du “Collège Invisible”, un groupe informel de détectives scientifiques, initié par Guillaume Cabanac.

  • IA explicable, IA interprétable: voyage dans les archives Binaires

    Peut-on comprendre et expliquer une décision automatisée prise par un système d’intelligence artificielle ? Pouvons-nous faire confiance à ce système autonome ? En tant qu’utilisateur, cela engage notre responsabilité et pose des questions. A travers Binaire, plusieurs chercheurs ont partagé leur travail à ce sujet ! Voici un résumé et récapitulatif autour de l’explicabilité et l’interprétabilité proposé par Ikram Chraibi Kaadoud chercheuse en IA passionnée de médiation ! Marie-Agnès Enard, Pascal Guitton et Thierry Viéville.

    Un petit rappel de contexte

    Dans de nombreux domaines, les mutations technologiques de ces dernières années ont mené à la disponibilité et à la prédominance de données complexes et hétérogènes. Par conséquent, de plus en plus de domaines d’application font appels aux systèmes d’intelligence artificielle (IA) dans le but de comprendre ces données, réaliser des prédictions jusqu’à aider l’humain à prendre des décisions.  Dans notre quotidien, les prises de décisions assistées par  des systèmes d’IA (voir automatisées quand urgence oblige) sont ainsi devenues une réalité quasi-omniprésente : algorithme de recommandation de médias, identification ou reconnaissance d’espèces animales et végétales, détection de pathologies, etc. 

    Dans ce contexte, l’humain, à la fois concepteur et utilisateur de tels systèmes d’IA, est un acteur incontournable. Amené à prendre des décisions basées sur ces systèmes, il engage sa responsabilité dans les choix qu’il effectue ce qui entraîne une exigence forte en termes de transparence et de compréhension des comportements de ces systèmes d’IA. Or, cette compréhension est loin d’être garantie puisque l’explicabilité* des modèles (notamment les propriétés d’interprétabilité des modèles à base de réseaux de neurones) est actuellement un sujet très complexe, objet d’études et de débats au sein même de la communauté scientifique en IA.  Ce qui se traduit par de la méfiance de la part du grand public, face à ces systèmes considérés  comme opaques parfois qualifiés de « boîtes noires ». 

    L’explicabilité* d’une IA vs celle d’un expert: Quand un expert humain prend une décision, il peut expliquer sur quelles connaissances, à partir de quels faits et quelles inférences il a utilisées pour arriver à sa conclusion. On parle d’explicabilité pour un système d’IA quand il peut lui aussi décrire comment a été construite sa décision. Dans certains cas, cette explication peut-être très complexe, voire impossible à appréhender par un humain ; en effet, un système de raisonnement automatisé peut enchaîner un très grand nombre de données, d’inférences qui dépassent de loin la capacité de nos cerveaux. Et c’est d’ailleurs bien pour ça que nous faisons appels à des machines qui ne sont pas intelligentes mais qui savent traiter des masses gigantesques d’informations.

     

    Depuis 2018, l’entrée en vigueur du règlement européen général de protection de données (RGPD), ainsi que les exigences sociétales en faveur de systèmes IA de confiance, ont permis l’essor d’algorithmes d’IA explicables et transparents dans le paysage informatique. Chacune et chacun a, en théorie, le droit et la possibilité d’exiger une explication des processus de traitement automatique de données tels que justement les systèmes d’IA, mais pouvoir le faire au niveau des connaissances de toutes et tous est un défi culturel et pédagogique.

    Cela a eu comme conséquence une explosion des travaux de recherche publiés sur ces sujets (explicabilité, interprétabilité, transparence, éthique, biais), et également une restriction de l’utilisation et l’amélioration d’un certain nombre de modèles existants autant dans l’industrie que – et surtout – dans la recherche.

    Mais qu’est-ce que l’IA explicable (ou XAI pour eXplainable Artificial Intelligence) ?

    En résumé, l’IA explicable peut être considérée comme une solution permettant de démystifier le comportement des systèmes d’IA et les raisons à l’origine de ce dernier. Il s’agit d’un ensemble d’approches et d’algorithmes permettant de proposer, par exemple,  des systèmes d’aide à la décision et d’explication de ces décisions. Expliquer le raisonnement d’un système, avec ses points forts et faibles, ainsi que son potentiel comportement dans le futur est le but de ce domaine. Pourquoi cela ? Entre autres: 1) favoriser l’acceptabilité de ces systèmes en prenant en compte les aspects éthiques et transparents, et le profil de l’utilisateur cible de cette explication, 2) veiller au respect de l’intégrité morale et physique de chacune et chacun, 3) augmenter les connaissances des experts grâce à la connaissance extraite par ces mécanismes d’IA explicable.

    En résumé, la dimension humaine est donc omniprésente depuis la conception jusqu’ à l’utilisation en passant par l’évaluation de modèle d’IA explicable.

    Pour en savoir plus, le blog binaire récapitule  les liens vers les articles que nous avons déjà partagés sur ces sujets :

    Comment comprendre ce que font les réseaux de neurones est le point d’entrée de ce sujet. Voici une série de trois articles grand public pour commencer de Marine LHUILLIER , Ingénieure d’études et Data engineer (spécialiste des données et de leur traitements) :  

     

    Démystifier des systèmes d’IA d’aide à la décision et les expliquer, permet également d’amener une connaissance pertinente à la portée du public ciblé. Un médecin peut donc voir en un système d’IA un moyen d’acquérir plus de connaissances sur une pathologie par exemple. L’IA transparente devient alors un outil d’apprentissage au service d’une expertise. Le Dr Masrour Makaremi nous avait partagé son point de vue sur cet aspect :

     

    Les algorithmes d’explicabilité peuvent être aussi être utilisés dans des contextes très ludiques comme le jeu de bridge. Il s’agit d’un jeu de cartes qui nécessite de maîtriser plusieurs compétences intéressantes à modéliser artificiellement et à démystifier, telles que faire des déductions, émettre et réviser des hypothèses, anticiper les coups de l’adversaire ou encore évaluer les probabilités. Marie-Christine Rousset, Professeur d’informatique à l’Université Grenoble Alpes, se penche et explique comment fonctionne le robot de bridge Nook, développé par NukkAI,  laboratoire privé d’Intelligence Artificielle français dédié aux développements d’IA explicables :

     

    L’IA explicable peut aussi être un moyen de favoriser l’acceptabilité de l’IA dans l’agriculture. Dans ce domaine, où la compétence de terrain est très présente, l’IA peut se révéler être un objet de frustration car elle ne permet pas de comprendre les tenants et les aboutissants. Emmanuel Frénod, mathématicien et professeur à l’Université de Bretagne Sud, au sein du Laboratoire de Mathématiques de Bretagne Atlantique, aborde le sujet de l’intégration d’outils en IA en agriculture et de la problématique des boîtes noires dans ce domaine :

     

    NOTRE PETIT PLUS : UNE NOUVELLE VIDÉO !

    Deux chercheuses en IA de l’IMT Atlantique, Lina Fahed et Ikram Chraibi Kaadoud, sont intervenues à Women Teckmakers Montréal et Québec 2021, un programme mis en place par le Google developpers Group afin de souligner le talent des femmes dans le milieu de l’informatique, de promouvoir la passion et d’accroître la visibilité de la communauté technologique féminine. Ces chercheuses ont ainsi abordé des éléments de réponses aux questions de confiance en IA et ont discuté des concepts de transparence et d’éthique à travers l’explicabilité en IA, un sujet de recherche toujours d’actualité.

    Cette présentation en français (avec des planches en anglais facilement lisibles, nous permettant aussi de se familiariser avec ce vocabulaire anglo-saxon) introduit aux concepts d’explicabilité et d’interprétabilité en IA, et fournit une description des grandes familles de stratégies en explicabilité, y compris d’un point de vue technique.  Il aborde également les difficultés inhérentes au domaine notamment lorsque les données sont hétérogènes (c’est à dire de différents formats) , ou encore en questionnant l’impact éthique et sociétale du sujet au vu de l’omniprésence des systèmes IA dans notre environnement. 

    Ikram Chraibi Kaadoud , chercheuse postdoctorale travaillant actuellement sur le sujet de l’intelligence artificielle eXplainable (XAI) sur des séries temporelles hétérogènes à l’Institut des Mines Télécom Atlantique.

  • Robotique développementale, ou l’étude du développement des connaissances dans une Intelligence Artificielle

    Intelligences naturelles et artificielles peuvent apprendre les unes des autres. De nombreux algorithmes s’inspirent de notre compréhension des mécanismes du vivant et les modèles utilisés en intelligence artificielle peuvent en retour permettre d’avancer dans la compréhension du vivant. Mais comment s’y retrouver ? Donnons la parole à Ikram CHRAIBI KAADOUD qui nous offre ici un éclairage. Pascal Guitton et Thierry Viéville.

    Cet article est publié conjointement avec le blog scilog qui nous offre ce texte en partage. Une version en anglais est disponible au lien suivant

    Apprendre à apprendre, une problématique IA  mais pas seulement

    Photo de Andrea De Santis de Unsplash

    Il est souvent dit et admis que de nombreux algorithmes s’inspirent du vivant et qu’inversement l’artificiel peut permettre d’avancer la compréhension du vivant*.

    S’inscrivant dans cette démarche, le développement des connaissances chez les humains est un domaine qui a été largement étudié par exemple,   par des méthodes informatiques utilisant des approches d’apprentissage automatique (Machine Learning) ou encore des approches robotiques (Cangelosi, 2018). L’objectif:  réaliser des algorithmes ou robots flexibles et performants capables d’interagir efficacement avec les humains et leur environnement.

    * Attention cher lecteur, chère lectrice, s’inspirer du vivant n’implique pas de créer un double artificiel ; par exemple mimer ou dupliquer:  la conception d’avions peut s’inspirer des oiseaux mais ce n’est pas pour autant que les avions battent des ailes !

    L’un des défis principaux qui existe lors d’une interaction humain-machine est la prise en compte de la variabilité de l’environnement. Autrement dit l’évolution du contexte de l’interaction. Une réponse d’une machine pertinente à un instant donné, ne sera peut-être plus la bonne quelques instants plus tard. Cela peut être dû à l’environnement (changement de lieu, d’horaire) ou à l’individu avec lequel la machine interagit. 

    Par exemple, si je vous dis « Mon train est dans 10 min » et que je suis à l’autre bout de la ville (la gare étant à l’opposé de ma localisation), il est évident que celui-ci partira sans moi. Si je suis devant la gare, alors il serait adéquat de me dépêcher ! Enfin si je suis dans le train au moment où je prononce ces mots, alors tout est bon pour moi !*
    *Merci au Dr. Yannis Haralambous, chercheur en Traitement du langage naturel, fouille de textes et grapho linguistique de IMT atlantique et l’équipe DECIDE du LAB-STICC, CNRS pour le partage de cet exemple 

    La compréhension du contexte et son assimilation est un sujet à part entière entre humains et par extension, également entre Humains et Machine.

    Alors comment faire pour qu’une machine apprenne seule à interagir avec un environnement changeant ? Autrement dit, comment faire pour que cet agent apprenne à raisonner : analyser la situation, déduire ou inférer un comportement, exécuter ce dernier, analyser les résultats et apprendre de sa propre interaction ?

    Il existe déjà nombre de travaux dans les domaines de l’apprentissage par renforcement en IA qui s’intéressent aux développements d’agents artificiels, ou encore de la cobotique où le système robotique doit prendre en compte la localisation des opérateurs humains pour ne pas risquer de les blesser. Mais il existe aussi des approches qui tendent à s’inspirer de la cognition et notamment de celle des enfants :  les approches de robotique développementale.

    “L’un des paradigmes les plus récents, la robotique développementale, propose de s’intéresser non pas à l’intelligence « adulte » d’un individu capable de résoudre a priori une large classe de problèmes, mais plutôt d’étudier la manière dont cette intelligence se constitue au cours du développement cognitif et sensori moteur de l’individu. On ne cherche pas à reproduire un robot immédiatement intelligent, mais un robot qui va être capable d’apprendre, en partant au départ avec un nombre réduit de connaissances innées. Le robot apprend à modéliser son environnement, les objets qui l’entourent, son propre corps, il apprend des éléments de langage en partant du lexique jusqu’à la grammaire, tout cela en interaction forte à la fois avec le monde physique qui l’entoure mais également au travers d’interactions sociales avec les humains ou même d’autres robots. Le modèle qui préoccupe le chercheur en intelligence artificielle n’est plus le joueur d’échec, mais tout simplement le bébé et le jeune enfant, capable d’apprendre et de se développer cognitivement.”
    Extrait de la page de présentation d’une série de conférences sur ce sujet en 2013 : https://x-recherche.polytechnique.org/post/Conf%C3%A9rence-Robotique-D%C3%A9veloppementale

    Quelques définitions avant d’aller plus loin ! 

    Reprenons d’abord quelques définitions avant d’aborder ce sujet passionnant de cognition artificielle.

    Alors qu’est-ce que l’apprentissage par renforcement, ou Reinforcement Learning ? Il s’agit d’un domaine de l’apprentissage automatique, Machine Learning, qui se concentre sur la façon dont les agents artificiels entreprennent des actions dans un environnement par la recherche d’un équilibre entre l’exploration (par exemple, d’un territoire inexploré) et l’exploitation (par exemple, de la connaissance actuelle des sources de récompense)(Chraibi Kaadoud et al, 2022). Ce domaine aborde la question de la conception d’agents autonomes qui peuvent évoluer par l’expérience et l’interaction (Sutton, Barto, et al., 1998).

    Le second concept à éclaircir est celui de Robotique :

    La robotique est un domaine scientifique et industriel qui a pour objet d’étude le robot en lui-même. Cela englobe, ses performances, ses caractéristiques énergétiques, électroniques, mécaniques et même automatiques.  

    La cobotique est un domaine scientifique qui étudie les systèmes hommes-robots collaboratifs. Un cobot se définit donc comme un robot collaboratif travaillant dans le même espace de travail que l’humain. Par exemple, un robot jouet ou robot d’accueil. La cobotique est très proche de la robotique, cependant elle n’englobe pas toutes les problématiques de la robotique. En effet, en cobotique, le cœur du sujet est la perception du cobot de son environnement, son interaction avec l’humain et inversement, la perception, l’interaction et l’acceptabilité de l’humain de son cobot. La cobotique se distingue par un volet ergonomie et ingénierie cognitique, absente de la robotique.

    La cobotique est donc de nature pluridisciplinaire et se situe à l’intersection de trois domaines : robotique, ergonomie et cognitique (Salotti et al, 2018). Notons que la cobotique n’est pas directement liée au sujet de la robotique développementale mais il est essentiel de distinguer ces deux sujets, d’où cette petite parenthèse.

    Enfin cela nous amène à la robotique développementale ou Developmental robotics. Ce domaine est aussi connu sous d’autres synonymes : cognitive developmental robotics, autonomous mental development, ainsi que epigenetic robotics.

    Ce champ de recherche est dédié à l’étude de la conception de capacités comportementales et cognitives des agents artificiels de manière autonome. Autrement dit, ce domaine s’intéresse au développement des comportements de robots et de leur représentation du monde avec lequel ils interagissent et de tout ce qui a trait à leur connaissance.

    Intrinsèquement interdisciplinaire, ce domaine s’inspire directement des principes et mécanismes de développement observés dans les systèmes cognitifs naturels des enfants. 

    Photo de Ryan Fields de Unsplash

    En effet, quoi de plus curieux et autonome qu’un enfant dans la découverte de son monde ?

     Ce domaine tend ainsi à s’inspirer du développement des processus cognitifs des enfants pour concevoir des agents artificiels qui apprennent à explorer et à interagir avec le monde comme le font les enfants (Lungarella, 2003; Cangelosi, 2018).

    Comment ? L’approche traditionnelle consiste à partir des théories du développement humain et des animaux appartenant aux domaines de la psychologie du développement, des neurosciences, du développement, de la biologie évolutive, et de la linguistique pour ensuite les formaliser et implémenter dans des robots ou agents artificiels.

    Attention, précisons que la robotique développementale est disjointe de la robotique évolutionnelle qui utilise des populations de robots interagissant entre eux et qui évoluent dans le temps.

    En quoi la robotique développementale est intéressante ?

    Afin d’avoir des agents artificiels qui évoluent et s’adaptent au fur et à mesure de leur expérience, des chercheurs se sont attelés à observer des enfants à différents stade de leur apprentissage et le développement de cette capacité d’apprentissage. Les nourrissons en particulier créent et sélectionnent activement leur expérience d’apprentissage en étant guidés par leur curiosité. Des travaux se sont donc penchés sur la modélisation de la curiosité en IA afin de déterminer l’impact de celle-ci sur l’évolution des capacités d’apprentissage des agents artificiels (Oudeyer et Smith, 2016). Les domaines d’applications sont nombreux et peuvent permettre par exemple la conception de robots capables d’apprendre des choses sur le long terme et d’évoluer dans leur apprentissage ou encore des algorithmes performants capables de générer des explications adaptées au contexte en langage naturel par exemple.

    Au-delà de la conception d’agents intelligents, l’expérimentation de ces modèles artificiels dans des robots permet aux chercheurs de confronter leur théorie sur la psychologie du développement à la réalité et ainsi confirmer ou infirmer leur hypothèse sur le développement des enfants par exemple. La robotique développementale peut ainsi être un outil d’expérimentation scientifique et d’exploration de nouvelles hypothèses sur les théories du développement humain et animal. Un outil au service de l’enfant, s’inspirant de ce dernier.

    Une meilleure compréhension du développement cognitif humain et animal, peut permettre alors de concevoir des machines (robots, agents artificiels) adaptées à l’interaction avec des enfants au fur et à mesure qu’ils grandissent et que leur contexte évolue. Cela permet également de créer des applications plus adaptées aux enfants dans les technologies éducatives comme le montre le schéma “Qu’est ce que la robotique développementale ?”.

    Au-delà de l’interaction humain-machine, ce domaine passionnant amène à se poser également des questions sur la curiosité artificielle, la créativité artificielle et même celle de la question de la motivation d’un agent artificiel ou robot ! Autrement dit, la robotique développementale permet également des découvertes scientifiques au service de la compréhension du développement cognitif des enfants et celui de la conception d’agents ou machines artificiels qui apprennent à apprendre tout au long de leur expérience.

    Schéma: Qu’est ce que la  robotique développementale ? l’alliance de modèle de sciences cognitives et d’intelligence artificielle au service de la compréhension du développement cognitif et de l’apprentissage autonome tout au long de la vie. Images: @Pixabay

    Que retenir ?

    La conception d’une interaction humain-machine réussie est une quête en soit pour laquelle différentes approches sont possibles : celle de l’apprentissage par renforcement qui se focalise sur l’agent artificiel comme objet d’étude dans un contexte donné, celle de la robotique qui se focalise sur le robot en tant que sujet d’étude d’un point de vue mécanique et logiciel, et enfin celle de la robotique développementale qui s’inspire du développement cognitif des enfants afin de créer des machine/agents artificiels flexibles, adaptée et adaptable qui évoluent. Cette épopée en est à ses prémisses et de nombreuses découvertes sont encore à venir. Toutefois retenons une chose : comment apprendre à apprendre est bien une question autant d’humains que de robots ! 

    Références & pour en savoir plus :

    Cangelosi, A., Schlesinger, M., 2018.  From babies to robots:  the contribution of developmental robotics to developmental psychology.  Child Development Perspectives 12, 183–188.

    Chraibi Kaadoud, I., Bennetot, A., Mawhin, B., Charisi, V. & Díaz-Rodríguez, N. (2022). “Explaining Aha! moments in artificial agents through IKE-XAI: Implicit Knowledge Extraction for eXplainable AI”. Neural Networks, 155, p.95-118. 10.1016/j.neunet.2022.08.002 

    Droniou, A. (2015). Apprentissage de représentations et robotique développementale: quelques apports de l’apprentissage profond pour la robotique autonome (Doctoral dissertation, Université Pierre et Marie Curie-Paris VI).

    Lungarella, M., Metta, G., Pfeifer, R., Sandini, G., 2003.  Developmental robotics:  a survey.  Connection science 15,151–190.

    Oudeyer, P. Y., & Smith, L. B. (2016). How evolution may work through curiosity‐driven developmental process. Topics in Cognitive Science, 8(2), 492-502.

    Padois Vincent (2011) Dossier « iCub et les robots de services » pour le site www.Futura-sciences.com URL : https://www.futura-sciences.com/tech/dossiers/robotique-icub-robots-service-1143/

    Salotti, J. M., Ferreri, E., Ly, O., & Daney, D. (2018). Classification des systèmes cobotiques. Ingénierie cognitique, 1(1). https://hal.archives-ouvertes.fr/hal-01943946

     

     

     

  • Corriger les failles informatiques, une impossible exhaustivité à gérer comme un risque !

    Dans le domaine de la cybersécurité, il existe de nombreuses phases du développement et du déploiement des systèmes logiciels qui sont sensibles. A l’occasion de la publication d’un rapport du NIST, c’est aux failles logicielles et à leurs correctifs que nous nous intéressons. Trois experts, Charles Cuvelliez, Jean-Jacques Quisquater & Bram Somers nous expliquent les principaux problèmes évoqués dans ce rapport. Pascal Guitton.

    Tous les jours, des failles sur les logiciels sont annoncées par leurs éditeurs, dès lors qu’un correctif est disponible. Plus rarement, la faille n’est pas découverte en interne chez l’éditeur ou ni même de façon externe, par un chercheur ; elle l’est alors d’une part par des hackers malveillants qui se gardent bien d’en faire la publicité mais les dégâts causés par leur exploitation la font vite connaître. D’autre part, par les services secrets de certains pays qui les apprécient beaucoup pour réaliser des attaques plus furtives.

    Le volume des failles à traiter quotidiennement devient de plus en plus souvent ingérable pour les entreprises. Parfois l’éditeur du logiciel ne supporte même plus la version pour laquelle une vulnérabilité a été découverte : il n’y aura pas de correctif. Appliquer un correctif peut demander du temps, nécessiter la mise à l’arrêt des équipements, leur redémarrage, le temps de l’installer. Cette indisponibilité est parfois incompatible avec l’utilisation d’un logiciel qui doit fonctionner en permanence : un correctif ne s’applique pas n’importe quand. Dans des cas plus rares, le correctif ne peut être appliqué que par le fabricant, pour des raisons de conformité ou de certification.

    Le risque zéro n’existe pas pour la sécurité des logiciels, ; dès qu’on installe un logiciel, il y a un risque de faille.  C’est l’approche suivie par le NIST dans son standard (Guide to Enterprise Patch Management Planning : Preventive Maintenance for Technology) qui vient d’être publié il y a peu.

    Couverture du rapport du NIST

    Si on ne peut ou ne veut pas appliquer de correctif, on peut désactiver le logiciel ou le module dans laquelle la faille a été identifiée. On peut installer une version plus récente du logiciel mais avec un autre risque : que ce dernier fonctionne différemment et perturbe toute la chaîne opérationnelle au sein de laquelle il est un maillon. On peut isoler le logiciel pour qu’aucune personne extérieure ne puisse l’atteindre en vue d’exploiter la faille (en segmentant le réseau et en le plaçant dans un segment sûr). On peut même décider que l’impact – si la faille est exploitée – est minime : on accepte alors le risque (ce n’est tout de même pas conseillé). On peut aussi confier le logiciel à un fournisseur à qui incombera la responsabilité de gérer les correctifs.

    Un véritable cycle

    Si on décide d’installer le correctif, c’est tout un cycle qui démarre et qui ne se réduit pas à le télécharger et à l’installer d’un clic comme on le pense souvent. Il faut chercher où, dans l’organisation, le logiciel est installé. Cela commence par détenir l’inventaire des logiciels dans son entreprise, qui n’est correct que si on connait parfaitement toutes les machines installées. D’ailleurs ce ne sont pas toujours les logiciels d’une machine qu’on doit mettre à jour, c’est parfois la machine elle-même et son système d’exploitation. Dans le cas de l’Internet des objets, la situation se complique : on peut quasiment toujours mettre à jour le firmware de ces derniers mais la tâche est immense : où sont-ils sur le terrain ? Comment les mettre à jour tous sans en oublier un ? Faut-il envoyer des techniciens sur place ? Combien de temps faudra-t-il pour tous les mettre à jour ?  Il peut même arriver qu’on doive passer à une nouvelle mise à jour alors l’ancienne n’est pas terminée pour tous les objets, au risque donc de désynchronisation de l’ensemble.

    Si on a pu installer le correctif, après avoir planifié son déploiement, l’avoir testé pour voir si le programme qu’on utilisait fonctionne toujours correctement comme avant, il faut observer le programme mis à jour : le correctif peut lui-même receler une faille (car il est souvent développé dans l’urgence) ou avoir été compromis par un hacker (ce sont les fameuses attaques dites supply chain). Par erreur, un utilisateur peut désinstaller la mise à jour, réinstaller la version précédente, lors par exemple d’une restauration d’une sauvegarde. Si on a opté pour éteindre la machine ou le logiciel car on ne peut appliquer de correctif, il faut aussi surveiller que personne ne la/le redémarre. Un correctif peut par erreur remettre à zéro la configuration du programme qui l’intègrera, y compris les réglages de sécurité.

    Toutes ces opérations ne s’organisent pas à la dernière minute, lorsqu’une faille critique est annoncée.

    Sécuriser les environnements

    On peut mettre en place un environnement plus sûr de sorte qu’une faille y ait moins d’impact ou n’y trouve pas de terrain favorable. Cela commence par ne mettre à disposition les logiciels qu’aux personnes qui en ont vraiment besoin. De deux logiciels équivalents, on peut privilégier celui qui a un historique plus favorable en nombre (réduit) de failles. On peut vérifier la rigueur du développement, la fréquence des correctifs, leur nombre, les problèmes relayés par les communautés d’utilisateurs à propos des failles. On peut aussi installer ses logiciels dans des environnements plus favorables et plus faciles à l’application de correctifs comme les containers cloud.

    Dans son rapport, le NIST distingue quatre réponses aux failles : l’application de correctifs au fil de l’eau, en respectant un planning et des contraintes comme le week-end pour les logiciels dont on ne peut tolérer l’interruption. Il y a les correctifs à appliquer d’urgence. Si un correctif n’existe pas (encore), ce sont des mesures d’atténuation qu’on appliquera en fonction des instructions du fournisseur. Si le fournisseur n’apporte plus de support, il faudra isoler la machine qui héberge le logiciel pour le rendre inatteignable sauf par ses utilisateurs, si on ne peut s’en passer.

    Que faire face à cette complexité ? Le NIST propose de classer les actifs informatiques dans des groupes de maintenance. Appliquer un correctif ou gérer une faille, c’est de la maintenance de sécurité. Chaque groupe de maintenance aura sa politique de gestion des failles.

    Et de citer comme groupe de maintenance les ordinateurs portables des employés où les failles et les correctifs ont trait au système d’exploitation même de la machine, les firmwares et autres programmes installés. Les portables des utilisateurs ont une plus grande tolérance à une interruption et l’impact est limité si un ordinateur subit une faille puisqu’il y a des logiciels de contrôle et d’alerte à la moindre infection qui tourne sur ces machines puissantes. Ces éléments permettent une politique de mise à jour des failles adaptée.

    A l’autre extrême, on trouve le groupe de maintenance « serveur de données (data center) » qui ne peut tolérer quasiment aucune interruption, qui ne peut être mis à l’arrêt qu’à des moments planifiés longuement à l’avance. Les mesures d’atténuation du risque sont tout autre, la défense en profondeur, les protections mises en place dans le réseau, la segmentation.

    Autre exemple : le groupe de maintenance liés aux tablettes et autres smartphones utilisés par les employés, avec, aussi, sa tolérance aux interruptions, ses mesures propres de protection… Avoir une politique de mise à jour et de correction des failles par groupe de maintenance évite le goulot d’étranglement de tout vouloir faire en même temps et au final de laisser des failles béantes, peut-être critiques.

    Le déploiement des correctifs.

    Le NIST propose de déployer le correctif par groupes d’utilisateurs pour voir si tout se déroule correctement, puis de l’étendre graduellement pour limiter l’impact d’un correctif qui ne serait pas au point. Le déploiement progressif peut se faire en fonction de la qualification des utilisateurs, de leur compétence. Même pour les correctifs à appliquer d’urgence, le NIST propose ce déploiement graduel (mais plus rapide, en heures, sinon en minutes plutôt qu’en jours).

    S’il n’y pas de correctifs disponibles, on est dans les mesures d’atténuation, comme isoler le logiciel quand on ne peut pas s’en passer, migrer dans un segment la machine qui le contient, adapter les droits d’accès des utilisateurs : on parle de micro-segmentation ou de « software-defined perimeters ». Tout ceci ne se fait pas le jour où l’entreprise fait face pour la première fois à un logiciel qui n’aura (plus) jamais de correctif. Les architectes doivent avoir réfléchi et proposé à l’avance les bonnes politiques et manière de faire. Il faut d’ailleurs les réévaluer en permanence car le réseau évolue : le risque est-il bien limité et le reste-t-il avec cette architecture ?

    Oublier qu’il y a là une partie du réseau qui héberge les cas à problèmes serait la pire chose à faire. Il faut aussi interpeller les utilisateurs à intervalles réguliers pour voir s’ils utilisent vraiment ce logiciel vulnérable ? Peut-on se permettre de garder un trou de sécurité ? N’y a-t-il pas une alternative sur le marché ?

    Métrique

    L’organisation et sa direction doivent pouvoir vérifier que la politique d’application des correctifs est efficace. Mesurer et affirmer que 10 % des machines ou des logiciels n’ont pas pu recevoir des correctifs n’apporte aucune information si ce n’est faire peur car on imagine ces 10 % des machines ouvertes à tout vent.

    Le NIST propose de donner trois indicateurs : la proportion de correctifs appliqués à temps par rapport à un objectif fixé, le temps moyen et le temps médian d’application du correctif (qui doivent bien sûr être inférieur à l‘objectif). Cet objectif peut être fixé par groupe de maintenance ou selon la criticité de la vulnérabilité et l’importance du logiciel dans le fonctionnement de l’entreprise.

    En fin de compte, le mieux est d’acquérir un logiciel qui connaitra le moins de failles possibles : il faut mener, dit le NIST, une véritable due diligence avec le fournisseur : combien de failles, combien par année ? Combien de temps pour produire un correctif quand une faille est trouvée ? Les correctifs sont-ils groupés ? Publiez-vous les correctifs sur la base de données des vulnérabilités CVE ? Publiez-vous les correctifs ad hoc ou à intervalles réguliers ? Cela vous arrive-t-il de ne pas publier des correctifs mais d’alors proposer des mesures d’évitement ? Vos correctifs ont-ils déjà créé des problèmes ? Testez-vous les correctifs avant de les publier ? Quel est le retour de vos clients ?

    Les réponses à ces questions en diront long sur le sérieux du fournisseur.

    Charles Cuvelliez (Ecole Polytechnique de Bruxelles, Université de Bruxelles), Jean-Jacques Quisquater (Ecole Polytechnique de Louvain, Université de Louvain) & Bram Somers (Group Chief Technology Officer, Belfius Banque)

  • La boule du boulanger

    Oui binaire s’adresse aussi aux jeunes de tous âges que le numérique laisse parfois perplexes. Avec « Petit binaire », osons ici expliquer de manière simple et accessible l’optimisation multi-objectif. Marie-Agnès Enard, Pascal Guitton et Thierry Viéville.

    – Moi j’aime bien à la fois le pain croustillant et le pain tendre. 
    – Oui mais plus ça croustille moins c’est tendre et inversement.
    Oui mais je connais Vilfredo Pareto
    – Il était boulanger ?
    Vilfredo Pareto 1870s2.jpg

    – Ah non 🙂 scientifique. Économiste et sociologue, Vilfredo Pareto est un des premiers scientifiques à tenter de formaliser et modéliser des phénomènes humains.
    – Stop ! Explique-moi comment je peux à la fois avoir le meilleur de deux choses qui sont partiellement contradictoires …

    Écoute : les frères jumeaux Pierre et Paul ont suivi avec succès l’École de la Boulange et tiennent chacun un dépôt de pain dans la même rue, l’un faisant face à l’autre. Ils pétrissent la pâte ensemble dans le respect parfait des proportions apprises (farine, eau, sel, et levain), mais alors qu’on recommande pour la cuisson une température de 180 degrés Celsius, pour un temps de cuisson de 1h15, ces deux boulangers se distinguent:
    + Pierre qui aime le pain croustillant cuit à 200 degrés pendant 1h05, 
    + Paul qui aime le pain tendre, à 170 degrés pendant 1h20.
    Qui fait le meilleur pain ? Difficile à dire, ils ont chacun une clientèle fidèle … Chacun d’eux a trouvé une excellente combinaison des paramètres température et temps de cuisson pour réaliser une cuisson irréprochable et d’autres combinaisons iraient tout aussi bien : moins chaud et plus de temps, plus chaud et moins de temps.

    Deux solutions optimales différentes, mais elles ont toutes les deux une propriété commune : si on modifie les paramètres de l’un ou de l’autre pour que le pain soit un peu plus tendre alors il sera moins croustillant, et si on le rend plus croustillant, alors il sera moins tendre. On est dans une situation telle qu’il est impossible d’améliorer l’un d’entre eux sans réduire la satisfaction par rapport à l’autre.

    – Une sorte de compromis en quelque sorte ?
    – Oui on parle de solutions Pareto-optimales, elles forment une frontière dans l’espace de tous les pains possibles et tant qu’à choisir une solution autant qu’elle soit un meilleur compromis, on parle de théorème du bien-être,  il suffit de choisir lequel.
    – Ce qui me laisse sur ma faim, si j’ose dire, c’est qu’il n’y a pas de solutions unique !
    – Oui, pour choisir “la” solution, il faut encore introduire autre un critère de choix : c’est le goût de chacun, qui fait la « patte du boulanger » quant à sa pâte, et divise leur clientèle  😉
    – Et on pourrait automatiser le calcul ?
    – Absolument, c’est ce qu’à fait Jean-Antoine Désidéri en 2012, il a proposé un algorithme qui permet de tenir compte de plusieurs critères en même temps pour trouver par le calcul une meilleure solution.

    Chercheur en mathématiques appliquées au service des sciences du numérique Inria, il a étudié comment simuler des phénomènes complexes de manière pluri-disciplinaire.


    – Et tu verras ici qu’on parle de ses travaux, 10 ans après dans un article sur l’intelligence artificielle :– Et oui il y a des résultats scientifiques qui servent même dix ans plus tard !
    – Et tu sais quoi, entre nous ?
    – Quoi ?
    – Moi je trouve que Jean-Antoine, il a plus une tête de boulanger que de mathématicien.
    – Et ben tu crois pas si bien dire : quand il était enfant, il passait le jeudi avec son oncle, pâtissier, et il a appris plein de trucs très pratiques, avant de … “mal tourner” et devenir chercheur 🙂

    Jean-Antoine Désidéri, chercheur Inria à la retraite (propos reformulés par la petite équipe de Petit Binaire).

  • Correction scientifique : droit à l’erreur et devoir de bonne foi

    A travers l’exemple d’un article très partagé sur l’impact du confinement sur la pandémie de COVID-19 que Lonni Besançon et ses collègues ont réussi à faire rétracter car il était faux, nous explorons le processus de la rétractation scientifique et pourquoi les avancées en terme de partage de code et de données permettent de faciliter la correction de la science.  Pascal Guitton et Thierry Viéville.

    Publier pour accroitre la connaissance scientifique. Dans le monde de la recherche scientifique,  le coeur de la transmission de la connaissance est la publication scientifique (aussi appelée “article”, “papier” ou “manuscrit”), car c’est à travers elle que les chercheurs communiquent leurs résultats de recherche entre eux et avec le grand public. Avant qu’un article scientifique ne soit publié dans une revue ou les actes d’une conférence, il doit (dans la majorité des cas) passer l’épreuve de la relecture par les pairs (Image 1) : d’autres scientifiques, deux ou trois en général, vont indépendamment relire le manuscrit proposé pour publication et en évaluer les mérites et faiblesses avant de donner des arguments pour l’éditeur de la revue lui permettant de publier l’article, de le rejeter, ou de demander aux auteurs de modifier leur manuscrit. Il existe plusieurs implémentations de la relecture par les pairs, chacune ayant ses avantages et inconvénients (voir par exemple [1]). Cependant, la relecture par les pairs est souvent considérée comme une norme d’excellence de la publication scientifique qui permet d’éviter la publication, et donc la propagation, de conclusions scientifiques erronées ou exagérées.

    Image 1 : Une examinatrice des National Institutes of Health aux USA évaluant une proposition de financement, domaine public.

    L’erreur est humaine et peut se corriger. Cependant, l’erreur étant humaine, le processus de relecture par les pairs n’est pas parfait, et certains articles problématiques passent parfois entre les mailles du filet. C’est notamment le cas pour les articles recélant de la fraude scientifique. Les relecteurs font le plus souvent l’hypothèse que les auteurs sont de bonne foi et par conséquent ne recherchent pas systématiquement de signes de fraudes dans ce qu’ils évaluent. Dans les cas où un article problématique serait donc publié, l’éditeur en chef de la revue peut, une fois qu’il s’en aperçoit, décider de le rétracter, c’est-à-dire le supprimer du corpus des articles scientifiques présents afin qu’il ne soit plus utilisé. Ces rétractations restent cependant très rares. 

    L’une des plus célèbres d’entre elles est probablement la rétractation de l’article d’Andrew Wakefield dans The Lancet, une revue très prestigieuse dans la recherche médicale. L’article rétracté avait été initialement publié en 1998 par A. Wakefield et conclut que le triple vaccin Rougeole-Oreillon-Rubeole pouvait être à l’origine du développement de l’autisme chez les enfants. Des doutes commencèrent à apparaître après que plusieurs études indépendantes n’aient pas réussi à reproduire les résultats de Wakefield [2,3], avant qu’une enquête journalistique de Brian Deer en 2004 ne démontre que Wakefield avait des intérêt financiers à publier de tels résultats (car il recevait de l’argent de compagnies qui produisent des vaccins uniques au lieu du triple vaccin). L’article fut finalement rétracté par The Lancet en 2010 mais continue malheureusement, plus d’une vingtaine d’années plus tard, à être cité par des opposants à la vaccination comme justification à leur croyance.

    Bien que, dans cet exemple célèbre, la rétractation prend environ 12 ans, nous avons pu voir pendant la pandémie des exemples de rétractations bien plus rapides. Par exemple des articles publiés par une compagnie appelée Surgisphere ont été rétractés en quelques semaines dans The Lancet et The New England Journal Of Medecine ; le décompte actuel du nombre de rétractations sur des articles scientifiques COVID-19 est de plus de 200. Ce mécanisme “correctif” aide à garantir la qualité de nos connaissances scientifiques.

    À notre tour d’aider à éviter que les erreurs scientifiques ne perdurent. En décembre 2021, une étude très partagée sur les réseaux sociaux qui démontrerait que le confinement est inutile pour contenir la pandémie de COVID-19 a été rétractée. Cette rétraction intervient 9 mois après la publication originale de l’article. L’article en question, de Savaris et ses co-auteurs, a été publié par Nature Scientific Reports en Mars 2021. 

    Un travail de vérification. Très rapidement, nous avons, avec mes collègues, étudié et critiqué le contenu de cet article. En particulier, les auteurs utilisaient un modèle particulier pour déterminer si une réduction de la mobilité des gens (mesurée via leurs smartphones et les données de Google) entrainait une réduction des cas. Le modèle était codé en Python et un Jupyter Notebook a été mis en ligne, avec les données, en même tant que l’article afin de respecter les principes clés de la science ouverte [4]. Outre les limitations des données initiales des auteurs (notamment sur le Google Mobility), nous avons pu utiliser le code des auteurs pour vérifier l’adéquation du modèle qu’ils utilisaient pour répondre à leur question de recherche. Grâce au fait que le modèle était partagé, nous avons par conséquent créé des jeux de données artificiels pour lesquels nous pouvions être sûrs que le confinement aurait (ou non) un impact sur la propagation COVID (Image 2). Cependant, en créant un jeu de données censé prouver un effet du confinement et en le soumettant en entrée au modèle de Savaris et de ses collègues, le modèle a conclu que le confinement ne fonctionnait pas pour limiter la propagation COVID. Nous avons donc publié nos jeux de données artificiels en ligne sur Github, résumé nos préoccupations sur l’article dans un document que nous avons posté en version préliminaire (preprint) [5], puis contacté les éditeurs de Nature Scientific Reports afin de leur envoyer notre preprint. 

    Image 2 : les cinq faux pays que nous avons créé pour vérifier le modèle de Savaris et ses collègues. Aucun de ces pays fictifs n’a permis de retourner de résultats significatifs avec le modèle des auteurs. Image CC-BY Meyerowitz-Katz et al.

    Un mécanisme collégial de discussion et de re-travail. L’équipe éditoriale a envoyé nos préoccupations aux auteurs, en leur demandant de répondre ; dans un second temps notre preprint et la réponse des auteurs ont été évalués par 6 relecteurs indépendants. Nous avons reçu la réponse des auteurs ainsi que l’évaluation des relecteurs et, contacté Savaris et ses collègues pour leur demander un jeu de données artificiel qui montrerait un effet positif du confinement. Ils nous ont fourni ce jeu de données qui, quand nous le soumettions en entrée de leur modèle, produisait bien un effet positif du confinement. Cependant, nous avons constaté qu’en ajoutant ne serait-ce qu’un minimum de bruit à ce jeu de données, le résultat basculait à nouveau vers le négatif. Nous avons donc corrigé notre preprint pour y inclure ces nouvelles préoccupations, envoyé cette nouvelle version à l’équipe éditoriale qui a donc commencé un second tour de réponse auteurs + relecture par les pairs. Notre manuscrit a été finalement publié le 07 Décembre 2021 en tant que “Matters Arising” (question soulevée) lié à la publication en question [6], 1 semaine après la publication d’un autre Matters Arising de Carlos Góes sur ce même papier qui démontre mathématiquement que le modèle ne pouvait pas répondre à leurs question de recherche [7]. Le 14 décembre 2021, l’article était finalement rétracté [8]. Bien que dans ce cas, le manuscrit de Carlos Góes démontre un problème mathématique et appuie donc le point que nous mettions en exergue dans le nôtre, il est important de noter qu’il nous aurait été impossible de trouver ces erreurs si les auteurs n’avaient pas mis en ligne et donc à disposition de la communauté scientifique leur codes et données, ce qui est tout à leur honneur.

    Une morale à cette histoire. Bien qu’un grand nombre d’articles de recherche sur COVID-19 souffre d’un très clair manque de transparence et de respect des principes de la science ouverte [4], il est certain que la disponibilité des données et du code (Open Data, Open Source) facilite grandement et accélère le processus de correction (et parfois de rétractation) de la science. Il faut vraiment l’encourager.

    Lonni Besançon 

    Références : 

    [1] Besançon, L., Rönnberg, N., Löwgren, J. et al. Open up: a survey on open and non-anonymized peer reviewing. Res Integr Peer Rev 5, 8 (2020). https://doi.org/10.1186/s41073-020-00094-z 

    [2] Madsen, K. M., Hviid, A., Vestergaard, M., Schendel, D., Wohlfahrt, J., Thorsen, P., … & Melbye, M. (2002). A population-based study of measles, mumps, and rubella vaccination and autism. New England Journal of Medicine, 347(19), 1477-1482. https://doi.org/10.1056%2FNEJMoa021134 

    [3] Black C, Kaye J A, Jick H. Relation of childhood gastrointestinal disorders to autism: nested case-control study using data from the UK General Practice Research Database BMJ 2002; 325 :419 https://doi.org/10.1136/bmj.325.7361.419 

    [4] Besançon, L., Peiffer-Smadja, N., Segalas, C. et al. Open science saves lives: lessons from the COVID-19 pandemic. BMC Med Res Methodol 21, 117 (2021).  https://doi.org/10.1186/s12874-021-01304-y 

    [5] Meyerowitz-Katz, G., Besançon, L., Wimmer, R., & Flahault, A. (2021). Absence of evidence or methodological issues? Commentary on “Stay-at-home policy is a case of exception fallacy: an internet-based ecological study”.

    [6] Meyerowitz‐Katz, G., Besançon, L., Flahault, A. et al. Impact of mobility reduction on COVID-19 mortality: absence of evidence might be due to methodological issues. Sci Rep 11, 23533 (2021). https://doi.org/10.1038/s41598-021-02461-2 

    [7] Góes, C. Pairwise difference regressions are just weighted averages. Sci Rep 11, 23044 (2021). https://doi.org/10.1038/s41598-021-02096-3 

    [8] Savaris, R.S., Pumi, G., Dalzochio, J. et al. Retraction Note: Stay-at-home policy is a case of exception fallacy: an internet-based ecological study. Sci Rep 11, 24172 (2021). https://www.nature.com/articles/s41598-021-03250-7   

     

  • Odyssée urbaine autour de la transition numérique

    Nous vous invitons à partager les réflexions déambulatoires de Sylvain Petitjean et Samuel Nowakowski à l’occasion de la parution du livre « Demain est-il ailleurs ? Odyssée urbaine autour de la transition numérique ». La qualité de leurs échanges et de leurs questionnements sur l’impact du numérique dans notre société nous ont donné envie de les partager sur binaire. Avec l’aimable autorisation des auteurs et du site Pixees, nous republions l’intégralité de l’article. Marie-Agnès Enard et Thierry Vieville.

    Couverture du livre Demain est-il ailleurs ?

    Ce texte est un échange épistolaire qui s’est installé suite à la parution du livre «Demain est-il ailleurs ? Odyssée urbaine autour de la transition numérique» co-écrit par Bruno Cohen, scénographe, réalisateur et metteur en scène, et Samuel Nowakowski, maître de conférences à l’université de Lorraine et chercheur au LORIA.

    Paru en octobre 2020 chez FYP Editions, ce livre rassemble les rencontres avec celles et ceux qui vivent aujourd’hui cette transformation radicale. Au cours d’une déambulation de 24 heures dans la ville, les personnes rencontrées abordent les notions de temps, parlent du déséquilibre, de leurs incertitudes et du mal-être, mais aussi de leurs émerveillements et de leurs rêves. Elles questionnent des thèmes centraux de notre société que sont la surveillance, le contrôle, le développement d’un capitalisme numérique prédateur. Elles parlent aussi de cet ailleurs des pionniers qui s’est matérialisé dans nos sociétés en réseau, traversées par les nécessaires réflexions à mener sur l’éthique, l’écologie, l’apprentissage, la transmission et le rapport au savoir. Arpentant l’univers de la ville à la recherche de la transition, nous découvrons petit à petit qu’elle s’incarne sous différentes formes chez les uns ou les autres, dans l’espace public et privé, et dans tous les milieux au sein desquels nous évoluons — naturels, sociaux, politiques, éducatifs, technologiques…

    Sylvain Petitjean est l’une de ces personnes rencontrées. Sylvain est chercheur au centre Inria à Nancy. Il est également président du Comité opérationnel d’évaluation des risques légaux et éthiques (Coerle) chez Inria.

    Sylvain et Samuel ont souhaité poursuivre la conversation entamée dans le livre, ouvrant ainsi d’autres champs de réflexion. Cet échange s’est étalé sur plusieurs semaines, sous forme épistolaire, dans des conditions temporelles à rebours de l’urgence et de l’immédiateté ambiante. En voici le contenu.

    Samuel : L’éthique kantienne sur laquelle notre société moderne s’est construite, s’énonce ainsi : « Agis de telle sorte que tu puisses également vouloir que ta maxime devienne loi universelle ». Or aujourd’hui, au vu des enjeux, des transitions multiples auxquelles nous faisons face, ne sommes-nous pas devant un besoin de disposer d’une éthique basée sur le principe de responsabilité à l’égard des générations futures et de notre environnement. Hans Jonas énonce le Principe responsabilité : « Agis de telle façon que les effets de ton action soient compatibles avec la permanence d’une vie authentiquement humaine sur Terre ». Ce qui implique que le nouveau type de l’agir humain consiste à prendre en considération davantage que le seul intérêt « de l’homme » et que notre devoir s’étend plus loin et que la limitation anthropocentrique de toute éthique du passé ne vaut plus ?

    Dans le cadre du numérique, et de tout ce qui se présente à nous aujourd’hui en termes d’avancées scientifiques, dans le domaine qui est le nôtre, ne devons-nous pas repenser ce rapport au vivant et nos pratiques ?

     

    Sylvain : Il est vrai qu’il n’est plus possible de considérer que les interventions techniques de l’humain sur son environnement sont superficielles et sans danger, et que la nature trouvera toujours comment rétablir elle-même ses équilibres fondamentaux. La crise écologique et les menaces pesant sur l’humanité et la planète impliquent quasi naturellement, pour Jonas et d’autres, d’orienter l’agir vers le bien commun en accord avec notre sentiment de responsabilité. D’où la proposition de refonder l’éthique comme une éthique de la responsabilité et du commun capable d’affronter l’ampleur des problèmes auxquels fait face la civilisation technologique, pour le bien-être et la survie des générations futures.

    Les technologies du numérique présentent par ailleurs un autre défi de taille, probablement inédit, du point de vue de l’éthique. Cela a notamment trait à la logique grégaire associée à l’usage des services Internet : plus un service est utilisé par d’autres usagers, plus chacun trouve intéressant de l’utiliser parce qu’il peut en obtenir davantage d’informations et de contacts, créant un effet boule de neige. Cet «effet de multitude», comme l’ont baptisé les économistes, transforme en effet l’étendue et la nature des enjeux éthiques. Alors que l’éthique est usuellement un sujet qui arrive a posteriori du progrès, dès lors que des dérives sont constatées, il sera de plus en plus difficile, avec la démultiplication des possibilités et le changement d’échelle, d’être avec le numérique dans la réaction face à un problème éthique. En d’autres termes, les problématiques éthiques et juridiques vont devenir insolubles si on ne les traite pas en amont de la conception des technologies numériques (ethics by design). Cela dessine les contours d’une éthique plus proactive, en mesure d’accompagner de façon positive le développement et l’innovation.

    Malheureusement, nous n’en sommes vraisemblablement qu’aux balbutiements de l’étude et de la maîtrise de ces questions dans le domaine du numérique. Il suffit de faire un pas de côté en direction de la biomédecine et des biotechnologies et de mesurer le chemin parcouru autour des lois de bioéthique pour s’en convaincre. Or le temps presse…

     

    Samuel : Imprégnés de l’actualité qui est la nôtre, et en paraphrasant Tocqueville, « on ne saurait douter [qu’aujourd’hui] l’instruction du peuple serve puissamment [à la compréhension des enjeux de notre temps qu’ils soient politiques, technologiques, écologiques]. [N’en sera-t-il pas] ainsi partout où l’on ne séparera point l’instruction qui éclaire l’esprit de l’éducation qui règle les mœurs ? » La maîtrise de toutes ces questions ne doit-elle pas passer par cette nécessaire instruction du plus grand nombre ? Comment nous préserver du fossé qui risque de se creuser entre ceux qui sont instruits de ces enjeux et ceux qui n’y ont pas accès parce qu’ils font face à un horizon scolaire et social bouché ? Or, la méthode la plus efficace que les humains ont trouvée pour comprendre le monde (la science) et la meilleure façon qu’ils ont trouvée afin d’organiser le processus de décision collective (les modes démocratiques) ont de nombreux points communs : la tolérance, le débat, la rationalité, la recherche d’idées communes, l’apprentissage, l’écoute du point de vue opposé, la conscience de la relativité de sa place dans le monde. La règle centrale est d’avoir conscience que nous pouvons nous tromper, de conserver la possibilité de changer d’avis lorsque nous sommes convaincus par un argument, et de reconnaître que des vues opposées aux nôtres pourraient l’emporter.

    Malheureusement, à l’école, les sciences sont souvent enseignées comme une liste de « faits établis » et de « lois », ou comme un entraînement à la résolution de problèmes. Cette façon d’enseigner s’oppose à la nature même de la pensée scientifique. Alors qu’enseigner, c’est enseigner l’esprit critique, et non le respect des manuels ; c’est inviter les étudiants à mettre en doute les idées reçues et les professeurs, et non à les croire aveuglément.

    Aujourd’hui, et encore plus en ces temps troublés, le niveau des inégalités et des injustices s’est intensifié comme jamais. Les certitudes religieuses, les théories du complot, la remise en cause de la science et de la démocratie s’amplifient et séparent encore plus les humains. Or, l’instruction, la science et la pensée doivent nous pousser à reconnaître notre ignorance, que chez « l’autre » il y a plus à apprendre qu’à redouter et que la vérité est à rechercher dans un processus d’échange, et non dans les certitudes ou dans la conviction si commune que « nous sommes les meilleurs ».

    L’enseignement pour permettre [la compréhension des enjeux de notre temps qu’ils soient politiques, technologiques, écologiques] doit donc être l’enseignement du doute et de l’émerveillement, de la subversion, du questionnement, de l’ouverture à la différence, du rejet des certitudes, de l’ouverture à l’autre, de la complexité, et par là de l’élaboration de la pensée qui invente et qui s’invente perpétuellement. L’école se caractérise ainsi à la fois par la permanence et l’impermanence. La permanence dans le renouvellement des générations, le « devenir humain », l’approche du monde et de sa complexité par l’étudiant sur son parcours personnel et professionnel. L’impermanence, dans les multiples manières de « faire humain »… et donc dans les multiples manières d’enseigner et d’apprendre. Entre permanence et impermanence, la transition ?

     

    Sylvain : En matière d’acculturation au numérique et plus globalement d’autonomisation (empowerment) face à une société qui se technologise à grande vitesse, il faut jouer à la fois sur le temps court et le temps long. Le temps court pour agir, pour prendre en main, pour ne pas rester à l’écart ; le temps long pour réfléchir et comprendre, pour prendre du recul, pour faire des choix plus éclairés.

    Daniel Blake, ce menuisier du film éponyme de Ken Loach victime d’un accident cardiaque, se retrouve désemparé, humilié face à un simple ordinateur, point de passage obligé pour faire valoir ses droits à une allocation de chômage. Où cliquer ? Comment déplacer la souris ? Comment apprivoiser le clavier ? Ces questions qui semblent évidentes à beaucoup le sont beaucoup moins pour d’autres. La dématérialisation de la société est loin d’être une aubaine pour tous. Prenons garde à ce qu’elle ne se transforme pas en machine à exclure. L’administration — dans le film — fait peu de cas de ceux qui sont démunis face à la machine ; on peut même se demander si ça ne l’arrange pas, s’il n’y a pas une volonté plus ou moins consciente d’enfoncer ceux qui ont déjà un genou à terre tout en se parant d’équité via l’outil numérique. Daniel Blake, lui, veut juste pouvoir exercer ses droits de citoyen et entend ne pas se voir nier sa dignité d’être humain. De la fable contemporaine à la réalité de nos sociétés il n’y a qu’un pas. Réduire la fameuse fracture numérique, qui porte aujourd’hui encore beaucoup sur les usages, doit continuer d’être une priorité qui nécessite de faire feu de tout bois et à tous les niveaux. Et il faut absolument s’attacher à y remettre de l’humain.

    Mais ce n’est pas suffisant. Les politiques d’e-inclusion doivent aussi travailler en profondeur et dans le temps long. De même que l’on associe au vivant une science qui s’appelle la biologie (qui donne un fil conducteur permettant d’en comprendre les enjeux et les questions de société liées, et de structurer un enseignement), on associe au numérique une science qui est l’informatique. Pour être un citoyen éclairé à l’ère du numérique et être maître de son destin numérique, il faut pouvoir s’approprier les fondements de l’informatique, pas uniquement ses usages. « Il faut piger pourquoi on clique » disait Gérard Berry. Car si les technologies du numérique évoluent très vite, ces fondements et les concepts sur lesquels ils s’appuient ont eux une durée de vie beaucoup plus grande. Les maîtriser aujourd’hui, c’est s’assurer d’appréhender non seulement le monde numérique actuel mais aussi celui de demain. Y parvenir massivement et collectivement prendra du temps. Le décalage entre la culture informatique commune de nos contemporains et ce que nécessiteraient les enjeux actuels est profond et, franchement, assez inquiétant, mais sans surprise : la révolution numérique a été abrupte, l’informatique est une science jeune, il faut former les formateurs, etc.

    Conquérir le cyberespace passe aussi par le fait de remettre à l’honneur l’enseignement des sciences et des techniques, à l’image du renouveau dans les années cinquante impulsé par les pays occidentaux confrontés à la « crise du Spoutnik » et à la peur d’être distancés par les Soviétiques dans la conquête spatiale, comme le rappelle Gilles Dowek. Or la révolution scientifique et technologique que nous vivons est bien plus profonde que celle d’alors. Et il importe de commencer à se construire une culture scientifique dès le plus jeune âge, à apprendre à séparer le fait de l’opinion, à se former au doute et à la remise en cause permanente. « C’est dès la plus tendre enfance que se préparent les chercheurs de demain. Au lieu de boucher l’horizon des enfants par un enseignement dogmatique où la curiosité naturelle ne trouve plus sa nourriture, il nous faut familiariser nos élèves avec la recherche et l’expérimentation. Il nous faut leur donner le besoin et le sens scientifiques. […] La formation scientifique est — comme toute formation d’ailleurs, mais plus exclusivement peut-être — à base d’expériences personnelles effectives avec leur part d’inconnues et donc leurs risques d’échecs et d’erreurs ; elle est une attitude de l’esprit fondée sur ce sentiment devenu règle de vie de la perméabilité à l’expérience, élément déterminant de l’intelligence, et moteur de la recherche indéfinie au service du progrès. » Ces mots datent de 1957, au moment de la crise du Spoutnik ; ils sont du pédagogue Célestin Freinet qui concevait l’éducation comme un moyen d’autonomisation et d’émancipation politique et civique. Ils n’ont pas pris une ride. Continuité des idées, des besoins, des enjeux ; renouvellement des moyens, des approches, des savoirs à acquérir. Permanence et impermanence…

     

    Samuel : Tant d’années ! Tant de nouveaux territoires du savoir dévoilés ! Et toujours les mêmes questions, toujours le même rocher à hisser au sommet de la même montagne !

    Qu’avons-nous foiré ou que n’avons-nous pas su faire ? Ou plutôt, quelles questions n’avons-nous pas ou mal posées ?

    « S’il y a une chose qui rend les jeunes êtres humains allergiques à l’imagination, c’est manifestement l’école » ont écrit Eric Liu et Scott Noppe-Brando dans Imagination first. Alors que se passerait-il si l’école devenait pour les jeunes êtres humains une expérience vivante et valorisante ? Et si nous étions là pour les accompagner vers l’idée qu’il n’existe pas qu’une seule réponse, une seule manière d’être dans le monde, une seule voie à suivre ? Que faut-il faire pour que les jeunes êtres humains aient la conviction que tout est possible et qu’ils peuvent réaliser tout ce dont ils se sentent capables ?

    A quoi ressemblerait la société ?

    Alors, à rebours de l’imaginaire populaire dans lequel on imagine l’immuabilité des lieux et des choix effectués, comment agir pour favoriser l’émergence d’« agencements » comme chez Deleuze, ou encore d’« assemblages » suivant la notion empruntée à Bruno Latour ? Non pas une matrice dans laquelle nous viendrions tous nous insérer, mais en tant qu’acteurs ne cessant de se réinventer dans une création continue d’associations et de liens dans un « lieu où tout deviendrait rythme, paysage mélodique, motifs et contrepoints, matière à expression ». Chaque fois que nous re-dessinons le monde, nous changeons la grammaire même de nos pensées, le cadre de notre représentation de la réalité. En fait, avec Rutger Bregmann, « l’incapacité d’imaginer un monde où les choses seraient différentes n’indique qu’un défaut d’imagination, pas l’impossibilité du changement ».  Nos avenirs nous appartiennent, il nous faut juste les imaginer et les rendre contagieux. Nos transitions ne seraient-elles pas prendre déjà conscience que « si nous attendons le bon vouloir des gouvernements, il sera trop tard. Si nous agissons en qualité d’individu, ça sera trop peu. Mais si nous agissons en tant que communautés, il se pourrait que ce soit juste assez, juste à temps ».

    Pour cela, il nous faudra explorer la manière dont les acteurs créent ces liens, et définissent ce que doit être la société. Et la société est d’autant plus inventive que les agencements qu’elle fait émerger sont inventifs dans l’invention d’eux-mêmes.

    Des avenirs s’ouvrent peut-être, par une voie difficile et complexe nécessitant de traverser la zone, les ruines, les turbulences et les rêves. Nous pourrions imaginer essaimer l’essence vitale de cette planète, en proie à des destructions physiques et métaphysiques, pour faire renaître l’humanité, la vie, la flore et la faune dans les étoiles. Nous pourrions, avec d’autres, former le projet de partir à bord d’un vaisseau emportant dans ses flancs, outre des embryons humains et animaux, un chargement de graines, spécimens, outils, matériel scientifique, et de fichiers informatiques contenant toute la mémoire du monde et, plus lourd encore, le « poids considérable des rêves et des espoirs ».

    Ou alors nous pourrions tout simplement former un projet non pas de « revenir à l’âge de pierre [un projet] pas réactionnaire ni même conservateur, mais simplement subversif parce qu’il semble que l’imagination utopique soit piégée […] dans un futur unique où il n’est question que de croissance ». Ce projet que nous pourrions essayer de mener à bien « c’est d’essayer de faire dérailler la machine ». Ces quelques mots d’Ursula Le Guin nous rappellent que nos avenirs nous appartiennent et que nous avons le pouvoir d’imaginer, d’expérimenter de construire à notre guise et de jouer avec nos avenirs communs et individuels afin de commencer à désincarcérer le futur.

     

    Sylvain : Comment panser l’avant et penser l’après, alors que toutes les menaces semblent s’accélérer, alors que tous les risques semblent se confirmer ? Comment essayer de réinventer un futur véritablement soutenable ?

    Certains ingrédients sont connus : décroitre, renforcer la justice sociale, déglobaliser, réduire la pression sur les ressources naturelles, développer l’économie circulaire, etc. Je voudrais ici en évoquer deux autres, sous la forme d’un devoir et d’un écueil.

    Le devoir consiste à se dépouiller de cet « humanisme dévergondé » (C. Lévi-Strauss) issu de la tradition judéo-chrétienne et, plus près de nous, de la Renaissance et du cartésianisme, « qui fait de l’homme un maître, un seigneur absolu de la création », agissant envers plantes ou animaux « avec une irresponsabilité, une désinvolture totales » qui ont conduit à mettre la nature en coupe réglée et, en particulier, à la barbarie de l’élevage industriel. Quelque chose d’absolument irremplaçable a disparu nous dit Lévi-Strauss, ce profond respect pour la vie animale et végétale qu’ont les peuples dits « primitifs » qui permet de maintenir un équilibre naturel entre l’homme et le milieu qu’il exploite. Or « se préoccuper de l’homme sans se préoccuper en même temps, de façon solidaire, de toutes les autres manifestations de la vie, c’est, qu’on le veuille ou non, conduire l’humanité à s’opprimer elle-même, lui ouvrir le chemin de l’auto-oppression et de l’auto-exploitation. » L’ethnologue pose le principe d’une éthique qui ne prend pas sa source dans la nature humaine ethnocentrée mais dans ce qu’il appelle « l’humilité principielle » : « l’homme, commençant par respecter toutes les formes de vie en dehors de la sienne, se mettrait à l’abri du risque de ne pas respecter toutes les formes de vie au sein de l’humanité même ». Cette vision des droits dus à la personne humaine comme cas particulier des droits qu’il nous faut reconnaître aux entités vivantes, cet humanisme moral inclusif nous ramène immanquablement à notre point de départ, et à Jonas.

    L’écueil consiste à systématiquement réduire chaque problème humain (politique, social, environnemental) à une question technique à laquelle la technologie numérique apporte une solution, en traitant les effets des problèmes sans jamais s’intéresser à leurs causes et en négligeant les possibles déterminismes et biais qui la composent. « Si nous nous y prenons bien, je pense que nous pouvons réparer tous les problèmes du monde » fanfaronnait Eric Schmidt, président exécutif de Google, en 2012. Diminuer le CO2 ? Il y a une application pour ça ! E. Morozov montre bien les limites et effets pervers de cette idéologie qu’il appelle le « solutionnisme technologique », qui s’accompagne d’un affaiblissement du jeu démocratique et aboutit au triomphe de l’individualisme et de la marchandisation. « Révolutionnaires en théorie, [les technologies intelligentes] sont souvent réactionnaires en pratique. » Et elles s’attaquent bien souvent à des problèmes artificiels à force de simplification. « Ce qui est irréaliste, dit Naomi Klein, est de penser que nous allons pouvoir faire face à ces crises mondiales avec quelques minuscules ajustements de la loi du marché. C’est ça qui est utopique. Croire qu’il va y avoir une baguette magique technologique est ridicule. Cela relève de la pensée magique, portée par ceux qui ont un intérêt économique à maintenir le statu quo. » Il ne s’agit bien sûr pas d’éliminer la technologie de la boîte à outils de la résolution de problème. Il importe en revanche de dépasser l’optimisme béat et la quasi-piété en ses pouvoirs et de comprendre qu’elle n’est qu’un levier qui n’a du sens qu’en conjonction d’autres (Ethan Zuckerman). Il est urgent, au fond, de réhabiliter la nuance, la pluralité et la complexité dans le débat et de trouver une voie pour traiter les problèmes difficiles avec des solutions nouvelles selon une approche systémique.

    Demain est peut-être ailleurs, mais si l’humanité veut tenter un nouveau départ, les premiers pas vers le renouveau doivent être effectués ici et maintenant.

  • Tous au libre !

    Oui binaire s’adresse aussi aux jeunes de tous âges que le numérique laisse parfois perplexes. Avec « Petit binaire », osons ici expliquer de manière simple et accessible cette notion de logiciel libre. Marie-Agnès Enard, Pascal Guitton  et Thierry Viéville.

     

    Tu as faim ? J’ai une pomme. Partageons là. Du coup, je n’ai mangé qu’une demi-pomme. Mais j’ai gagné ton amitié. Tu as une idée ?  Partageons là. Du coup, nous voilà toi et moi avec une idée. Mieux encore : ton idée vient de m’en susciter une autre que je te repartage, en retour. Pour te permettre d’en trouver une troisième peut-être.


    Une pomme est un bien rival. Cette notion désigne un bien dont la consommation par une personne empêche la consommation par d’autres. Ce qui relève de l’information ne l’est donc pas ; du coup, partager de l’information n’appauvrit pas … Sauf si on considère que l’autre en profite ? Peut-être … même pas. Découvrons cette histoire.

    Il était une fois, ah non : il était deux fois.

    Il était une première fois [0], bien avant l’informatique, l’idée de rétribuer qui contribue au perfectionnement du métier à tisser, dans le Lyon du XVIIIe siècle. Les corporations de marchands et la municipalité choisirent de récompenser qui adapte un nouveau système à un grand nombre de métiers à tisser [1]. Cette politique d’innovation économique ouverte basée sur une stratégie gagnante-gagnante de partage des innovations technologiques (travailler ensemble plutôt que de tenter de cacher son savoir et de tuer les autres pour finir par mourir dans un désert économique) a permis à Lyon, devant Nottingham par exemple, de devenir leader sur ce secteur [2].

    Pour le fameux métier à tisser de Jacquard, d’aucuns y voient un génie, d’autres de dire qu’il n’a rien inventé. Les deux ont tort et raison. Joseph Marie Charles dit Jacquard n’est pas un inventeur, c’est un intégrateur. Basile Bouchon a créé une machine à tisser à aiguille, Jean-Baptiste Falcon a complété la machine avec un système de carte perforée pour bénéficier d’un programme des gestes à mécaniser, et Jacques Vaucanson, a mis au point les cylindres automatiques pour soulager les utilisateurs en leur évitant d’avoir à faire tout cela à la main. Le métier de Jacquard est un aboutissement. C’est le fait que toutes ces innovations furent partagées publiquement qui permit de dépasser le monde anglo-saxon empêtré dans un système de protections avec des brevets, sur ce secteur économique.

    Et il était une autre fois l’informatique [4].

    L’informatique est une science et depuis toujours les connaissances scientifiques se partagent, se visitent et se revisitent pour pouvoir les vérifier, les confronter, les critiquer, les dépasser. À de rares exceptions près, les scientifiques qui ont travaillé isolément, dans le plus grand secret, sont restés … stérilement isolés. La science n’avance plus que collectivement et il est important de toujours se battre pour mettre en avant ces valeurs d’une science ouverte [5]. Au début de l’informatique, les algorithmes se partageaient comme les équations mathématiques, avec des communautés de développeurs qui s’entraidaient. Et puis, avec la découverte du potentiel commercial des logiciels et sous l’influence notamment de Bill Gates, la notion de  “copyright” s’est imposée en 1976, faisant du logiciel un possible bien propriétaire, en lien avec l’émergence d’un secteur d’activités nouveau et très vite florissant, au moment de l’avènement de l’informatique grand public qui est devenu omniprésente. Mais cette réglementation engendrera tellement de contraintes que 45 ans plus tard, même Microsoft [6] s’investit de plus en plus dans le logiciel libre. L’intérêt réel de grandes firmes comme IBM ou Microsoft dans ce nouveau type de partage de connaissances [7] marque un tournant.

    Quel intérêt à une telle démarche ?

    On peut invoquer de multiples raisons : pour que les personnes qui travaillent sur des projets parfois gigantesques puissent s’entraider, pour que l’on puisse étudier un logiciel complexe dont le fonctionnement doit rester transparent (par exemple pour mettre en place un système de vote numérique), pour que économiquement on crée des “biens communs” qui puissent permettre au plus grand nombre de développer ce dont il ou elle a besoin, et faire des économies d’échelle, comme par exemple lorsqu’il s’agit de corriger des bugs.

    Un logiciel libre garantit quatre libertés fondamentales [8] :

    – utiliser le logiciel

    – copier le logiciel

    – étudier le logiciel

    – modifier le logiciel et redistribuer les versions modifiées.

    Et si cette démarche d’ouverture ne se limitait pas au logiciel [9] ? Et si comme Wikipédia qui a permis de “libérer” les connaissances encyclopédiques humaines, qui avaient été enfermées sous forme de bien marchand, on faisait en sorte de s’organiser de manière collégiale, en privilégiant l’entraide et le partage pour d’autres grandes créations humaines ? 

    Allez, un petit jeu pour finir, sauriez-vous reconnaître ces logiciels libres, parmi les plus célèbres ?

    Références :

    [0] Merci à Stéphane Ubeda, de nous avoir fait découvrir ces éléments.

    [1] Histoire de la soierie à Lyon : Système public de soutien à l’innovation.

    [2] The economics of open technology: Collective organization and individual claims in the « fabrique lyonnaise » during the old regime. Dominique Foray and Liliane Hilaire Perez, Conference in honor of Paul A.David, Turin (Italy), May 2000

    [3] Histoire de la soierie à Lyon : Mécanisation de la production.

    [4] Histoire du logiciel libre 

    [5] Open Science, Nicolas Rougier, https://hal.inria.fr/hal-01418314 

    [6] Microsoft libère 60000 brevets pour protéger LinuX https://www.numerama.com/tech/426979-microsoft-libere-60-000-brevets-pour-proteger-linux.html 

    [7] Microsoft, IBM : le logiciel libre s’impose chez les géants de l’informatique https://la-rem.eu/2019/03/microsoft-ibm-le-logiciel-libre-simpose-chez-les-geants-de-linformatique/ 

    [8] Comprendre les logiciels libres (podcast vidéo)  https://binaire.socinfo.fr/2017/07/05/podcast-logiciel-libre/ 

    [9] Logiciel libre et ouvert, révolution ou évolution

    https://interstices.info/le-logiciel-libre-et-ouvert-revolution-ou-evolution/

     

  • Interprétabilité, biais, éthique et transparence : quelles relations ?

    Comment comprendre et expliquer une décision automatisée prise par un algorithme de ce qu’on appelle l’Intelligence Artificielle, ou IA, (par exemple un réseau de neurones) ? Il est plus qu’important de pouvoir expliquer et interpréter ces résultats, parfois bluffants, qui orientent souvent nos décisions humaines. Éclairage grâce à Marine LHUILLIER et Ikram CHRAIBI KAADOUD. Pascal Guitton et Thierry Viéville.

    Interprétabilité vs explicabilité : comprendre vs expliquer son réseau de neurone (3/3

    Troisième et dernier article de notre série ( (vous pouvez trouver le premier article ici et le deuxième article là) qui questionne sur les concepts d’interprétabilité et d’explicabilité des réseaux de neurones, nous finissons ici par une ouverture sur les relations particulières entre l’interprétabilité, les biais, l’éthique et la transparence de ces réseaux.

    Ces articles sont publiés conjointement avec le blog scilog, qui nous offre ce texte en partage.

    Le but d’une approche d’interprétabilité est de permettre d’accéder à la mémoire implicite d’un réseau de neurones afin d’en extraire les règles et représentations encodées (i.e. apprises ou extraites à partir des données) lors de son apprentissage ; l’extraction pouvant intervenir pendant ou après celui-ci. Autrement dit, on peut explorer et amener dans le domaine de l’explicite le« raisonnement » implicite qu’il s’est lui-même construit grâce aux nombreux exemples vus et à la pratique répétée (de façon assez similaire à celle d’un humain qui acquiert des connaissances par l’expérience et le vécu).

    A l’image d’un humain qui possède une représentation du monde dans lequel il vit, construite en fonction de son vécu et de son expérience, un réseau de neurones, au fur et à mesure qu’il est alimenté de données, se construit sa propre représentation également. Celle-ci étant certes limitée par les données apprises, elle contient tout de même son savoir et par extension les raisons sur lesquelles se basent son comportement et ses prédictions.

    Mais dans ce cas, que se passe-t-il lorsqu’un individu n’apprend qu’une seule vision du monde (exemple volontairement exagéré : le ciel est de couleur verte le jour et grise la nuit) ?

    Alors peu importe le nombre d’images de levers et couchers de soleil, de nuits étoilées ou de ciels pluvieux, il considérera toujours que toutes ces images sont erronées et seul ce qu’il a appris est juste. En tant qu’humain, nous avons néanmoins une capacité de questionnement et de remise en cause qui peut, avec le temps, nous amener, à travers notre vécu, à relativiser notre apprentissage et à réaliser qu’il existe d’autres nuances de couleurs toutes aussi belles à observer dans le ciel.

    Malheureusement les réseaux de neurones n’ont pas cette capacité car ils réalisent souvent une phase d’apprentissage unique (surtout dans le cas d’apprentissage supervisé), de plusieurs exemples certes, mais dans les cas les plus répandus en une seule fois. Autrement dit, une fois une règle apprise, elle devient immuable ! Dans le cas de la classification des couleurs du ciel, cela n’a pas grand impact mais imaginons que cet algorithme soit utilisé pour classer la valeur des individus en fonction de leurs résultats quels qu’ils soient. L’algorithme pourrait alors considérer selon le type de données qu’il a reçu et donc la ou les règles qu’il a implicitement encodée, que seuls les profils de femmes correspondent à un poste de secrétaire et au contraire que seuls les CV d’hommes doivent être retenus pour un poste technique dans l’automobile. Ces exemples stéréotypés, bien qu’assez simples et basiques, reflètent une bien triste réalité : les biais présents dans les IA peuvent s’avérer dangereux et discriminatoires. 

    En effet, les algorithmes d’IA et leurs prises de décisions sont influencés par les données qu’ils apprennent. Cela soulève donc une problématique autour des biais présents dans ces données mais aussi ceux issus directement des développeurs implémentant ces algorithmes. De mauvais jeux de données peuvent amener à des conséquences fâcheuses ainsi qu’à une implémentation biaisée. Si un algorithme d’IA apprend à partir des données, des règles erronées ou biaisées alors ses décisions le seront tout autant et reproduiront ce que l’on appelle des biais de sélection ou encore de jugement. Un exemple tristement célèbre est la description fournie par Google en 2015 sur une photo d’un couple de personnes afro-américaines classifiées comme étant des gorilles car le corpus de données n’était pas assez représentatif de la diversité de la population…

    Nous le constatons, l’impact de ces biais peut s’avérer très grave surtout dans des domaines critiques tels que la santé, la défense ou encore la finance. De nos jours, de nombreux travaux existent sur ce sujet afin d’étudier ces biais. Néanmoins il est important de souligner qu’en prendre connaissance ne signifie pas obligatoirement que nous savons comment les éliminer [Crawford, 2019] ! De plus, la suppression de ces biais dans un algorithme peut s’avérer très coûteuse en termes de ressources car il faudrait relancer les apprentissages des réseaux de neurones après correction. Or selon leur profondeur, leur complexité et le volume de données à traiter, ce coût peut s’avérer très, voire trop, important. Ces biais sont ainsi parfois conservés par défaut car ils seraient trop coûteux et incertains à corriger. Par exemple, GPT-3, le modèle de langage développé par la société OpenAI en 2020 [Brown, 2020], nécessiterait une mémoire de plus de 350 Go, avec un coût lié à l’entraînement du modèle qui dépasserait les 12 millions de dollars

    Que retenir ? 

    Dans le cadre de la démystification des réseaux de neurones, algorithmes d’IA dit aussi “boîtes noires”, l’interprétabilité et l’explicabilité sont deux domaines de recherche distincts mais très liés. Si l’interprétabilité consiste à étudier et expliciter la logique interne des réseaux de neurones, autrement dit leur fonctionnement, l’explicabilité se focalise elle sur “comment” donner du sens à cette logique interne de manière la plus adaptée possible. Ainsi l’interprétabilité est souvent réalisée par des experts en Machine Learning pour d’autres experts alors que l’explicabilité peut être à destination de néophytes et  d’experts. 

    L’intérêt que nous portons donc, tout comme de nombreux chercheurs, à ces deux domaines prend tout son sens dans les questions sociétales et éthiques abordées précédemment : l’impact des biais, la discrimination, le respect du RGPD, etc. En effet, réussir à mieux comprendre le fonctionnement de ces algorithmes nous permet d’aider à la démystification de l’IA et à rendre ces “boîtes noires” plus transparentes, intelligibles et compréhensibles. D’une manière plus générale, cela permet aussi d’améliorer la confiance de chacune et chacun d’entre nous en ces outils qui tendent à devenir omniprésents dans notre vie quotidienne ou, a contrario, de refuser ceux qui ne seraient pas suffisamment transparents. 

    Si nous avions accès au “comment” et au “pourquoi” les décisions des outils IA sont émises, peut-être pourrions-nous alors intervenir sur leur fonctionnement ainsi que sur les données leur servant de base d’apprentissage qui sont souvent nos propres données. Nous pourrions alors nous assurer que nous allons bien vers une société plus inclusive où chacune et chacun d’entre nous est respecté dans toute sa diversité…

    Petit mot des autrices : 

    Cet article à vocation pédagogique présente une approche pour faire de l’interprétabilité. Il en existe d’autres et pour les plus curieux, la bibliographie de chaque billet est là pour vous !  Les billets n’ont pas non plus pour vocation de poser d’équivalence entre un humain et un réseau de neurones car un humain est beaucoup plus complexe ! Les exemples fournis sont justement présents à titre d’illustration pour permettre une meilleure assimilation des concepts. Nous serions toutefois heureuses d’en discuter plus amplement avec vous !

     Marine LHUILLIER et Ikram CHRAIBI KAADOUD.

    • Ingénieure R&D en informatique diplômée de l’EPSI Bordeaux, Marine s’est spécialisée lors de sa dernière mission dans la recherche à la jonction de l’IA et des Sciences cognitives, notamment dans le domaine de l’interprétabilité. 
    • Ikram quant à elle, chercheuse IA & Sciences cognitives, ainsi qu’ancienne Epsienne, se passionne pour la modélisation de la cognition ou autrement dit comment faire de l’IA inspirée de l’humain. Toutes deux ont collaboré dans le cadre d’un projet de recherche en Machine Learning sur l’interprétabilité des réseaux de neurones chez l’entreprise onepoint. 

    Références :

    Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Agarwal, S. (2020). Language models are few-shot learners. arXiv, arXiv:2005.14165.

    Crawford Kate (2019) « Les biais sont devenus le matériel brut de l’IA ». URL : https://www.lemonde.fr/blog/internetactu/2019/10/03/kate-crawford-les-biais-sont-devenus-le-materiel-brut-de-lia/

     

     

  • L’interprétabilité selon différentes approches

    Comment comprendre et expliquer une décision automatisée prise par un algorithme de ce qu’on appelle l’Intelligence Artificielle, ou IA, (par exemple un réseau de neurones) ? Il est plus qu’important de pouvoir expliquer et interpréter ces résultats, parfois bluffants, qui orientent souvent nos décisions humaines. Éclairage grâce à Marine LHUILLIER et Ikram CHRAIBI KAADOUD. Pascal Guitton et Thierry Viéville.

    Interprétabilité vs explicabilité : comprendre vs expliquer son réseau de neurone (2/3) Second article d’une série de trois articles (vous pouvez trouver le premier article ici et le troisième article là) qui questionnent sur les concepts d’interprétabilité et d’explicabilité des réseaux de neurones, cet article offre une vue globale sur les  approches d’interprétabilité existantes selon les objectifs recherchés et tente d’apporter des éléments de réponses à la question “comment ouvrir les “boîtes noires” que sont les réseaux de neurones?”

    Ces articles sont publiés conjointement avec le blog scilog, qui nous offre ce texte en partage.

    Si les réseaux de neurones artificiels font partie des algorithmes de Machine Learning les plus précis, ils sont cependant aujourd’hui les plus obscurs pour l’humain (Figure 1). 

    En effet, dans l’approche que les chercheurs et développeurs ont eu pendant des années, ils ont souvent négligé ou oublié l’interprétabilité et la transparence de ces algorithmes au profit de la performance.

    Figure 1 – Niveaux d’interprétabilité des algorithmes de Machine Learning. Image adaptée à partir de Dam et al. [2018]

    Interprétabilité locale ou globale ?

    Lorsque l’on évoque l’interprétabilité des réseaux de neurones artificiels il est primordial de savoir ce que nous cherchons à expliquer et l’usage que nous souhaitons en faire. En effet, les techniques qui en découlent se distinguent selon plusieurs critères.

    Tout d’abord, il est nécessaire de savoir quel type de comportement nécessite d’être analysé. Cherchons-nous à fournir une explication au comportement de la totalité du modèle ou en revanche son comportement sur un résultat en particulier ?

    La première approche, nommée interprétabilité globale tend donc à fournir une explication sur le comportement global du réseau et ce, sur l’ensemble des données qu’il a apprises. Elle permet de rendre le processus de prise de décision transparent pour toutes les données et s’avère être un moyen précieux pour évaluer la pertinence de ce que le modèle a appris [Clapaud, 2019]. D’autre part, l’interprétabilité locale tend à fournir une explication pour un résultat précis, c’est-à-dire pour une décision en particulier sur une échelle très réduite. Elle est particulièrement pertinente lorsqu’il est nécessaire d’analyser un cas en particulier pour les besoins d’une personne (patient, client…) par exemple [Guidotti, 2018].

    Illustrons cela par un exemple : Imaginons avoir accès à un four à micro-ondes High-Tech dont nous aurions perdu le mode d’emploi, et donc, dont nous ignorions le fonctionnement. Nous pouvons alors toujours observer la réaction du micro-ondes lorsqu’on appuie sur les boutons au fur et à mesure. En faisant cela, on associe un résultat (plat chauffé) à l’arrivée d’une information (j’ai appuyé sur un bouton en particulier). C’est ce qui revient, en fait, à interpréter localement le comportement de la machine (ici le four à micro-ondes) en fonction d’informations entrantes puisque nous associons une action et un résultat par le biais d’une fonction. Nous sommes alors dans une dimension d’interprétabilité locale : 

    Dans le cas du micro-ondes : 

    Fonctions du micro-ondes (bouton de chauffage appuyé) = plat chauffé

    Dans un cas plus générique :

    Fonctions d’un réseau de neurones (donnée entrante à l’instant t)  = résultat/prédiction à l’instant t 

    L’interprétabilité globale correspond à une description simple et globale du fonctionnement complet du micro-ondes. Autrement dit, il s’agit de donner dans les grandes lignes son mode de fonctionnement :  on saura quel type de boutons permet de décongeler, quel autre type de boutons permet de chauffer, quel type de boutons permet d’ajuster le temps de chauffage, etc. Mais nous n’aurons pas accès directement aux comportements précis, tel que “pour décongeler un aliment il faut d’abord en sélectionner le type, puis le poids, puis vérifier le temps régulièrement afin d’atteindre le résultat souhaité.

    En résumé, l’interprétabilité globale permet d’accéder aux chapitres et grandes sections du mode d’emploi, là où l’interprétabilité locale permet d’accéder à des fonctions bien spécifiques du micro-ondes.

    Etudier un raisonnement “en cours” ou “construit” ?

    Le deuxième usage qu’il est important de déterminer consiste à définir le moment où l’extraction des connaissances du réseau sera faite.

    Si la phase d’interprétabilité est effectuée pendant l’apprentissage du réseau de neurones il s’agit d’une méthode pédagogique car il est possible d’observer le comportement de celui-ci à plusieurs moments de son apprentissage. En effet il est admis, que lors de cette étape, le réseau de neurones arrive à identifier et à extraire des caractéristiques des données qui lui permettent de s’auto ajuster, i.e. apprendre par la modification des poids. 

    En revanche, si l’extraction se fait à posteriori de l’apprentissage, i.e. pendant la phase de test, on parle de méthode de décomposition car on observe, dans ce cas, l’activité de chaque couche cachée du réseau séparément avant de les combiner. 

    Par exemple, considérons une tâche d’apprentissage supervisé où un réseau doit apprendre à classifier des images de tortues et de chatons. Au fur et à mesure de son apprentissage, donc au fur et à mesure qu’il reçoit des exemples, ce réseau va identifier les caractéristiques des images qui sont spécifiques à chaque classe : pixels, code couleur, positionnement d’un ensemble de pixels, etc. Ainsi, plus il va traiter d’exemples, plus il identifiera ces caractéristiques (features en anglais) et donc plus il pourra s’ajuster pour faire correspondre la bonne image à la bonne classe.

    Dans ce cas précis, si on applique une méthode pédagogique sur ce réseau il est possible d’observer à différents moments de son apprentissage (par exemple tous les 100 exemples présentés) l’évolution de cette phase d’identification des caractéristiques. Autrement dit, on pourra observer ce qu’il apprend et la construction de son « raisonnement ».

    A contrario, si on utilise la méthode de décomposition on va venir étudier le comportement du réseau de neurones (i.e. les activités des unités de la ou des couches cachées) à chaque fois qu’il reçoit une image à posteriori de son apprentissage.

    A ce stade, donc durant la phase de test, le réseau a fini d’apprendre et il est possible d’extraire et d’analyser son activité au niveau de ses couches cachées (son comportement ou activité interne) face à chaque image selon l’apprentissage réalisé précédemment. Autrement dit, lors de ce processus, on extrait des comportements individuels des couches cachées avant de les combiner pour obtenir le comportement global du réseau et donc comprendre son « raisonnement ».

    Analyser un réseau de neurones après apprentissage via une méthode de décomposition permet donc en quelque sorte d’évaluer son apprentissage implicite en l’explicitant. 

    Que retenir ? 

    S’il ne fallait retenir qu’une chose, c’est qu’en termes d’interprétabilité, comme en Machine Learning en général, il n’existe pas une approche possible mais plusieurs. Selon la question à laquelle on souhaite répondre (expliquer un comportement local ou global du réseau) et ce que l’on souhaite comprendre (comment apprend-t-il à partir des données ou comment fait-il ses prédictions ?) la ou les approches d’interprétabilité des réseaux de neurones adoptées seront différentes. 

    En effet, il est possible de vouloir expliquer ou comprendre le comportement du réseau dans sa totalité, i.e faire de l’interprétabilité globale : quelles sont l’ensemble des règles que le réseau a appris implicitement pour classer des tortues et des chatons ? Ou au contraire s’intéresser plus particulièrement à un exemple en faisant de l’interprétabilité locale : pourquoi cette image précise a été classée ainsi ? 

    Sur le même principe, cherchons-nous à comprendre comment le raisonnement du réseau se construit en “temps réel” ou une fois celui-ci terminé

    Souhaiter répondre à ces questions nécessite de choisir, d’implémenter et/ou d’utiliser la technique d’interprétabilité adéquate parmi les nombreuses existantes. Pour en savoir plus à ce sujet, il est possible d’explorer des domaines de recherche du Machine Learning comme le Representation learning connu aussi sous le nom de feature learning [Bengio et al, 2013] et Rules Extraction [Jacobson, 2005].

    De plus, se questionner sur l’interprétabilité et l’explicabilité des réseaux de neurones nous amène en tant que chercheurs et utilisateurs de ces algorithmes, à nous pencher sur leur impact dans notre vie quotidienne et par extension à des questions d’ordre éthique et d’acceptabilité : sommes-nous prêts à accepter plus d’IA si nous n’avons pas de garantie au niveau de l’éthique, de l’inclusion et de la justice ? Surtout, avons-nous les moyens de répondre à nos questionnements sur ce sujet ? Ces relations complexes entre interprétabilité, biais, éthique et transparence seront justement présentées dans le troisième et dernier article de cette série !

    La suite est ici, avec le 3ème article.

     Marine LHUILLIER et Ikram CHRAIBI KAADOUD.

    • Ingénieure R&D en informatique diplômée de l’EPSI Bordeaux, Marine s’est spécialisée lors de sa dernière mission dans la recherche à la jonction de l’IA et des Sciences cognitives, notamment dans le domaine de l’interprétabilité. 
    • Ikram quant à elle, chercheuse IA & Sciences cognitives, ainsi qu’ancienne Epsienne, se passionne pour la modélisation de la cognition ou autrement dit comment faire de l’IA inspirée de l’humain. Toutes deux ont collaboré dans le cadre d’un projet de recherche en Machine Learning sur l’interprétabilité des réseaux de neurones chez l’entreprise onepoint. 

    Références :

    Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8), 1798-1828.

    Clapaud, Alain (2019). Explicabilité des IA : quelles solutions mettre en oeuvre ? Publié sur LeMagIT. URL : https://www.lemagit.fr/conseil/Explicabilite-des-IA-quelles-solutions-mettre-en-uvre

    Dam, H. K., Tran, T., & Ghose, A. (2018). Explainable software analytics. In Proceedings of the 40th International Conference on Software Engineering: New Ideas and Emerging Results (pp. 53-56).

    Guidotti, R., Monreale, A., Ruggieri, S., Turini, F., Giannotti, F., & Pedreschi, D. (2018). A survey of methods for explaining black box models. ACM computing surveys (CSUR), 51(5), 1-42.

    Jacobsson, H. (2005). Rule extraction from recurrent neural networks: A taxonomy and review. Neural Computation, 17(6), 1223-1263

  • Une réforme Post-Quantique

    Pourquoi dit-on que les ordinateurs quantiques vont bouleverser la cryptographie d’aujourd’hui ? Quelles nouvelles attaques pourraient-ils permettre et peut-on s’en prémunir ? Mélissa Rossi a effectué sa thèse en cryptographie post-quantique dans le laboratoire de cryptographie de l’ENS de Paris. Ce laboratoire fait aussi partie de Inria, CNRS et PSL. Son projet de thèse a aussi été financé par Thales et par l’agence nationale de la sécurité des systèmes d’information (ANSSI). Elle vient nous éclairer sur ces questions dans la rubrique « Il était une fois ma thèse ». Pauline Bolignano et Pierre Paradinas

    ©Fondation l’Oréal – Jean-Charles Caslot

    Sans qu’on ne s’en rende compte, des calculs de mathématiques avancés sont utilisés sans cesse dans les puces de nos téléphones, nos cartes bancaires, ou encore nos passeports. Grâce à eux, nous n’avons pas à faire les calculs nous-mêmes pour protéger notre vie privée : nos informations personnelles entrent dans ce que l’on pourrait voir comme une “micro-usine”, et en ressortent chiffrées, c’est à dire protégées, emballées, prêtes à être envoyées sur le réseau. Ces usines sont en fait des algorithmes cryptographiques qui tournent silencieusement dans nos appareils. Ces dernières rendent nos données privées inintelligibles lorsqu’elles transitent dans le réseau. Si on est pas le destinataire, il est impossible de les déchiffrer, à moins d’être capable de résoudre des problèmes mathématiques difficiles comme la factorisation des grands nombres par exemple.

    La micro-usine
    La micro-usine

    Après une cinquantaine d’années de bons et loyaux services, ces micro-usines sont menacées de fermeture ! 

    Leur pire ennemi, l’ordinateur quantique de grande échelle, pourrait un jour débarquer et les rendre obsolètes. Cet ordinateur repose sur des principes physiques différents des ordinateurs actuels et pourrait détricoter rapidement tous les calculs soigneusement réalisés dans ces usines et ainsi révéler au grand jour toutes nos données personnelles. Plus précisément, cette technologie pourrait résoudre les problèmes mathématiques sur lesquels reposent tous nos systèmes (plus d’information sur l’informatique quantique).

    Nous voilà avertis: si cela arrive, plus rien à faire. Plus aucune barrière cryptographique ne pourra nous protéger. Nos comptes bancaires, notre identité et nos communications seraient disponibles aux cyber-attaquants.

    Néanmoins, l’avancée de la recherche dans le domaine de l’informatique quantique est encore loin d’atteindre la création d’ordinateurs quantiques capables de d’anéantir les micro-usines actuelles. A moins d’un progrès scientifique fulgurant, ces ordinateurs ne seront vraisemblablement pas créés avant plusieurs dizaines d’années, au moins. Mais, les syndicats ont fait remonter plusieurs questions relatives au futur de leurs usines :

    – Que faire des micro-usines installées dans des processeurs à longue durée de vie (plus de 30 ans par exemple)? Ceux-ci ne sont pas à l’abri des potentielles attaques quantiques futures.

    – Et si une entité malveillante enregistrait et stockait toutes les communications actuelles dans le but d’utiliser un ordinateur quantique dans le futur pour récupérer des informations secrètes passées ?

    Une réforme pour éviter la fermeture

    Une première piste envisageable pour éviter ces puissantes attaques serait d’utiliser la cryptographie quantique; mais elle ne pourra pas être déployée dans les prochaines décennies car elle nécessite un réseau et des infrastructures quantiques.

    La communauté scientifique est donc actuellement en réflexion pour trouver une solution à moyen terme et changer les méthodes de protection des informations privées sans utiliser d’informatique quantique.  L’idée serait de réformer complètement les calculs mathématiques utilisés actuellement dans nos micro-usines. Comme tout grand changement, nous ne pouvons cependant pas modifier tous nos systèmes en un claquement de doigts. Il faudrait d’abord tester ces nouvelles méthodes pour vérifier leur sécurité, et surtout, éviter une seconde mutinerie liées à de nouvelles failles non anticipées.

    Ma thèse

    Pendant 3 ans, j’ai analysé une possible nouvelle technique prometteuse utilisant une structure mathématique appelée “réseaux euclidiens”.

    Les réseaux euclidiens sont des structures discrètes d’un espace multidimensionnel. Le caractère discret de ces réseaux assure l’existence d’un plus court vecteur. Cependant, trouver le plus court vecteur d’un réseau donné est considéré comme un problème difficile; ce qui permet la création de nouveaux systèmes. En effet, le temps nécessaire pour le trouver est tellement grand que l’on considère que c’est impossible en temps raisonnable. Même si cette difficulté est toujours conjecturée à l’heure actuelle, elle est supportée par plus de garanties en termes de complexité quantique et classiques que la factorisation.

    J’ai essayé d’attaquer ces potentielles nouvelles micro-usines de manière à les mettre à l’épreuve. Celles-ci ont beaucoup d’avantages en terme d’efficacité et de sécurité, mais j’y ai tout de même trouvé des failles qui les rendent vulnérables à certaines cyber-attaques. J’ai ensuite mis en place des mesures de protection pour chaque attaque:

    1) Les attaques par calcul de temps. Selon les opérations à faire et selon les valeurs des nombres manipulés, les calculs prennent plus ou moins de temps. En mesurant le temps qu’ils mettent, on peut parfois retrouver des données secrètes. Nous avons mis en place des protections qui, grossièrement, consistaient à mettre un temps fixe pour les calculs. Le défi était de ne pas trop affecter l’efficacité.

    Attaque par calcul de temps

    2) Les attaques physiques. Supposons qu’un attaquant peut mesurer plusieurs paramètres physiques (la température, les ondes électromagnétiques qui émanent de la puce contenant la micro-usine…). Ces mesures pouvaient laisser fuir des informations secrètes et il fallait que l’on mette en place de nouvelles protections qui consistaient à ajouter des “faux calculs” pour brouiller les signaux.

    Attaque physique
    Attaque physique

     3) Les attaques par échecs. Les réseaux euclidiens sont une structure complexe à manipuler et parfois des erreurs sont commises, ce qui entraîne l’échec du calcul. Ces erreurs sont extrêmement rares, mais en les sur-sollicitant avec l’aide fictive d’un ordinateur quantique, ces “bugs” peuvent devenir plus fréquents. Contrairement à ce que l’on pourrait penser, les échecs peuvent donner de l’information sur les secrets utilisés, ce qui a été à l’origine d’attaques et de nouvelles protections.

    Attaque par échec

    Finalement, même s’il reste encore à pousser l’analyse plus loin pour renforcer la confiance de la communauté scientifique dans les méthodes fondées sur les réseaux euclidiens et à gagner en efficacité, les ouvriers sont rassurés et se préparent sereinement à la grande réforme de protection post-quantique.

    Pour aller plus loin, une vidéo de 10 minutes permet d’aller plus en détails. Et pour aller encore plus loin, mon manuscrit est disponible en ligne.

    Mélissa Rossi

  • Une réforme Post-Quantique: le podcast

    Pourquoi dit-on que les ordinateurs quantiques vont bouleverser la cryptographie d’aujourd’hui ? Quelles nouvelles attaques pourraient-ils permettre et peut-on s’en prémunir ?

    En lien avec l’article de fond sur le sujet, Mélissa Rossi nous propose ce postcast vidéo pour nous permettre d’aller dans les détails. Et pour aller encore plus loin, son manuscrit est disponible en ligne.

    Mélissa Rossi a effectué sa thèse en cryptographie post-quantique dans le laboratoire de cryptographie de l’ENS de Paris. Ce laboratoire fait aussi partie de Inria, CNRS et PSL. Son projet de thèse a aussi été financé par Thales et par l’agence nationale de la sécurité des systèmes d’information (ANSSI).