Étiquette : Interprétabilité

  • IA explicable, IA interprétable: voyage dans les archives Binaires

    Peut-on comprendre et expliquer une décision automatisée prise par un système d’intelligence artificielle ? Pouvons-nous faire confiance à ce système autonome ? En tant qu’utilisateur, cela engage notre responsabilité et pose des questions. A travers Binaire, plusieurs chercheurs ont partagé leur travail à ce sujet ! Voici un résumé et récapitulatif autour de l’explicabilité et l’interprétabilité proposé par Ikram Chraibi Kaadoud chercheuse en IA passionnée de médiation ! Marie-Agnès Enard, Pascal Guitton et Thierry Viéville.

    Un petit rappel de contexte

    Dans de nombreux domaines, les mutations technologiques de ces dernières années ont mené à la disponibilité et à la prédominance de données complexes et hétérogènes. Par conséquent, de plus en plus de domaines d’application font appels aux systèmes d’intelligence artificielle (IA) dans le but de comprendre ces données, réaliser des prédictions jusqu’à aider l’humain à prendre des décisions.  Dans notre quotidien, les prises de décisions assistées par  des systèmes d’IA (voir automatisées quand urgence oblige) sont ainsi devenues une réalité quasi-omniprésente : algorithme de recommandation de médias, identification ou reconnaissance d’espèces animales et végétales, détection de pathologies, etc. 

    Dans ce contexte, l’humain, à la fois concepteur et utilisateur de tels systèmes d’IA, est un acteur incontournable. Amené à prendre des décisions basées sur ces systèmes, il engage sa responsabilité dans les choix qu’il effectue ce qui entraîne une exigence forte en termes de transparence et de compréhension des comportements de ces systèmes d’IA. Or, cette compréhension est loin d’être garantie puisque l’explicabilité* des modèles (notamment les propriétés d’interprétabilité des modèles à base de réseaux de neurones) est actuellement un sujet très complexe, objet d’études et de débats au sein même de la communauté scientifique en IA.  Ce qui se traduit par de la méfiance de la part du grand public, face à ces systèmes considérés  comme opaques parfois qualifiés de « boîtes noires ». 

    L’explicabilité* d’une IA vs celle d’un expert: Quand un expert humain prend une décision, il peut expliquer sur quelles connaissances, à partir de quels faits et quelles inférences il a utilisées pour arriver à sa conclusion. On parle d’explicabilité pour un système d’IA quand il peut lui aussi décrire comment a été construite sa décision. Dans certains cas, cette explication peut-être très complexe, voire impossible à appréhender par un humain ; en effet, un système de raisonnement automatisé peut enchaîner un très grand nombre de données, d’inférences qui dépassent de loin la capacité de nos cerveaux. Et c’est d’ailleurs bien pour ça que nous faisons appels à des machines qui ne sont pas intelligentes mais qui savent traiter des masses gigantesques d’informations.

     

    Depuis 2018, l’entrée en vigueur du règlement européen général de protection de données (RGPD), ainsi que les exigences sociétales en faveur de systèmes IA de confiance, ont permis l’essor d’algorithmes d’IA explicables et transparents dans le paysage informatique. Chacune et chacun a, en théorie, le droit et la possibilité d’exiger une explication des processus de traitement automatique de données tels que justement les systèmes d’IA, mais pouvoir le faire au niveau des connaissances de toutes et tous est un défi culturel et pédagogique.

    Cela a eu comme conséquence une explosion des travaux de recherche publiés sur ces sujets (explicabilité, interprétabilité, transparence, éthique, biais), et également une restriction de l’utilisation et l’amélioration d’un certain nombre de modèles existants autant dans l’industrie que – et surtout – dans la recherche.

    Mais qu’est-ce que l’IA explicable (ou XAI pour eXplainable Artificial Intelligence) ?

    En résumé, l’IA explicable peut être considérée comme une solution permettant de démystifier le comportement des systèmes d’IA et les raisons à l’origine de ce dernier. Il s’agit d’un ensemble d’approches et d’algorithmes permettant de proposer, par exemple,  des systèmes d’aide à la décision et d’explication de ces décisions. Expliquer le raisonnement d’un système, avec ses points forts et faibles, ainsi que son potentiel comportement dans le futur est le but de ce domaine. Pourquoi cela ? Entre autres: 1) favoriser l’acceptabilité de ces systèmes en prenant en compte les aspects éthiques et transparents, et le profil de l’utilisateur cible de cette explication, 2) veiller au respect de l’intégrité morale et physique de chacune et chacun, 3) augmenter les connaissances des experts grâce à la connaissance extraite par ces mécanismes d’IA explicable.

    En résumé, la dimension humaine est donc omniprésente depuis la conception jusqu’ à l’utilisation en passant par l’évaluation de modèle d’IA explicable.

    Pour en savoir plus, le blog binaire récapitule  les liens vers les articles que nous avons déjà partagés sur ces sujets :

    Comment comprendre ce que font les réseaux de neurones est le point d’entrée de ce sujet. Voici une série de trois articles grand public pour commencer de Marine LHUILLIER , Ingénieure d’études et Data engineer (spécialiste des données et de leur traitements) :  

     

    Démystifier des systèmes d’IA d’aide à la décision et les expliquer, permet également d’amener une connaissance pertinente à la portée du public ciblé. Un médecin peut donc voir en un système d’IA un moyen d’acquérir plus de connaissances sur une pathologie par exemple. L’IA transparente devient alors un outil d’apprentissage au service d’une expertise. Le Dr Masrour Makaremi nous avait partagé son point de vue sur cet aspect :

     

    Les algorithmes d’explicabilité peuvent être aussi être utilisés dans des contextes très ludiques comme le jeu de bridge. Il s’agit d’un jeu de cartes qui nécessite de maîtriser plusieurs compétences intéressantes à modéliser artificiellement et à démystifier, telles que faire des déductions, émettre et réviser des hypothèses, anticiper les coups de l’adversaire ou encore évaluer les probabilités. Marie-Christine Rousset, Professeur d’informatique à l’Université Grenoble Alpes, se penche et explique comment fonctionne le robot de bridge Nook, développé par NukkAI,  laboratoire privé d’Intelligence Artificielle français dédié aux développements d’IA explicables :

     

    L’IA explicable peut aussi être un moyen de favoriser l’acceptabilité de l’IA dans l’agriculture. Dans ce domaine, où la compétence de terrain est très présente, l’IA peut se révéler être un objet de frustration car elle ne permet pas de comprendre les tenants et les aboutissants. Emmanuel Frénod, mathématicien et professeur à l’Université de Bretagne Sud, au sein du Laboratoire de Mathématiques de Bretagne Atlantique, aborde le sujet de l’intégration d’outils en IA en agriculture et de la problématique des boîtes noires dans ce domaine :

     

    NOTRE PETIT PLUS : UNE NOUVELLE VIDÉO !

    Deux chercheuses en IA de l’IMT Atlantique, Lina Fahed et Ikram Chraibi Kaadoud, sont intervenues à Women Teckmakers Montréal et Québec 2021, un programme mis en place par le Google developpers Group afin de souligner le talent des femmes dans le milieu de l’informatique, de promouvoir la passion et d’accroître la visibilité de la communauté technologique féminine. Ces chercheuses ont ainsi abordé des éléments de réponses aux questions de confiance en IA et ont discuté des concepts de transparence et d’éthique à travers l’explicabilité en IA, un sujet de recherche toujours d’actualité.

    Cette présentation en français (avec des planches en anglais facilement lisibles, nous permettant aussi de se familiariser avec ce vocabulaire anglo-saxon) introduit aux concepts d’explicabilité et d’interprétabilité en IA, et fournit une description des grandes familles de stratégies en explicabilité, y compris d’un point de vue technique.  Il aborde également les difficultés inhérentes au domaine notamment lorsque les données sont hétérogènes (c’est à dire de différents formats) , ou encore en questionnant l’impact éthique et sociétale du sujet au vu de l’omniprésence des systèmes IA dans notre environnement. 

    Ikram Chraibi Kaadoud , chercheuse postdoctorale travaillant actuellement sur le sujet de l’intelligence artificielle eXplainable (XAI) sur des séries temporelles hétérogènes à l’Institut des Mines Télécom Atlantique.

  • Intelligence artificielle en médecine, faire de l’interpretabilité des réseaux de neurones une boite à outil pour le praticien

    Quelle est l’importance et l’impact de l’interprétabilité et de l’explicabilité, domaines de recherche très porteurs pour démystifier l’Intelligence Artificielle (IA), dans la relation entre l’IA et le praticien pour une relation de confiance. Discutons de ce point avec le Dr Masrour Makaremi, docteur en chirurgie dentaire, spécialiste en orthopédie dento-faciale orthodontie titulaire d’un master2 en Anthropologie biologique et d’un master2 en Neuroscience computationnelle-sciences cognitives. Il est actuellement Doctorant en Neuroscience cognitives de l’Université de Bordeaux, et  soutiendra prochainement sa thèse de science qui traite en partie de l’apport de l’interpretabilité des réseaux de neurones à une meilleure compréhension des dysmorphoses cranio-faciales. Ikram Chraibi Kaadoud, Thierry Vieville, Pascal Guitton

     

    En tant que praticien, comment en êtes-vous arrivé au domaine de l’IA ? 

    L’évolution de la technologie a toujours accompagné l’évolution de la médecine, mais cela est d’autant plus vrai ces dernières années, car l’émergence de l’IA dans la sphère médicale, vient changer non seulement notre pratique, mais aussi la manière d’envisager les outils et d’interagir avec eux, et par extension, cela vient aussi changer notre relation avec les patients.

    C’est en écoutant Yann Lecun en 2016 au collège de France, que je me suis réellement intéressé à l’IA. Il a su, à travers ses cours, démystifier le fonctionnement des réseaux de neurones artificiels que  j’ai commencé à envisager comme un moyen de pratiquer différemment mon métier…devenir en quelque sorte un expert augmenté en utilisant l’IA. Cette stratégie d’augmentation signifie que l’on part de ce que les humains font aujourd’hui pour arriver à comprendre la manière dont ce travail pourrait être approfondi, et non diminué, par une utilisation plus poussée de l’IA [1].

     Quels sont les challenges de l’IA en médecine ?

     C’est définitivement, la création d’un lien entre la cognition de l’expert et le flux des calculs numériques ! En résumé, les sciences cognitives ! Je m’explique : aujourd’hui les outils à base d’IA sont des outils soit d’aide à la décision, qui font par exemple des propositions de diagnostic, soit des outils pour faciliter le quotidien en prenant en charge les tâches répétitives. Par exemple, positionner des points sur un tracé céphalométrique pour objectiver les décalages des bases osseuses[2]. Ces outils sont déjà d’une très grande aide dans la pratique de mon métier au quotidien. Néanmoins, il leur manque la capacité de prendre en compte la cognition de l’expert auquel ils sont destinés.

    Par exemple, prenons le cas d’un joueur d’échecs. Lorsqu’il regarde un plateau, il va mentalement découper celui-ci, l’analyser et imaginer facilement le prochain mouvement, et tout cela en peu de secondes. La théorie des chunks [3]  a démontré que les maîtres d’échecs préparent leurs coups grâce à une intuition guidée par le savoir, en comparant le jeu devant leurs yeux à une situation de jeu similaire stockée dans leur mémoire épisodique à long terme (hippocampe).

    Figure 1 – Présentation d’une situation d’échec sous deux aspects différents, la même information présenté de deux manières différentes apportera potentiellement des réponses différentes de l’expert

    Si l’on met ce même joueur d’échec devant une feuille où cette fois ci le jeu d’échec est présenté sous la forme de suite de codes indiquant la position des pions (ex cavalier C4, exemple illustré en Figure 1) et qu’on lui demande de jouer, sa réponse changera. Il mettra probablement plus de temps, proposera peut-être une réponse moins performante, ou tout simplement risque d’être trop perturbé pour répondre. La modification de la représentation du problème, va donc changer la réponse de l’expert humain et cela est complètement normal. Or on demande justement à l’IA de pallier celà, mais sans connaissance de l’expert avec lequel elle doit s’interfacer. Réussir une stratégie d’augmentation nécessite la connexion de l’intuition  de l’expert au flux du processus numérique.

    Lors de la conception d’un produit quel qu’il soit, des utilisateurs sont de plus en plus souvent sollicités pour tester les produits et ainsi s’assurer que ces derniers répondent bien aux attentes. C’est aussi souvent le cas en informatique et en IA, mais cela ne semble pas assez pour vous, pourquoi ?

    L’IA peut aller au-delà d’un rôle d’outil d’aide à la pratique du métier de médecin, ou d’une quelconque expertise. L’IA peut devenir « notre troisième œil »[4], celui que l’on pourrait avoir métaphoriquement derrière la tête afin de nous aider à percevoir tout ce que nous ne percevons pas dans l’instant. L’idée ici serait d’augmenter l’expert en le connectant à l’IA, dès le début des phases de conception de celle-ci afin de créer une vraie collaboration. Les outils IA conçus en fonction des experts, de leurs contraintes métier objectives, de leurs perceptions subjectives, pourraient mieux s’interfacer avec l’expert métier. Et pour que cet interfaçage se fasse, il vaut mieux que le praticien soit impliqué dans les échanges dès le début de manière continue, et non une fois par mois comme on peut le voir dans certaines collaborations.

    Outre mon activité de clinicien, je travaille sur l’IA appliquée aux images médicales. Afin de maximiser la collaboration, nous avons installé une petite équipe de recherche en IA au sein de la clinique afin de pouvoir échanger constamment et facilement autour des techniques de vision par ordinateur, des stratégies de recherche et des analyses et interprétations des résultats. Mais au-delà de cela, je suis convaincu que l’équipe IA peut ainsi mieux accéder aux médecins, aux infirmières et assistantes, ceux qui ont une connaissance métier et qui interagissent avec les donnés là où elles se trouvent au quotidien. Nous savons qu’une grande partie de  l’apprentissage et de la communication entre individus se fait de façon non verbale et spontanée : en regroupant les praticiens, les data scientists et les données en un même lieu, c’est une symbiose naturelle que je recherche.

    Récemment, Pierre Vladimir Ennezat, (médecin des hôpitaux cardiologue, Centre Hospitalier Universitaire -CHU- Henri Mondor, Créteil) s’est inquiété dans une tribune du journal « le Monde » « des effets de la numérisation croissante de la relation entre soignants et patients ». Qu’en pensez-vous? 

    Heureusement qu’on est inquiet ! Cela nous oblige à une saine remise en cause ! Et nous incite à trouver notre place dans la médecine du futur. J’aime beaucoup citer « Michel Serres » qui pour les 40 ans de l’inria a fait un entretien, dans lequel il a dit que « les nouvelles technologies vont obliger les gens à être intelligents ». Isaac Bashevis Singer, prix nobel de la Littérature en 1978 complète cette pensée par une très belle citation « plus les technologies évolueront, plus on va s’intéresser à l’humain ». En résumé, l’informatique est incontournable dans le paysage médical aujourd’hui. L’IA est déjà en train de chambouler notre société à plusieurs niveaux et cela va sans aucun doute continuer. C’est d’ailleurs pour cela qu’avec le professeur P. Bouletreau, , professeur des Universités et Praticien Hospitalier au CHU de Lyon, nous proposons une introduction à l’IA dans le diplôme interuniversitaire de chirurgie orthognathique. Donc: oui, il va y avoir une numérisation croissante de la relation entre soignants et patients, mais je reste optimiste, car l’humain est un animal social ! C’est paradoxalement, là où il y a le plus de technologie, que l’on cherche le contact et la présence humaine.. Il nous faut donc juste réfléchir tous ensemble pour déterminer comment la machine peut trouver sa place parmi nous, et justement, l’interprétabilité va nous aider à cela.

    Alors justement, pourquoi l’interprétabilité ? Que change ce domaine en IA pour vous en tant que praticien ?

    L’interprétabilité en IA constitue le fait de véritablement rentrer dans le circuit des réseaux de neurones afin de rechercher une information qui vient compléter les connaissances déjà acquises, les challenger et les améliorer. Il faut “saisir ce que font ces réseaux de neurones”. Si ce domaine a été originellement pensé pour expliquer les mécanismes internes des réseaux de neurones, moi je le perçois comme étant un outil de découverte de connaissances auxquels, en tant que praticien, je n’aurais pas forcément pensé. Je vise donc à plus à une interprétabilité qui soit aussi explicable.  La question posée est  : que voit donc ce « troisième œil´´ ? Je suis convaincu qu’en explorant les mécanismes de prise de décision des réseaux de neurones nous pouvons faire de nouvelles découvertes. Par exemple, mieux appréhender des interactions entre différentes structures anatomiques dans une pathologie ou encore mieux définir les interactions entre la dysmorphose (mandibule en position rétrusive) et l’architecture cranio-faciale dans son ensemble (exemple illustré en Figure 2). Cette utilisation de l’interpretabilité des réseaux de neurones s’inspire de la théorie du logicien Kurt Godel qui disait : « Pour trouver des vérités dans un système donné, il faut pouvoir s’en extraire ». Je parle bien d’interprétabilité et non pas d’explicabilité, car le second, même s’il est très important, va moins loin pour moi dans le sens où il doit me permettre de valider le comportement de l’IA, et non me permettre de découvrir de nouvelles connaissances

    Figure 2 – Carte de saillance (technique score-CAN) développée à partir de superposition de 1500 téléradiographie de profil de crâne de patients avec une mandibule en position retrusive par rapport au reste du crâne : retrognathe). Cette carte permet de mieux définir les interactions entre la dysmorphose (mandibule en position rétrusive)et l’architecture cranio faciale dans son ensemble.

     

     

     

    Si vous pouviez ne transmettre qu’un message sur le sujet IA-praticien, quel serait-il ? 

    Grâce à une réelle collaboration entre les spécialistes dans chacun des domaines,  les experts en IA et à l’utilisation de l’interprétabilité, les réseaux de neurones ne doivent pas seulement évoluer d’une black-box vers une white-box pour qu’on leur fasse confiance. Mais ils peuvent devenir une véritable   ”tool-box », c’est à dire une boîte à outils, au service de la réflexion du praticien. Ce défi sera pour moi une clé de la réussite d’une stratégie d’augmentation en médecine mais également éviter que l’IA ne sombre à nouveau  dans un  hiver délaissé par ses utilisateurs, après des promesses qui n’aboutissent pas

    Pour en savoir plus: 

    1. Dr Masrour makaremi :https://www.makaremi-orthodontie.fr/ 
    2. Stratégie d’augmentation : 
      • Davenport TH, Kirby J. Au-delà de l’automatisation. HBR, 2016.
    3.  Utilisation de l’IA pour le positionnement de points sur un tracé céphalométrique pour objectiver les décalages des bases osseuses :
      •  Kim, H., Shim, E., Park, J., Kim, Y. J., Lee, U., & Kim, Y. (2020). Web-based fully automated cephalometric analysis by deep learning. Computer methods and programs in biomedicine, 194, 105513.
      • Lindner, C., & Cootes, T. F. (2015). Fully automatic cephalometric evaluation using random forest regression-voting. In IEEE International Symposium on Biomedical Imaging (ISBI) 2015–Grand Challenges in Dental X-ray Image Analysis–Automated Detection and Analysis for Diagnosis in Cephalometric X-ray Image. 
      • Liu, X., Faes, L., Kale, A. U., Wagner, S. K., Fu, D. J., Bruynseels, A., … & Denniston, A. K. (2019). A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. The lancet digital health, 1(6), e271-e297.
    4. Théorie des chunks :
      • Gobet, F., Lane, P. C., Croker, S., Cheng, P. C., Jones, G., Oliver, I., & Pine, J. M. (2001). Chunking mechanisms in human learning. Trends in cognitive sciences, 5(6), 236-243.
    5. IA, le troisième œil en médecine :