Vous ouvrez Instagram et tombez nez à nez avec une photo du pape en streetwear. Vous avez tout de même du mal à y croire, et vous avez bien raison ! De nombreux “deepfakes” circulent sur internet : au-delà d’être un outil formidable, l’IA générative présente donc aussi des dangers. La diffusion massive de données générées par IA impose donc de protéger leur propriété, authentifier leur auteur, détecter les plagiats etc. Une solution émerge : le watermarking (ou “tatouage numérique”) qui répond à ces attentes.
Créer un « deep watermartking ».
Le watermarking devient de plus en plus sophistiqué. On observe une évolution des techniques de watermarking qui se basaient jusqu’ici sur des concepts assez simples comme un filigrane transparent qui recouvre l’image (« watermark » encodée dans la donnée et qui reste en apparence identique). Apparaît désormais le “deep watermarking” qui induit une altération plus subtile des données, mais qui est aussi plus robuste aux dégradations liées aux manipulations de l’image. Pour être qualifié de “deep watermarking”, un filigrane doit respecter les trois règles suivantes:
- l’imperceptibilité : la distorsion doit restée invisible à l’œil humain.
- la capacité : on doit pouvoir introduire de l’information dans le tatouage comme la date ou une signature.
- la robustesse : le filigrane doit rester détectable même si l’on transforme l’image.
Pourquoi utilise-t-on le terme “deep” ? Parce que ces méthodes se basent sur des algorithmes d’apprentissage profond, ou “deep learning” en anglais. Il s’agit d’un procédé d’apprentissage automatique utilisant des réseaux de neurones possédant plusieurs couches de neurones cachées.
Il est possible d’appliquer de tels filigranes sur des images préexistantes par un processus qualifié “d’encodeur-décodeur” :
– Le modèle d’encodage prend deux entrées : une image brute et un message texte. Il cache le texte dans l’image en essayant de le rendre le moins perceptible possible.
– Le décodeur prend en entrée l’image tatouée et tente de récupérer le texte caché.
L’encodeur et le décodeur sont entraînés pour travailler ensemble : le premier pour cacher un message dans une image sans l’altérer visuellement et le second pour retrouver le message dans cette image altérée.
Comme, en pratique, l’image tatouée peut subir des modifications (recadrage, rotation, flou, ajout de bruit), des altérations aléatoires sont appliquées aux images exemples, au cours du processus, pour entraîner le décodeur à tenir compte de ces altérations.
Mieux encore, on peut intégrer, donc encoder, le tatouage directement lors de la création d’images.
Comment fonctionnent les générateurs d’images avec watermark ?
Les générateurs d’images sont basés sur ce qu’on nomme en intelligence artificielle des modèles de diffusions, comme expliqué le puis simplement possible ici.
Assez simplement, le système apprend, à partir d’un énorme nombre d’exemples, à passer d’une image où toutes les valeurs sont tirées au hasard (un bruit visuel aléatoire), en prenant en entrée une indication textuelle décrivant l’image souhaitée, à des images de moins en moins aléatoires, jusqu’à créer l’image finale. C’est cette idée de diffuser progressivement l’information textuelle dans cette suite d’images de plus en plus proches d’une image attendue qui fait le succès de la méthode.
Il est alors possible d’incorporer le watermark directement lors de la diffusion : on oriente ce processus en le déformant (on parle de biais statistique), en fonction du code secret, qu’est le watermark. Comme cette déformation ne peut être décodée, seule l’entité générant le texte, peut détecter si le tatouage, est présent.
Comment ça marche en pratique ?
Le watermarking est comme un produit « radioactif » : un modèle entraîné sur des données tatouées reproduit le tatouage présent dedans. Ainsi, si un éditeur utilise le produit tatoué d’un concurrent pour l’entraînement de ses propres modèles, les sorties de ce dernier posséderont également la marque de fabrique du premier !
Le watermarking a donc vocation de permettre aux éditeurs de modèles de génération de protéger leur propriété, puisque c’est une technique robuste pour déterminer si un contenu est généré par une IA et pour faire respecter les licences et conditions d’utilisation des modèles génératifs. Cela dit, il est essentiel de continuer à développer des techniques plus robustes, car tous les modèles open-source n’intègrent pas encore de mécanismes de watermarking.
Cet article est issu d’une présentation donnée par Tom Sander chez datacraft. Tom est doctorant chez Meta et travaille sur des méthodes de préservation de la vie privée pour les modèles d’apprentissage profond, ainsi que sur des techniques de marquage numérique. Nous tenons à remercier Tom pour son temps et sa présentation.
Jeanne Gautier, Data scientist chez datacraft & Raphaël Vienne, Head of AI chez datacraft .
Pour aller plus loin :
Laisser un commentaire