Comment détecter les "deepfakes" à l'aide des techniques de criminalistique des médias

Qu'est-ce que le deepfake ?

Deepfake est la contraction de "deep learning" et de "fake news". Il s'agit de la création de faux contenus multimédias (images, vidéos, sons). Il s'agit de contenus qui ne sont pas des enregistrements de scènes ou d'événements physiques réels. Auparavant, on parlait d'effets spéciaux ou d'images générées par ordinateur. Cependant, pour faire du neuf avec du vieux, son nom a été changé pour lui donner un attrait plus tendance, tout en incluant la très appréhendée "Intelligence Artificielle".

Rien de nouveau sous le soleil, alors ?

Oui, deux points critiques.

Les outils sont démocratisés et se trouvent facilement sur Internet

Des algorithmes extrêmement compliqués et précis ont été mis au point en laboratoire et sont désormais disponibles en code source ouvert. Bouger les lèvres de David Beckham pour les synchroniser avec un texte, faire dire n'importe quoi à Barack Obama et animer des images fixes pour faire revivre Marylin Monroe est désormais accessible à presque tout le monde.

De plus, si cela reste trop compliqué, on peut facilement engager des "deepfakers" sur l'internet qui feront le travail pour 20 dollars par vidéo.

Le processus est avant tout non collaboratif

Les effets spéciaux hollywoodiens ont l'immense avantage d'être produits dans un environnement collaboratif. Des capteurs sont placés sur les corps des acteurs qui ont été scannés pour avoir le modèle 3D le plus fidèle possible. Bref, tout est fait pour faciliter le travail de post-production.

Il est évident que Vladimir Poutine n'a jamais consenti à la réalisation des deepfakes où il apparaît.

Les experts peuvent encore discerner des imperfections dans ces deepfakes, mais leur réalisme s'améliore à grande vitesse. Il ne suffit plus de le voir pour le croire, on ne peut plus se fier à ce que l'on voit sur Internet. Les journalistes sont tétanisés à l'idée de relayer des deepfakes à leur insu, ce qui ruinerait leur crédibilité. Certains prédisent l'apocalypse dans le monde des médias.

‍

Quels sont les outils d'investigation pour l'anti-deepfake ?

La criminalistique des médias est l'investigation des contenus numériques : sont-ils vrais ou faux ? Comme Sherlock Holmes, il suffit parfois d'une loupe : Pourquoi Barack Obama ne cligne-t-il jamais des yeux sur cette vidéo ? Pourquoi les bords de ses yeux et de sa bouche sont-ils flous alors que le reste de son visage est net ? Même lorsque le montage et les effets spéciaux ne sont pas visibles à l'œil nu, les outils d'imagerie numérique peuvent identifier des marques invisibles à l'œil nu. Des méthodes spécifiques de génération de deepfakes laissent des motifs caractéristiques dans les valeurs des pixels ou, au contraire, ne laissent pas les mêmes traces qu'un capteur d'appareil photo numérique.

Anti-anti-deepfake, jusqu'où ira la réponse ?

C'est un jeu sans fin du chat et de la souris, de la police et du voleur : Si je sais que votre outil forensics détecte la présence ou l'absence de telles ou telles traces dans mes deepfakes, je les passerai dans mon outil anti-anti-deepfake pour les enlever/insérer artificiellement. Et ainsi de suite... de longues séries d'articles scientifiques sont à prévoir où l'un bloquera les avancées de l'autre, qui a bloqué les résultats précédents et ainsi de suite. Ce ne sera pas passionnant (avis du scientifique ici).

Qui du chat ou de la souris gagnera à la fin ?

Telle est la question ! Nous ne le savons pas encore, et le saurons-nous jamais d'ailleurs ?

Focus sur deux approches anti-deepfake

Illustrons deux approches anti-fake particulières que nous apprécions :

La recherche de l'œuvre originale

Certains deep-fakes, et en particulier les photomontages, utilisent et détournent le contenu original. Les manipulations sont évidentes lorsque l'on a sous les yeux un contenu original et un contenu manipulé. D'où l'idée de trouver du contenu original avec un moteur de recherche comme Google Image.

Oui, mais comment puis-je certifier que j'ai trouvé l'image originale correctement ?

C'est là que le filigrane invisible agit comme un sceau qui atteste de l'originalité du contenu. Qui le crée et quand ? Ce sont des agences de presse fiables et accréditées (Associated Press, Reuters, NY Times, etc.) qui créent les images après en avoir soigneusement vérifié le contenu. D'autres proposent des dépôts d'images certifiées authentiques. Si l'on ajoute à cela l'idée d'un registre décentralisé, un autre mot à la mode apparaît : blockchain.

La criminalistique active

Recréer la chaîne de création d'une image, depuis le passage de la lumière à travers l'objectif d'un appareil photo jusqu'au fichier jpg final, est compliqué.

D'autant plus que chaque fabricant a sa propre recette de cuisine, chaque modèle d'appareil photo ou logiciel de traitement a ses propres réglages, etc.

Enfin, l'intelligence artificielle et ses réseaux neuronaux profonds ont récemment remplacé les chaînes de traitement par des processus quelque peu opaques.

Il est difficile de savoir s'il est normal ou non de constater la présence ou l'absence de traces, surtout lorsque les métadonnées EXIF ont été supprimées. À moins de les créer délibérément dans les chaînes de traitement "officielles". C'est l'idée clé d'un article scientifique qui sera présenté la semaine prochaine à la conférence IEEE International Conference on Computer Vision (ICCV 2019) par Pawel Korus et Nasir Memon, Tandon School of Engineering, New York University. Cet article fait actuellement le buzz sur le web.

Les auteurs proposent d'entraîner deux réseaux neuronaux profonds : le premier convertit une image "brute de capteur" (format RAW) en une image de bonne qualité, de sorte que les traces de manipulation (compression JPEG, remise à l'échelle, etc.) soient détectables par le second réseau.

Le premier réseau facilite la tâche judiciaire du second : une bonne idée académique qui suppose que les fabricants d'appareils photo mettront tous en œuvre cet algorithme. En outre, il faut s'attendre à ce que les "deep fakers" ne soient pas en mesure d'entraîner un réseau neuronal susceptible d'anéantir les travaux de criminalistique en cours. Le jeu du chat et de la souris, de la police et du voleur, se poursuit...

‍