Le nouveau détecteur d’images IA de Meta rate 55 % de ses propres deepfakes une fois recadrés

L'outil de détection d'images générées par IA récemment présenté par Meta identifie correctement chaque image produite par son générateur Muse Image – jusqu'à ce que cette image soit recadrée. Une analyse de Reuters publiée le 10 juillet a révélé que l'outil vérifiait bien les 40 images de test générées par IA comme étant synthétiques, mais échouait à identifier 55 % des mêmes images comme étant générées par IA une fois qu'elles étaient recadrées à environ un tiers ou la moitié de leur taille d'origine.

Meta a dévoilé l'outil de détection en même temps que Muse Image, son nouveau générateur d'images par IA, construit autour d'un système de filigrane invisible appelé Content Seal qui est intégré dans chaque image produite par le modèle. Meta a indiqué que le filigrane est conçu pour résister aux modifications courantes – recadrage, compression, redimensionnement, voire captures d'écran – mais la société a reconnu auprès de Reuters que le signal peut être perdu spécifiquement lorsqu'une image est fortement recadrée.

Pourquoi le recadrage brise le détecteur

Les systèmes de filigrane invisible comme Content Seal encodent généralement un signal sur l'ensemble des données de pixels d'une image. Un recadrage agressif supprime de grandes parties de ces données de pixels, et si l'encodage n'est pas suffisamment redondant pour survivre à la perte des deux tiers du cadre, le fragment restant peut ne plus contenir assez du signal original pour être identifié comme une correspondance. Il s'agit d'une limitation structurelle, et non d'un bogue spécifique à cette version – mais c'est exactement le type de modification que quiconque chercherait à retirer l'attribution d'une image générée par IA utiliserait en premier, que ce soit délibérément ou simplement en recadrant une photo pour un post sur les réseaux sociaux comme la plupart des gens le font déjà.

Pourquoi cela dépasse une simple prévisualisation de produit

Reuters a contextualisé cette découverte dans le cadre d'une “année électorale chargée incluant les élections de mi-mandat aux États-Unis” – une période où la capacité à signaler de manière fiable les images générées par IA circulant en ligne revêt des enjeux plus élevés que d'habitude. Le conseil de surveillance de Meta avait déjà demandé à l'entreprise en mars de remédier à ce qu'il décrivait comme la prolifération de contenus trompeurs générés par IA sur ses plateformes. Un outil de détection qu'un acteur malveillant déterminé peut contourner avec un simple recadrage ne fait pas grand-chose pour combler cette lacune, alors même que les plateformes présentent de plus en plus le filigrane et les outils de provenance comme leur réponse à la désinformation alimentée par l'IA.

L'épisode tombe également mal pour Meta compte tenu du timing : les limites du détecteur ont été révélées la même semaine où l'entreprise a été contrainte de retirer une autre fonctionnalité distincte de Muse Image – qui permettait aux utilisateurs de générer des images en référence à des comptes Instagram publics sans le consentement du propriétaire du compte – suite aux critiques des utilisateurs et des agences de talents, dont la CAA.

Ce que Meta dit maintenant

Meta n'a pas annoncé de correctif ni de calendrier pour en fournir un, et continue de décrire l'outil de détection comme une prévisualisation plutôt qu'un produit fini. Ce cadrage laisse à l'entreprise une marge de manœuvre pour itérer, mais cela signifie aussi que pour l'instant, le principal outil que Meta propose pour vérifier ses propres images générées par IA présente un angle mort connu et divulgué que tout utilisateur peut activer avec un simple recadrage ordinaire.

Comme rapporté par Reuters, cette découverte souligne un problème plus large dans l'industrie : la détection basée sur le filigrane pour l'IA n'est aussi fiable que son cas d'édition le plus faible, et le recadrage est l'une des modifications les plus courantes que subit une image en ligne.