El nuevo detector de imágenes con IA de Meta falla en el 55% de sus propios deepfakes una vez recortados

La nueva herramienta de detección de imágenes generadas por IA que Meta ha presentado en vista previa identifica correctamente todas las imágenes que produce su generador Muse Image, hasta que la imagen se recorta. Un análisis de Reuters publicado el 10 de julio encontró que la herramienta verificó las 40 imágenes de prueba generadas por IA como sintéticas, pero no logró identificar el 55% de esas mismas imágenes como generadas por IA una vez recortadas aproximadamente a un tercio o la mitad de su tamaño original.

Meta presentó la herramienta de detección junto con Muse Image, su nuevo generador de imágenes de IA, construido en torno a un sistema de marcas de agua invisibles llamado Content Seal que se incrusta en cada imagen que produce el modelo. Meta ha dicho que la marca de agua está diseñada para resistir ediciones comunes — recorte, compresión, cambio de tamaño, incluso capturas de pantalla — pero la empresa reconoció a Reuters que la señal puede perderse específicamente cuando una imagen se recorta en gran medida.

Por qué el recorte rompe el detector

Los sistemas de marcas de agua invisibles como Content Seal suelen codificar una señal a través de los datos de píxeles de toda una imagen. Un recorte agresivo elimina grandes porciones de esos datos de píxeles, y si la codificación no es lo suficientemente redundante para sobrevivir a la pérdida de dos tercios del encuadre, el fragmento restante puede no contener suficiente señal original para registrarse como coincidencia. Es una limitación estructural, no un error específico de esta versión, pero es exactamente el tipo de edición que cualquier persona que busque eliminar la atribución de una imagen generada por IA elegiría primero, ya sea que lo haga deliberadamente o simplemente recortando una foto para una publicación social como la mayoría de la gente ya hace.

Por qué esto importa más allá de una vista previa de producto

Reuters enmarcó el hallazgo en el contexto de un “año electoral ajetreado que incluye las elecciones de medio término en EE.UU.” — un período en el que la capacidad de marcar de manera confiable las imágenes generadas por IA que circulan en línea tiene apuestas más altas de lo habitual. El Comité de Supervisión de Meta ya había instado a la compañía en marzo a abordar lo que describió como la proliferación de contenido engañoso generado por IA en sus plataformas. Una herramienta de detección que un actor malintencionado determinado puede eludir con un recorte básico hace poco para cerrar esa brecha, incluso cuando las plataformas señalan cada vez más las marcas de agua y las herramientas de procedencia como su respuesta a la desinformación impulsada por IA.

El episodio también resulta incómodo para Meta dado el momento: las limitaciones del detector salieron a la luz la misma semana en que la empresa se vio obligada a retirar una función separada y no relacionada de Muse Image — que permitía a los usuarios generar imágenes haciendo referencia a cuentas públicas de Instagram sin el consentimiento del propietario de la cuenta — tras las críticas de usuarios y agencias de talento, incluida CAA.

Qué dice Meta ahora

Meta no ha anunciado una solución ni un plazo para implementarla, y ha seguido describiendo la herramienta de detección como una vista previa más que como un producto terminado. Ese enfoque le da a la empresa margen para iterar, pero también significa que, por ahora, la herramienta principal que Meta ofrece para verificar sus propias imágenes de IA tiene un punto ciego conocido y divulgado que cualquier usuario puede activar con un recorte ordinario.

Según informó Reuters, el hallazgo subraya un problema más amplio de la industria: la detección de IA basada en marcas de agua es tan confiable como su caso de edición más débil, y el recorte es una de las ediciones más comunes que sufre una imagen en línea.