Novo detector de imagens por IA da Meta falha em detectar 55% de seus próprios deepfakes quando recortados

A recém-apresentada ferramenta de detecção de imagens geradas por IA da Meta identifica corretamente todas as imagens que seu gerador Muse Image produz — até que essa imagem seja cortada. Uma análise da Reuters publicada em 10 de julho descobriu que a ferramenta verificou todas as 40 imagens de teste originais geradas por IA como sintéticas, mas falhou em identificar 55% das mesmas imagens como geradas por IA depois que foram cortadas para aproximadamente um terço ou metade de seu tamanho original.

A Meta revelou a ferramenta de detecção junto com o Muse Image, seu mais novo gerador de imagens com IA, construído em torno de um sistema invisível de marca d'água chamado Content Seal, que é incorporado em cada imagem que o modelo produz. A Meta afirmou que a marca d'água foi projetada para resistir a edições comuns — corte, compressão, redimensionamento, até mesmo capturas de tela — mas a empresa reconheceu à Reuters que o sinal pode ser perdido especificamente quando uma imagem é fortemente cortada.

Por que o corte quebra o detector

Sistemas de marca d'água invisíveis como o Content Seal normalmente codificam um sinal nos dados de pixel de uma imagem inteira. Cortes agressivos removem grandes porções desses dados de pixel e, se a codificação não for redundante o suficiente para sobreviver à perda de dois terços do quadro, o fragmento restante pode não carregar mais sinal suficiente para ser registrado como uma correspondência. Essa é uma limitação estrutural, não um bug específico desta versão — mas é exatamente o tipo de edição que qualquer pessoa que queira remover a atribuição de uma imagem gerada por IA usaria primeiro, seja intencionalmente ou simplesmente cortando uma foto para uma postagem em redes sociais, como a maioria das pessoas já faz.

Por que isso importa além de uma prévia de produto

A Reuters contextualizou a descoberta no âmbito de um “ano eleitoral movimentado que inclui as eleições de meio de mandato nos EUA” — um período em que a capacidade de sinalizar de forma confiável imagens geradas por IA circulando online tem consequências maiores do que o normal. O Conselho de Supervisão da Meta já havia pedido à empresa em março que abordasse o que descreveu como a proliferação de conteúdo enganoso gerado por IA em suas plataformas. Uma ferramenta de detecção que um agente mal-intencionado determinado pode derrotar com um corte básico faz pouco para fechar essa lacuna, mesmo enquanto as plataformas apontam cada vez mais para marcas d'água e ferramentas de proveniência como sua resposta à desinformação impulsionada por IA.

O episódio também chega em um momento estranho para a Meta, dado o momento: as limitações do detector vieram à tona na mesma semana em que a empresa foi forçada a remover um recurso separado e não relacionado do Muse Image — que permitia aos usuários gerar imagens referenciando contas públicas do Instagram sem o consentimento do proprietário da conta — após reações negativas de usuários e agências de talentos, incluindo a CAA.

O que a Meta diz agora

A Meta não anunciou uma correção ou um prazo para isso, e continuou a descrever a ferramenta de detecção como uma prévia, não um produto finalizado. Esse enquadramento dá à empresa espaço para iterar, mas também significa que, por enquanto, a principal ferramenta que a Meta oferece para verificar suas próprias imagens de IA carrega um ponto cego conhecido e divulgado que qualquer usuário pode ativar com um corte comum.

Conforme relatado pela Reuters, a descoberta ressalta um problema mais amplo da indústria: a detecção de IA baseada em marcas d'água é tão confiável quanto seu caso de edição mais fraco, e o corte é uma das edições mais comuns que uma imagem sofre online.