Metas neuer KI-Bilddetektor übersieht 55% seiner eigenen Deepfakes nach dem Zuschneiden

Das neu vorgestellte KI-Bilderkennungstool von Meta identifiziert zuverlässig jedes Bild, das sein Muse Image Generator erzeugt – bis das Bild beschnitten wird. Eine am 10. Juli veröffentlichte Analyse von Reuters ergab, dass das Tool alle 40 ursprünglichen KI-generierten Testbilder als synthetisch erkannte, aber 55 % derselben Bilder nicht mehr als KI-generiert identifizieren konnte, nachdem sie auf etwa ein Drittel bis die Hälfte ihrer Originalgröße beschnitten worden waren.

Meta stellte das Erkennungstool zusammen mit Muse Image vor, seinem neuesten KI-Bildgenerator, der auf einem unsichtbaren Wasserzeichensystem namens Content Seal basiert, das in jedes vom Modell erzeugte Bild eingebettet wird. Meta hat erklärt, das Wasserzeichen sei so konzipiert, dass es gängige Bearbeitungen übersteht – Zuschneiden, Komprimieren, Größenanpassung, sogar Screenshots –, aber das Unternehmen räumte gegenüber Reuters ein, dass das Signal insbesondere dann verloren gehen kann, wenn ein Bild stark beschnitten wird.

Warum Zuschneiden den Detektor außer Kraft setzt

Unsichtbare Wasserzeichensysteme wie Content Seal kodieren in der Regel ein Signal über die Pixeldaten eines gesamten Bildes. Aggressives Zuschneiden entfernt große Teile dieser Pixeldaten, und wenn die Kodierung nicht redundant genug ist, um den Verlust von zwei Dritteln des Rahmens zu überleben, enthält das verbleibende Fragment möglicherweise nicht mehr genug des ursprünglichen Signals, um als Übereinstimmung registriert zu werden. Das ist eine strukturelle Einschränkung, kein spezifischer Fehler dieser Version – aber es ist genau die Art von Bearbeitung, die jemand, der die Zuordnung eines KI-generierten Bildes entfernen will, als Erstes anwenden würde, sei es absichtlich oder einfach durch das Zuschneiden eines Fotos für einen Social-Media-Beitrag, wie es die meisten Menschen ohnehin tun.

Warum dies über eine einzelne Produktvorschau hinaus relevant ist

Reuters stellte den Befund in den Kontext eines “arbeitsreichen Wahljahres, das die US-Zwischenwahlen einschließt” – eine Zeit, in der die Fähigkeit, KI-generierte Bilder im Umlauf zuverlässig zu kennzeichnen, höhere Risiken birgt als üblich. Metas Aufsichtsrat hatte das Unternehmen bereits im März aufgefordert, sich mit dem zu befassen, was er als Verbreitung irreführender KI-generierter Inhalte auf seinen Plattformen bezeichnete. Ein Erkennungstool, das ein entschlossener Angreifer mit einem einfachen Zuschnitt überlisten kann, trägt wenig dazu bei, diese Lücke zu schließen, auch wenn Plattformen zunehmend auf Wasserzeichen und Herkunftsnachweise als Antwort auf KI-gesteuerte Fehlinformationen verweisen.

Der Vorfall kommt für Meta auch zeitlich ungünstig: Die Einschränkungen des Detektors traten in derselben Woche zutage, in der das Unternehmen gezwungen war, eine separate, nicht damit zusammenhängende Muse Image-Funktion zurückzuziehen – die es Nutzern ermöglichte, Bilder unter Bezugnahme auf öffentliche Instagram-Konten ohne Zustimmung des Kontoinhabers zu generieren –, und zwar nach Kritik von Nutzern und Talentagenturen wie CAA.

Was Meta jetzt sagt

Meta hat weder eine Lösung noch einen Zeitplan dafür angekündigt und beschreibt das Erkennungstool weiterhin als Vorschau und nicht als fertiges Produkt. Diese Rahmung gibt dem Unternehmen Spielraum für Verbesserungen, bedeutet aber auch, dass das primäre Tool, das Meta derzeit zur Überprüfung seiner eigenen KI-Bilder anbietet, eine bekannte, offengelegte Schwachstelle aufweist, die jeder Benutzer mit einem gewöhnlichen Zuschnitt auslösen kann.

Wie von Reuters berichtet, unterstreicht der Befund ein breiteres Branchenproblem: KI-Erkennung auf Wasserzeichenbasis ist nur so zuverlässig wie ihr schwächster Bearbeitungsfall, und Zuschneiden ist eine der häufigsten Bearbeitungen, denen ein Bild online unterzogen wird.