So funktioniert es

Es gibt zwei Arten von Wasserzeichen

Fast jede verwirrte Diskussion über KI-Wasserzeichen entsteht dadurch, dass diese beiden durcheinandergehen. Deshalb zuerst die Trennung.

Bearbeitungsbasierte Wasserzeichen sind Daten, die einer Datei hinzugefügt wurden: unsichtbare Unicode-Zeichen im Text, Metadatenblöcke im Bild. Sie sind einzeln vorhanden, auffindbar und vollständig entfernbar. Ist eines da, finden wir es; ist es entfernt, ist es weg, und du kannst das mit einer erneuten Prüfung nachvollziehen.

Statistische Wasserzeichen sind Muster im Inhalt selbst. Googles SynthID für Text beeinflusst, welche Wörter das Modell zieht; SynthID für Bilder verteilt ein Muster über die Pixel. Es gibt kein einzelnes Ding zum Löschen. Sie zu erkennen braucht denselben Schlüssel, mit dem sie eingebettet wurden, und der ist für kein eingesetztes System öffentlich.

Dieses Werkzeug behandelt die erste Kategorie vollständig und berichtet ehrlich über die zweite. Jedes Produkt, das behauptet, SynthID aus Text zu erkennen oder zu entfernen, ist entweder verwirrt oder unehrlich, denn den Erkennungsschlüssel hat es genauso wenig.

Text: die Trägerzeichen

Die Erkennung ist deterministisch, nicht statistisch. Ein Zeichen ist entweder in der Trägermenge oder nicht. Die Menge umfasst:

• Die Nullbreiten-Familie. U+200B Nullbreiten-Leerzeichen,U+200C Nichtverbinder, U+200D Verbinder, U+2060Wortverbinder, U+FEFF Byte-Order-Mark, U+180E mongolischer Vokaltrenner.
• Tag-Zeichen. U+E0001 undU+E0020–U+E007F. Dieser Block spiegelt ASCII und stellt nichts dar, kann also eine vollständige versteckte Nachricht tragen.
• Variationsselektoren. U+FE00–U+FE0F undU+E0100–U+E01EF. Frei stehend kodieren sie beliebige Bytes.
• Bidirektionale Steuerzeichen. U+202A–U+202Esowie die Isolate U+2066–U+2069 und U+061C.
• Privatbereiche. U+E000–U+F8FF und die beiden ergänzenden Privatebenen. Keine standardisierte Bedeutung, also auch keine harmlose Erklärung.
• Unsichtbare Operatoren und Annotationen.U+2061–U+2064, U+FFF9–U+FFFB,U+00AD weiches Trennzeichen, U+034F Graphem-Verbinder.
• Leerzeichen-Doppelgänger. Sechzehn Zeichen, die aussehen wie ein Leerzeichen, aber nicht U+0020 sind, darunter U+00A0,U+202F und U+2009. Diese werden auf ein normales Leerzeichen gesetzt statt gelöscht.

Alles Weitere in der Unicode-Kategorie Cf, das oben nicht erfasst ist, wird ebenfalls gefunden. Neue Trägertechniken rutschen also nicht allein deshalb durch, weil sie noch nicht auf der Liste stehen.

Warum wir manche unsichtbaren Zeichen behalten

Das ist der Teil, der ein sorgfältiges Werkzeug von einem regulären Ausdruck unterscheidet, und der Grund, warum sich dieses hier lohnt.

Ein Werkzeug, das jedes unsichtbare Zeichen löscht, funktioniert bei Englisch und zerstört stillschweigend alles andere. Konkret:

• U+200C ist im Persischen Rechtschreibung. می‌روم braucht es; ohne es ist das Wort falsch. Dasselbe gilt für die Ligatursteuerung im Devanagari und in anderen indischen Schriften.
• U+200D hält Emoji-Sequenzen zusammen. Nimm es aus 👨‍👩‍👧 heraus und du hast drei einzelne Personen.
• Regionalflaggen bestehen aus Tag-Zeichen, also demselben Block, mit dem Text eingeschmuggelt wird. 🏴󠁧󠁢󠁳󠁣󠁴󠁿 ist eine Flaggenbasis plus die Tag-Folge für "gbsct" plus ein Abschlusszeichen.
• Variationsselektoren nach einem CJK-Ideogramm wählen eine regionale Glyphenvariante und sind bedeutungstragend.
• Mongolische freie Variationsselektoren, inhärente Khmer-Vokale, Hangul-Jamo-Füllzeichen: alle unsichtbar, alle tragend.
• Rechts-nach-links-Marken und korrekt gepaarte Einbettungen sind in Text mit gemischter Laufrichtung völlig normal.

Jeder Kandidat wird deshalb im Zusammenhang beurteilt und nicht für sich allein. Ein Nullbreiten-Verbinder zwischen zwei Emoji-Basen bleibt; dasselbe Zeichen zwischen zwei lateinischen Buchstaben wird entfernt. Ein Tag-Zeichen innerhalb einer vollständigen, wohlgeformten Flaggensequenz bleibt; dasselbe Zeichen in einer nackten Folge wird entfernt. Ein Variationsselektor nach einem CJK-Ideogramm bleibt; ein frei stehender wird entfernt.

Gemeldet wird in jedem Fall alles, was gefunden wurde. Die Erhaltung betrifft, was gelöscht wird, nicht was dir gezeigt wird, und jede Erhaltungsregel lässt sich mit einer ausdrücklichen Option übergehen.

Zwei Konfidenzstufen

Funde sind als wahrscheinlich oder als informativgekennzeichnet.

Wahrscheinlich heißt: das Zeichen hat in gewöhnlicher Prosa keine legitime Rolle. Nullbreiten-Zeichen, Tag-Zeichen, Codepoints aus dem Privatbereich, frei stehende Variationsselektoren. Irgendetwas hat sie dort hingesetzt.

Informativ heißt: es gibt eine harmlose Erklärung, die wahrscheinlicher ist als eine absichtliche Markierung. Das betrifft vor allem die Leerzeichen-Doppelgänger, die Webseiten, PDFs und Textverarbeitungen laufend erzeugen. Wir melden und bereinigen sie, und wir tun nicht so, als würden sie irgendetwas beweisen.

Bilder: Entfernen auf Containerebene

Metadaten werden entfernt, indem der Container neu aufgebaut wird, nie durch erneutes Kodieren des Bildes. Die komprimierten Pixeldaten werden Byte für Byte übernommen, ein JPEG verliert also keine Qualitätsgeneration, und die Pixel der Ausgabe sind bitgleich mit denen der Eingabe.

PNG

Wir gehen die Chunk-Liste durch und behalten IHDR, PLTE,IDAT, IEND, die Farb-Chunks (tRNS, gAMA,cHRM, sRGB, iCCP, sBIT) und die APNG-Animations-Chunks (acTL, fcTL, fdAT). Wir werfentEXt, zTXt, iTXt, eXIf,caBX (den C2PA-Container) und jeden nicht standardisierten privaten Chunk weg. Weil ganze Chunks entfernt und keine verändert werden, bleiben die übrigen CRCs ohne Neuberechnung gültig. Bytes, die hinter IEND angehängt wurden, ein beliebtes Versteck, fallen ebenfalls weg.

JPEG

Wir gehen die Segmentliste durch und werfen APP1 (EXIF und XMP),APP11 (JUMBF, dort sitzt C2PA), APP13 (IPTC) und COMweg. Wir behalten APP0 (JFIF), das ICC-Profil in APP2 und die Adobe-Marke APP14. Letztere gibt die Farbtransformation an, und sie wegzuwerfen kann die Farben eines Bildes umkehren. Ab der Start-of-Scan-Marke wird alles unverändert übernommen.

WebP

Wir behalten VP8 , VP8L, VP8X, ALPH,ANIM, ANMF und ICCP und werfen EXIF,XMP und C2PA weg. Die EXIF- und XMP-Anwesenheitsflags imVP8X-Kopf werden gelöscht, damit die Datei keine Chunks mehr ankündigt, die es nicht mehr gibt, und das RIFF-Größenfeld wird neu geschrieben.

Der Schreibstilwert

Getrennt von der Wasserzeichenerkennung und klar als Heuristik gekennzeichnet. Er zählt Gedankenstriche pro tausend Wörter, eine Liste von Floskeln, den Variationskoeffizienten der Satzlänge, die Häufigkeit typografischer Anführungszeichen, fett gesetzte Aufzählungsanfänge und Dreierlisten. Jedes trägt eine gewichtete Schwere bei; kurze Eingaben werden gedämpft, weil sie kein sicheres Urteil tragen können.

Es ist ein Maß dafür, was einem menschlichen Prüfer auffiele. Es ist keine Wahrscheinlichkeit, dass ein Text von einer KI stammt, und es kann kein statistisches Wasserzeichen lesen. Jedes Signal, das beigetragen hat, wird aufgeführt, damit du entscheiden kannst, ob du ihm zustimmst.

Was mit deinen Daten passiert

Texte und Bilder werden im Arbeitsspeicher verarbeitet und verworfen, sobald die Antwort raus ist. Nichts wird auf eine Festplatte geschrieben, nichts protokolliert, nichts zum Training verwendet.

Gespeichert wird einzig ein gesalzener, gekürzter SHA-256-Hash deiner IP-Adresse, um die kostenlosen Prüfungen gegen das Tageskontingent zu zählen. Er ist praktisch nicht umkehrbar, und Zeilen, die älter als eine Woche sind, werden gelöscht.

Woher die Grundlagen stammen

Die Unicode-Trägermenge und die kontextabhängigen Erhaltungsregeln sind eine TypeScript-Portierung des Ansatzes ausguillaumemeyer/watermarks-remover, der sorgfältigsten Behandlung dieses Problems, die wir gefunden haben, besonders wegen des Beharrens darauf, nichtlateinischen Text nicht zu zerstören, was die meisten Werkzeuge in diesem Feld falsch machen. Die Arbeit an den Bildcontainern stützt sich außerdem aufwiltodelta/remove-ai-watermarks.