Jenseits von SOTA

Ein Forschungsprotokoll aus der Zeit nach ArtifactNet v9.5. Es erzählt von zwei Monaten, in denen wir uns vorgenommen hatten, die „verbleibenden Schwächen“ nach dem Erreichen von SOTA anzugehen — und am Ende unsere eigene Evaluierungsmethodik infrage stellten. Die gescheiterten Experimente und die Fallen, auf die wir gestoßen sind, haben wir neben den Erfolgen festgehalten, denn wir halten das für die wertvollere Aufzeichnung in diesem Feld.

TL;DR

• v9.5 hielt auf dem SONICS-Benchmark mit einem F1 von 0,9993 (4.2M Parameter) den SOTA, und wir wollten zwei „verbleibende Schwächen“ angehen (die Erkennungsrate bei Udio und Hard-Real-Falschpositive).
• Wir haben drei Ansätze zur Verbesserung der Residuen-Extraktion ausprobiert (Decoder-Augmentierung, Deconv-Fingerabdruck, Kanal für leise Segmente), und alle drei sind gescheitert. Doch dieses Scheitern lieferte im Umkehrschluss einen Beleg dafür, wie das Modell tatsächlich funktioniert.
• Als wir den Schwächen nachgingen, entdeckten wir ein Datenleck in unserem eigenen Evaluierungsset. Ein großer Teil des „Validierungs-F1 von 0,993“ war Auswendiglernen.
• Nachdem wir ein leckfreies Evaluierungsset aufgebaut und frische Daten für eine erneute Messung gesammelt hatten, zeigte sich: Die „Schwäche“ bei Udio hatte es nie gegeben. Auf einem leckfreien Held-out-Set lag die Erkennungsrate bei 97,8 %.
• Die eigentliche Schwäche lag nicht bei Udio, sondern bei Falschpositiven auf echten Aufnahmen (Hard-Real-FPR). Dort setzen wir als Nächstes an.

---

1. Ausgangspunkt: Wo v9.5 stand

ArtifactNet ist ein forensisches Framework zur Erkennung KI-generierter Musik (Suno, Udio, Stable Audio, Riffusion, MusicGen und so weiter). Die zentrale Pipeline sieht so aus:

audio → STFT → ArtifactUNet (residual extraction) → HPSS (harmonic/percussive separation)
     → 7-channel forensic features → ResidualCNN → per-segment P(AI) → per-song median verdict

Mit insgesamt nur 4.2M Parametern übertrifft es durchweg große Baselines der Transformer-Klasse.

System	Parameter	SONICS F1	FPR
ArtifactNet v9.5	4.2M	0.9993	0.086%
SpecTTTra (α-120s)	18.7M	0.8874	17.97%
CLAM (MoM)	194M	0.7652	67.16%

Darüber hinaus haben wir bei ArtifactBench 4-way (Evaluierung über vier Codecs) einen F1 von 0,9861 und bei MoM 40K full einen F1 von 0,9832 gemessen.

Das Herzstück des Designs ist die Residual-Physik. KI-Generatoren durchlaufen intern neuronale Codecs wie RVQ (Residual Vector Quantization) und hinterlassen dabei charakteristische Quantisierungsspuren („RVQ-Ghosting“). ArtifactUNet isoliert nur diese Residuenanteile, und das CNN lernt die Verteilungskonsistenz des Residuums. KI-Musik weist hier eine ungewöhnlich hohe Konsistenz auf.

Die beiden „verbleibenden Schwächen“, die wir damals wahrnahmen, waren:

1. Erkennungsrate bei Udio von 85–91 % — andere Generatoren lagen bei 99 % und mehr, nur Udio allein war niedrig.
2. Hard-Real-Falschpositive — Falschpositive traten bei schwierigen echten Aufnahmen auf (Lo-Fi, LP, SoundCloud-Uploads).

Der Rest dieses Beitrags dokumentiert, was geschah, als wir uns daran machten, (1) anzugehen.

---

2. Die Schwäche angehen: drei Stoßrichtungen zur Verbesserung der Residuen-Extraktion

Um die Udio-Schwäche zu beheben, haben wir einen externen Deep-Research-Lauf (adversariale Kreuzvalidierung über 105 Agenten) genutzt, um drei Hypothesen abzuleiten, und alle drei umgesetzt.

P1. Real-Pass-Decoder-Augmentierung

Hypothese: Wenn wir echte Aufnahmen durch mehrere neuronale Codecs (Encodec, DAC usw.) schicken, um Trainingspaare zu erzeugen, decken wir die Spuren unterschiedlicher Decoder-Familien ab und verbessern die Generalisierung auf Udio.

Ergebnis: Erkennungsrate bei Udio 85 % → 85 %, keine Veränderung. Die Ursache: Der Transfer zwischen Decoder-Familien ist im Grunde null. Da Udio einen nicht offengelegten, proprietären Decoder verwendet, übertrug sich auch durch noch so viel Training auf Encodec/DAC nichts.

P2. Peak-Fingerabdruck der Dekonvolution

Hypothese: In Anlehnung an eine ISMIR-2025-Arbeit, die zeigt, dass die Stride-Struktur der transponierten Faltung deterministische Peaks im Spektrum hinterlässt, nutzen wir diese Peaks als Zusatzmerkmal.

Ergebnis: In-Distribution lag es bei 99 % und mehr, brach aber bei ungesehenem Udio auf 25–40 % ein. Es war genau an der Stelle schwach, an der auch unser Hauptmodell schwach ist. Eine unabhängige Ergänzung konnte es nicht liefern.

P3. Kanal für leise Segmente (9-Kanal-Log-Ratio)

Hypothese: Die Segmente, die Udio übersieht, waren im Schnitt 2,6 dB leiser. In einer Struktur mit multiplikativer Maske kann das Signal in leisen Segmenten nicht verstärkt werden; ein lautstärkeinvarianter Log-Ratio-Kanal (mel(residual) − mel(original)) sollte es daher wiederherstellen.

Ergebnis: Das Validierungs-F1 im Training lag bei 0,9949 und wirkte nahezu perfekt. Auf dem Held-out-Set brach die Erkennungsrate jedoch auf 67 % ein, bei Udio auf 30 %. Der Kanal hatte die Trainingsverteilung auswendig gelernt und generalisierte nicht.

Alle drei Ansätze scheiterten. An diesem Punkt hielten wir inne und fragten uns: „Ist die Änderung der Residuendarstellung selbst eine Sackgasse?“

---

3. Was uns die Fehlschläge verraten haben

Ein negatives Ergebnis ist für sich genommen eine Information. Zusammengenommen zeigen die drei Fehlschläge im Umkehrschluss, wie ArtifactNet funktioniert:

• Das Scheitern von P1 und P2 belegt den Mechanismus des Modells. Hätte ArtifactNet den Fingerabdruck eines bestimmten Decoders auswendig gelernt, hätten Decoder-Augmentierung (P1) oder Deconv-Peaks (P2) greifen müssen. Dass sie es nicht taten, bedeutet: Das Modell hat die allgemeinen Eigenschaften der RVQ-Quantisierung gelernt, nicht die Spuren eines bestimmten Generators. Deshalb ist ein 4.2M-Modell Out-of-Distribution stärker als ein 194M-Modell.
• Das Scheitern von P3 warf eine tiefere Frage auf. Wäre die strukturelle Diagnose „fehlendes Signal in leisen Segmenten“ richtig, müsste die strukturelle Korrektur (der Log-Ratio-Kanal) funktionieren. Das tat sie nicht. Könnte also die Diagnose selbst falsch sein?

Dieser Verdacht führt uns in den nächsten Abschnitt.

---

4. Die Evaluierung hinterfragen: Datenleck

Bei der Evaluierung eines CNN-Kandidaten der nächsten Generation entdeckten wir weit verbreitete Datenlecks zwischen dem Trainings-Manifest und den Benchmarks.

Benchmark-Quelle	Leckquote
Suno-CDN-Evaluierungsset	193 / 200
Udio-CDN-Evaluierungsset	193 / 200
Echte Aufnahmen (YouTube-Hardneg usw.)	Die meisten

Mit anderen Worten: Ein großer Teil dieses „Validierungs-F1 von 0,993“ war keine Generalisierung, sondern Auswendiglernen. Die Songs im Evaluierungsset waren im Training bereits vorgekommen.

Um das zu beheben, haben wir die Trainings-Pipeline mit demselben Seed reproduziert, um die exakte Menge S der Dateien zu extrahieren, die tatsächlich im Training vorkamen, und S anschließend von den Live-Daten abgezogen, um ein leckfreies, sauberes Held-out-Set aufzubauen. Dabei bestätigten wir eine Übereinstimmung von 100 % mit den Trainings-Logs.

Lektion: Eine Evaluierung mit Datenleck bläht nicht nur Stärken auf. Wie wir später sehen werden, verzerrt sie auch Schwächen.

---

5. Das Modell der nächsten Generation und der Hard-Real-Benchmark

Auf dem leckfreien, sauberen Held-out-Set haben wir den CNN-Kandidaten der nächsten Generation (auf CDN-Daten feinabgestimmt) fair mit v9.5 verglichen.

Modell	TPR	FPR	F1
Kandidat der nächsten Generation	99.39%	1.36%	0.9931
v9.5	99.06%	9.29%	0.9695

Interessanterweise lag der wesentliche Gewinn nicht in der KI-Erkennungsrate, sondern in weniger Falschpositiven (FPR) bei echten Aufnahmen. Insbesondere stieg die Genauigkeit bei echten LP- und Vintage-Aufnahmen von 78 % auf 97 %. Das scheint darauf zurückzuführen zu sein, dass die Repräsentation „echte Aufnahme“ gestärkt wurde, indem wir die echten MP3/Opus-Aufnahmen aus dem CDN ins Training aufgenommen haben.

Hier haben wir noch etwas gebaut — einen Hard-Real-Benchmark aus mehreren Quellen (9 Quellen, 3.050 Songs: Jamendo, FMA, YouTube, SoundCloud, Lo-Fi, LP usw.). Er ist ein Stresstest, der Verzerrungen durch eine einzelne Quelle ausschließt.

Modell	Hard-Real-FPR
Kandidat der nächsten Generation	15.57%
v9.5	32.25%

Halbiert, aber immer noch im Bereich von 15 %. Amateur-Uploads auf SoundCloud, FMA und Lo-Fi erwiesen sich als die verbleibenden Schwächen. Das war — um es vorwegzunehmen — die eigentliche Schwäche.

Zusätzlich haben wir einen Arbeitspunkt mit Codec-TTA (Test-Time-Augmentation) eingeführt. Indem wir die Eingabe nach MP3/AAC/Opus konvertieren und die Ergebnisse verrechnen, haben wir das Urteil auch dann konsistent gemacht, wenn sich derselbe Song nur im Format unterscheidet.

---

6. Deployment: Codec-TTA in die Produktion bringen

Auch beim Übertragen der Forschungsgewinne in den tatsächlichen Dienst gab es Fallstricke. Der Produktions-Endpunkt hatte sich versionsmäßig von der Hauptcodelinie entfernt — das April-Image mit der Batch-API und der Juni-Code mit den neuesten Erkennungsverbesserungen lagen auf getrennten Branches. Ein bloßer Austausch des Tags hätte die Batch-API kaputt gemacht.

Die Lösung bestand darin, den Juni-Code als Overlay auf den April-Batch-Handler zu legen (die Batch-API blieb erhalten, während das neueste CNN, Codec-TTA und das lautheitsgewichtete Urteil übernommen wurden). Bei der Deployment-Prüfung haben wir außerdem einen nur auf der GPU auftretenden Laufzeitfehler entdeckt und behoben (einen Tensor-Verarbeitungsfehler, den CPU-Tests nicht erkannt haben).

Dadurch wurde die Produktion auf die neueste Erkennungsleistung aktualisiert, bei erhaltener Kompatibilität der Batch-API.

---

7. Ein Seitenzweig: ein dediziertes de-artifact-Netzwerk (Audio-Restaurierung von RVQ-Ghosting)

Getrennt von der Erkennung haben wir eine Forschungsrichtung verfolgt, die dieselbe Residual-Physik in die entgegengesetzte Richtung nutzt — ein Werkzeug, das RVQ-Ghosting aus KI-Aufnahmen entfernt, um die Audioqualität zu verbessern. (Zur Klarstellung: Das Ziel ist nicht, die Erkennung zu umgehen, sondern die Verbesserung der Audioqualität. Der eigentliche Anlass war Nutzerfeedback, dass das Ghosting in den Stem-Multitracks, die Suno liefert, gravierend ist.)

Das Kernmodell ist ComplexArtifactUNet. Es verwendet das Backbone des ArtifactUNet der Erkennung wieder, verarbeitet aber auch die Phase, mit komplexer (Real-/Imaginärteil) Ein- und Ausgabe sowie einer komplexen Ratio-Maske.

Zwei technisch interessante Punkte:

• teacher_gated-Maske: Die Maske des Erkennungsmodells ist aus Sicherheitsgründen auf [0; 0,5] begrenzt (um Shortcuts zu verhindern). Wir haben das als dynamisches Gate umgedeutet: Die Entfernungsobergrenze wird nur in Artefaktbereichen bis auf 1 geöffnet, während die Musikbereiche (Gate ≈ 0) gezwungen werden, das Original zu erhalten. So haben wir eine feste Obergrenze in eine bedingte Einschränkung verwandelt.
• Die Stärke der Degradation bestimmt die Lernbarkeit: Anfangs konvergierte das Training zur Identität (es tat nichts) und scheiterte. Die Ursache lag weder am Modell noch am Loss — sondern daran, dass die für das Training verwendete Codec-Degradation zu schwach war. Erst als wir ausreichend stark degradierte Paare einsetzten, lernte es endlich zu restaurieren.

Eine weitere Lektion: Die Audioqualität wurde stärker von der DSP-Nachbearbeitung getragen als vom Modell. Der Verbesserungsspielraum des diskriminativen neuronalen Netzes stagnierte auf einem bestimmten Niveau, und die tatsächlich hörbaren Gewinne kamen, als wir bewährte Signalverarbeitung kombinierten, etwa Resonanzunterdrückung (oberhalb von 2,5 kHz) und automatische Hochfrequenzkorrektur („deutlich verbessert“ laut Hörbewertung).

---

8. Die Wendung: Selbst die Schwäche war eine Illusion

Wir kommen auf den Verdacht zurück, den wir in Abschnitt 3 offengelassen haben. Wenn die strukturelle Korrektur von P3 scheiterte, weil die Diagnose falsch war, dann mussten wir die „Schwäche“ bei Udio selbst leckfrei neu messen.

Das Problem lag in den Daten. Das bestehende Udio-Evaluierungsset überlappte vollständig mit dem Trainingspool (Datenleck). Deshalb haben wir mit unserer hauseigenen Crawling-Infrastruktur 454 neue Udio-Songs frisch gesammelt, sie anhand der Song-ID mit der Trainingsdatenbank abgeglichen und 113 durchgesickerte Songs ausgeschlossen, um ein leckfreies Held-out-Set mit 228 Songs aufzubauen.

Modell	Erkennungsrate auf dem frischen Udio-Held-out-Set	Nicht erkannt
v9.5	97.8%	5 / 228
Kandidat der nächsten Generation	95.6%	10 / 228

Die Schwäche bei Udio hat es von Anfang an nie gegeben. Auf einem wirklich leckfreien Held-out-Set erkennt v9.5 Udio mit 97,8 % gut. Der frühere Wert „85–91 %“ war ein Artefakt der Messung, das durch eine bestimmte durchgesickerte Stichprobe entstanden war.

Die Konsequenz wiegt schwer. Die drei Experimente, mit denen wir uns den ganzen Juni über abgemüht haben (P1, P2, P3), waren — Versuche, ein Problem zu lösen, das es gar nicht gab. Die Alternativhypothese „zu wenig Daten“ wurde damit gleich mit verworfen, denn bereits 165 Trainings-Songs reichten aus, um auf frischen Daten 97,8 % zu erreichen.

---

9. Erkenntnisse und wie es weitergeht

Eine Evaluierung mit Datenleck verzerrt Stärken und Schwächen gleichermaßen. Sie bläht Stärken auf (Validierungs-F1 von 0,993) und erfindet Schwächen (Udio 85 %). Die teuerste Lektion, die wir gelernt haben, ist methodischer Natur — Miss immer auf einem leckfreien Held-out-Set nach, bevor du ein neues Modell oder eine Schwäche behauptest.

Negative Ergebnisse wirft man nicht weg. Die drei Fehlschläge haben belegt, dass das Modell die allgemeinen Eigenschaften von RVQ lernt statt Decoder-Fingerabdrücke, und uns schließlich zum grundlegenderen Problem des Datenlecks in der Evaluierung geführt.

Die nächste Richtung ist jetzt klar. Die eigentliche Schwäche ist nicht Udio, sondern Falschpositive bei echten Aufnahmen (Hard-Real-FPR von 15,57 %). Amateur-Uploads auf SoundCloud, FMA, Lo-Fi — Fälle, in denen von Menschen gemachte Musik für KI gehalten wird. Das nächste Quartal konzentriert sich darauf, diese Hard-Real-Verteilung intensiv zu sammeln, um die Falschpositive zu senken.

SOTA war nicht das Ende, sondern der Anfang davon, überhaupt erst den Spielraum zu haben, uns anzusehen, was wir falsch gemessen hatten.

---

ArtifactNet-Forschungsteam · Juni 2026