Dieser Beitrag ist eine Übersetzung des englischen Originals. Bei Abweichungen gilt das englische Original.
ArtifactNet-Forschung · Teil 4 · 1/3 · Apr. 2026
SONICS-Scores nachjagen, während die Leistung in der Praxis einbricht
Teil 4 der ArtifactNet-Forschungsreise. Dies ist das Kapitel vom April 2026. Direkt nachdem wir SOTA erreicht hatten, in dem Moment, in dem man denkt: „Noch ein Anlauf, und es ist perfekt“, lernten wir die teuerste Lektion dieser ganzen Serie: Wer dem Benchmark-Score hinterherjagt, zerstört die Leistung in der Praxis. Neben dem erfolgreichen Codec-bewussten Neutraining und dem fairen Benchmark, den wir gebaut haben, lassen wir auch den Rückschritt und die Illusion, die dazwischen lagen, vollständig stehen.
Willst du das aktuelle Modell in Aktion sehen? Schicke einen beliebigen Track durch die kostenlose Demo — dieselbe forensische Pipeline, die unten beschrieben wird, ohne Konto.
Wie bis einschließlich Teil 3 beschrieben, ist ArtifactNet ein forensisches Framework zur Erkennung KI-generierter Musik (Suno, Udio, Stable Audio, MusicGen, Riffusion usw.), und es ist ein kleines Modell — insgesamt 4.2M Parameter. Die Kernpipeline:
audio → STFT → ArtifactUNet (residual extraction) → HPSS (harmonic/percussive split)
→ 7-channel forensic features → ResidualCNN → per-segment P(AI) → per-song median verdict
Anfang April war v9.3_hn der SOTA unter Praxisbedingungen: SONICS-Benchmark-F1 0.9937 und — die Zahl, auf die wir am stolzesten waren — es erkannte 871 von 873 (99.8%) der neuesten, gerade veröffentlichten Suno v4. Ein „wildes“ Modell der neuesten Generation zu erkennen, das nicht in SONICS enthalten ist, war der eigentliche Wert dieses Modells.
Eine Sache am SONICS-Leaderboard ließ uns aber nicht los. F1 0.9937 war SOTA, doch hinter dem Komma schien noch etwas herauszuholen zu sein — bei den schwierigen Algorithmen (chirp-v2-xxl, udio-120s) gingen ein paar Prozent verloren. „Was, wenn mehr SONICS-Trainingsdaten diese Lücke schließen?“ Diese schlichte Gier war der Anfang von v10_260407.
v10_260407 wurde mit einer großen Menge zusätzlicher SONICS-Daten neu trainiert. Allein am Leaderboard gemessen war es ein Triumph.
| Kennzahl | v9.3_hn | v10_260407 |
|---|---|---|
| SONICS F1 | 0.9937 | 0.99995 |
| SONICS Fake-TPR | 98.60% | 100% |
| SONICS Real-FPR | 1.23% | 0.04% |
Soweit es SONICS betraf, war v10_260407 nahezu perfekt. Falschpositive bei echter Musik sanken von 1.23% auf 0.04%, und die Erkennung von Fakes erreichte 100%. Hätten wir hier aufgehört, hätten wir v10_260407 in den Produktivbetrieb gebracht.
Dann validierten wir außerhalb von SONICS, und das Bild kehrte sich um.
| KI-Quelle | v9.3_hn | v10_260407 |
|---|---|---|
| Neueste Suno v4 (873 Tracks) | 99.8% | 4.3% |
| SONICS udio-120s | (im Benchmark) | 99.5% |
| MoM diffrythm / udio / yue | 100% | 99–100% |
Die Erkennung der neuesten Suno v4 brach von 99.8% auf 4.3% ein. v10_260407 erkannte weiterhin die Generatoren, die in SONICS vorkommen (chirp, udio), verfehlte aber fast die gesamte Population der tatsächlich neuesten Generatoren im realen Einsatz, die SONICS nicht enthält. Es erkannte nur 38 von 873 Tracks.
Das ist Benchmark-Sättigung. Wenn ein Modell sich an die Verteilung eines bestimmten Benchmarks überanpasst, läuft der Benchmark-Score gegen eine Obergrenze, während die Generalisierung außerhalb dieser Verteilung einbricht. v10_260407 hatte die chirp-/udio-Signaturen aus SONICS bis ins Detail auswendig gelernt und dafür die Fähigkeit verloren, „KI-Musik im Allgemeinen“ zu erkennen. Die SONICS-F1 von 0.99995 war kein Können — sie war der Score des Auswendiglernens.
Die Lektion, die wir an diesem Tag in unsere Notizen schrieben, ist kurz:
Schau nicht allein auf die Benchmark-F1. Ohne Validierung in der Praxis an frischen Daten stirbt dein Können, während dein Score steigt.
v10_260407 wurde verworfen, und v9.3_hn wurde erneut als SOTA unter Praxisbedingungen bestätigt. Mit weniger Daten breit zu generalisieren ist besser, als sich mit einem Datenberg an einen einzelnen Benchmark zu überanpassen — das ist die erste Säule dieses Kapitels.
Beim Nachgraben in der Affäre um v10_260407 kam eine noch unbequemere Tatsache ans Licht: Die Pipeline, mit der wir verglichen, enthielt Fehler, sodass sich keine Zahl für bare Münze nehmen ließ. Mitte April fanden wir drei kritische Mismatches.
Die Lektion hat dieselbe Wurzel wie die Affäre um v10_260407: Modelle lassen sich nur vergleichen, wenn die gesamte Pipeline unter Kontrolle ist. Wenn eine einzige nicht abgestimmte HPSS-Stufe 50 Punkte vernichtet, ist es sinnlos, in diesem Zustand darüber zu debattieren, „welches Modell besser ist“.
Diese Erfahrung führte zur nächsten Entscheidung: nicht länger jedes Mal von Hand zu vergleichen, sondern ein kontrolliertes, faires Benchmark-Framework zu bauen.
ArtifactBench ist ein Benchmark-Harness, das mehrere Erkennungsmodelle auf identischen Quellen, mit identischen Sanity-Checks und identischen Metriken bewertet. Statt eines einzelnen F1-Werts misst es Folgendes:
Und dieses Framework zerrte sofort die versteckte Schwäche des Modells ans Licht, das wir „SOTA“ genannt hatten: v9.3_hn.
ArtifactBench löste bei v9.3_hn 6 FAILs aus, und zwei Gruppen davon waren schockierend.
| Eintrag | v9.3_hn |
|---|---|
| FPR bei FMA-Hard-Negatives (echt, MP3) | 98.7% |
| FPR bei MoM (echt, MP3) | 98.3% |
| Codec-Paar-Δ (Mittelwert) | 0.896 |
| Codec-Paar-Δ (Maximum) | 1.000 |
Dieselbe echte Musik als MP3 zu kodieren, führte dazu, dass fast alles davon für KI gehalten wurde (98.7%). Ein mittleres Codec-Paar-Δ von 0.90 bedeutet: Wird derselbe Song als WAV bzw. als MP3 eingespeist, geht das Urteil um 0.90 auseinander — praktisch ein Münzwurf.
Die Ursache war klar. Weil die echte Musik im Training überwiegend als WAV vorlag, hatte das Modell die falsche Korrelation „MP3-Codec-Artefakt = KI-Signatur“ gelernt. Der SONICS-Benchmark hat diese Schwäche nie erfasst — SONICS führt keinen Codec-Paar-Test durch. Erst ein breiterer, stärker adversarialer Benchmark machte die Schwäche, die SONICS verdeckt hatte, endlich sichtbar.
Das ist die zweite Säule: Ein Benchmark muss die Verteilung der realen Welt auf die Probe stellen. Ein SOTA-Ergebnis auf einem Benchmark, der weder Codecs noch frische Generatoren noch Hard-Real berührt, kann an jedem der drei zerbrechen.
Mit der klaren Diagnose war auch die Lösung klar: das UNet mit 4-facher Codec-Augmentierung neu trainieren — die Trainingspaare auf Original + MP3 + AAC + Opus erweitern, damit das Modell Codec-Artefakte als „normales Signal, nicht KI“ lernt. Dieses Codec-bewusste UNet nennen wir codec4-UNet.
Eine frühere, bei uns festgehaltene Lektion erwies sich hier als entscheidend: Wer UNet und CNN gemeinsam neu trainiert, erzeugt einen Zielkonflikt, bei dem die MP3-FPR sinkt, die WAV-TPR aber mit einbricht. Deshalb haben wir nur das UNet mit Codec-Augmentierung neu trainiert und das CNN anschließend separat darauf feinjustiert — eine gestufte Strategie.
Das Ergebnis (v9.4 = R1-Feintuning + codec4-UNet) war dramatisch.
| Eintrag | v9.3_hn | v9.4 (codec4) |
|---|---|---|
| FPR bei FMA-Hard-Negatives | 98.7% | 8.0% |
| FPR bei MoM (echt) | 98.3% | 0.5% |
| Codec-Paar-Δ (Mittelwert) | 0.896 | 0.025 |
| Codec-Paar-Δ (Maximum) | 1.000 | 0.698 |
| ArtifactBench-FAILs | 6 | 4 |
Das mittlere Codec-Paar-Δ fiel von 0.90 auf 0.025 — nun liefert derselbe Song unter jedem Codec nahezu dasselbe Urteil. Falschpositive bei echter MP3-Musik sanken von 98.7% auf 8.0%, und bei MoM (echt) fiel die Rate auf 0.5%.
Ehrlich gesagt: Es war keine vollständige Lösung. Das maximale Codec-Paar-Δ lag noch bei 0.698 (ein Worst-Case-Track schwankte weiterhin), und manche Generatoren wie udio_extra blieben bei 86% TPR. Doch die Codec-Robustheit, die zuvor ein „Münzwurf“ gewesen war, war klar auf ein praxistaugliches Niveau gestiegen.
Anschließend validierten wir v9.5 (codec4-UNet + cnn_v95, eine weitere CNN-Verstärkung) auf dem gesamten SONICS-Set (~23 000 Tracks).
| Kennzahl | v9.5 |
|---|---|
| SONICS F1 | 0.9993 |
| SONICS Real-FPR | 0.086% (9 / 10,510) |
| AUC | 0.99999 |
| TPR je Generator | chirp-v3/v3.5/udio-30s 100%, chirp-v2 99.8%, udio-120s 99.7% |
Der entscheidende Unterschied zu v10_260407: v9.5 erzielte auf SONICS hohe Scores, während es zugleich die Codec-Robustheit und die Erkennung der neuesten Generatoren sicherstellte. Der Score ergab sich aus der Behebung einer Schwäche, nicht aus der Jagd nach dem Score.
Der eigentliche Zweck von ArtifactBench war nicht, unser eigenes Modell zu bewundern — sondern, sich mit konkurrierenden Modellen im selben Ring zu messen. Deshalb haben wir zwei Baselines in dieselbe Umgebung portiert:
Hier die Ergebnisse für das gesamte SONICS-Set (~23 000 Tracks; ~12 800 KI / ~10 500 echt) unter identischen Bedingungen.
| Modell | Parameter | SONICS F1 | FPR (echt) | AUC |
|---|---|---|---|---|
| ArtifactNet v9.5 | 4.2M | 0.9993 | 0.086% | 0.99999 |
| SpecTTTra α-120s | 18.7M | 0.8874 | 17.97% | 0.9303 |
| CLAM | 194M | 0.7652 | 67.16% | 0.8222 |
Die erschreckendste Zahl ist die FPR bei echter Musik. CLAM mit 194M Parametern hielt 67% der echten SONICS-Musik für KI. SpecTTTra stufte ebenfalls 18% zu Unrecht als KI ein. Das ArtifactNet mit 4.2M Parametern dagegen kam auf 0.086% — nur 9 falsche von 10 510.
Die Deutung: Die Riesenmodelle sind darauf trainiert, „KI gut zu erwischen“, und verdächtigen deshalb echte Musik zu oft. In der Praxis entstehen die wahren Kosten durch Falschpositive — von Menschen gemachte Musik als KI zu brandmarken — und das Modell, das die höchsten Kosten verursachte, war das größte. Ein 4.2M-Modell, das sich auf Residual-Physik (RVQ-Quantisierungsspuren) konzentriert, ist in der Praxis stärker als ein Modell mit der 46-fachen Größe.
(Hinweis: ArtifactNet codec4 war auch bei der Codec-Paar-Invarianz am stabilsten. Das mittlere Δ von SpecTTTra lag bei 0.060 und das von CLAM bei 0.126 — beide Baselines schwankten bei Codec-Wechseln.)
Auf dem eigenen Benchmark zu gewinnen ist trivial. Deshalb haben wir dieselben Daten mit einem unabhängigen externen Detektor neu gemessen — wir ließen ein Forschungsmodell zur KI-Musik-Erkennung aus der Deezer-ISMIR-Linie über das gesamte SONICS-Set laufen.
Die SONICS-Ergebnisse dieses externen Modells bestätigten unsere Pipeline:
Diese Kreuzvalidierung hat uns zweierlei gezeigt. Erstens ist die udio-Familie nicht allein unsere Schwäche — sie ist eine schwierige Klasse im gesamten Bereich der Erkennung (unser v9.5 kam bei udio-30s auf 100%, weit vor dem externen Modell). Zweitens bedeutet die Tatsache, dass die Zahlen des externen Modells in einem plausiblen Bereich lagen, dass unser Benchmark-Harness vertrauenswürdig ist. Die eigenen Messungen an einer fremden Implementierung gegenzuprüfen ist eine Gewohnheit, die uns v10_260407 eingebrannt hat.
Das Codec-Problem war gelöst, doch ArtifactBench zeigte weiterhin auf eine Stelle — Hard-Real-Falschpositive. codec4 hatte die FPR bei FMA-Hard-Negatives auf 8% gesenkt, aber nicht auf null. Übrig blieb echte Musik, die „nach KI klingt, weil sie stark verzerrt ist“ — Lo-Fi, Amateur-Uploads, einige Vintage-Aufnahmen.
Deshalb versuchten wir Ende April v96, stark mit Hard Negatives verstärkt. Doch je mehr Hard-Real wir hinzufügten, desto stärker traten zwei Risiken wieder hervor — genau so, wie es eine bei uns festgehaltene Warnung angekündigt hatte: (a) Wer einem konvergierten Modell Hard Negatives in großen Mengen hinzufügt, riskiert Overfitting und Oszillation, und (b) das Unterdrücken von Hard-Real kann die KI-TPR mit nach unten ziehen. v96 zeigte beim Feintuning Oszillation und brachte keine so klare Verbesserung, dass es codec4 v9.5 hätte ersetzen können; deshalb haben wir es nicht in den Produktivbetrieb gebracht.
Das Hard-Real-Problem war im April nicht abgeschlossen. Und — wie Leser wissen, die den letzten Teil dieser Serie kennen — das wahre Wesen dieser „Schwäche“ wurde erst viel später neu bestimmt, als wir ein Datenleck in unserem eigenen Evaluierungsset entdeckten.
Dieser Monat bleibt eher wegen seiner Lektionen als wegen seiner Erfolge in Erinnerung.
Im nächsten Teil gehen wir den ungelösten Hard-Real-Falschpositiven nach — und stellen am Ende fest, dass wir das Problem falsch gemessen hatten.
ArtifactNet-Forschungsteam · April 2026
Lade eine beliebige Datei hoch — dieselbe forensische Pipeline, die in dieser Serie beschrieben wird.