超越 SOTA

这是 ArtifactNet v9.5 之后的一份研究日志，讲的是两个月的经历：达到 SOTA 之后，我们打算解决“遗留弱点”，结果反而开始质疑我们自己的评估方法。我们把失败的实验和发现的陷阱，与成功的部分一并保留了下来——因为我们相信，在这个领域里，这样的记录更有价值。

TL;DR

• v9.5 在 SONICS 基准上以 0.9993 的 F1（4.2M 参数）保持着 SOTA，我们打算攻克两个“遗留弱点”（udio 检测率，以及高难度真实录音上的误报）。
• 我们尝试了三种改进残差提取的方法（解码器数据增强、反卷积指纹、安静片段通道），三种全部失败了。然而，这些失败反向推导出了一个证明，说明模型究竟是如何工作的。
• 在深挖这些弱点的过程中，我们发现了我们自己评估集里的数据泄露。“验证 F1 0.993”中很大一部分其实是记忆。
• 在构建了无泄露的评估集、收集新数据重新测量之后，udio 的“弱点”其实从未存在过。在无泄露的留出集上，检测率为 97.8%。
• 真正的弱点不是 udio，而是对真实录音的误报（高难度真实录音的 FPR）。我们把下一步的方向定在了这里。

---

1. 起点：v9.5 所处的位置

ArtifactNet 是一个用于检测 AI 生成音乐（Suno、Udio、Stable Audio、Riffusion、MusicGen 等）的取证框架。核心流水线如下：

audio → STFT → ArtifactUNet (residual extraction) → HPSS (harmonic/percussive separation)
     → 7-channel forensic features → ResidualCNN → per-segment P(AI) → per-song median verdict

整个模型仅有 4.2M 参数，却能稳定地超过大型 Transformer 级别的基线模型。

系统	参数量	SONICS F1	FPR
ArtifactNet v9.5	4.2M	0.9993	0.086%
SpecTTTra (α-120s)	18.7M	0.8874	17.97%
CLAM (MoM)	194M	0.7652	67.16%

此外，我们还记录到 ArtifactBench 4-way（四种编解码器评估）的 F1 为 0.9861，以及 MoM 40K 全集的 F1 为 0.9832。

设计的核心是残差物理。AI 生成器内部会经过 RVQ（残差向量量化）等神经编解码器，留下特有的量化痕迹（“RVQ 鬼影”）。ArtifactUNet 只分离出这些残差成分，CNN 则学习残差的分布一致性。AI 音乐在这一点上的一致性高得反常。

当时我们意识到的两个“遗留弱点”是：

1. udio 检测率 85–91%——其他生成器都在 99% 以上，唯独 udio 偏低。
2. 高难度真实录音的误报——在难度较高的真实录音（lo-fi、LP、SoundCloud 上传）上出现了误报。

本文其余部分，记录的是我们着手攻克（1）时发生的事情。

---

2. 攻克弱点：改进残差提取的三个方向

为了解决 udio 这个弱点，我们借助一次外部深度研究运行（105 个智能体之间的对抗式交叉验证）推导出三个假设，并全部付诸实现。

P1. 真实录音过解码器增强

假设：如果把真实录音送入多种神经编解码器（Encodec、DAC 等）来生成训练配对，就能覆盖不同解码器家族的痕迹，从而提升对 udio 的泛化。

结果：udio 检测率 85% → 85%，毫无变化。原因在于，不同解码器家族之间的迁移基本为零。udio 使用的是未公开的专有解码器，因此无论用 Encodec/DAC 训练多少，都没有迁移效果。

P2. 反卷积峰值指纹

假设：借鉴 ISMIR 2025 的研究（该研究表明，转置卷积的步长结构会在频谱中留下确定性的峰值），我们把这些峰值用作辅助特征。

结果：在分布内达到 99% 以上，但在未见过的 udio 上骤降到 25–40%。它恰恰在我们主模型薄弱的地方同样薄弱，没能提供独立的互补性。

P3. 安静片段通道（9 通道对数比）

假设：udio 漏检的片段平均要安静 2.6 dB。在乘性掩码结构中，安静片段里的信号无法被放大，因此加入一个与音量无关的对数比通道（mel(residual) − mel(original)）应该就能恢复它。

结果：训练时的验证 F1 为 0.9949，看上去几乎完美。然而在留出集上，它却骤降到 67% 的检测率，udio 上只有 30%。这个通道记住了训练分布，没能泛化。

三种方法全部失败。到这时，我们停下来问自己：“改变残差表示本身，是不是一条死路？”

---

3. 失败告诉了我们什么

负面结果本身就是信息。把这三次失败放在一起看，可以反推出 ArtifactNet 是如何工作的：

• P1 和 P2 的失败证明了模型的机制。如果 ArtifactNet 记住的是某个特定解码器的指纹，那么解码器数据增强（P1）或反卷积峰值（P2）本该奏效。它们没有奏效，说明模型学到的是 RVQ 量化的一般性质，而不是某个特定生成器的痕迹。这就是 4.2M 的模型在分布外比 194M 的模型更强的原因。
• P3 的失败引出了一个更深的问题。如果“安静片段里信号缺失”这个结构性诊断是正确的，那么对应的结构性修复（对数比通道）就应该有效。但它没有。那么——会不会是诊断本身就错了？

这个疑问延续到下一节。

---

4. 质疑评估：数据泄露

在评估下一代 CNN 候选模型时，我们发现训练清单与各个基准之间存在大范围的泄露。

基准来源	泄露比例
suno CDN 评估集	193 / 200
udio CDN 评估集	193 / 200
真实录音（YouTube hardneg 等）	大部分

也就是说，“验证 F1 0.993”中有很大一部分并不是泛化，而是记忆。评估集里的歌曲，早就在训练中出现过了。

为了解决这个问题，我们用相同的随机种子复现了训练流水线，提取出训练中实际出现过的文件的精确集合 S，再从线上数据中减去 S，构建出无泄露的干净留出集。在此过程中，我们确认它与训练日志 100% 吻合。

教训：泄露的评估不只是夸大优势。我们在后文会看到，它还会扭曲弱点。

---

5. 下一代模型与高难度真实录音基准

在无泄露的干净留出集上，我们对下一代 CNN 候选模型（用 CDN 数据微调）和 v9.5 做了公平比较。

模型	TPR	FPR	F1
下一代候选模型	99.39%	1.36%	0.9931
v9.5	99.06%	9.29%	0.9695

有意思的是，主要的提升不在 AI 检测率，而在于降低了真实录音上的误报（FPR）。尤其是 LP 和复古风格真实录音的准确率，从 78% 升到了 97%。这看起来是把 CDN 的 MP3/Opus 真实录音加入训练、从而强化了“真实录音”表征的结果。

在这里我们又构建了一样东西——多来源的高难度真实录音基准（9 个来源、3,050 首歌曲：Jamendo、FMA、YouTube、SoundCloud、lo-fi、LP 等）。这是一项压力测试，用来消除单一来源的偏差。

模型	高难度真实录音 FPR
下一代候选模型	15.57%
v9.5	32.25%

降低了一半，但仍处在 15% 的量级。SoundCloud 上的业余上传、FMA 和 lo-fi 成了遗留的弱点。这——先剧透一下——才是真正的弱点。

在此之上，我们引入了一个codec-TTA（测试时增强）工作点。通过把输入转换成 MP3/AAC/Opus 并融合各自的结果，我们让同一首歌即使只是格式不同，判定也保持一致。

---

6. 部署：把 codec-TTA 带到生产环境

把研究成果落实到实际服务的过程中也有陷阱。生产端点与主代码线之间已经版本分叉——带有批量 API 的 4 月镜像，与包含最新检测改进的 6 月代码，是彼此独立的分支。只是换个标签，就会让批量 API 失效。

解决办法是把 6 月的代码叠加到 4 月的批量处理程序之上（在保留批量 API 的同时，纳入最新的 CNN、codec-TTA 和按响度加权的判定）。在部署验证期间，我们还发现并修复了一个仅在 GPU 上出现的运行时 bug（CPU 测试没能发现的张量处理错误）。

最终，生产环境已更新到最新的检测性能，同时保持批量 API 的兼容性。

---

7. 支线：专用的 de-artifact 网络（RVQ 鬼影音频修复）

除检测之外，我们还开展了一项研究，把同样的残差物理反方向使用——做一个从 AI 录音中去除 RVQ 鬼影、以提升音质的工具。（需要说明的是，目标不是规避检测，而是提升音质。实际的起因，是用户反馈 Suno 提供的分轨多轨文件里鬼影很严重。）

核心模型是ComplexArtifactUNet。它复用了检测用 ArtifactUNet 的主干，但同时处理相位：输入输出为复数（实部/虚部），并使用复数比值掩码。

技术上有两点很有意思：

• teacher_gated 掩码：检测模型的掩码出于安全考虑被限制在 [0, 0.5]（防止走捷径）。我们把它重新解释为动态门控：只在伪影区域把去除上限放开到 1，同时强制音乐区域（门控 ≈ 0）保留原样。我们把固定的上限变成了有条件的约束。
• 劣化强度决定可学习性：起初训练收敛到恒等映射（什么都不做），失败了。原因不在模型或损失函数，而在于训练所用的编解码器劣化太弱了。当我们提供足够劣化的配对数据后，它终于学会了修复。

另一个教训：音质更多取决于 DSP 后处理，而不是模型。判别式神经网络带来的改进幅度停滞在某个水平；真正听得出来的提升，是在我们结合共振抑制（2.5 kHz 以上）和自动高频校正这类成熟的信号处理之后才出现的（听感评估为“大幅改善”）。

---

8. 转折：连这个弱点也是错觉

回到我们在第 3 节中悬而未决的疑问。如果 P3 的结构性修复之所以失败，是因为诊断本身就错了，那么我们就必须在无泄露的条件下，重新测量 udio 这个“弱点”本身。

问题出在数据上。原有的 udio 评估集与训练池完全重叠（泄露）。因此，我们利用自建的爬取基础设施，新采集了 454 首 udio 歌曲，按单曲 ID 与训练数据库交叉比对，剔除了 113 首泄露的歌曲，构建出一个 228 首、无泄露的留出集。

模型	新采集的 udio 留出集上的检测率	漏检
v9.5	97.8%	5 / 228
下一代候选模型	95.6%	10 / 228

udio 的弱点从一开始就不存在。在真正无泄露的留出集上，v9.5 对 udio 的检测效果很好，为 97.8%。此前的“85–91%”，是由某个泄露样本造成的测量伪影。

其含义不轻。整个 6 月我们苦苦纠缠的三个实验（P1、P2、P3），都是为解决一个根本不存在的问题而做的尝试。“数据不足”这一替代假设也随之被否定，因为仅用 165 首训练歌曲，就在新数据上得到了 97.8%。

---

9. 经验总结与后续计划

泄露的评估会同时扭曲优势和弱点。它既夸大优势（验证 F1 0.993），又凭空捏造弱点（udio 85%）。我们付出最大代价换来的教训是方法论上的——在宣称有新模型或某个弱点之前，一定要先在无泄露的留出集上重新测量。

负面结果不该被丢掉。这三次失败证明，模型学到的是 RVQ 的一般性质，而不是解码器指纹，并最终把我们引向了更根本的问题：评估泄露。

下一步的方向现在很清楚了。真正的弱点不是 udio，而是对真实录音的误报（高难度真实录音 FPR 为 15.57%）。SoundCloud 上的业余上传、FMA、lo-fi——这些都是人类创作的音乐被误认为 AI 的情形。下个季度将集中收集这类高难度真实录音的分布，以降低误报。

SOTA 不是终点，而是一个开始——我们终于有了余地，去审视自己一直在测错的东西。

---

ArtifactNet 研究团队 · 2026 年 6 月