SOTA 그 너머: AI 음악 탐지에서 얻은 부정적 결과

이 글은 영문 원문을 번역한 것입니다. 내용이 다르면 영문 원문이 기준입니다.

ArtifactNet v9.5 이후의 연구 기록입니다. SOTA를 달성한 뒤 "남은 약점"을 해결하려고 나섰다가, 결국 우리 자신의 평가 방법론을 의심하게 된 두 달의 이야기입니다. 성공과 함께 실패한 실험과 우리가 발견한 함정도 그대로 남겼습니다. 이 분야에서는 그쪽이 더 가치 있는 기록이라고 믿기 때문입니다.

TL;DR

v9.5는 SONICS 벤치마크에서 F1 0.9993(4.2M 파라미터)로 SOTA를 유지하고 있었고, 우리는 두 가지 "남은 약점"(udio 탐지률과 까다로운 실제 음악 오탐)을 공략하기로 했습니다.
잔차 추출을 개선하려고 세 가지 접근(디코더 증강, 디컨볼루션 지문, 조용한 구간 채널)을 시도했고, 세 가지 모두 실패했습니다. 하지만 그 실패를 거꾸로 따져 보니 모델이 실제로 어떻게 동작하는지에 대한 증명이 나왔습니다.
약점을 파고드는 동안 우리 평가셋 자체의 데이터 누수를 발견했습니다. "검증 F1 0.993"의 상당 부분은 암기였습니다.
누수 없는 평가셋을 만들고 새 데이터를 수집해 다시 측정해 보니, udio의 "약점"은 애초에 존재하지 않았던 것으로 드러났습니다. 누수 없는 홀드아웃 세트에서 탐지률은 97.8%였습니다.
진짜 약점은 udio가 아니라 실제 녹음에서의 오탐(까다로운 실제 음악 FPR)이었습니다. 다음 방향은 그쪽으로 잡았습니다.

현재 모델이 실제로 동작하는 모습을 보고 싶으신가요? 무료 데모로 아무 트랙이나 돌려 보세요 — 아래에서 설명하는 것과 같은 포렌식 파이프라인이며, 계정이 필요 없습니다.

1. 출발점: v9.5의 위치

ArtifactNet은 AI 생성 음악(Suno, Udio, Stable Audio, Riffusion, MusicGen 등)을 탐지하는 포렌식 프레임워크입니다. 핵심 파이프라인은 다음과 같습니다:

audio → STFT → ArtifactUNet (residual extraction) → HPSS (harmonic/percussive separation)
     → 7-channel forensic features → ResidualCNN → per-segment P(AI) → per-song median verdict

총 4.2M 파라미터밖에 되지 않지만, 대형 트랜스포머급 베이스라인을 일관되게 앞섭니다.

시스템	파라미터	SONICS F1	FPR
ArtifactNet v9.5	4.2M	0.9993	0.086%
SpecTTTra (α-120s)	18.7M	0.8874	17.97%
CLAM (MoM)	194M	0.7652	67.16%

여기에 더해 ArtifactBench 4-way(네 개 코덱 평가) F1 0.9861, MoM 40K 전체 F1 0.9832를 기록했습니다.

설계의 핵심은 잔차 물리입니다. AI 생성기는 내부적으로 RVQ(잔차 벡터 양자화) 같은 신경 코덱을 거치며 특징적인 양자화 흔적("RVQ 고스팅")을 남깁니다. ArtifactUNet은 이 잔차 성분만 분리하고, CNN은 잔차의 분포 일관성을 학습합니다. AI 음악은 여기서 비정상적으로 높은 일관성을 보입니다.

당시 우리가 인식한 두 가지 "남은 약점"은 다음과 같았습니다:

udio 탐지률 85–91% — 다른 생성기는 99% 이상이었지만 udio만 낮았습니다.
까다로운 실제 음악 오탐 — 까다로운 실제 녹음(로파이, LP, SoundCloud 업로드)에서 오탐이 발생했습니다.

이 글의 나머지는 (1)을 공략하려고 나섰을 때 벌어진 일의 기록입니다.

2. 약점 공략: 잔차 추출을 개선하는 세 가지 축

udio 약점을 해결하기 위해 외부 딥 리서치 실행(에이전트 105개 간의 적대적 교차 검증)으로 세 가지 가설을 도출하고 모두 구현했습니다.

P1. 실제 음원 통과 디코더 증강

가설: 실제 녹음을 여러 신경 코덱(Encodec, DAC 등)에 통과시켜 학습 쌍을 만들면, 다양한 디코더 계열의 흔적을 포괄해 udio 일반화가 향상됩니다.

결과: udio 탐지률 85% → 85%, 변화 없음. 원인은 디코더 계열 간 전이가 사실상 없다는 점이었습니다. udio는 공개되지 않은 독자 디코더를 쓰기 때문에, Encodec/DAC로 아무리 학습해도 전이되지 않았습니다.

P2. 디컨볼루션 피크 지문

가설: 전치 합성곱의 스트라이드 구조가 스펙트럼에 결정적인 피크를 남긴다는 ISMIR 2025 연구에서 착안해, 이 피크를 보조 특징으로 사용합니다.

결과: 분포 내에서는 99% 이상이었지만 본 적 없는 udio에서는 25–40%로 무너졌습니다. 우리 주 모델이 약한 바로 그 지점에서 똑같이 약했습니다. 독립적인 보완성을 제공하지 못했습니다.

P3. 조용한 구간 채널(9채널 로그 비율)

가설: udio를 탐지하지 못한 구간은 평균 2.6 dB 더 조용했습니다. 곱셈 마스크 구조에서는 조용한 구간의 신호가 증폭되지 못하므로, 음량에 불변인 로그 비율 채널(mel(residual) − mel(original))을 추가하면 신호가 복원될 것입니다.

결과: 학습 중 검증 F1은 0.9949로 거의 완벽해 보였습니다. 그러나 홀드아웃에서는 탐지률 67%, udio는 30%로 무너졌습니다. 이 채널은 학습 분포를 암기했을 뿐 일반화하지 못했습니다.

세 가지 접근이 모두 실패했습니다. 이 시점에서 우리는 멈추고 물었습니다. "잔차 표현 자체를 바꾸는 것은 막다른 길인가?"

3. 실패가 알려 준 것

부정적 결과는 그 자체로 정보입니다. 세 번의 실패를 종합하면 ArtifactNet이 어떻게 동작하는지가 거꾸로 드러납니다:

P1과 P2의 실패는 모델의 작동 원리를 증명합니다. ArtifactNet이 특정 디코더의 지문을 암기했다면 디코더 증강(P1)이나 디컨볼루션 피크(P2)가 효과를 냈어야 합니다. 그렇지 않았다는 것은 모델이 특정 생성기의 흔적이 아니라 RVQ 양자화의 일반적인 성질을 학습했다는 뜻입니다. 이 때문에 4.2M 모델이 분포 밖에서는 194M 모델보다 강합니다.
P3의 실패는 더 깊은 의문을 낳았습니다. "조용한 구간에서 신호가 빠진다"는 구조적 진단이 맞다면, 구조적 해법(로그 비율 채널)이 통했어야 합니다. 그러지 않았습니다. 그렇다면 진단 자체가 틀렸던 것은 아닐까요?

이 의심은 다음 절로 이어집니다.

4. 평가를 의심하다: 데이터 누수

차세대 CNN 후보를 평가하던 중, 학습 매니페스트와 벤치마크 사이의 광범위한 누수를 발견했습니다.

벤치마크 출처	누수 비율
suno CDN 평가셋	193 / 200
udio CDN 평가셋	193 / 200
실제 녹음(YouTube hardneg 등)	대부분

다시 말해 "검증 F1 0.993"의 상당 부분은 일반화가 아니라 암기였습니다. 평가셋의 곡들은 이미 학습에 나왔던 곡이었습니다.

이를 바로잡기 위해 같은 시드로 학습 파이프라인을 재현해 학습에 실제로 나온 파일의 정확한 집합 S를 추출한 뒤, 라이브 데이터에서 S를 빼서 누수 없는 깨끗한 홀드아웃 세트를 구성했습니다. 이 과정에서 학습 로그와 100% 일치함을 확인했습니다.

교훈: 누수된 평가는 강점을 부풀리기만 하는 것이 아닙니다. 뒤에서 보겠지만 약점도 왜곡합니다.

5. 차세대 모델과 까다로운 실제 음악 벤치마크

누수 없는 깨끗한 홀드아웃 세트에서 차세대 CNN 후보(CDN 데이터로 파인튜닝)와 v9.5를 공정하게 비교했습니다.

모델	TPR	FPR	F1
차세대 후보	99.39%	1.36%	0.9931
v9.5	99.06%	9.29%	0.9695

흥미롭게도 핵심적인 이득은 AI 탐지률이 아니라 실제 녹음에 대한 오탐(FPR)을 줄인 데 있었습니다. 특히 LP와 빈티지 스타일 실제 녹음의 정확도가 78%에서 97%로 올랐습니다. CDN의 MP3/Opus 실제 녹음을 학습에 추가해 "실제 녹음" 표현을 강화한 결과로 보입니다.

여기서 하나를 더 만들었습니다. 여러 출처로 구성한 까다로운 실제 음악 벤치마크입니다(9개 출처, 3,050곡: Jamendo, FMA, YouTube, SoundCloud, 로파이, LP 등). 단일 출처 편향을 제거하는 스트레스 테스트입니다.

모델	까다로운 실제 음악 FPR
차세대 후보	15.57%
v9.5	32.25%

절반으로 줄었지만 여전히 15%대였습니다. SoundCloud 아마추어 업로드, FMA, 로파이가 남은 약점으로 드러났습니다. 미리 말하자면 이것이 진짜 약점이었습니다.

여기에 더해 codec-TTA(테스트 시점 증강) 운영점을 도입했습니다. 입력을 MP3/AAC/Opus로 변환해 결과를 혼합함으로써, 같은 곡이 포맷만 다를 때도 판정이 일관되도록 했습니다.

6. 배포: codec-TTA를 프로덕션에 올리기

연구 성과를 실제 서비스에 반영하는 과정에도 함정이 있었습니다. 프로덕션 엔드포인트가 메인 코드 라인과 버전이 갈라져 있었습니다. 배치 API가 들어 있는 4월 이미지와 최신 탐지 개선이 들어 있는 6월 코드가 별개의 브랜치였습니다. 태그만 바꾸면 배치 API가 깨졌을 것입니다.

해결책은 4월의 배치 핸들러 위에 6월 코드를 덧씌우는 것이었습니다(배치 API를 보존하면서 최신 CNN, codec-TTA, 음량 가중 판정을 반영). 배포 검증 중에는 GPU에서만 나타나는 런타임 버그(CPU 테스트가 잡지 못한 텐서 처리 오류)도 찾아 고쳤습니다.

그 결과 프로덕션은 배치 API 호환성을 유지한 채 최신 탐지 성능으로 업데이트되었습니다.

7. 곁가지: 전용 de-artifact 네트워크(RVQ 고스팅 오디오 복원)

탐지과는 별개로, 같은 잔차 물리를 반대 방향으로 활용하는 연구도 진행했습니다 — AI 녹음에서 RVQ 고스팅을 제거해 음질을 높이는 도구입니다. (분명히 해 두면, 목표는 탐지 회피가 아니라 음질 개선입니다. 실제 동기는 Suno가 제공하는 스템 멀티트랙의 고스팅이 심하다는 사용자 피드백이었습니다.)

핵심 모델은 ComplexArtifactUNet입니다. 탐지용 ArtifactUNet의 백본을 재사용하되 위상까지 다루며, 복소수(실수부/허수부) 입출력과 복소 비율 마스크를 사용합니다.

기술적으로 흥미로운 점이 두 가지 있습니다:

teacher_gated 마스크: 탐지 모델의 마스크는 안전을 위해(지름길을 막기 위해) [0, 0.5]로 제한됩니다. 우리는 이를 동적 게이트로 재해석해, 아티팩트 영역에서만 제거 상한을 1까지 열고 음악 영역(게이트 ≈ 0)은 원본을 보존하도록 강제했습니다. 고정 상한을 조건부 제약으로 바꾼 것입니다.
열화 강도가 학습 가능성을 결정합니다: 처음에는 학습이 항등 함수(아무것도 하지 않음)로 수렴해 실패했습니다. 원인은 모델이나 손실 함수가 아니라, 학습에 쓴 코덱 열화가 너무 약했다는 점이었습니다. 충분히 열화된 쌍을 주자 비로소 복원하는 법을 학습했습니다.

또 하나의 교훈은 음질이 모델보다 DSP 후처리에 더 좌우되었다는 점입니다. 판별 신경망의 개선 폭은 일정 수준에서 정체되었고, 체감되는 실제 개선은 공진 억제(2.5 kHz 이상)와 자동 고역 보정(청취 평가에서 "크게 개선됨") 같은 검증된 신호 처리를 결합했을 때 나왔습니다.

8. 반전: 약점조차 착각이었다

3절에서 남겨 둔 의심으로 돌아갑니다. P3의 구조적 해법이 실패한 이유가 진단이 틀렸기 때문이라면, 우리는 udio "약점" 자체를 누수 없이 다시 측정해야 했습니다.

문제는 데이터였습니다. 기존 udio 평가셋은 학습 풀과 완전히 겹쳤습니다(누수). 그래서 자체 크롤링 인프라로 새로운 udio 곡 454곡을 수집하고, 곡별 ID로 학습 데이터베이스와 대조해 누수된 113곡을 제외하여 228곡 규모의 누수 없는 홀드아웃 세트를 만들었습니다.

모델	새로 수집한 udio 홀드아웃 탐지률	미탐지
v9.5	97.8%	5 / 228
차세대 후보	95.6%	10 / 228

udio 약점은 애초에 존재하지 않았습니다. 진짜 누수 없는 홀드아웃 세트에서 v9.5는 udio를 97.8%로 잘 탐지합니다. 이전의 "85–91%"는 특정 누수 샘플이 만들어 낸 측정 아티팩트였습니다.

함의는 무겁습니다. 우리가 6월 내내 씨름한 세 가지 실험(P1, P2, P3)은 존재하지 않는 문제를 풀려는 시도였습니다. "데이터 부족"이라는 대안 가설도 함께 기각되었는데, 학습 곡이 165곡뿐인데도 새 데이터에서 97.8%가 나왔기 때문입니다.

9. 교훈과 다음 계획

누수된 평가는 강점과 약점을 모두 왜곡합니다. 강점은 부풀리고(검증 F1 0.993) 약점은 지어냅니다(udio 85%). 우리가 가장 값비싸게 얻은 교훈은 방법론에 관한 것입니다 — 새 모델이나 약점을 주장하기 전에는 항상 누수 없는 홀드아웃 세트에서 다시 측정하라는 것입니다.

부정적 결과는 버려서는 안 됩니다. 세 번의 실패는 모델이 디코더 지문이 아니라 RVQ의 일반적인 성질을 학습한다는 것을 증명했고, 결국 우리를 평가 누수라는 더 근본적인 문제로 이끌었습니다.

이제 다음 방향이 분명해졌습니다. 진짜 약점은 udio가 아니라 실제 녹음에서의 오탐(까다로운 실제 음악 FPR 15.57%)입니다. SoundCloud 아마추어 업로드, FMA, 로파이처럼 사람이 만든 음악이 AI로 오인되는 사례들입니다. 다음 분기는 이 까다로운 실제 음악 분포를 집중적으로 수집해 오탐을 줄이는 데 초점을 맞춥니다.

SOTA는 끝이 아니었습니다. 우리가 잘못 측정하고 있던 것을 돌아볼 여유가 생긴 시작이었습니다.

ArtifactNet 연구팀 · 2026년 6월

← Part 5: 실시간을 향하여 전체 글 Part 7: 장르의 벽 →

내 트랙에 탐지기를 직접 써 보세요

어떤 파일이든 업로드하세요 — 이 시리즈에서 설명한 것과 같은 포렌식 파이프라인입니다.

무료 데모 → 대시보드