이 글은 영문 원문을 번역한 것입니다. 내용이 다르면 영문 원문이 기준입니다.
ArtifactNet 연구 · 4부 · 1/3 · 2026년 4월
SONICS 점수를 쫓는 사이 무너진 실제 환경 성능
ArtifactNet 연구 여정의 4부입니다. 2026년 4월의 이야기입니다. SOTA에 도달한 직후, "한 번만 더 밀어붙이면 완벽해질 것"이라고 생각하던 바로 그 순간에, 이 시리즈 전체에서 가장 값비싼 교훈을 얻었습니다. 벤치마크 점수를 쫓으면 실제 환경의 성능이 무너진다는 것입니다. 성공한 코덱 인식 재학습과 우리가 만든 공정한 벤치마크, 그리고 그 사이에 있었던 성능 퇴보와 착시를 모두 그대로 남겨 두었습니다.
현재 모델이 실제로 동작하는 모습을 보고 싶으신가요? 무료 데모로 아무 트랙이나 돌려 보세요 — 아래에서 설명하는 것과 같은 포렌식 파이프라인이며, 계정이 필요 없습니다.
3부까지 다룬 ArtifactNet은 AI가 생성한 음악(Suno, Udio, Stable Audio, MusicGen, Riffusion 등)을 탐지하는 포렌식 프레임워크이며, 총 파라미터 4.2M개의 작은 모델입니다. 핵심 파이프라인은 다음과 같습니다.
audio → STFT → ArtifactUNet (residual extraction) → HPSS (harmonic/percussive split)
→ 7-channel forensic features → ResidualCNN → per-segment P(AI) → per-song median verdict
4월 초 실제 환경의 SOTA는 v9.3_hn이었습니다. SONICS 벤치마크 F1은 0.9937이었고, 가장 자랑스러웠던 수치는 막 출시된 최신 Suno v4 트랙 873개 중 871개(99.8%)를 탐지했다는 점입니다. SONICS에 없는 "야생의 최신 세대" 모델을 잡아내는 것이 이 모델의 진짜 가치였습니다.
그런데 SONICS 리더보드에서 한 가지가 마음에 걸렸습니다. F1 0.9937은 SOTA였지만 소수점 아래에서 조금 더 짜낼 여지가 있어 보였습니다. 어려운 알고리즘(chirp-v2-xxl, udio-120s)에서 몇 퍼센트가 빠져나가고 있었기 때문입니다. "SONICS 학습 데이터를 더 넣으면 그 틈이 메워지지 않을까?" 이 단순한 욕심이 v10_260407의 시작이었습니다.
v10_260407은 SONICS 데이터를 대량으로 투입해 재학습했습니다. 리더보드만 보면 대승이었습니다.
| 지표 | v9.3_hn | v10_260407 |
|---|---|---|
| SONICS F1 | 0.9937 | 0.99995 |
| SONICS 가짜 음악 TPR | 98.60% | 100% |
| SONICS 실제 음악 FPR | 1.23% | 0.04% |
SONICS만 놓고 보면 v10_260407은 거의 완벽했습니다. 실제 음악 오탐은 1.23%에서 0.04%로 떨어졌고 가짜 음악 탐지률은 100%에 도달했습니다. 여기서 멈췄다면 v10_260407을 프로덕션에 배포했을 것입니다.
그런데 SONICS 밖에서 검증해 보니 상황이 정반대로 뒤집혔습니다.
| AI 소스 | v9.3_hn | v10_260407 |
|---|---|---|
| 최신 Suno v4(트랙 873개) | 99.8% | 4.3% |
| SONICS udio-120s | (벤치마크 내) | 99.5% |
| MoM diffrythm / udio / yue | 100% | 99–100% |
최신 Suno v4의 탐지률은 99.8%에서 4.3%로 곤두박질쳤습니다. v10_260407은 SONICS에 들어 있는 생성기(chirp, udio)는 여전히 잡아냈지만, SONICS에 없는 프로덕션의 실제 최신 생성기는 거의 전부 놓쳤습니다. 873개 트랙 중 잡아낸 것은 38개뿐이었습니다.
이것이 벤치마크 포화입니다. 모델이 특정 벤치마크의 분포에 과적합되면 그 벤치마크 점수는 천장에 닿아 포화되고, 분포 밖에서의 일반화 성능은 무너집니다. v10_260407은 SONICS의 chirp/udio 시그니처를 세세하게 외워 버렸고, 그 대가로 "AI 음악 전반"을 탐지하는 능력을 잃었습니다. SONICS F1 0.99995는 실력이 아니라 암기의 점수였습니다.
그날 노트에 적어 둔 교훈은 짧습니다.
벤치마크 F1만 보지 마세요. 새로운 데이터로 실제 환경을 검증하지 않으면 점수가 오르는 동안 실력은 죽어 갑니다.
v10_260407은 폐기했고, v9.3_hn이 실제 환경의 SOTA임을 다시 확인했습니다. 적은 데이터로 폭넓게 일반화하는 것이 산더미 같은 데이터로 하나의 벤치마크에 과적합하는 것보다 낫습니다. 이것이 이번 장의 첫 번째 기둥입니다.
v10_260407 사태를 파고들자 훨씬 더 불편한 사실이 드러났습니다. 비교에 쓰던 파이프라인에 버그가 있어서 어떤 수치도 액면 그대로 받아들일 수 없다는 것입니다. 4월 중순에 우리는 치명적인 불일치 세 가지를 찾아냈습니다.
이 교훈은 v10_260407 사태와 뿌리가 같습니다. 파이프라인 전체를 통제한 상태에서만 모델을 비교할 수 있다는 것입니다. HPSS 하나가 어긋나서 50포인트가 날아가는 상황에서 "어느 모델이 더 나은가"를 논하는 것은 무의미합니다.
이 경험이 다음 결정으로 이어졌습니다. 매번 수작업으로 비교하던 것을 멈추고, 통제된 공정한 벤치마크 프레임워크를 만들기로 한 것입니다.
ArtifactBench는 여러 탐지 모델을 동일한 소스, 동일한 새니티 체크, 동일한 지표로 평가하는 벤치마크 하네스입니다. F1 하나만 재는 것이 아니라 다음을 모두 측정합니다.
그리고 이 프레임워크는 "SOTA"라고 불러 온 모델 v9.3_hn의 숨은 약점을 곧바로 끌어냈습니다.
v9.3_hn에 ArtifactBench를 돌리자 FAIL이 6개 나왔고, 그중 두 묶음이 충격적이었습니다.
| 항목 | v9.3_hn |
|---|---|
| FMA 하드 네거티브(MP3 실제 음악) FPR | 98.7% |
| MoM 실제 음악(MP3 실제 음악) FPR | 98.3% |
| 코덱 쌍 Δ 평균 | 0.896 |
| 코덱 쌍 Δ 최댓값 | 1.000 |
같은 실제 음악을 MP3로 인코딩하자 거의 전부가 AI로 오인됐습니다(98.7%). 코덱 쌍 Δ 평균 0.90은 같은 곡을 WAV와 MP3로 넣었을 때 판정이 0.90만큼 갈린다는 뜻이며, 사실상 동전 던지기입니다.
원인은 분명했습니다. 학습에 쓴 실제 음악이 압도적으로 WAV였기 때문에, 모델은 "MP3 코덱 아티팩트 = AI 시그니처"라는 잘못된 상관관계를 학습했습니다. SONICS 벤치마크는 이 약점을 한 번도 잡아내지 못했습니다. SONICS는 코덱 쌍 테스트를 하지 않기 때문입니다. 더 넓고 더 적대적인 벤치마크를 만들고 나서야 SONICS가 가려 두었던 약점이 비로소 눈에 보이게 되었습니다.
두 번째 기둥은 이것입니다. 벤치마크는 실제 환경의 분포에 스트레스를 가해야 합니다. 코덱, 새로운 생성기, 하드 리얼을 전혀 건드리지 않는 벤치마크에서 SOTA를 달성해도, 그 셋 중 어느 하나에서든 무너질 수 있습니다.
진단이 분명해지자 해법도 분명해졌습니다. 코덱 증강 4종으로 UNet을 재학습하는 것입니다. 학습 쌍을 원본 + MP3 + AAC + Opus로 늘려, 모델이 코덱 아티팩트를 "AI가 아닌 정상 신호"로 배우게 합니다. 이렇게 코덱을 인식하도록 만든 UNet을 codec4 UNet이라고 부릅니다.
여기서는 기록에 남아 있던 과거의 교훈이 결정적이었습니다. UNet과 CNN을 함께 재학습하면 MP3 FPR은 내려가지만 WAV TPR도 함께 죽는 트레이드오프가 생긴다는 것입니다. 그래서 UNet만 코덱 증강으로 재학습한 다음, 그 위에서 CNN을 따로 파인튜닝하는 단계적 전략을 택했습니다.
결과(v9.4 = R1 파인튜닝 + codec4 UNet)는 극적이었습니다.
| 항목 | v9.3_hn | v9.4 (codec4) |
|---|---|---|
| FMA 하드 네거티브 FPR | 98.7% | 8.0% |
| MoM 실제 음악 FPR | 98.3% | 0.5% |
| 코덱 쌍 Δ 평균 | 0.896 | 0.025 |
| 코덱 쌍 Δ 최댓값 | 1.000 | 0.698 |
| ArtifactBench FAIL | 6 | 4 |
코덱 쌍 Δ 평균은 0.90에서 0.025로 떨어졌습니다. 이제 같은 곡은 어떤 코덱에서든 거의 같은 판정을 받습니다. MP3 실제 음악 오탐은 98.7%에서 8.0%로 줄었고, MoM 실제 음악은 0.5%까지 내려갔습니다.
솔직히 말해 완전한 해결은 아니었습니다. 코덱 쌍 최대 Δ는 여전히 0.698이었고(최악의 트랙 하나는 여전히 흔들렸습니다), udio_extra 같은 일부 생성기는 TPR이 86%에 머물렀습니다. 그래도 "동전 던지기"였던 코덱 견고성은 분명히 실용적인 수준까지 올라왔습니다.
이어서 v9.5(codec4 UNet + cnn_v95, CNN을 한 번 더 보강한 모델)를 SONICS 전체 세트(약 23,000개 트랙)로 검증했습니다.
| 지표 | v9.5 |
|---|---|
| SONICS F1 | 0.9993 |
| SONICS 실제 음악 FPR | 0.086% (9 / 10,510) |
| AUC | 0.99999 |
| 생성기별 TPR | chirp-v3/v3.5/udio-30s 100%, chirp-v2 99.8%, udio-120s 99.7% |
v10_260407과의 결정적인 차이는 이것입니다. v9.5는 SONICS에서 높은 점수를 받으면서도 코덱 견고성과 최신 생성기 탐지까지 확보했습니다. 점수는 약점을 해결한 결과로 따라온 것이지, 점수를 쫓아서 얻은 것이 아닙니다.
ArtifactBench의 진짜 목적은 우리 모델을 자랑하는 것이 아니라 경쟁 모델과 같은 링에서 맞붙는 것이었습니다. 그래서 두 개의 베이스라인을 같은 환경으로 이식했습니다.
동일한 조건에서 SONICS 전체 세트(약 23,000개 트랙, AI 약 12,800개 / 실제 약 10,500개)를 돌린 결과는 다음과 같습니다.
| 모델 | 파라미터 | SONICS F1 | 실제 음악 FPR | AUC |
|---|---|---|---|---|
| ArtifactNet v9.5 | 4.2M | 0.9993 | 0.086% | 0.99999 |
| SpecTTTra α-120s | 18.7M | 0.8874 | 17.97% | 0.9303 |
| CLAM | 194M | 0.7652 | 67.16% | 0.8222 |
가장 충격적인 수치는 실제 음악 FPR입니다. 파라미터 194M개의 CLAM은 SONICS 실제 음악의 67%를 AI로 오인했습니다. SpecTTTra도 18%를 과하게 AI로 판정했습니다. 반면 4.2M짜리 ArtifactNet은 0.086%로, 10,510개 중 틀린 것은 9개뿐이었습니다.
해석은 이렇습니다. 거대 모델은 "AI를 잘 잡도록" 학습되기 때문에 실제 음악을 과도하게 의심합니다. 현실에서 진짜 비용은 오탐, 즉 사람이 만든 음악에 AI라는 낙인을 찍는 것이며, 그 비용을 가장 많이 치른 모델이 가장 큰 모델이었습니다. 잔차의 물리적 특성(RVQ 양자화 흔적)에 집중한 4.2M 모델이 46배 큰 모델보다 실전에서 더 강합니다.
(참고: 코덱 쌍 불변성에서도 ArtifactNet codec4가 가장 안정적이었습니다. SpecTTTra의 Δ 평균은 0.060, CLAM은 0.126으로, 두 베이스라인 모두 코덱이 바뀌면 흔들렸습니다.)
자기 벤치마크에서 이기는 것은 쉬운 일입니다. 그래서 같은 데이터를 독립적인 외부 탐지기로 다시 측정했습니다. Deezer의 ISMIR 계열 AI 음악 탐지 연구 모델을 SONICS 전체 세트에 돌린 것입니다.
그 외부 모델의 SONICS 결과가 우리 파이프라인을 검증해 주었습니다.
이 교차 검증에서 두 가지를 알게 되었습니다. 첫째, udio 계열은 우리만의 약점이 아니라 탐지 분야 전체에서 어려운 부류입니다(우리 v9.5는 udio-30s에서 100%를 기록해 외부 모델을 크게 앞섰습니다). 둘째, 외부 모델의 수치가 합리적인 범위에 들어왔다는 사실은 우리 벤치마크 하네스를 신뢰할 수 있다는 뜻입니다. 자신의 측정을 외부 구현과 대조해 점검하는 것은 v10_260407이 우리에게 각인시킨 습관입니다.
코덱 문제는 풀렸지만 ArtifactBench는 여전히 한 곳을 가리키고 있었습니다. 바로 하드 리얼 오탐입니다. codec4는 FMA 하드 네거티브 FPR을 8%까지 낮췄지만 0까지는 아니었습니다. "심하게 왜곡되어 있어서 AI처럼 들리는" 실제 음악, 즉 로파이, 아마추어 업로드, 일부 빈티지 녹음이 남아 있었습니다.
그래서 4월 말에는 하드 네거티브를 대폭 보강한 v96을 시도했습니다. 그러나 하드 리얼을 더할수록 두 가지 위험이 다시 고개를 들었고, 이는 기록에 남은 경고 그대로였습니다. (a) 이미 수렴한 모델에 하드 네거티브를 한꺼번에 넣으면 과적합과 진동의 위험이 있고, (b) 하드 리얼을 억제하면 AI TPR도 함께 떨어질 수 있습니다. v96은 파인튜닝 중에 진동을 보였고 codec4 v9.5를 대체할 만큼 분명한 개선도 내지 못했기 때문에 프로덕션에는 배포하지 않았습니다.
하드 리얼 문제는 4월에 끝나지 않았습니다. 그리고 이 시리즈의 마지막 편을 읽으신 분들은 아시겠지만, 이 "약점"의 진짜 정체는 훨씬 나중에, 우리 평가 세트의 데이터 누수를 발견하고서야 다시 쓰이게 됩니다.
이번 달은 승리보다 교훈으로 기억됩니다.
다음 편에서는 해결되지 않은 하드 리얼 오탐을 쫓아가고, 결국 우리가 문제를 잘못 측정하고 있었다는 사실을 깨닫게 됩니다.
ArtifactNet 연구팀 · 2026년 4월