이 글은 영문 원문을 번역한 것입니다. 내용이 다르면 영문 원문이 기준입니다.
ArtifactNet 연구 · 7편 · 2026년 7월
장르 격차와 우리가 고치겠다고 약속한 오탐률을 해소하다
2026년 7월의 연구 기록입니다. 6편은 약속 하나를 남기고 끝났습니다. 다음 분기는 또 다른 벤치마크 기록을 쫓는 대신 까다로운 실제 음악의 오탐률에 쓰겠다는 약속이었습니다. 이 글은 그 약속을 지킨 기록이며, 조용히 스캔을 포기했던 장르 하나, 지금까지 모은 가장 큰 데이터셋으로 처음부터 다시 한 재학습, 그리고 일부러 찾아봤기 때문에 잡아낸 배포 버그 이야기도 함께 담았습니다.
현재 모델이 실제로 동작하는 모습을 보고 싶으신가요? 무료 데모로 아무 트랙이나 돌려 보세요 — 아래에서 설명하는 것과 같은 포렌식 파이프라인이며, 계정이 필요 없습니다.
6편은 구체적이고 좁은 목표를 남기고 끝났습니다. 6월 내내 쫓던 “udio 약점”은 평가 데이터가 새어 들어가 생긴 착시로 드러났고, 깨끗한 홀드아웃 세트에서 udio 탐지는 97.8%로 문제가 없었습니다. 끝까지 남은 진짜 약점은 실제 녹음에 대한 오탐이었습니다. SoundCloud 아마추어 업로드, FMA, 로파이가 그 예입니다. 출처 9개로 이뤄진 까다로운 실제 음악 벤치마크에서 가장 좋은 후보의 FPR은 32.25%에서 내려왔지만 여전히 15.57%로, 프로덕션 수준과는 거리가 멀었습니다.
우리는 또 하나의 벤치마크 승리를 모으는 대신, 다음 분기에 그 수치를 정면으로 겨냥하겠다고 말했습니다. 이 글은 그 분기가 어떻게 흘러갔는지를 담고 있습니다.
첫 수는 더 큰 모델이 아니라 두 번째 의견이었습니다. 우리가 쫓던 오탐 대부분은 확신에 차서 틀린 것이 아니라 경계선상에 있었습니다. 메인 CNN이 한 번만 보고 내리는 판정이 가장 믿기 어려운 결정 경계 근처였습니다. 그래서 작은 보조 모델을 학습시켰습니다. 내부에서 rescue-gate라고 부르는 28개 특징의 LGBM 헤드(verdict28)이며, 하는 일은 메인 네트워크가 확신하지 못하는 판정을 한 번 더 살펴보고 증거가 반대를 가리키면 그 판정을 뒤집는 것뿐입니다.
7월 초에 이를 서빙 경로에 통합하고 운영 임계값(τ)을 확정했습니다. CNN은 전혀 건드리지 않고 rescue-gate만으로도 까다로운 실제 음악의 오탐이 눈에 띄게 줄었습니다. FPR 문제의 상당 부분이 표현의 문제가 전혀 아니라 결정 경계의 문제였다는 증거입니다.
이제 엄격하게 지키는 규칙 하나: rescue-gate는 자신이 게이팅하는 CNN과 같은 세대로 재학습해야 합니다. 세대를 섞는 것, 즉 새 CNN 뒤에 옛 rescue-gate를 두거나 그 반대로 두는 것은 사소한 드리프트가 아닙니다. 4월에 바로 그 불일치로 오탐이 52%까지 치솟은 사고가 기록으로 남아 있습니다. 이 글에서 CNN을 승격할 때마다 재사용한 rescue-gate가 아니라 짝이 맞는 rescue-gate 재학습을 함께 내보내는 이유가 이것입니다.
7월 중순에는 규모가 작은 부수 조사를 진행했습니다. AI 생성기마다 임베딩 공간에 구별 가능한 “핑거프린트”를 남기는지, 일반적인 AI 대 사람 신호와는 별개로 확인해 보는 것이었습니다. 답은 단서가 붙은 “그렇다”였습니다. 사람이 만든 음악은 생성기와 상관없이 AI 출력과 뚜렷이 구분되는 영역에 놓이며, 모델이 한 번도 본 적 없는 생성기 아키텍처에서도 그 분리는 완벽하진 않지만 꽤 잘 유지됩니다. 출시된 기능이 아니라 부수적인 결과이지만, 모델이 생성기별 표면적 단서를 외우는 것이 아니라 코덱 잔여물에 담긴 구조적인 무언가를 읽고 있다는 증거를 더해 줍니다(6편의 실패한 실험들이 가리킨 결론과 같습니다).
같은 무렵 부분 AI 트랙, 즉 소재의 일부만 AI로 생성된 곡(예를 들어 사람이 연주한 반주 위에 얹은 AI 보컬)을 탐지하는 작업에 착수했습니다. 그 탐지기를 만들려면 장르 단위의 동작을 훨씬 면밀히 들여다봐야 했고, 그러면서 우리가 해결하지 않고 조용히 우회해 오던 문제가 드러났습니다. 일렉트로닉 음악의 오탐률이 유난히 높다는 것이었고, 자신 있게 스캔하기를 포기할 만큼 높았습니다.
당시의 임시방편은 일렉트로닉 성향이 강한 출처에 조건부로 임계값을 올리는 것이었습니다. 해결책이 아니라, 실제 원인을 파악하는 동안 피해를 막는 방법에 불과했습니다. 아래 섹션 6이 바로 그 원인입니다.
7월 셋째 주쯤에는 임계값 조정과 rescue-gate 적용이 아무리 유용해도 장르 격차를 메우거나 까다로운 실제 음악 FPR을 끝까지 내려 주지는 못한다는 점이 분명해졌습니다. 두 문제는 뿌리가 같았습니다. CNN의 학습 분포에 일렉트로닉 음악도, 실제 환경의 SoundCloud 식 재인코딩 자료도 어느 쪽이든 제대로 표현할 만큼 충분히 들어 있지 않았습니다.
그래서 프로젝트 역사상 가장 큰 재학습을 진행했습니다. 22개 출처의 27,476곡으로, 누수가 없는 매니페스트를 바탕으로 만들었습니다(바로 앞 세대만이 아니라 이전 모든 세대의 모든 학습 로그와 대조해 검증했습니다). 이렇게 나온 체크포인트를 bigset이라고 부릅니다.
그 과정에서 SoundCloud 식 오탐을 실제로 일으키는 요인을 마침내 가려냈습니다. 플랫폼이 아니었고, “아마추어 제작”이라는 막연한 범주도 아니었습니다. 원인은 MP3 재압축의 반복이었습니다. MP3로 여러 번 재인코딩된 트랙(업로드 → 재다운로드 → 재업로드로, 애그리게이터와 리믹스 문화 플랫폼에서 흔합니다)에는 우리가 잡아내도록 학습된 코덱 잔여물과 닮은 압축 아티팩트가 쌓입니다. 그 메커니즘을 이해하고 나니, 임계값으로 덮어 두는 대신 학습에서 그것을 직접 표현할 수 있었습니다.
rescue-gate도 같은 bigset 세대로 재학습했고(섹션 2의 규칙에 따라), CNN과 rescue-gate 임계값을 함께 훑는 전체 2D 스윕을 돌려 운영점을 확정했습니다. 결과는 τ=0.225로, 이전 세대의 0.5에서 내려왔습니다.
ArtifactBench를 처음부터, 즉 증분이 아니라 하네스 전체를 다시 돌렸습니다. 대상은 5,458곡(이전 2,103곡 테스트 세트의 2.6배)이며, 추적 중인 22개 AI 생성기를 모두 포함합니다.
| 지표 | 이전 세대 | bigset |
|---|---|---|
| ArtifactBench F1 | 0.984 | 0.9921 |
| AI로 판정된 실제 음악 | 4.2% | 0.38% |
| FPR 예산 1.5% 고정 시 탐지율 | 97.38% | 98.59% |
오탐 예산을 고정한 채로도 탐지 성능이 1.2포인트 오른 것은, 이것이 임계값 조정을 개선처럼 포장한 것이 아니라 진짜 모델 개선이라는 신호입니다. 특히 τ=0.02에서 5,458곡에 대한 원시 건수는 참양성 4,334건, 오탐 4건, 미탐 65건, 참음성 1,053건이었고, TPR은 98.52%, FPR은 0.378%였습니다.
장르별 세부 결과가 우리가 정말로 얻고자 했던 수치입니다.
| 장르 | F1 |
|---|---|
| 팝 | 0.995 |
| 록 | 0.993 |
| 일렉트로닉 (이전의 약점) | 0.988 |
| 로파이 | 0.987 |
| 힙합 | 0.987 |
| 어쿠스틱 | 0.987 |
이제 테스트하는 모든 장르가 F1 0.986을 넘습니다. bigset 이전에는 일렉트로닉 음악이 유일하게 넘지 못한 장르였습니다. 이 글의 제목이 된 “장르의 벽”이 바로 그것이며, 모든 장르가 동시에 기준선을 넘었다고 말할 수 있게 된 것은 이번이 처음입니다.
6편 이후 추적해 온 홀드아웃 실제 음악 세트에서(재압축 수정의 효과만 따로 보기 위해 SoundCloud는 제외했습니다) 오탐은 5.98%에서 1.48%로 떨어졌습니다. 이것은 지난번에 공개한 약 15%라는 수치와 같은 벤치마크 계열이지만, 그 사이 rescue-gate와 임계값 작업이 이미 수치를 조금씩 깎아 놓았기 때문에 일대일로 비교할 수 있는 단일 수치는 아닙니다. 그래도 궤적은 같은 선 위에 있고, 이제는 두 자릿수가 아니라 1.5% 미만입니다.
bigset을 프로덕션으로 승격하자 섹션 2가 경고하는 실패 유형이 그대로 드러났습니다. 다만 고객 대상 모델이 아니라 우리 자체 인프라에서였습니다. 데모 앱이 메인 추론 파이프라인과 별개로 rescue-gate를 불러오고 있었고, 승격 도중 메인 CNN이 이미 bigset으로 넘어갔는데도 이전 세대의 rescue-gate 체크포인트를 계속 가리키고 있었습니다. 4월 사고와 같은 유형의 불일치였지만, 이번에는 프로덕션 FPR 급등이 아니라 섹션 2의 원칙 덕분에 제때 잡아냈습니다. 데모 앱이 메인 파이프라인과 같은 방식으로, 단일 기준 출처에서 rescue-gate를 불러오도록 고쳤습니다.
두 번째로 더 작은 빈틈이 있었습니다. 우리 연구용 데모 서버와 실제 고객 대상 추론 서비스는 서로 다른 머신에 있는 별개의 시스템인데, 배포 점검이 잠시 둘이 동기화돼 있다고 가정했으나 실제로는 그렇지 않았습니다. 같은 날 최종 검증 중에 잡아내 바로잡았지만, “모델이 승격됐다”와 “모델이 트래픽을 처리하고 있다”는 서로 다른 두 주장이며 매번 둘 다 확인해야 한다는 점을 일깨워 주는 일이었습니다. 무료 데모와 계정 기반 배치 서비스 둘 다 이제 bigset으로 동작 중임을 확인했습니다. RunPod 서버리스 배치 엔드포인트는 이번 승격의 범위 밖이라 여전히 이전 세대로 서비스 중이며, 그 오버레이는 별도로 일정을 잡아 두었습니다.
매달 실제 환경에서 돌리는 스캔도 다시 실행했습니다. 이번 달 초에 방법론을 확정한 AI Music Index를 bigset으로 돌린 것입니다. 이미 통과했던 주류 음악과 SoundCloud 구간은 예상대로 이번에도 깨끗하게 나왔습니다. 흥미로운 변화는 Beatport에서 나타났습니다. 일렉트로닉 음악 카탈로그인 Beatport는 이전 세대의 오탐률이 쓸 수 없는 수준이어서(표본 전체에서 AI 확률의 중앙값이 0.955였고, 섹션 4의 계기가 된 “오탐 폭발”이었습니다) 사실상 스캔 대상에서 제외해 둔 곳입니다. bigset에서는 그 값이 보정 추정치 0.07%로 줄었고, 신뢰구간에는 0이 포함됩니다. 일렉트로닉 장르 카탈로그는 처음으로 자신 있게 스캔할 수 있는 영역이 됐습니다.
앞선 인덱스 실행에서 플래그가 붙은 앰비언트/수면 음악 트랙 두 곡을 완전히 다른 모델 세대로 다시 채점했더니 더 높은 확신도로 플래그가 붙었습니다(0.842→0.892, 0.633→0.759로, 낮아진 것이 아닙니다). 그 신호가 옛 모델의 알려진 약점이 만든 아티팩트가 아니라 실제라는 증거입니다. 일렉트로닉 카탈로그의 표본 크기(43곡)는 층화 Rogan-Gladen 신뢰구간이 0을 배제하기에는 아직 너무 작아서, 이 구간은 아직 게시 기준을 통과하지 못했다고 분명히 말씀드립니다. 수치를 끌어올려 발표하느니 보류하는 편이 낫습니다.
두 번째 의견은 더 큰 모델보다 저렴합니다. rescue-gate는 CNN을 전혀 건드리지 않고도 까다로운 실제 음악 FPR을 움직였습니다. 다만 자신이 게이팅하는 모델과 버전을 나란히 맞출 때만 안전하며, 사고가 한 번 기록으로 남은 뒤로는 이 규칙을 관례가 아니라 정책으로 강제하고 있습니다.
임계값 상향은 임시방편일 뿐 진단이 아닙니다. 7월 중순에 일렉트로닉 음악용으로 내보낸 조건부 조정은 시간을 벌어 주었을 뿐 아무것도 설명해 주지 못했습니다. 실제 해결은 메커니즘(MP3 재압축의 반복)을 추적해 그것을 학습에 반영한 뒤에야 찾아왔습니다.
“승격됐다”와 “트래픽을 처리 중이다”는 서로 다른 주장입니다. 같은 배포에서 데모 앱의 세대 불일치와 데모/프로덕션 서버 혼동을 둘 다 잡아냈습니다. 둘 다 사소했고 문제가 되기 전에 잡았으며, 모델 아티팩트만이 아니라 경로 전체를 검증해야 한다는 점을 상기시켜 줍니다.
남은 일은 그 경로를 쓰는 고객을 위한 RunPod 배치 오버레이와, 수치를 보류하는 대신 실제로 게시할 수 있을 만큼 일렉트로닉 카탈로그 Index 표본을 늘리는 것입니다.
ArtifactNet 연구팀 · 2026년 7월