"대사만 빼면 되는 거 아니야?" — 더빙 품질을 결정짓는 Music & Effects 분리의 진짜 이야기

"대사만 빼면 되는 거 아니야?" — 더빙 품질을 결정짓는 Music & Effects 분리의 진짜 이야기

‌

잠깐! DME 분리가 무엇이고 어떤 역할을 하는지 먼저 이해한 뒤 이 블로그를 읽으시는게 좋습니다 :) ➡️ [왜 글로벌 OTT는 가우디오랩을 찾을까? AI DME 분리 기술의 끝판왕]

‌

이 블로그에서는 콘텐츠에 AI 더빙을 진행하는 과정에서 M&E의 역할과 중요성, 그리고 남은 과제들에 대해 이야기해보고자 합니다.

M&E 트랙은 '대사 삭제' 과정에서 발생하는 단순한 부산물이 아닙니다

현지화를 위한 더빙 워크플로우에서 M&E(Music & Effects) 트랙은 흔히 ‘대사를 빼고 남은 것' 정도로 오해받곤 합니다. 그러나 실제로는 훨씬 더 핵심적인 역할을 하는데요. 오디오의 M&E 트랙은 새로운 언어가 얹혀지는 토대이기 때문에, 깨끗하고, 자연스러운 - 곧, 믹싱에 바로 사용할 수 있는 배경지로서 기능할 수 있어야 합니다. 바로 이 지점이 'M&E 분리’가 범용적인 오디오 소스 분리(스템 분리)나 대사 추출과 근본적으로 다른 지점 입니다.

• 대사 추출(Dialogue extraction)은 충분한 명료도를 갖춘 음성 신호를 복원하는 데 초점을 둡니다. 많은 경우, 추출된 대사가 명확하고 사용 가능하기만 하면 어느 정도의 배경 음원의 누출(leakage)은 허용되죠.
• M&E 분리(M&E separation)는 반대의 제약 조건을 부과합니다. 목표는 대사*를 완전히 제거하되, 불필요한 흔적을 남기지 않으면서, 나머지 모든 요소의 자연스러움을 보존하는 것인데요. 새로운 음성 트랙이 얹혀지면 기존 대사의 작은 잔여물 등이 최종 믹스에서 금세 눈에 띄게 됩니다.

아래 비디오를 통해 조금 더 살펴보겠습니다. 마스터 파일에서 대사*를 제거하는 작업을 수행할 때, 다이얼로그가 과하게 빠지거나, 덜 빠진 경우를 발견할 수 있습니다.

* 여기서 언급한 ‘대사’는 조금 더 넓게 해석해볼 수 있습니다. 깨끗한 음성뿐 아니라, 강렬한 감정이 담긴 발화(예: 고함 소리, 흐느낌), 의도적으로 왜곡된 대사(예: 보코더 효과), 긴 소리 꼬리를 가진 잔향이 많은 대사, 군중 음성과 같은 다중 화자의 목소리도 포함됩니다. 이런 경우들이 실제 분리의 난이도가 높아지는 지점이기도 합니다.

관련 회사들의 기술을 사용해 아래 비디오의 M&E를 차례로 분리해 봤습니다. 결과를 통해 우리는 이런 사실을 발견할 수 있었습니다. 깨끗한 목소리를 잘 구분해내는 것은 쉽습니다. 그러나 우리가 주로 소비하는 콘텐츠는 효과음과 함께 섞이거나 왜곡이 되어 있기도 합니다. 이런 목소리까지 잘 분리할 수 있어야 더빙을 위한 깔끔한 준비가 완료되었다고 말할 수 있다는 것을요.

[Original]

[AudioShake]

[Moises]

이 케이스에서는 감정 섞인 대사나 웃음·숨소리 같은 비대사 발성 성분이 제거되지 않고 M&E 트랙에 그대로 남아 있는 것을 확인할 수 있습니다. 이런 잔여 성분들은 새로운 더빙 음성이 얹혀졌을 때 간섭을 일으키게 됩니다.

[GAUDIO]

실제 오디오를 다룰 때 M&E 분리가 어려운 이유

일반적으로 불리는 ‘스템 분리’와 M&E 분리의 차이는 실제 오디오를 처리하는 과정에서 더욱 명확하게 드러납니다. 콘텐츠 속 대사는 음악 및 효과음과 스펙트럼적으로, 또 시간적으로 겹치는 경우가 많습니다. 잔향(reverberation)은 음성 요소를 시간 축으로 퍼뜨려 깔끔한 위치 파악과 제거를 어렵게 만들고요. 여기에, 웃음, 울음, 숨소리처럼 엄밀히 대사는 아니지만 음성이나 보컬, 심지어 악기와 유사한 음향적 특성을 공유하는 많은 신호들도 존재합니다. 대사를 제거하면 신호에 빈 틈이 생기는데, 이를 적절히 처리하지 않으면 부자연스러운 아티팩트나 불연속성으로 드러나게 됩니다.

이런 이유들로 M&E 분리는 단순한 뺄셈 문제처럼 다뤄서는 안 됩니다. ‘제거와 지각적 재구성을 결합하는’ 프로세스로 보는 것이 더 정확한데요. 대사를 제거한 후의 결과가 자연스럽게 들려야 하기(소리가 열화된 잔여물처럼 들려서는 안 되기) 때문이죠.

가우디오랩은 이렇게 합니다: 사용성 중심의 M&E 분리

가우디오랩 연구팀은 최근 실제 더빙 파이프라인에서의 사용성에 중점을 두고 M&E 분리를 면밀히 살피고 있습니다. 중요한 설계 결정 중 하나는, 대사와 유사한 발성(웃음, 울음, 숨소리 등의 특정 보컬 성분들)을 어떻게 처리할 것인가인데요. 배경의 일부로 착오하지 않도록 설계해 대사 카테고리로서 함께 제거합니다. 이는 특히 M&E v2 구성(API)에서 강조되는 부분으로, 더빙을 위한 깨끗하고 간섭 없는 배경 음원을 제공하는 것이 주요 목표이기 때문이죠.

동시에, 남아 있는 신호의 연속성(자연스러움)을 보존하기 위해 세심한 주의를 기울입니다. 공간적 특성, 잔향, 앰비언트 텍스처가 일정 시간에 걸쳐 일관되게 유지되어 출력되도록 하는데요. 대사 제거 과정에서 발생하는 지각적 아티팩트와 스펙트럴 갭을 최소화하는 것이 중요합니다. 이 부분이 기존 업계에서 해오던 수준의 M&E 분리와 주요 차별점이기도 합니다. 그동안은 잔여물 소리나 부자연스러운 텍스처가 남아 추가 후처리가 필요한 경우가 많았거든요.

목표는 단순히 높은 분리 메트릭을 달성하는 것에 국한되지 않습니다. 추가 보정 없이 다운 스트림 믹싱에 직접 사용할 수 있는 출력을 만들어내는 것이죠. 이런 의미에서, 가우디오랩은 ‘사용성’을 주요 평가 기준으로 봅니다.

검증된 성능과 프로덕션 배포

가우디오랩은 최근 다양한 콘텐츠에 대해 사용성 위주의 접근법을 검증해왔습니다. 그 결과 대사 오디오를 억제하고, 지각적인 연속성은 유지하며, 실무 사용성은 높인 강력한 성능을 확인했습니다.

마스터 파일로부터 M&E를 분리한 스펙트로그램을 가져와봤습니다.

AI로 분리하기 어려운 샘플 데이터 중에 국제적으로 유명한 ‘탑건’과 ‘설국열차’ 중 일부를 분리해봤습니다. M&E를 분리한 후에 잔여 소리가 남거나, 혹은 너무 많이 분리해서 꿀렁함이 생기는 등의 문제를 볼 수 있습니다. (가우디오랩의 기술이 깔끔 & 명료함이 보이시나요? :) ) 직접 사용해보고 싶으시다고요? API로 오픈되어 있답니다.

이러한 기술은 현재 연구실에서 산업 환경으로 옮겨와 가우디오랩의 고객사에 제공되고 있으며, GSP 플랫폼에 적용되어 프로덕션 퀄리티의 더빙 및 현지화 워크플로우에서 사용되고 있습니다.

마무리

요약하면 이렇습니다. 대사 추출과 M&E 분리는 높은 수준에서 유사해 보일 수 있습니다. 그러나 목적과 제약 요건 등에서 근본적으로 다릅니다. M&E 분리는 타깃 신호를 제거하는 것뿐 아니라, 남아 있는 오디오의 지각적 구조를 보존하고 필요 시 재구성하여, 그 위에 다국어 더빙 등 새로운 레이어를 쌓아나갈 수 있도록 지원할 수 있도록 합니다. 아주 미세한 차이에도 집착하며 최상의 소리경험을 만드는 일, 그 일에 가우디오랩 연구팀이 함께하고 있습니다.

DME Separator 알아보기 · 문의하기