Spatial Audio의 성능 평가: GAUDIO vs Apple

Spatial Audio의 성능 평가 Part 2: 평가 결과 - GAUDIO vs Apple

(Writer: James Seo)

평가 결과

지난 파트에서는 Spatial Audio의 성능 평가를 설계하기 위한 과정을 설명드렸는데요, 이번 파트에서는 이어서 앞선 과정을 따라 설계된 평가의 결과를 공개하려고 합니다.

평가 결과는 다음과 같습니다.

[그림 1: Stereo 결과]

[그림 2: 5.1 Channel 결과]

[그림 3: 전체 결과]

스테레오와 5.1 channel 각각에 대해, 개별 평가 대상이 얻을 수 있는 최대 득점은 총 280점입니다. 모든 음원에 대해, 모든 청취자들이 하나의 평가 대상이 다른 두 평가 대상보다 좋다고 응답하면 해당 시스템은 280점의 점수를 얻게 됩니다. 결과적으로 GAUDIO의 GSA는 스테레오 음원에 대해서 186점을 획득했습니다. 반면 멀티 채널에서는 조금 더 높은 188점을 획득했네요. 즉, 다른 두 시스템에 비해 GSA가 평가자들에게 더 높은 선호도를 갖는다는 사실을 확인할 수 있습니다.

일단 점수는 GAUDIO가 좋게 나왔는데, 이것이 통계적으로 의미있는 결과인지도 중요할 것입니다. 전반적으로 공간 음향이 적용된 신호에 대한 선호가 높으니 GSA와 ASA 의 결과에 간단한 통계 기법을 적용해 분석해보겠습니다. 결과 중 GSA와 ASA를 비교한 trial만 선별해서 GSA의 점수에서 ASA의 점수를 뺀 값을 비교해 보겠습니다. 모든 청취자가 모든 음원에 대해 GSA가 더 좋다고 평가를 했다면 이 차이값의 평균은 1이 될테고, 그 반대라면 -1점이 되겠네요. 평균값만으로는 통계적 유의성을 판단하기 힘들 수 있으니, 95% 신뢰구간을 함께 계산해서 표시합니다. 이 신뢰구간에 0점이 포함된다면, 평균값에서 차이를 보이긴 하지만 통계적으로 이 두 시스템 사이의 차이는 없다고 보는 게 맞습니다. 즉, 통계적으로 유의미한 수준에서 GSA가 더 좋다고 이야기하려면, 평균값이 0보다 크고, 신뢰구간에는 0이 포함되어 있지 않아야 합니다.

[그림 4: GSA-ASA 결과 비교]

그래프 상에서 스테레오, 5.1채널 신호에 대해, 평균값은 0보다 크고, 95% 신뢰구간에 0점을 포함하지 않습니다. 두 결과를 모두 통합해봐도 동일한 경향을 확인할 수 있습니다. 즉, 단순히 카운트에서 점수를 더 많이 받은 것이 아니라, 통계적으로 유의한 수준에서 GSA를 통해 렌더링 된 소리가 ASA를 통해 렌더링 된 소리보다 더 좋다고 판단한 것이라고 이해할 수 있겠네요.

그럼 GSA와 원본, ASA와 원본의 비교 결과는 어떨까요? 앞서 분석한 것과 동일한 방법으로 평균값과 95% 신뢰구간을 계산하여 보았습니다. 그 결과는 아래와 같습니다.

[그림 5: GSA -원본 결과 비교]

[그림 6: ASA - 원본 결과 비교]

GSA-ORI 결과를 보면, 모든 경우 평균값도 0보다 크고, 신뢰구간 내에도 0점이 포함되지 않습니다. GSA-ASA의 결과와 비교해 보아도 훨씬 더 명확하게 GSA가 통계적으로 유의미하게 더 선호하는 소리로 선택되었다는 것을 확인할 수 있습니다. 반면, ASA-ORI 의 결과에서는 5.1채널 음원의 렌더링 결과에 대해서는 ASA 렌더링 된 음원과 원본이 통계적으로 유의미할 만큼의 차이가 없는 것을 확인할 수 있습니다. 아주 큰 의미는 아니지만, 평균값이 0보다 작은 것도 눈에 띕니다. 앞의 결과와 종합해서 정리해 보면, 평가에 사용된 모든 음원 포맷에 대해서 GSA로 렌더링 된 소리가 가장 선호도가 높았습니다. 5.1 채널 포맷의 경우에도 GSA로 렌더링 된 소리가 가장 선호된 것은 동일하지만, ASA로 렌더링 된 소리와 원본의 downmix 의 경우, 어느 쪽을 더 선호한다고 판단할 수 없는 결과가 나왔네요.

Conclusion

소리는 보이지 않고 만질 수 없어서, 사람들에게 소리가 좋다는 것을 쉽게 표현하여 전달하기가 참 어렵습니다. GSA가 얼마나 잘 만들어진 시스템이고 얼마나 좋은 소리 경험을 제공하는지를 설명할 수 있어야 이 기술을 시장에 널리 쓰이게 할 수 있을텐데요, 본문에서 설명한 것처럼 소리에 대해서는 객관적인 평가 방법을 적용하는 것이 사실상 불가능합니다. 직접 들어보지 못하는 분들에게도 본인의 기존 경험(원본 또는 Apple의 공간 음향)과 비교하여 사람들의 선호도가 어떻게 나타난다는 평가 결과를 통해 GSA 성능을 객관화해보고자 본 실험을 진행하였습니다.

또한, 이러한 실험에서 GSA가 좋은 결과를 얻는다면 이를 연구/개발/사업하는 팀 가우디오도 더 자신감을 가지고 앞으로 나아갈 수 있지 않을까 하는 기대를 가지기도 했고, 다행히 그런 결과가 나와 기뻤습니다. 이런 마음으로 실험의 과정과 결과, 그리고 분석 과정까지 서술하다보니 조금은 복잡한 글이 되진 않았나 걱정이 되기도 하지만, 그래도 부디 지난 번 M2S Latency 관련글과 함께 한 분이라도 GSA를 더욱 잘 이해하시는데 도움이 되었길 조심스럽게 바라며 글을 마칩니다.