Journal Archive

클리핑 동작은 하드 (hard)-클리핑과 소프트 (soft)-클리핑으로 분류되며, 본 논문에서는 하드-클리핑만 다룬다^[2]. 식 (1)이 하드-클리핑 동작을 보여주고, x_n은 시간 인덱스 n에서의 원 샘플값, 는 클리핑된 샘플값, θ는 임계값, sgn(·)은 부호함수이다.

본 논문에서 θ는 식 (2)와 같이 한 파일의 전체 신호 x에 대한 최댓값에 임의의 α를 곱하여 정의한다. α는 0.1에서 0.9까지 0.1 간격으로 주어지고, 각 파일마다 무작위로 결정된 α을 적용하여 클리핑을 구현한다.

그림 1은 α가 0.2일 때 클리핑 전과 후의 시간 축 파형과 스펙트로그램을 보여주며, 그림 1(a)가 원 신호이고 그림 1(b)가 클리핑된 신호이다. 시간 축 파형은 신호의 최댓값을 기준으로 정규화한 결과이다. 스펙트로그램에서 볼 수 있듯이, 클리핑에 의하여 저대역 하모닉의 에너지가 줄어들고 고대역에 추가적인 하모닉 성분이 생겨 전체적으로 하모닉 구조에 변형이 발생한다.

그림 1. 
클리핑이 발생한 음성 신호의 예 (α = 0.2). (a) 원본 음성 신호, (b) 클리핑된 음성 신호

Fig. 1. Clipping example of speech signal (α = 0.2). (a) Original speech signal, (b) Clipped speech signal

제안 방법은 클리핑 제거기와 클리핑 감지기를 결합한 구조를 가지며, 클리핑 감지기의 역할은 입력 신호의 클리핑 여부를 판단하여 선택적 동작을 하는 것이다. 기존 클리핑 제거기에 클리핑 감지 기능을 추가하는 일반적인 구조는 클리핑 제거기의 전처리 과정에서 클리핑 감지 기능을 수행하고 그 결과에 따라 클리핑 동작을 선택하는 것이다. 이 구조에서는 입력 신호로부터 클리핑 여부를 판단해야 하며, 이 경우 클리핑 감지 정확도가 저하되고 그에 따라 최종 출력 신호의 품질이 저하되는 것을 실험을 통해 확인하였다.

이 문제를 해결하기 위하여 제안하는 방법은 그림 2와 같이 클리핑 제거기와 클리핑 감지기가 순차적으로 연결된 구조를 가진다. 클리핑 제거 신경망이 입력 신호 에서 클리핑을 제거하여 를 출력하고, 클리핑 감지기는 와 를 모두 입력하여 의 클리핑 발생 확률을 구한다. 클리핑 수준에 따라 와 클리핑 제거된 신호 사이의 차별 정도가 다르므로 와 를 동시에 사용하면 의 클리핑 발생 확률의 정확도를 높일 수 있다. 제안 방법과 같이 와 를 사용하면 만 사용할 때에 비하여 클리핑 감지 성능이 높아지고 최종 출력 신호 y의 품질이 향상되는 것을 실험을 통해 확인하였다.

그림 2. 
제안하는 클리핑 제거 방법의 전체 구조

Fig. 2. Overall structure of proposed declipping method

본 논문에서 클리핑 감지기는 프레임 단위로 클리핑 여부를 판단하고, 프레임의 한 샘플이라도 클리핑 되면 클리핑 발생 프레임으로 정의한다. 클리핑 감지기는 각 프레임 별로 의 클리핑 확률 p를 계산하고 식 (3)와 같이 확률 0.5를 기준으로 클리핑 여부 d를 결정한다. 마지막으로 최종 출력 샘플 y_n는 식 (4)과 같이 결정되어 최종 출력은 와 중 하나가 된다. 이와 같은 선택적 동작을 통해 클리핑 왜곡이 작은 신호가 입력될 때 클리핑 제거기에서 발생하는 음질 저하를 방지할 수 있다.

앞에서 언급하였듯이 본 논문의 목표가 클리핑 제거를 위한 신경망 개발이 아니라 클리핑 감지기를 통한 성능 향상이므로, 클리핑 제거를 위한 신경망은 기존에 널리 이용되는 간단한 시간 영역 U-Net 구조를 사용한다^[6]. U-Net 상세 구조는 그림 3과 같고, c는 채널 수, k는 커널 크기, s는 스트라이드 (stride), a는 활성함수 (activation function)를 나타낸다. 채널 변환을 위한 입력 층, 인코딩과 디코딩을 위한 각각 4개의 합성곱 (convolution) 층과 전치 합성곱(transposed convolution) 층, 출력 층을 포함하여 총 10개 층으로 구성된다.

그림 3. 
클리핑 제거를 위한 시간 영역 U-Net 구조

Fig. 3. Architecture of time-domain U-Net for declipping

시간 영역 U-Net는 프레임 단위로 동작하며, 프레임 길이는 0.1 초이고 샘플링 주파수는 16 kHz이며, 한 프레임은 1600 샘플을 가진다. 한 프레임의 신호 가 입력되면 1차원 합성곱 동작을 수행하여 (16 채널 × 100 차원)의 latent 벡터로 인코딩 되고, 1차원 전치 합성곱과 스킵 연결 (skip connection)을 수행하는 디코딩 과정을 거쳐 최종 1600 샘플의 이 출력된다. 신경망 입력과 출력에서 모두 sine 윈도우와 50% 중첩을 적용한다.

그림 4가 클리핑 감지기의 신경망 구조를 보여주고, 클리핑 제거기와 동일한 프레임 단위로 동작하고, 3단의 1차원 합성곱 층과 1단의 완전-연결 층 (fully-connected layer)으로 구성되고, u는 유닛 (unit) 개수이다. 클리핑 감지기는 각각 sine 윈도우가 적용된 1600 샘플의 와 를 2 채널로 결합하여 입력하고, 에서의 클리핑 확률 p를 출력한다.

그림 4. 
클리핑 감지기의 신경망 구조

Fig. 4. Network architecture of clipping detector

신경망 학습과 성능 평가에는 CSTR voice cloning toolkit(VCTK) 데이터셋을 사용하였다^[14]. VCTK 데이터셋은 109명의 남녀 화자에 대한 약 44시간의 음성 신호로 구성되며, 데이터 분할은 표 1과 같이 하였다. 총 107명 화자에 대한 약 40시간의 음성 신호를 신경망 학습과 검증(validation)에 사용하였고, 나머지 약 4시간을 성능 평가에 사용하였다.

식 (1)과 (2)의 방법에 따라 클리핑된 신호를 생성하였고, α는 균등 분포를 가지도록 파일마다 무작위로 선정하였다. 각 α를 사용하는 파일 수와 클리핑 발생 비율은 그림 5에 정리되어 있고, α가 클수록 클리핑 발생 프레임 비율이 낮은 것을 알 수 있다.

그림 5. 
각 α를 사용하는 파일 수(위)와 각 α에 대한 클리핑 발생 프레임의 비율(아래)

Fig. 5. The number of files (upper) and the rate for clipped frame (lower) for each α

신경망 학습은 두 단계로 진행하였다. 먼저, 클리핑 제거를 위한 U-Net를 단독으로 학습하고, 이 때 클리핑 되지 않은 원 신호를 목표 신호로 사용한다. 다음, 클리핑 감지기와 학습된 U-Net를 결합하여 클리핑 감지기를 단독으로 학습하며, 미리 주어지는 클리핑 여부에 대한 정답을 목표 출력으로 사용한다. 모든 신경망 학습에서 Adam 최적화기, mini-batch 크기 64, learning rate 0.001을 사용하였고, 200 epoch로 학습 진행하였고, learning rate는 2 epoch 마다 0.99배 감쇠시켰다^[15]. U-Net 학습에서의 손실함수는 시간 영역 MSE (mean squared error)이고, 클리핑 감지기 학습에서의 손실함수는 BCE (binary cross-entropy)이다.

제안한 클리핑 제거 방법의 성능 평가를 위해 SP 방법, 시간 영역 U-Net를 사용하는 ML-baseline 방법, 제안하는 방법의 성능을 비교하였다. 여기서 SP 방법으로 Adobe Audition 3.0에서 지원하는 Clip restoration 기능을 사용하였다^[5]. 또한, ML-baseline 방법의 U-Net는 그림 3의 U-Net와 동일하며, 이를 통해 클리핑 감지기에 의한 성능 향상을 확인하고자 한다. 성능 평가를 위한 지표로는 PESQ, SSNR, CSIG, CBAK, COVL를 사용하였다^[12,13].

표 2는 모든 α 값에 대한 평균 성능을 보여주며, 모든 평가 지표에서 제안 방법 (Prop.)이 가장 우수한 성능을 가진다. Prop.* 항목은 해당 절의 마지막 부분에서 설명한다. 그림 6은 α가 0.2일 때 각 방법으로 클리핑을 제거한 신호의 예시이다. 파형의 시간 축 포락선을 비교하면, Audition 3.0에서 포락선이 크게 왜곡되고 ML-baseline과 제안 방법은 모두 원 신호와 비슷한 포락선을 제공하는 것을 알 수 있다. 이를 통해 클리핑 왜곡이 심할 때 SP 방법 대비 ML 방법의 우수성을 확인할 수 있다.

그림 6. 
각 클리핑 제거 방법에 대한 시간 축 파형과 스펙트로그램 예시 (α = 0.2)

Fig. 6. Examples of waveform and spectrogram for each declipping method (α = 0.2)

표 3은 각 α에 대한 성능을 보여준다. 여기서 α가 클때 CSIG와 CBAK 값이 5.0이 되는 것은 해당 지표가 정확한 음성 품질을 측정 못하는 한계를 가지기 때문이다. 여러 방법의 클리핑 제거 성능을 α가 클 때와 작을 때로 구분하여 비교하면 다음과 같다. α < 0.7일 때, 즉 클리핑 왜곡이 심할 때 전반적으로 Audition 3.0의 성능이 ML-baseline 및 제안 방법 성능 보다 낮다. 즉, SP 기법으로는 비선형 특성으로 심하게 클리핑된 신호를 복원하는데 한계가 있으며, 제안 방법을 사용하면 SP 기법의 문제점인 심한 클리핑에서의 성능 저하 문제를 해결할 수 있다. α > 0.7이면, 즉 클리핑 왜곡이 작으면 ML-baseline이 Audition 3.0보다 낮은 성능을 가진다. 즉, ML-baseline은 클리핑 제거가 필요없는 경우에서의 bypass 성능이 낮다. 그 이유는 클리핑 왜곡이 작을 때 신경망의 신호 복원 과정에서 오히려 신호 왜곡이 발생하여 클리핑 제거의 효과를 얻지 못하기 때문이다. 반면, 클리핑 감지기를 적용하면 클리핑 왜곡이 작을 때 클리핑 제거 동작을 선택적으로 중지하고 입력 신호를 그대로 출력하여 신호 왜곡을 방지하고 기존 ML 방법의 문제점을 해결할 수 있다. 만일, α = 1 이면 클리핑 감지기가 모든 프레임을 클리핑 미발생으로 판단하여 출력이 입력과 동일하게 되는 것을 확인하였고, 따라서 제안한 방법은 완벽한 bypass 동작을 수행한다.

이상의 성능 분석을 통해, SP 방법과 ML 방법은 특정 α에서 성능이 크게 저하되는 문제점을 가지지만, 제안 방법은 모든 α에서 기존 방법의 문제점을 해결하고 우수한 성능을 가지는 것을 알 수 있다. 즉, 제안 방법은 신경망과 클리핑 감지기의 결합을 통해 ML 방법의 장점을 유지하면서 클리핑 감지 동작을 통해 불필요한 클리핑 제거 동작을 배제하여 출력 신호의 품질을 향상시키는 것을 확인할 수 있다.

표 4가 클리핑 감지기의 성능을 보여준다. Positive와 negative는 각각 클리핑 발생과 클리핑 미발생을 의미하고, 숫자는 해당 프레임의 수이다. 이 결과로부터 민감도(sensitivity, true positive rate) 0.79와 특이도 (specificity, true negative rate) 0.99를 얻는다. 대부분의 오류는 클리핑 발생 프레임을 미발생 프레임으로 판단하는 경우 (false negative)이고, 프레임 내에 클리핑된 샘플 수가 적거나 윈도우 영향으로 프레임 앞과 뒤 구간에서 클리핑 효과가 거의 나타나지 않을 때 발생하는 것으로 확인하였다. 그림 7은 false negative의 예시를 보여주며, 첫 번째는 화살표로 표시된 두 위치에서 클리핑이 발생하여 클리핑된 샘플 수가 매우 적은 경우이고, 두 번째는 화살표 위치에서 클리핑이 발생하였으나 윈도우 영향으로 샘플값이 크게 감쇄 되어 클리핑 현상이 뚜렷하게 나타나지 않은 경우이다.

그림 7. 
클리핑 감지기에서 오류가 발생한 프레임 예시

Fig. 7. Examples of error frame for clipping detector

표 2, 3의 Prop.* 항목은 클리핑 감지기 오류가 발생한 프레임을 정답으로 수정하여 클리핑 감지 오류 없이 동작시킬 때의 성능이고, 클리핑 감지기의 오류가 출력 음성 품질에 영향을 미치지 않는 것을 보여준다. 이를 통해 클리핑 감지기가 제안하는 방법에서 요구하는 충분한 성능을 제공하는 것을 확인할 수 있다.