ECM 기반 서브 블록 단위 화면내 템플릿 매칭 예측 방법

1. 제안 방법의 개요

본 논문의 제안 방법은 현재 부호화하려는 블록과 유사한 예측 블록을 생성하여 현재 블록과의 차분 신호를 줄이고, 이를 통해 전송되는 비트량을 감소시킴으로써 부호화 효율을 향상시키는 것을 목표로 한다. 이를 위해 템플릿 매칭을 통한 예측을 서브 블록 단위로 수행하는 방법을 제안하며, 제안 방법은 다음 총 3가지 단계로 구성된다.

먼저, 1단계에서는 기존 IntraTMP의 과정을 수행한다. 구체적으로, 사전 정의된 탐색 영역 내에서 현재 블록의 템플릿과 가장 유사한 템플릿의 위치를 찾기 위해 3개 화소 단위로 이동하며 탐색한다^[5]. 이때 현재 블록의 템플릿과 참조 블록의 템플릿 간의 Sum of Absolute Differences (SAD)를 계산하여 유사도를 측정하며, 이 값이 낮은 순서대로 최대 30개의 블록 벡터가 담긴 후보 리스트를 구성한다^[6]. 이처럼 구성된 블록 벡터 후보 리스트는 3개 화소 단위의 거친 탐색(Rough Search)으로 얻기 때문에, 각 블록 벡터의 주변 3 × 3 영역에서는 유사도가 탐색되지 않는다. 따라서 더욱 정밀한 후보 리스트 구성을 위해, 각 블록 벡터 주변 3 × 3 영역에 대해 추가적으로 세밀한 템플릿 탐색을 수행하여 최종적으로 19개의 블록 벡터 후보 리스트를 구성한다. 이러한 후보 리스트 구성 방법은 인코더와 디코더에서 동일하게 수행되며, 인코더에서는 Rate-Distortion Optimization (RDO)^[7] 과정에서 최종 선택된 블록 벡터의 인덱스만 전송한다. 디코더는 인코더와 동일한 과정을 통해 후보 리스트를 구성하고, 그 후보 리스트에서 인코더로부터 전송된 블록 벡터의 인덱스로 최종 선택된 블록 벡터를 알 수 있다. 본 논문에서는 현재 블록에 대해 최종 선택된 블록 벡터를 기준 블록 벡터로 부른다.

2단계에서는 앞서 구성된 19개의 블록 벡터 후보 리스트에 대해 RDO 과정을 통해 실제로 예측 블록을 생성해보며 어떤 블록 벡터가 우수한지 경쟁한다. 이 과정에서 그림 2와 같이 현재 부호화 중인 블록을 분할하여 서브 블록 단위로 템플릿 매칭을 수행하고, 서브 블록에 최적화된 참조 블록으로 예측을 수행한다. 이때 서브 블록으로 분할하는 방법은 현재 블록을 동일한 크기의 4개 서브 블록으로 나누며, 2행 2열의 형태로 배치된다. 그림 2에서 Base BV는 기준 블록 벡터, Sub-block BV는 서브 블록의 블록 벡터, Search Range는 서브 블록 단위로 최적의 블록 벡터를 찾을 때 탐색 영역, Current CU는 현재 부호화하려는 블록, Left top sub-block과 Right top sub-block은 현재 블록을 동일한 크기로 4등분 했을 때 각각 좌상단 서브 블록과 우상단 서브 블록을 나타낸다. 이 서브 블록 단위의 템플릿 매칭을 통해 템플릿과 예측 블록 내부의 거리가 줄어 예측 정확도를 높일 수 있다. 2단계의 구체적인 방법은 2-2절에서 설명한다.

Fig. 2.

Sub-block based template matching method

3단계는 제안 방법을 적응적으로 활용할 수 있도록 서브 블록 단위로 찾은 참조 블록들의 템플릿 비용과 기준 블록 벡터가 지시하는 참조 블록의 템플릿 비용을 비교한다. 비교한 결과, 서브 블록 단위로 찾은 참조 블록들의 템플릿 비용이 우수할 때, 이 참조 블록들을 예측에 활용하는 것으로 결정한다. 이때 서브 블록 단위로 찾은 예측 블록들을 하나의 CU로 구성함에 따라 서브 블록간 경계의 불연속성이 발생할 수 있다. 이러한 불연속성 문제를 해결하기 위해, 제안 방법은 2단계에서 예측한 서브 블록과 1단계에서 찾은 기존 IntraTMP의 예측 블록을 혼합하여 현재 CU의 최종 예측으로 사용한다. 여러 예측 블록을 효과적으로 혼합하면 잡음이 적은 예측을 생성할 수 있으며, 결과적으로 차분 신호의 크기를 줄여 더욱 효율적인 압축을 가능하게 한다. 3단계의 구체적인 방법은 2-3절에서 설명한다.

2. 서브 블록 단위 템플릿 구성 및 블록 벡터 탐색

1단계에서 블록 벡터 후보 리스트를 구성하면, RDO 과정에서 후보 리스트 상의 모든 블록 벡터에 대하여 제안 방법을 수행한다. 이때, 리스트 상의 블록 벡터를 기준 블록 벡터로 사용하며, 제안 방법을 통해 이를 각 서브 블록에 최적화된 블록 벡터로 보정하여 부호화 효율을 개선한다.

서브 블록 단위 템플릿 매칭을 수행하기 위해서는 먼저 서브 블록 단위로 템플릿을 구성하는 단계가 선행되어야 한다. 서브 블록 단위의 템플릿 구성 방법은 기존 IntraTMP에서 사용하는 템플릿 구성 방법과 유사하나, 좌상단 서브 블록을 제외한 모든 서브 블록에서는 템플릿 구성 시에 필요한 주변 복원 화소가 가용하지 않을 수 있다. 이러한 경우는 기준 블록 벡터가 지시하는 참조 블록에서 대응 위치의 화소 값을 이용하여 템플릿을 구성한다. 예를 들면, 좌상단에 위치한 서브 블록은 주변에 복원된 화소가 모두 존재하여 템플릿 구성에 어려움이 없다. 그러나 그림 3과 같이 우상단 서브 블록의 경우, 상단 템플릿 영역은 모두 복원되어 있어 문제가 없으나 좌측 템플릿 영역은 복원된 화소가 없어 템플릿 구성에 어려움이 따른다. 따라서 이러한 경우에 그림 3과 같이 기준 블록 벡터가 지시하는 참조 블록에서 현재 서브 블록의 템플릿 위치와 대응하는 영역을 참조하여 우상단 서브 블록의 템플릿을 구성한다.

Fig. 3.

Sub-block Template Construction Method (Example: Top-right sub block)

앞서 기술한 방법으로 각 서브 블록에 대한 템플릿을 구성한 후, 서브 블록마다 템플릿 매칭을 수행한다. 구체적으로, 기준 블록 벡터를 중심으로 N × N 영역에서 현재 서브 블록의 템플릿과 가장 유사한 블록 벡터를 탐색한다. 유사도는 현재 서브 블록의 템플릿과 탐색 중인 템플릿 간의 SAD 연산 결과를 따르며, 가장 낮은 값을 갖는 위치의 블록 벡터를 서브 블록에 최적화된 블록 벡터로 선정한다. 이후, 이 블록 벡터가 지시하는 블록을 현재 서브 블록의 예측으로 활용한다. 이러한 서브 블록 단위 템플릿 매칭 과정은 1단계에서 얻은 19개의 블록 벡터 후보에 대해 모두 수행된다. 이를 통해 각 서브 블록에 대해 정밀하게 탐색된 예측 신호를 얻을 수 있어 복잡한 장면에서도 세부적인 텍스처를 효과적으로 처리할 수 있다.

3. 적응적 서브 블록 분할 결정 및 혼합 방법

템플릿 매칭 방법은 현재 부호화 중인 블록의 원본 신호와 가장 유사한 블록을 직접 탐색하는 방법이 아니므로 예측 신호는 원본 신호와 차이가 있을 수 있으며, 그 차이에 대한 분산도 클 수 있다. 예측 신호는 원본 신호에 잡음이 섞인 신호로 간주할 수 있기 때문에 여러 예측 신호를 혼합하면 잡음을 줄여 정확한 예측 블록을 얻을 수 있다. 또한, 서브 블록 간의 경계에 불연속성이 발생할 수 있으므로 이를 완화하기 위해 기존 IntraTMP 예측 블록과 제안하는 서브 예측 블록을 혼합하여 불연속성을 줄이는 방법을 제안한다.

제안 방법은 현재 CU를 부호화하기 위해서 기준 블록 벡터가 지시하는 예측 블록만 이용할지 혹은 기준 블록 벡터의 예측 블록과 서브 블록 단위로 찾은 예측 블록을 혼합하여 이용할지를 적응적으로 결정한다. 이 적응적 결정을 위한 조건은 기준 블록 벡터의 템플릿 비용과 서브 블록들의 템플릿 비용 평균값으로 다음 식 (1)과 같이 정의한다.

여기서 SAD_s,i는 i번째 서브 블록에 대하여 SAD 연산으로 현재 템플릿과 참조 템플릿 간의 차이를 계산한 템플릿 비용을 의미하며, Area_s,i는 해당 서브 블록 템플릿의 면적을 의미한다. 이와 마찬가지로, SAD_o와 Area_o는 각각 기준 블록 벡터의 템플릿 비용과 템플릿 면적을 의미한다. 서브 블록 템플릿과 기존 템플릿의 면적이 다르므로 면적에 대해 정규화된 결과로 비교를 수행한다. 식 (1)의 결정 조건에 따라, 모든 서브 블록에 대한 화소 당 템플릿 비용의 평균이 기준 블록 벡터의 화소 당 템플릿 비용보다 낮은 경우, 그림 4와 같이 기준 블록 벡터가 지시하는 참조 블록과 제안하는 방법으로 찾은 모든 서브 블록에 대해 혼합을 수행한다. 반대로, 결정 조건에 만족하지 않는 경우 기준 블록 벡터가 가리키는 참조 블록만 예측으로 활용한다. 이러한 결정 조건을 통해 서브 블록 분할 여부를 적응적으로 결정할 수 있으며, 더 나아가 각 서브 블록마다 참조 블록의 위치가 달라 서브 블록 간의 경계에 불연속성이 존재할 수 있으므로 기준 블록 벡터와 서브 블록 단위 블록 벡터를 모두 예측에 활용하여 이러한 불연속성을 완화시킬 수 있다. 모든 서브 블록에 대한 예측이 종료된 이후에는 CU 단위로 변환(Transform)^[8]이 적용되며, 후속 부호화 단계가 진행된다.

Fig. 4.

Adaptive blending method

1. 성능 평가

제안 방법은 ECM-10.0 참조 소프트웨어^[9] 기반으로 구현되었으며, 제안 방법이 화면내 부호화 방법이므로 All Intra 부호화 조건에서 실험을 진행하였다. All Intra 부호화 조건은 화면내 예측 기술만을 사용하여 부호화 및 복호화를 수행하는 I-프레임으로만 구성되며, 주로 화면내 예측 기술의 성능을 평가하는 데 활용된다. 또한, 제안 방법은 기존 IntraTMP 기술을 대체하는 방법으로 구현되었다. 실험 영상은 JVET에서 제공하는 ECM Common Test Condition^[10]의 Class A1, A2, B, C, E, F, TGM을 사용하였고, 서브 블록 템플릿 탐색 영역의 N은 실험적으로 8로 설정하였다. Class A1, A2, B, C, E, F, TGM는 각각 3, 3, 5, 4, 3, 4, 4개의 테스트 영상을 포함한다. 본 연구에서는 비디오 압축 성능을 정량적으로 평가하기 위해 Bjøntgaard delta rate (BD-Rate)^[11]를 평가 지표로 사용하여 부호화 이득을 나타내었다. BD-Rate는 동일한 화질에서 비트레이트를 비교하여 두 기술 간의 압축 효율 차이를 나타내며, 그 결과가 낮을수록 더욱 효율적인 압축 기술임을 나타낸다.

표 1에서는 ECM-10.0 대비 제안 방법의 부호화 성능 실험 결과를 나타내며, 모든 시퀀스에 대해 평균적으로 약 0.01%의 부호화 이득을 보인다. 특히, Johnny 시퀀스에서 0.1%의 부호화 이득을 확인할 수 있으며, 그림 5와 그림 6은 Johnny 시퀀스 및 BQMall 시퀀스에서 제안 방법을 시각화한 결과를 나타내었다. 적색 박스는 제안 방법으로 부호화된 서브 블록을 나타내며, 황색 박스는 제안하는 템플릿 매칭 방법으로 탐색한 참조 블록을 나타낸다. 이는 반복적이고 미세한 패턴을 제안 방법으로 정밀하게 예측하고 효과적으로 잔차 신호를 줄여 큰 부호화 이득을 보였음을 알 수 있다.

Table 1.

Compression performance of the proposed Sub-block based Template Matching method over ECM-10.0

Fig. 5.

Visualization of Blocks encoded with the proposed method in the 320th frame of the Johnny sequence

Fig. 6.

Visualization of Blocks encoded with the proposed method in the 297th frame of the BQMall sequence

복잡도 분석을 위해서 제안 방법으로 Class C의 4개 테스트 영상에 대해 인코딩 및 디코딩 시간을 측정한 결과, ECM-10.0 대비 인코더는 105%로 증가하는 결과를 보이고, 디코더는 98%로 감소하는 결과를 보였다. 인코더에서는 서브 블록 단위로 탐색하는 과정을 RDO 과정에서 모두 수행하므로 인코딩 시간이 다소 증가하는 경향을 보인다. 그러나 이 과정은 더욱 정밀한 예측이 가능하게 하여 부호화 효율 향상에 기여한다. 반면, 디코더는 RDO 측면에서 최적인 기준 블록 벡터의 인덱스를 전송받기 때문에, 서브 블록 단위 템플릿 탐색을 1번만 수행하며 이에 따라 디코딩 시간이 증가하지 않는다. 오히려 제안 방법에 의해 서브 블록 단위 탐색이 지원되므로 기존보다 비교적 큰 크기의 CU로 효율적인 부호화가 가능해져 디코딩 시간이 감소할 수도 있다. 이처럼, 제안 방법은 인코더 측면 복잡도가 다소 증가하는 특성이 있으나, 이에 상응하는 부호화 효율 향상 및 디코더 복잡도 절감이라는 이점을 제공함으로써 전체적인 부호화 성능을 균형 있게 향상시킬 수 있다.

2. Ablation Study

본 절에서는 두 가지 추가 실험을 통해 제안 방법의 성능을 검증한다. 먼저 제안하는 적응적 서브 블록 결정 및 혼합 방법의 효과를 검증하기 위해, 수식 (1)의 결정 조건을 사용하지 않고 항상 서브 블록 단위로 탐색된 블록 벡터의 참조 블록만 예측에 사용하는 방법에 대해 실험을 진행하였다. 표 2는 이 방법을 ECM-10과 비교했을 때의 부호화 성능이다. 기존 제안 방법의 성능을 나타내는 표 1과 적응적 서브 블록 결정 및 혼합 방법을 사용하지 않는 방법의 성능을 나타내는 표 2를 비교해 보면, 적응적 방법을 사용하지 않을 경우 전반적으로 부호화 이득이 다소 감소함을 보인다. 이러한 결과는 항상 서브 블록 단위 예측 블록을 사용하는 것보다, 추가적인 정보 전송 없이 템플릿 비용을 기반으로 서브 블록 단위의 예측 신호를 적응적으로 결정하는 것이 효율적임을 보인다. 또한, 제안하는 혼합 방법이 서브 블록 간 경계에서 발생하는 불연속성을 줄이고, 잡음을 제거하여 부호화 효율을 개선하는 데 효과적임을 증명한다.

Table 2.

Ablation study 1 - experimental results without adaptive blending method

제안 방법으로 여러 서브 블록을 하나의 CU로 구성하여 변환을 수행할 경우, 이에 최적화된 변환 커널이 없어 변환 결과가 최적이 아닐 수 있다. 또한, 서브 블록의 템플릿에 CU 단위로 찾은 예측값이 포함될 경우 템플릿의 부정확성으로 인해 예측 결과가 정확하지 않을 수 있다. 따라서 서브 블록 단위로 템플릿 매칭 예측 및 복원을 순차적으로 수행하여 템플릿 구성 시에 서브 블록 주변의 복원 화소를 활용할 수 있는 방법을 실험하였다. 이 방법은 하나의 서브 블록에 대해 템플릿 매칭으로 예측한 잔차 신호에 변환 및 양자화^[12]를 적용한 후, 역변환 및 역양자화를 적용하여 복호화 과정을 수행한다. 다음 서브 블록은 이전 서브 블록이 복원되어 있으므로 주변의 복원된 화소로 템플릿을 구성할 수 있다. 즉, 그림 3과 같이 템플릿 구성을 위해 주변에 복원되지 않은 화소가 발생하지 않는다. 이 방법은 서브 블록의 잔차 신호에 최적화된 변환 커널을 선택적으로 수행할 수 있으나 각 서브 블록마다 변환에 대한 정보를 전송해야 한다. 표 3은 ECM-10 대비 이 방법의 부호화 성능을 나타낸다. 표 1의 결과와 비교했을 때 대부분 부호화 이득이 감소함을 확인할 수 있다. 이는 템플릿 정확도가 높아져 예측 성능은 향상되었으나, 서브 블록 단위로 변환 정보가 추가로 전송되어야 하므로 전송 오버헤드가 증가하여 부호화 이득이 감소하는 것으로 분석된다.

Table 3.

Ablation study 2 – experimental results for sub-block level transform