VCM을 위한 학습기반 영상 전·후처리 필터 네트워크

1. 필터 네트워크 학습 구조

본 논문에서 제안하는 필터 네트워크는 그림 1과 같은 U-Net 기반의 구조로, 전처리 필터와 후처리 필터는 모두 동일한 구조를 가진다. 네트워크는 두 개의 브랜치(branch)로 구성되어 있으며, 그 중 U-Net 형태의 브랜치는 영상으로부터 의미론적인 정보를 추출하는 역할을 수행하고, 다른 하나는 1x1 컨벌루션(convolution)을 통해 픽셀별 특징을 추출할 수 있도록 설계하였다.

Fig. 1.

Filter network architecture

먼저 전처리 필터 네트워크의 학습 구조는 그림 2와 같다. 학습 데이터셋은 MPEG VCM에서 권장하고 있는 데이터셋인 OpenImages-V6^[7]가 사용되었으며, 압축 왜곡 모사를 위한 LIC 모델로는 mbt2018^[8]이 사용되었다. 손실함수는 세 가지의 Loss가 조합된다. LIC 모델로부터 출력되는 ‘예측 비트율’이 압축에 의한 Rate-Distortion을 최적화하기 위한 Rate Loss로 사용되고, 머신 비전 성능의 최적화를 위해서는 ResNext-101^[9] 기반의 Perceptual loss가 사용된다. 또한 여기에 추가적인 규제 항으로, 머신 비전을 위해 최적화 된다고 하더라도, 출력 영상이 학습 영상의 도메인에서 지나치게 크게 벗어나는 것을 방지하기 위해 MSE Loss도 결합되어 학습에 사용된다. 손실함수의 구성은 수식 (1)과 같으며, λ의 조절을 통해 필터 네트워크가 타겟하는 비트율 영역을 조정할 수 있다. 본 논문의 학습 과정에서 λ₁은 다양한 타겟 비트율 범위에 적응하기 위해 [1.0, 1.5, 2.5, 4.0] 중 랜덤하게 샘플링하여 사용하였다.

Fig. 2.

Training pipeline of the pre-filter network

후처리 필터 네트워크의 학습 구조는 총 두 단계로 구성되며 이는 그림 3과 같다. 첫 번째 단계에서는 LIC를 기반으로 전반적으로 전처리 필터 네트워크와 유사하게 학습되지만, 여기에 BDT(Bit Depth Truncation) 모듈의 효과를 반영하기 위해 모사 코덱 앞 단에 해당 모듈이 추가된다. BDT 모듈은 VCM에 채택되어 현재 VCM-RS 내에 포함되어 있는 모듈로, 객체의 검출 및 추적 성능 대비 압축 효율을 증대시키기 위해, 인코더 단에서 입력 영상에 대해 Luma 성분을 1 bit만큼 절단하고, 디코더 단에서 이를 다시 복원하는 모듈이다. 이러한 BDT를 거치면 영상의 구조적인 특징은 남아있지만 밝기가 어두워지게 되는데, 필터 네트워크는 일반적인 밝기를 가지는 영상 도메인에 대해 학습이 되었으므로, BDT가 적용된 영상이 입력되면 정상적으로 동작하지 않을 수 있다. 이러한 문제를 해결하기 위해 후처리 필터의 경우 학습 구조에 BDT 모듈을 반영함으로써 어두워진 영상에 대해서도 효과적으로 필터링을 수행할 수 있도록 설계하였다. 그리고 후처리 필터의 경우, 비트율에는 영향을 주지 않으므로 Rate Loss는 사용되지 않는다. 다만 다양한 수준의 압축 왜곡을 반영하기 위해 LIC의 품질(Quality factor)을 랜덤 값으로 조합하여 사용하였다. 후처리 필터를 통과한 출력 이미지는 전처리 필터와 마찬가지로 Perceptual Loss가 계산되는데, 이 때 BDT가 적용되지 않은 원래의 학습 이미지와 비교가 수행된다. 즉, 후처리 필터 네트워크는 BDT에 의해 어두워진 영상을 입력으로 하지만, 원본 영상과 가까워지도록 학습된다. 이는 후처리 필터 네트워크가 일종의 학습기반 비트 깊이 복원(Bit Depth Restoration, BDR) 모듈의 역할도 동시에 수행하도록 학습된다는 것을 의미한다.

Fig. 3.

Training pipeline of the post-filter network

학습의 두 번째 단계에서는 실제 사용될 상용 코덱에 의한 압축 왜곡을 추가로 반영하기 위해 VTM이 사용된다. 이 경우 학습 데이터셋으로부터 종단간 학습되는 것이 아니고, BDT 및 VTM에 의한 압축이 적용된 영상을 사전에 생성한 뒤, 후처리 필터 네트워크 이후부터 학습 과정이 수행된다. 여기서도 마찬가지로 Rate loss는 사용되지 않으나, 여러 수준의 압축 왜곡을 반영하기 위해 VTM에 입력되는 QP를 [20, 25, 30, 37]의 값 중 랜덤하게 선택하여 사용한다.

2. VCM-RS 적용 구조

본 절에서는 사전 학습된 전처리 및 후처리 필터 네트워크가 VCM 참조 소프트웨어에 적용되는 구조에 대해서 설명한다. 학습된 필터 네트워크를 VCM-RS v0.11에 적용한 구조는 그림 4와 같다. 먼저 전처리 필터 네트워크의 경우 RoI-based Processing의 앞 단에, 후처리 필터 네트워크는 Inner Codec(VTM)의 바로 뒤에 위치한다. 이렇게 배치된 이유는 해당 위치가 성능 측면에서 가장 좋은 것으로 관찰되었기 때문인데, 그 이유를 추론해 보면 다음과 같다. 먼저 전처리 필터의 경우, 가능한 BDT 모듈과의 호응성 문제를 피하기 위해 BDT 적용 이전에 위치해야 한다. 그리고 RoI-based Processing 역시 머신 비전 관점에서의 관심 객체를 강조하기 위해 배경 영역을 제거하거나 RoI의 크기를 변형하는 등의 처리를 수행한다. 이러한 영상 변형을 거치는 것 역시 일반적인 영상과 구조적인 측면에서 크게 달라지기 때문에, 이 이후에 적용하는 것보다 이보다 앞서 적용하는 것이 좋은 성능을 보인 것으로 판단된다. 한편, 후처리 필터의 경우, 압축 왜곡을 포함하는 영상을 머신비전 관점에서 효과적으로 복원하도록 학습되었기 때문에, 가능한 Inner Codec과 가까워야 좋은 성능을 보이는 것으로 예상된다. 특히 비트 깊이를 복원하는 모듈은 VCM-RS 구조상 가장 마지막에 위치하기 때문에, 만약 이 모듈보다 후처리 필터를 뒤에 위치시키게 되면 입력되는 영상이 압축 왜곡뿐만 아니라 다양한 후처리 과정에 의한 영상 변형을 모두 포함한 상태로 입력되어, 학습 과정에서 관찰한 영상과 특성이 크게 달라지게 된다.

Fig. 4.

Applying of filter networks on VCM-RS v0.11 (a) pre-filter network (b) post-filter network

또한 후처리 필터의 경우 앞서 기술하였듯이 비트 깊이 복원 모듈의 역할도 동시에 수행하도록 학습되었기 때문에, 기존의 BDT 모듈의 역할을 대체한다. 따라서 VCM 디코더가 비트 깊이를 복원하는 조건(비트 깊이 복원 플래그)이 활성화될 경우에만 후처리 필터가 동작하며, 기존의 비트 쉬프트 기반의 비트 깊이 복원 모듈은 동작하지 않는다.

3. 실험 결과 및 분석

전처리 필터 네트워크의 VCM-RS v0.11 적용 결과는 표 1, 표 2와 같다. VCM CTC^[3]에 따라, 성능 평가에 사용된 데이터셋 및 머신 비전 임무는 SFU-HW 데이터셋에 대한 객체 검출(object detection) 임무와 TVD 데이터셋에 대한 객체 추적(object tracking) 임무로 구성되며, 인코딩 모드는 총 6개로, RA, LD, AI 모드에 대해 전체 VCM 인·디코더 범위에 대해 해당 모드의 조건을 적용하는 E2E와, Inner Codec 범위에 대해서만 조건을 한정하는 Inner 모드로 정의되어 있다. 표 1은 SFU-HW 데이터셋에 대한 결과를, 표 2는 TVD 데이터셋에 대한 결과를 나타낸다.

Table 1.

Performance of the pre-filter network applied to VCM-RS v0.11 on SFU-HW dataset

Table 2.

Performance of the pre-filter network applied to VCM-RS v0.11 on TVD dataset

전처리 필터 네트워크의 적용 성능을 보면 전체적으로 평균 17%가량의 BD-rate 성능 개선을 보이고 있음을 확인할 수 있다. 여기서 BD-rate이 “####”으로 표시되는 부분은 두 그래프의 y축에서 겹치는 영역이 없어 발생하는 계산 오류로, 해당 경우에 대해 BD-mAP 또는 BD-MOTA 값을 보면 성능 개선이 발생했음을 알 수 있다. SFU 데이터셋의 결과를 보면, 클래스에 따라 성능 개선 폭에 차이가 존재하는데, 이는 학습 영상 데이터셋의 해상도와 유사할수록 높은 성능 개선 폭을 가지기 때문이다.

후처리 필터의 적용 성능은 표 3과 같다. 후처리 필터의 경우 전술한 것처럼 VCM 디코더가 비트 깊이를 복원하는 조건일 때만 활성화가 되는데, 데이터셋 범위로는 SFU-HW의 Class C, D에 해당한다. 따라서 이 경우에 대해서만 결과를 표기하였다. 표의 결과를 확인하면, 후처리 필터 네트워크 역시 모든 경우에 대해 평균 성능 개선이 확인되며, 전체적으로는 약 13%의 BD-rate 개선이 도출됨을 확인할 수 있다. 또한 전처리 및 후처리 필터 네트워크가 모두 적용된 경우에 대한 결과는 표 4와 같다. 후처리 필터가 적용되는 경우인 SFU 데이터셋에 대한 결과만 결과를 나타내었으며, 이 경우 약 25%의 BD-rate 성능 개선이 얻어짐을 확인할 수 있다.

Table 3.

Performance of the post-filter network applied to VCM-RS v0.11 on SFU-HW dataset

Table 4.

Performance of the pre-and post-filter network applied to VCM-RS v0.11 on SFU-HW dataset

필터 네트워크가 적용되었을 때 영상의 변화는 그림 5와 6에서 확인할 수 있다. 먼저 그림 5는 TVD 데이터셋에 대해 전처리 필터 네트워크가 적용된 결과를 나타낸다. 결과를 보면, 전처리 필터 네트워크가 적용됨으로써 객체 인지에 중요한 정보인 객체의 경계 영역 등은 강조가 되지만, 배경 영역에 해당하는 바닥의 낙엽 등은 오히려 블러(blur)해지는 것을 확인할 수 있다. 전처리 필터 네트워크의 이러한 효과를 통해 객체의 인지 성능은 보존되거나 향상되면서도, 비트율은 오히려 절감하거나 최소한만 증가함으로써 BD-rate 성능 개선을 얻을 수 있게 된다. 또한 그림 6은 SFU 데이터셋에 대해 후처리 필터 네트워크가 적용된 결과를 나타낸다. 후처리 필터의 경우 비트 깊이까지 복원된 최종 영상으로 비교하였다. 결과를 보면, 기존 앵커(anchor)에서 사람의 팔과 같이 구조적 특징이 무너지는 부분이 후처리 필터가 적용된 경우 일부 복원되는 것을 확인할 수 있으며 또한 객체 인근의 아티팩트(artifact)도 제거됨을 확인할 수 있다.

Fig. 5.

Results of applying pre-filter network

Fig. 6.

Results of applying post-filter network