비국지적 정보를 활용한 OBIC 후보 리스트 구성

Ⅰ. 서 론

2020년 표준화가 완료된 최신 동영상 압축 표준인 ISO/IEC 23090-3 MPEG-I Part 3 / ITU-T Versatile Video Coding (VVC) 기술은 HEVC 대비 약 30% 이상의 비트율 절감과 우수한 주관적 화질을 달성하였다^[1]. 그러나 최근에 더욱 활성화되고 있는 초고해상도 영상, 실감형 콘텐츠, 생성형 AI 영상 등 차세대 서비스에서는 더욱 높은 압축 효율과 낮은 부호화 복잡도가 동시에 요구되어, 기존 VVC 기술로 이러한 조건들을 만족하기에는 한계점이 나타나고 있다. 이와 같은 배경에서 ISO/IEC 및 ITU-T가 공동으로 구성한 JVET (Joint video experts team)은 차세대 서비스를 위한 요구 사항들을 도출하고 이들을 충족하기 위하여 beyond VVC capability란 이름 하에 차세대 비디오 압축에 적용할 수 있는 다양한 기술을 탐색하고 있다^[2]. 이러한 노력의 일환으로 새로운 화면 내 예측 기술, 화면 간 예측 기술, 기학습된 신경망 기반 기술 등 폭 넓은 기술들에 대하여 탐색하며, 이를 객관적으로 테스트하기 위하여 공통 실험 조건을 정하고 ECM (enhanced compression model)이라는 테스트 모델을 만들어 가고 있다^[3][4].

화면 내 예측을 위한 새로운 접근 방식 중 대표적인 기술의 하나는 복수의 후보 블록으로 구성된 리스트를 활용하여 보다 정확한 예측자를 생성함으로써 부호화 효율을 개선하는 것이다. 이러한 기술로써, OBIC (occurrence-based intra coding)가 존재하는데, 이 기술은 현재 블록의 이웃 블록들로 OBIC 후보 리스트를 구성한 후, 후보 블록들의 IPM (intra prediction mode) 통계로부터 최대 5개의 IPM을 추정하고, 추정한 IPM을 활용하여 생성한 예측자와 planar 또는 block vector (BV)를 활용하여 생성한 예측자를 가중합하여 최종 예측자를 생성한다^[5]. 하지만 지금까지의 OBIC 기술에 따르면, 인트라 예측을 위하여 IPM 정보를 사용하는 대신 BV를 사용하는 IBC (Intra Block Copy) 모드로 부호화 되는 블록의 경우에는 IPM 정보가 없기 때문에 OBIC 후보 리스트 구성에서 해당 블록의 정보를 배제한다. 이로 인하여, 이웃 블록이 제공할 수 있는 공간적 상관성을 충분히 활용하지 못하는 한계가 발생한다. 특히, 초고해상도 영상이나 세밀한 질감 정보를 포함하는 영상에서는 인접 블록 간의 공간적 상관성이 매우 높아, 이러한 블록들의 예측 정보를 통계에 반영하지 못할 경우 예측 정확도 저하 및 부호화 효율 감소로 이어질 수 있다. 또한, 차세대 영상 부호화에서는 비국지적 예측이나 하이브리드 모드 활용이 증가하는 추세이므로, 대표 IPM이 존재하지 않는 블록을 효과적으로 활용하는 방안이 필수적으로 요구된다. 여기서 대표 IPM은 각 블록의 예측 방향을 결정하는 주 인트라 모드를 의미한다. 이러한 한계점을 극복하기 위하여 본 논문에서는 IPM 정보가 없는 이웃 블록도 IPM 정보 통계에 활용될 수 있도록, 비국지적 정보인 BV 정보를 활용하여 OBIC 후보를 추가 구성하는 방법을 제안한다.

Ⅱ. OBIC 모드

OBIC 모드는 ECM-13.0 버전에서 새롭게 추가된 휘도 채널의 화면 내 예측 기술로, 이웃 블록들의 IPM 통계 정보를 활용해 생성한 예측자와 Planar 또는 BV를 기반으로 생성한 예측자를 가중합하여 최종 인트라 예측을 수행한다^[4][6]. 이 때, 현재 블록의 샘플 수가 64보다 적다면 OBIC 모드는 활성화되지 않는다. OBIC의 전체 동작 과정은 아래와 같이 세 단계로 구성된다.

• • 단계 1. 후보 블록 리스트 구성
• • 단계 2. 후보 정렬 및 Histogram of occurrence (HoC) 계산
• • 단계 3. 예측자 생성

아래에서는 각 단계별 세부 내용을 기술한다.

1. 후보 블록 리스트 구성

단계 1에서는 OBIC 후보 블록 리스트를 구성한다. 이를 위하여 현재 블록에 대한 인접 후보 (adjacent candidate) 최대 13개와 비인접 후보 (non-adjacent candidate) 최대 18개를 포함한 총 31개의 후보 블록으로 OBIC 후보 블록 리스트를 구성한다. 각 후보의 참조 샘플 위치는 <그림 1>과 <그림 2>와 같다. 이 과정에서 대표 IPM 정보가 없는 블록 (예: IBC 모드)은 후보 리스트 구성에서 제외되며, 중복된 블록 역시 후보 리스트 구성에서 제외된다. 각 블록의 예측 방향을 결정하는 주 인트라 모드인 대표 IPM은 HoC 계산 시 통계적으로 블록을 식별하는 구조가 된다.

Fig. 1.

Reference sample positions of adjacent candidates for constructing the OBIC candidate list

Fig. 2.

Reference sample positions of non-adjacent candidates for constructing the OBIC candidate list

Ⅲ. 제안 방법

본 논문에서는 OBIC 후보 블록 중 비국지적 정보인 BV 정보를 사용하는 블록이 있는 경우, 해당 후보 블록이 BV를 사용하여 참조하는 영역 내에 위치하는 블록을 OBIC 후보 리스트에 추가 구성하는 방법을 제안한다. 이는 공간적 상관성이 높으나 대표 IPM이 없는 블록을 예측에 활용하지 못한다는 한계점을 보완하기 위함이다. <그림 3>은 제안 방법의 핵심 개념을 도식화한 것이다.

Fig. 3.

Conceptual diagram of the proposed method

먼저 인접 후보와 비인접 후보로 구성된 기존 OBIC 후보 리스트를 구성한 뒤, 리스트 내에 BV 정보를 가진 블록 (anchor block)이 있다면, 그 BV가 참조하는 영역 (reference area)을 기준으로 추가 후보 탐색을 수행한다. BV 정보를 가진 블록은 그 생성 방식에 따라 세 가지로 구분할 수 있다. 첫째, IBC 모드와 같이 복호화기에게 BV 정보가 명시적으로 신호되는 방식, 둘째, IntraTMP 모드와 같이 복호화기가 BV를 자체적으로 추정하는 방식, 마지막으로, OBIC, DIMD, SGPM과 같이 IPM 기반 예측을 수행하지만 복호화기 자체적으로 BV를 함께 활용하는 방식으로 분류된다. 한편, Anchor block이 참조하는 영역 내에서 추가 후보를 탐색할 때, 추가 후보의 참조 위치는 두 가지 방식으로 설정하였다. 첫째는 참조 영역 내 중앙 (C) 위치에 해당하는 블록만을 후보 리스트에 추가하는 방식이며, 둘째는 중앙 위치를 포함하여 다섯 위치 (C (center), LT (left-top), RT (right-top), LB (left-bottom), RB (right-bottom))에 해당하는 블록 모두를 후보 리스트에 추가하는 방식이다.

이 때 OBIC 후보 리스트의 인접 및 비인접 후보 추가 방식은 그대로 유지되며, 새롭게 확장된 후보들은 BV가 참조하는 영역에서 탐색된 블록으로만 추가 구성된다. 즉, 기존의 인접 및 비인접 후보에 더해 BV 참조 영역을 기반으로 탐색된 블록만이 추가 후보로 포함되며, 이러한 확장 후보들을 수용하기 위하여 OBIC 후보 리스트의 최대 크기는 기존 31개에서 62개로 확장하였다.

추가적으로, BV 정보를 이용하여 탐색된 비국지적 블록과 현재 블록 간의 L1 distance를 계산할 때는, BV 자체의 벡터 성분 (BV_x, BV_y)은 거리 계산에서 제외한다. BV의 크기가 커서 멀리 떨어진 영역을 지시하는 경우, 그 크기가 거리 계산에 직접 반영되면 해당 블록이 실제보다 과도하게 먼 후보로 간주되어 최종 후보에서 제외될 가능성이 높기 때문이다. 그러나 anchor block이 참조하는 영역 내의 블록들은 anchor block과 높은 유사도를 가지며, anchor block이 현재 블록과 가까울수록 공간적으로 유의미한 정보를 제공할 수 있다. 따라서, BV의 크기를 거리 계산에서 제외함으로써, 제안된 신규 후보들이 HoC 계산에 포함될 가능성을 높이고, 결과적으로 보다 효과적인 후보 리스트 구성이 가능하도록 하였다. <그림 4>는 제안된 방법에서 RT 위치를 참조한 추가 후보 블록 (ref_x, ref_y)과 현재 블록 (CurrCu_x, CurrCu_y) 간의 거리 d_BV-based가 (dx+BV_x)+(dy+BV_y)로 계산되는 과정을 도식화한 것이다.

Fig. 4.

Proposed distance calculation method for incorporating additional candidates

HoC 계산에 사용할 후보 개수는 20개로 유지한다.

Ⅳ. 실험 결과 및 분석

본 논문에서는 제안 방법의 효과를 보다 세밀하게 분석하기 위하여, BV 정보를 획득하는 경로와 참조 영역 (reference area) 내 참조 위치 구성을 다양화하여 실험을 수행하였다. BV 정보를 획득하는 경로는 세 가지로 설정하였다. 첫째, IBC 모드로 예측된 블록에서 BV 정보를 획득하는 방식 (Test 1), 둘째, Intra TMP 모드로 예측된 블록에서 BV 정보를 획득하는 방식 (Test 2), 마지막으로, OBIC, DIMD, SGPM 모드로 예측된 블록에서 IPM 기반 예측을 수행하지만 내부적으로 BV를 함께 활용하는 방식 (Test 3)이다. 이는 BV 정보를 전달하고 활용하는 방식의 차이에 따른 구분이다. Test 1은 BV 정보를 복호화기에 신호하고, 이 BV 단독으로 예측자를 생성하는 모드 구성이다. Test 2는 BV 정보를 복호화기에 신호되지 않고, 복호화기에서 BV를 직접 추정한 뒤 BV 단독으로 예측자를 생성하는 모드 구성이다. Test 3은 BV 정보와 IPM 정보를 함께 활용하여 예측을 수행하는 모드 구성이다. 이 경우, 해당 블록은 자체적으로 IPM 정보를 가지므로 OBIC 후보 리스트에 직접 포함되며, 동시에 그 블록이 참조하는 영역 내의 블록들도 추가 후보로 함께 구성된다. 즉, IPM 기반의 국지적 후보와 BV 정보를 활용하여 탐색된 비국지적 후보가 모두 반영되는 구성이다. 참조 위치 구성의 경우, 참조 영역 내 중앙 (C) 위치만을 참조하거나 (Test x.1) 중앙 위치를 포함하여 다섯 위치 (C, LT, RT, LB, RB)를 모두 참조하는 두 가지 방식 (Test x.2)으로 구분하여 실험을 수행하였다. 예를 들어 Test 1.1은 IBC 모드에서 획득한 BV 정보를 사용하고, 그 BV가 가리키는 참조 영역의 중앙 (C) 위치에 해당하는 블록만 OBIC 후보 리스트에 추가하는 실험 조건을 의미한다.

각 실험은 ECM-14.0에 구현하여 AI (all intra) 구성에서 4가지 QP (22, 27, 32, 37) 값에 따라 Class A1, A2, B, C, D, E, F 그리고 TGM 영상의 첫 65 프레임에 대하여 수행되었다^[7][8]. <표 1>은 제안 방법에 따른 ECM-14.0 대비 각 Class별 BDBR 변화를 나타낸다.

Table 1.

Experimental results of the proposed method

제안 방법에 따른 실험 결과, Test 1과 Test 3에서 휘도 채널 (Y)에서 0.01%의 BDBR 이득이 발생하였으며 이는 제안한 BV를 활용한 추가 후보 구성이 실제 부호화 효율 개선에 기여함을 보여준다. 하지만 Test 2에서는 휘도 채널의 BDBR 변화가 없는 것을 통하여 제안 방법에 대한 효과가 없음을 확인할 수 있다. Test 2의 경우, 복호화기에서 템플릿 매칭을 통해 BV를 추정하므로 해당 BV 정보가 syntax로 명시적으로 전송되지 않는다. 이로 인하여 부호화 오버헤드는 적지만, 신호된 BV 대비 예측 신뢰도가 낮고, 공간적 대응성 또한 불안정하다.

결과적으로 Test 2에서 획득된 BV는 Test 1에서 획득된 BV 대비 상대적으로 정확도가 낮으며, 이에 따라 추가 후보를 구성하더라도 최종 HoC 계산에서의 기여도가 제한적이다. 이러한 이유로 Test 2에서는 유의미한 부호화 효율 개선이 관찰되지 않은 것으로 판단된다. 참조 위치별로 비교하면, 중앙 위치만을 참조하는 방법 (Test x.1)보단 중앙 위치를 포함한 다섯 위치 (Test x.2)를 모두 참조하는 것이 대부분의 Test 조건에서 효과적임을 알 수 있다. 특히, Test 1.2와 Test 3.2의 경우, 고해상도 영상인 Class A1에서 Test 1.1과 Test 3.1과 비교하여 성능 변화가 두드러지는 것을 확인할 수 있다.

Ⅴ. 결 론

본 논문에서는 대표 IPM 정보가 없는 블록의 정보를 IPM 통계에 활용하기 위하여, 비국지적 정보인 BV를 이용하여 OBIC 후보를 추가 구성하는 방법을 제안하였다. 실험 결과, 휘도 채널에서 최대 0.01%의 BDBR 절감을 확인하여 제안 기법의 실효성을 검증하였다. 이 결과는 비국지적 참조 정보를 활용해 후보 리스트를 확장하는 접근이 화면 내 예측의 성능을 향상시키는 데 유효함을 보여준다. 향후 리스트 기반으로 예측을 수행하는 다른 예측 기술에 제안 방법을 적용한다면 추가적인 성능 개선을 얻을 수 있을 것으로 기대된다.

Acknowledgments

이 논문의 결과 중 일부는 한국방송·미디어공학회 2025년 하계학술대회에서 발표한 바 있음

본 연구는 과학기술정보통신부재원의 한국연구재단 사업 (RS-2023-00208453)과 과학기술정보통신부 및 정보통신기획평가원의 ICT 명품인재양성 사업 (IITP-2025-2020-II201821)의 지원으로 수행되었음

References

• B. Bross, J. Chen, S. Liu, and Y. Wang, “Versatile Video Coding Editorial Refinements on Draft 10,” Joint Video Experts Team (JVET), 20th Meeting, teleconference, JVET-T2001-v2 (2020).
• Y. -J. Chang., et. al., “Compression efficiency methods beyond VVC,” Joint Video Experts Team (JVET), 21st Meeting, teleconference, JVET-U0100, (2020).
• B. Kim, and B. Jeon, “Intra Coding Tools of Enhanced Compression beyond VVC Capability,” in Journal of Broadcast Engineering, 27(7), 985-998, (2022). [https://doi.org/10.5909/JBE.2022.27.7.985]
• ECM-13.0, https://vcgit.hhi.fraunhofer.de/ecm/ECM/-/tree/ECM-13.0
• R. G. Youvalari, et. al., “Occurrence-based intra coding,” Joint Video Experts Team (JVET), 34th Meeting, Rennes FR, JVET-AH2025, (2024).
• M. Coban, et. al., “Algorithm description of Enhanced Compression Model 13 (ECM 13),” Joint Video Experts Team (JVET), 34th Meeting, Rennes FR, JVET-AH2025, (2024).
• M. Karczewicz, Y. Ye “Common test conditions and evaluation procedures for enhanced compression tool testing”, Joint Video Experts Team (JVET), 32th Meeting, Hannover, JVET-AF2017, 2023.
• ECM-14.0, https://vcgit.hhi.fraunhofer.de/ecm/ECM/-/tree/ECM-14.0