VVC를 위한 효율적인 ISP 분할 모드 결정방법

Ⅰ. 서 론

비디오 시장의 발전과 함께, 증강현실 (Augmented Reality, AR) 및 가상현실 (Virtual Reality, VR) 영상은 더욱 몰입감 있는 시각 경험을 제공할 수 있기 때문에 사용자에게 보편화되어지고 있다. 그러나 AR 및 VR 영상은 광범위한 다이나믹 레인지와 초고화질 해상도로 인해 데이터 용량이 급격히 증가하였다. 기존의 표준 비디오 부호화 기법인 고효율 비디오 부호화 (High Efficiency Video Coding, HEVC)^[1]는 미래 비디오 시장의 요구를 충족하기에 충분한 부호화 성능을 제공하지 못한다. 이러한 한계를 극복하기 위해, Video Coding Experts Group (VCEG)과 Moving Picture Experts Group (MPEG)은 공동으로 Joint Video Exploration Team (JVET)을 구성하여 차세대 비디오 부호화 표준인 Versatile Video Coding (VVC)^[2]을 개발하였다. VVC는 HEVC와 유사한 화질을 유지하면서 최대 50%의 비트율 절감을 달성하였다. 이러한 높은 부호화 효율을 달성하기 위해 VVC는 Wide Angle Intra Prediction (WAIP)^[3], Position Dependent Intra Prediction Combination (PDPC)^[4-5], Matrix-weighted Intra Prediction (MIP)^[6], Multi-Reference Line Prediction (MRL)^[7], Cross-Component Linear Model (CCLM)^[8], Intra Sub-partition Prediction (ISP)^[9] 등의 다양한 새로운 기법이 도입되었다. 하지만, 새롭게 채택된 부호화 알고리즘들은 HEVC 대비 VVC의 성능을 크게 향상시키지만, 동시에 VVC 인코더의 부호화 복잡도를 크게 증가시키는 문제를 야기한다. 예를 들어, All-intra 실험 환경에서 VVC Test Model (VTM)^[10]의 부호화 복잡도는 HEVC Test Model (HM)^[11]에 비해 최대 22배까지 증가하는 것으로 보고되었다^[12]. 따라서 미래 비디오 시장의 요구를 충족시키기 위해서는 고속 부호화 알고리즘의 개발이 필수적이다.

지난 몇 년간, VVC의 높은 부호화 복잡도를 감소시키기 위한 다양한 방법들이 제안되었다. 예를 들어, Peng 등^[13]은 다중 분류기를 이용하여 CU의 분할 여부를 조기 결정하는 알고리즘을 제안하였다. Zhang 등^[14]은 랜덤 포레스트 분류기를 활용하여 CU 분할 및 화면 내 예측 모드 결정을 동시에 수행하는 방법을 제시하였다. Liu 등^[15]은 HEVC 화면 내 예측을 위한 CU 크기 결정 알고리즘을 제안하였다. 이 방법은 머신러닝을 기반으로, 이미지 특징을 추출하여 분류기 학습에 사용하였다. Li 등^[16]은 다단계 종료 합성곱 신경망 (MSE-CNN)을 개발하여 CU 분할을 조기 결정하는 방법을 제안하였다. 모델은 휘도 성분의 CTU의 특징 맵과 적응형 손실 함수를 활용하여 CU 구조의 조기 종료 여부를 판단한다. Wu 등^[17]은 현재 CU 및 하위 CU의 전체 분할 정보를 한 번의 추론으로 얻을 수 있는 계층형 그리드 완전 합성곱 네트워크 (HG-FCN) 프레임워크를 제안하였다. 이처럼 네트워크를 기반으로 한 연구들은 부호화 복잡도 감소에 성과를 보였으나, 특징 추출 과정이 복잡하거나 네트워크 구조가 깊어지면서 추론 시간이 증가한다는 한계가 있다. 또한, 부호화 시간을 크게 줄이는 대신 화질 손실이 증가한다는 문제점도 여전히 존재한다.

ISP 모드는 VVC의 화질을 크게 개선한 반면, 높은 부호화 복잡도를 차지한다는 문제점을 가지고 있다. 따라서 본 논문에서는 참조 샘플과 화면 내 예측 모드 간의 상관 관계가 ISP 모드에 미치는 영향을 먼저 분석하였으며, 이를 기반으로 ISP 모드의 불필요한 부호화 과정을 조기 종료하는 알고리즘을 제안한다. 제안된 알고리즘은 현재 CU의 ISP 분할 모드 여부를 사전에 판단함으로써, ISP의 연산 복잡도를 효과적으로 감소시키면서도 부호화 효율을 거의 손실 없이 유지할 수 있도록 한다.

Ⅱ. 배경 기술

1. 블록 구조와 화면 내 예측 기법

부호화 성능을 향상시키는 핵심 기술 중 하나인 블록 분할 구조는 유연한 블록 크기를 지원함으로써 높은 부호화 효율을 달성한다. JVET에선 보다 다양한 Coding Unit (CU) 분할 형태를 지원하기 위해 Quadtree (QT)와 Multi-Type Tree (MTT)^[18]를 결합한 QTMTT 구조를 채택하였다. 예를 들어, 하나의 Coding Tree Unit (CTU)은 먼저 QT에 의해 분할된다. 이후 QT 리프 노드는 MTT 구조를 통해 추가로 분할될 수 있다. 그림 1에 나타난 바와 같이, VVC는 네 가지 MTT 분할 구조를 지원하는데, 이는 수평 Binary Tree (BT_H), 수직 Binary Tree (BT_V), 수평 Ternary Tree (TT_H), 수직 Ternary Tree (TT_H)이다. 또한 CTU 분할 과정을 단순화하기 위해, CTU가 MTT에 의해 두 개 또는 세 개의 CU로 분할된 이후에는 해당 CU들이 이후 절차에서 QT에 의해 더 이상 분할되지 않는다. QTMTT 구조의 예시는 그림 2에 제시되어 있으며, 검은색 선은 QT 분할을, 빨간색 선은 BT 분할을, 파란색 선은 MTT 분할을 나타낸다. 이러한 VVC에서 지원하는 CU의 유연한 구조는 높은 부호화 효율을 달성하였으며, I 슬라이스의 경우 휘도 성분과 색차 성분 CU는 서로 다른 분할 구조를 가질 수 있다^[19].

Fig. 1.

Examples of MTT structure in VVC

Fig. 2.

QTMTT block partition structure in VVC combining quadtree and multi-type tree splits to represent various CU shapes

현재 CU의 예측 정확도를 향상시키기 위해, VVC의 화면 내 예측 모드 개수는 HEVC의 33개에서 65개로 확장되었으며, 화면 내 예측 과정에서 모든 크기의 휘도 및 색차 CU는 이들 65개의 모드를 활용하여 부호화를 수행할 수 있다. 본 논문에서는 화면 내 예측 모드 (Intra Prediction Mode, IPM)의 범위를 정의한다. 보다 구체적으로는, IPM이 2~33인 경우 LPM (Left Prediction Mode)으로 정의하고, IPM이 34~66인 경우 APM (Above Prediction Mode)으로 정의한다.

2. ISP 모드

화면 내 예측 과정에서, 예측 신호를 생성하기 위해 사용되는 참조 샘플은 현재 CU의 좌측과 상측에 위치한다. 그러나 현재 CU의 예측자는 샘플과의 거리가 멀어질수록 상관도가 감소하기 때문에, CU의 우 하단 영역의 예측 품질은 좌 상단 경계에 비해 떨어지게 된다. 이러한 문제를 해결하기 위해, VVC에서는 Intra Sub-Partition (ISP) 부호화 모드를 제안하였다. 이 모드는 휘도 성분의 화면 내 예측 블록을 수평 또는 수직 방향으로 2개 혹은 4개의 동일한 크기의 서브 블록으로 분할한다. ISP 부호화 모드는 특정한 크기의 조건을 만족하는 블록에 대해서만 적용될 수 있다. 허용되는 최소 서브 블록 크기는 4x8 (또는 8x4)이며, 최대 블록 크기는 64x64이다. 블록 크기가 최소 크기를 초과하는 경우에는 4개의 서브 블록으로 분할되지만, 최소 크기와 동일한 경우에는 2개의 서브 블록으로만 분할된다. 예를 들어, 그림 3에 나타난 바와 같이 16x16 블록은 4개의 16x4 또는 4개의 4x16으로 분할될 수 있으며, 8x4 블록은 두 개의 8x2 또는 두 개의 4x4 블록으로 분할될 수 있다.

Fig. 3.

Example of ISP block partition structures according to CU size

그림 4에 나타난 바와 같이, 블록은 수직 방향으로 4개의 서브 블록으로 분할된다. 첫 번째 서브 블록은 해당 CU의 인접한 참조 샘플을 이용하여 예측된다. 첫 번째 서브 블록을 처리한 이후, 재구성된 샘플은 다음 서브 블록의 예측 신호를 계산하는 데 사용된다. 이어서 두 번째 서브 블록에서 재구성된 샘플은 세 번째 서브 블록의 예측에 활용되며, 이러한 과정은 네 개의 서브 블록이 모두 처리될 때까지 반복된다. ISP 부호화 모드는 각 서브 블록을 가능한 가장 짧은 거리의 인접 샘플을 사용하여 예측할 수 있다는 장점을 가지고 있어, 이를 통해 VVC의 부호화 효율을 향상시킨다.

Fig. 4.

Sub-block prediction process using neighboring reference samples in ISP mode

Ⅲ. 제안 기법

본 논문에서는 부호화 성능 손실을 거의 발생시키지 않으면서 ISP 모드의 연산 복잡도를 줄일 수 있는 ISP 고속화 기법을 제안한다. 제안된 알고리즘을 설계하기 위해, 본 연구에서는 ISP 모드의 분포 특성을 분석하였다. ISP는 보다 유연한 블록 구조를 기반으로 복잡한 텍스처를 효율적으로 예측할 수 있는 장점이 있으나, VVC 인코더의 연산 복잡도를 크게 증가시키는 문제를 초래한다. ISP의 tool-off 실험 결과^[20]에 따르면, 부호화 손실은 0.48%이며, 시간 절감 효과는 85%로 보고되었다. 그림 5는 JVET CTC의 AI (All-Intra) 구성에서 ISP 모드와 Non-ISP 모드의 분포를 보여준다. ISP 모드는 VVC 인코딩 과정에서 자주 발생하지는 않지만, 부호화 효율 향상에 크게 기여함을 알 수 있다. 따라서 부호화 손실을 최소화하기 위해서는 ISP 모드 고속화 결정 기법을 신중하게 설계할 필요가 있다.

Fig. 5.

Analysis of ISP mode in the all-intra configuration of JVET

또한, 본 연구에서는 IPM에 따른 ISP 모드의 분포를 추가적으로 조사하였다. VTM 21.0을 이용하여 두 개의 Full-HD 테스트 시퀀스를 AI 환경에서 부호화하여 ISP 모드의 분포를 수집하였으며, 실험 결과와 동일한 조건을 피하기 위해 JVET CTC에서 정의한 세 가지 서로 다른 QP에서 통계를 추출하였다. 그림 6에 나타난 바와 같이, 수평 ISP 모드의 분포는 IPM이 LPM일 때 69%, APM일 때 31%로 나타났다. 반대로, 수직 ISP 모드의 분포는 LPM일 때 33%, APM일 때 67%로 확인되었다. 그림 6은 수평 ISP 모드가 APM으로 부호화를 수행할 확률이 낮다는 점을 보여준다. 이러한 통계적 특성은 VVC 인코더가 화면 내 예측 모드 조건에 따라 상당수의 불필요한 ISP 분할 과정을 회피할 수 있음을 의미한다.

Fig. 6.

Distribution of ISP split mode according to intra prediction mode

이러한 특성을 바탕으로, 본 논문에서는 현재 CU의 화면 내 예측 모드 조건을 분석한 후 ISP 분할 모드의 조기 종료를 수행하는 알고리즘을 제안한다. 제안된 기법은 화면 내 예측 모드의 부호화 정보를 활용하여 현재 CU에서 ISP 수평 모드와 수직 모드를 수행할지 여부를 판단한다.

그림 7은 제안된 기법의 블록 다이어그램이며, 기존 VVC 부호화 알고리즘에 고속화 알고리즘이 추가된 구조를 회색 음영으로 표기하였다. 여기서 C와 Non_Directional_Mode는 각각 현재 부호화 중인 CU와 무방향성 IPM 모드를 의미한다. 먼저, 현재 CU의 ISP 수평 모드가 LPM으로 부호화 되는 경우, 이는 해당 CU의 ISP 수직 모드가 낮은 상관성을 가질 가능성이 높음을 의미한다. 이러한 경우에는 그림 7과 같이 현재 CU의 ISP 수직 모드를 건너뛴다. 또한, 현재 CU의 ISP 수직 모드가 APM으로 부호화 되는 경우에도, 분포 특성에 근거하여 ISP 수평 모드를 생략하도록 설계하였다.

Fig. 7.

Block diagram of the proposed method

Ⅳ. 실험 결과

제안된 방법은 JVET CTC^[21] 환경에서 수행되었다. 실험은 Anchor로 VTM 21.0에서 진행되었으며, 부호화 복잡도를 비교하기 위해, ISP 부호화 시간 (ISP Encoding Time, IET)의 시간 절감율 (Time Saving, TS)을 식 (1)과 같이 계산하였다.

여기서 IET_org와 IET_fast는 Anchor와 제안된 고속화 알고리즘의 부호화 시간을 각각 의미한다. ISP 부호화 시간은 QP 값에 따라 변동될 수 있으므로, 테스트 시퀀스의 TS (Time Saving)는 IET뿐만 아니라 전체 부호화 시간 (Total Encoding Time, TET)을 기준으로 한 평균값으로 표현하였다. IET 계산과 마찬가지로, 평균 TS는 서로 다른 네 가지 QP 값에 해당하는 TET 결과를 기반으로 도출하였다. 부호화 손실을 평가하기 위해, 본 연구에서는 BDBR을 측정하였다. 일반적으로 BDBR이 1% 증가하면 BD-PSNR이 약 0.05dB 감소하며, BDBR이 양수일 경우 부호화 손실을 의미한다^[22].

표 1은 제안하는 알고리즘이 VTM 21.0 대비 화질 손실 및 부호화 복잡도를 비교한 결과이다. 본 논문에서 제안한 알고리즘은 평균 0.10% 정도로 약간의 화질 손실을 통해 전체 부호화 복잡도를 평균 3% 감소시켰으며, ISP의 복잡도는 평균 18%까지 감소시켰다. FoodMarket4의 경우 0.02%로 가장 낮은 화질 손실을 달성하였으며, 최대 22%까지 부호화 복잡도를 감소시켰다. 그리고 일부 시퀀스에서는 BDBR-U 또는 BDBR-V가 기준보다 더 나은 부호화 성능을 보였다. 예를 들어, Tango2 시퀀스에서는 BDBR-U 기준으로 0.77%의 성능 향상을 보였으며, Campfire 시퀀스에서는 BDBR-V 성분에서 0.12%의 성능 향상이 나타났다.

Table 1.

Time saving of the proposed method on top of VTM 21.0

표 2는 제안된 알고리즘과 기존 연구들을 비교한 결과를 나타낸다. 비교 항목은 VTM 버전, TS, BDBR, 그리고 TS과 BDBR의 Trade-off 관계를 나타내는 TS/BDBR 비율을 포함한다. 기존에 제안된 연구들은 부호화 복잡도 절감 측면에서는 본 연구보다 우수한 성능을 보였으나, 부호화 손실이 더 크게 나타났다. 보다 구체적으로 TS/BDBR을 사용하여 기존 연구들 간의 성능을 비교하였을 때, 본 연구의 알고리즘이 가장 높은 성능을 달성하였다.

Table 2.

Performance comparison between the proposed method and related works

Ⅴ. 결 론

VVC는 보다 유연한 블록 구조를 제공하기 위해 ISP 기법을 새롭게 도입하였으나, 그 대가로 부호화 복잡도가 크게 증가하였다. 본 논문에서는 최적 CU 모드 결정을 위한 속도-왜곡 (Rate-Distortion, RD) 최적화 과정에서 ISP 분할 모드의 수행 여부를 결정하는 ISP 고속화 결정 기법을 제안하였다. 부호화 손실을 최소화하기 위해, 본 논문에서는 화면 내 예측 모드와 관련된 ISP 모드의 분포를 분석하고, 현재 CU의 ISP 분할 모드를 생략할 수 있는 합리적인 조건을 화면 내 예측 모드의 컨텍스트 상관성을 통해 도출하였다. 제안된 방법은 JVET AI 환경에서 VTM 21.0을 Anchor로 평가되었으며, IST의 TS를 계산하였다. 실험 결과, 제안된 기법은 VTM 대비 ISP의 부호화 복잡도를 평균 18%까지 효과적으로 감소시켰으며, 부호화 성능 손실은 거의 발생하지 않았다.

Acknowledgments

이 논문의 결과 중 일부는 한국방송·미디어공학회 2024년 하계학술대회에서 발표한 바 있음

This work was supported by Electronics and Telecommunications Research Institute (ETRI) grant funded by the Korean government. [25ZC1100, The research of the basic media・contents technologies]

References

• High efficiency video coding (HEVC), Rec, ITU-T H.265 and ISO/IEC 23008-2, Jan. 2013.
• B. Bross, J. Chen, S. Liu, and Y.-K. Wang, “Versatile Video Coding (Draft 10),” in document JVET-S2001, 19th JVET Meeting, Jun. 2020.
• F. Racape, G. Rath, F. Urban, L. Zhao, S. Liu, X. Zhao, X. Li, A. Filippov, V. Rufitskiy, and J. Chen, “CE3-related: Wide-angle intra prediction for non-square blocks,” in document JVET-K0500, 11th JVET Meeting, Jul. 2018.
• G. Van der Auwera, V. Seregin, A. Said, A. K. Ramasubramonian, and M. Karczewicz, “CE3: Simplified PDPC (Test 2.4.1),” in document JVET-K0063, 11th JVET Meeting, Jul. 2018.
• J. Lee, H. Lee, S.-C. Lim, J. Kang, and H. Y. Kim, “Non-CE3: Modification of PDPC,” in document JVET-M0238, 13th JVET Meeting, Jan. 2019.
• J. Pfaff, B. Stallenberger, M. Schäfer, P. Merkle, P. Helle, T. Hinz, H. Schwarz, D. Marpe, and T. Wiegand, “CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2),” in document JVET-N0217, 14th JVET Meeting, Mar. 2019.
• P.-H. Lin, P. Sung, C.-C. Lin, and C.-L. Lin, “Multiple reference line intra prediction based on JEM7.0,” in document JVET-J0070, 10th JVET Meeting, Apr. 2018.
• X. Ma, H. Yang, and J. Chen, “CE3: Tests of cross-component linear model in BMS (Test 4.1.8, 4.1.9, 4.1.10, 4.1.11),” in document JVET-K0190, 11th JVET Meeting, Jul. 2018.
• S. De-Luxán-Hernández, V. George, J. Ma, T. Nguyen, H. Schwarz, D. Marpe, and T. Wiegand, “CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2),” in document JVET-M0102, 13th JVET Meeting, Jan. 2019.
• Versatile Video Coding (VVC) Test Model (VTM), Available online: https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM, [last accessed 10 Oct. 2025].
• G. J. Sullivan, J. -R. Ohm, W. -J. Han and T. Wiegand, “Overview of the High Efficiency Video Coding (HEVC) standard,” IEEE Transactions on Circuits and Systems for Video Technology, Vol.22, No.12, pp.1649-1668, Dec. 2021, (accessed Nov. 18, 2025). [https://doi.org/10.1109/TCSVT.2012.2221191]
• F. Bossen, X. Li, K. Sühring (co-chairs), E. François, Y. He, K. Sharman, V. Seregin, and A. Tourapis, “AHG report: Test model software development (AHG3),” in document JVET-AE0003, 31th JVET Meeting, Jul. 2023.
• Z.Peng, C. Huang, F. Chen, G. Jiang, X. Cui, and M. Yu, “Multiple classifier-based fast coding unit partition for intra coding in future video coding,” Signal Processing: Image Communication, Vol.78, pp.171-179, 2019. (accessed Oct. 10, 2025). [https://doi.org/10.1016/j.image.2019.06.014]
• Q. Zhang, Y. Wang, L. Huang and B. Jiang, “Fast CU Partition and Intra Mode Decision Method for H.266/VVC,” IEEE Access, Vol.8, pp.117539-117550, Jun. 2020. (accessed Oct. 10, 2025). [https://doi.org/10.1109/ACCESS.2020.3004580]
• X. Liu, Y. Li, D. Liu, and P. Wang, “An Adaptive CU Size Decision Algorithm for HEVC Intra Prediction Based on Complexity Classification Using Machine Learning,” IEEE Transactions on Circuits and Systems for Video Technology, Vol.29, No.99, pp144-155, Nov. 2017. (accessed Oct. 10, 2025). [https://doi.org/10.1109/TCSVT.2017.2777903]
• T. Li, M. Xu, R. Tang, Y. Chen, and Q. Xing, “DeepQTMT: A deep learning approach for fast QTMT-based CU partition of intra-mode VVC,” IEEE Transactions on Image Processing, Vol.30, pp.5377-5390, May 2021. (accessed Oct. 10, 2025). [https://doi.org/10.1109/TIP.2021.3083447]
• S. Wu, J. Shi, and Z. Chen, “HG-FCN: Hierarchical grid fully convolutional network for fast VVC intra coding,” IEEE Transactions on Circuits and Systems for Video Technology, Vol.32, No.8, pp.5638-5649, Jan. 2022. (accessed Oct. 10, 2025). [https://doi.org/10.1109/TCSVT.2022.3146061]
• J. Chen, Y. Ye, and S. H. Kim, “Algorithm Description for Versatile Video Coding and Test Model 3 (VTM 3),” in document JVET-L1002, 12th JVET Meeting, Oct. 2018.
• C. Chuang, and T. Cheng, “Cel-Related: Separate Tree Partitioning at 64×64-luma/32x32-Chroma Unit Level,” in document JVET-K0230, 11th JVET Meeting, Jul. 2018.
• W.-J. Chien, J. Boyce, Y.-W. Chen, R. Chernyak, K. Choi, R. Hashimoto, Y.-W. Huang, H. Jang, R.-L. Liao, and S. Liu, “JVET AHG report: Tool reporting procedure (AHG13),” in document JVET-S0013, 19th JVET Meeting, Jun. 2020.
• F. Bossen, J. Boyce, X. Li, V. Seregin, and K. Sühring, “JVET Common Test Conditions and Software Reference Configurations for SDR Video,” in document JVET-L1010, 12th JVET Meeting, Oct. 2018.
• G. Bjøntegaard, “Calculation of Average PSNR Differences between RD Curves,” in document VCEG-M33, 13th VCEG Meeting, Mar. 2001.
• L. Araújo, A. Duarte, B. Zatt, G. Correa, and D. Palomino, “Fast ISP Mode Decision for the Versatile Video Coding Intra Prediction Using Machine Learning”, Brazilian Symposium on Multimedia and the Web, pp. 162-170, 2024, (accessed Nov. 18, 2025). [https://doi.org/10.5753/webmedia.2024.241692]
• M. Saldanha, G. Sanchez, C. Marcon, and L. Agostini, “Learning-Based Complexity Reduction Scheme for VVC Intra-Frame Prediction” 2021 International Conference on Visual Communications and Image Processing, pp.1-5, Dec. 2021. (accessed Nov. 11, 2025). [https://doi.org/10.1109/VCIP53242.2021.9675394]
• J. Park, and B. Jeon, “Fast VVC intra prediction mode decision based on block shapes.” In Applications of Digital Image Processing XLIII, Vol. 11510, pp.581-593, Aug. 2020. (accessed Nov. 11, 2025). [https://doi.org/10.1117/12.2567919]