토큰당 고정 비트 할당을 통한 프레임 압축기의 설계

1. 고정 비트율 압축 기법

네트워크 대역폭·지연·패킷 손실 제약이 존재하는 실시간 멀티미디어 전송 환경에서는 고정 비트율(CBR) 운용이 전송의 예측 가능성과 지연 관리 측면에서 여전히 핵심적이다. 그러나 표준 비디오 코덱의 비트 생성 메커니즘은 장면 복잡도에 내재적으로 의존하므로, 실제 CBR 운용은 버퍼 모델과 레이트 컨트롤(RC)에 기반한 비트량 보정 기법을 필요로 한다. 이러한 방식에서는 뷰포인트 변화나 텍스처 복잡도 증가 시 QP(Quantization Parameter) 조정, 비트 재분배, GOP 구조 변화 등을 통해 목표 비트율을 지속적으로 추종한다.

MPEG-2 단일 패스 CBR 인코딩을 다룬 Mohsenian 등(1999)은, 부분적으로 인코딩된 스트림의 평균 복잡도 대비 개별 프레임의 상대 복잡도를 추정하여 단일 패스에서 압축 파라미터를 적응적으로 조정함으로써 CBR 제약 하에 품질을 향상시키는 방법을 제시하였다. 이들은 특히 방송·편집 환경에서 CBR 인코더의 매력을 강조하는데, 해당 맥락에서는 디스플레이와 정지(프리즈) 모드 모두에서 고충실도의 비디오 객체 표현이 지속적으로 요구되며, 일정 전송률 운용은 프로그램 멀티플렉싱과 스튜디오 내 시각 분석의 안정성에 직접적으로 기여한다(Mohsenian et al., 1999)^[2].

슬라이스 기반 CBR 레이트 컨트롤을 제안한 Yao 등(2014)은, 표준 해상도 비디오에서 기존 코덱 시스템의 고유 지연(260ms 이상) 문제를 지적하고, 입력을 슬라이스로 세분하여 획득 지연을 축소한 뒤 슬라이스를 기본 단위로 코딩하는 구조를 제시하였다. 프레임/매크로블록 라인 단위의 비트 배분 전략을 통해 재구성 화질을 유지하면서도 시스템 지연을 약 100ms 수준으로 줄여 실시간 처리 요구를 만족함을 보였다(Yao et al., 2014). 이는 CBR 제약 하에서도 구조적(슬라이스) 설계와 RC 알고리즘의 결합으로 지연·버퍼 안정성·품질의 균형점을 실증한 사례다^[12].

Stored B-picture 기반 저지연 RC를 제안한 Sanz-Rodríguez 등(2007)은, B-picture가 예측 효율을 높여 평균 비트율을 추가로 절감할 수 있으나, 프레임 재정렬 및 버퍼 평활화로 인한 지연 증가를 야기한다는 점을 지적한다. 이를 해결하기 위해 P와 Stored B-picture에 상이한 QP/MAD 모델을 두고, GOP 내 적절한 비트 배분을 유도하는 톱니형(saw-tooth) 목표 버퍼 레벨을 도입하여 버퍼 점유·목표 비트율 추종을 개선하였다. 결과적으로 참조 RC 대비 버퍼 안정성과 목표율 수렴성이 향상되었고, 대가로 경미한 화질 저하를 보고하였다(Sanz-Rodríguez et al., 2007). 즉, B-픽처의 효율과 저지연 운용 간 트레이드오프를 CBR 지향 RC로 완화한 연구다^[3].

2. 딥러닝 기반 영상 압축

딥러닝 기반 영상 압축 연구는 2010년대 중반부터 본격화되었다. Ballé 등은 변분 오토인코더(Variational Auto-Encoder)를 활용한 최초의 end-to-end 학습 가능한 영상 압축 시스템을 제안했다^[5]. 이 연구는 기존 JPEG 대비 우수한 성능을 보여주며 딥러닝 압축의 가능성을 입증하였지만 posterior collapse 문제가 있었다. Van den Oord 등은 연속적인 잠재 공간의 posterior collapse 문제를 해결하기 위해 이산적 표현을 도입한 VQ-VAE를 제안했다^[4]. 원래는 음성 합성과 이미지 생성을 목적으로 개발되었지만, 곧 압축 응용으로 확장되었다. 압축 분야에서는 상대적으로 최근에 ResNet 구조가 활용되기 시작했다. Toderici 등은 RNN 기반 압축 모델에서 잔여 연결을 통해 재구성 품질 향상을 달성했으며^[7], Wang 등은 잔여 블록을 활용한 후처리 네트워크로 압축 아티팩트의 효과적인 제거가 가능함을 입증했다^[14].

3. 활성화 함수와 하드웨어 최적화

활성화 함수는 딥러닝 모델의 성능을 결정하는 중요한 요소이다. ReLU^[8] 도입 이후 Leaky ReLU, ELU, SiLU(Swish)^[9,10] 등 다양한 변형들이 제안되었으며, 각각 고유한 장점을 통해 특정 응용에서 우수한 성능을 보였다. SiLU(Swish)는 부드러운 곡선 형태로 인해 기울기 흐름이 개선되어 깊은 네트워크에서 뛰어난 성능을 나타낸다^[10]. 모바일 및 엣지 컴퓨팅의 중요성이 증대되면서 하드웨어 구현을 고려한 활성화 함수 연구가 활발해졌다. Howard 등은 MobileNet에서 복잡한 지수 함수를 선형 구간별 함수로 근사한 HardSwish와 Hardsigmoid를 개발하여 하드웨어 구현 비용을 크게 줄이면서도 성능을 유지하였다^[11].

4. Batch Normalization 배치 순서

Batch Normalization의 위치는 딥러닝 모델 설계에서 지속적인 연구 주제이다. 원래 BN은 Ioffe와 Szegedy에 의해 Conv-BN-Activation 순서로 제안되었다^[12]. 그러나 이후 연구들에서 다른 순서가 특정 상황에서 더 나은 성능을 보일 수 있음이 밝혀졌다. He 등은 ResNet의 후속 연구에서 BN-ReLU-Conv 순서(Pre-activation)를 제안하여 더 깊은 네트워크에서 안정적인 학습이 가능함을 보였다^[15]. Xie 등은 다양한 정규화 기법과 활성화 함수의 조합을 체계적으로 분석했다^[16]. 압축 응용에서는 정규화의 효과가 더욱 중요할 수 있다. 압축 과정에서 발생하는 정보 손실로 인해 학습이 불안정해질 수 있으며, 적절한 정규화는 이를 완화하는 데 도움이 된다.

1. 전체 아키텍처

본 논문에서 제안하는 4:1 고정 비트율 프레임 압축기는 Vector Quantization Variational AutoEncoder(VQ-VAE) 아키텍처를 기반으로 한다. VQ-VAE는 연속적인 잠재 공간 대신 이산적인 코드북을 사용하여 더 안정적인 학습과 효율적인 압축을 가능하게 하며^[4], 특히 목표 비트율을 직접 제어할 수 있다는 장점을 가진다^[5]. 제안하는 시스템은 인코더, 벡터 양자화기, 디코더로 구성되며, 공간적 다운샘플링 없이 벡터 양자화기의 코드북 인덱스를 6비트로 고정하여 정확한 4:1 압축비를 달성한다.

Fig. 1.

Proposed architecture

입력 RGB 프레임 $$ x\in {\mathbb{R}}^{H\times W\times 3}$$에 대해 인코더 E_θ는 동일 해상도의 잠재 특징 $$ z\in {\mathbb{R}}^{H\times W\times C}$$를 산출한다. 벡터 양자화기 Q는 각 위치 (h, w)의 연속 벡터 z_h,w를 코드북 $$ \text{C}={\left\{e_k\right\}}_{k=1}^K$$의 인덱스 $$ i_{h,w}\in \left\{1,\dots ,K\right\}$$로 치환하여 인덱스 맵 $$ I\in {\left(1,\dots ,K\right)}^{H\times W}$$을 생성한다. 본 연구에서는 K = 64를 사용하므로 위치당 log₂K = 6bit가 필요하고 원본 영상이 픽셀당 24bit(RGB 8:8:8 구성)인 점을 고려하면, 제안 기법에서는 모든 픽셀에 정확히 6비트를 강제 할당함으로써 픽셀 단위에서 정확히 4:1의 비트 축소가 이루어진다. 이에 따라 프레임 전체의 출력 비트량 또한 항상 원본 대비 25%로 일정하게 유지되므로, 프레임 저장 및 전송 과정에서 정확한 고정 비트율을 보장할 수 있다. 디코더 D_∅는 I를 임베딩으로 복원한 후 $$ \widehat{x}=D_{\varnothing }\left(embed\left(I\right)\right)$$를 출력한다. 프레임당 비트 수는 $$ {Bit}_{frame}=H\times W\times {\text{log}}_{2}K$$로 결정적이며 엔트로피 코딩에 의존하지 않으므로 비트스트림 길이가 입력 통계에 좌우되지 않고 프레임당 비트 수가 상수로 고정되어 지터, 버퍼 변동을 최소화하고 네트워크 대역폭, 저장 용량, 지연 상한을 사전에 정확히 산출할 수 있다.

2. 개선된 Residual Block 구조

제안하는 압축기의 핵심 구성 요소는 개선된 Residual block이다. 잔여 학습 구조는 ResNet에서 처음 제안된 이후 딥러닝 모델의 훈련 안정성과 성능 향상에 중요한 역할을 해왔으며, 영상 처리 분야에서도 세밀한 디테일 보존에 기여하는 것으로 알려져 있다^[6]. 본 연구에서는 기존의 Conv-BN-Activation 순서 대신 BN-Activation-Conv 순서를 채택하여 이른바 pre-activation 효과를 부여한다. 이는 정보 병목이 필연적인 압축 태스크에서 발생하는 학습 불안정과 기울기 소실 문제를 완화하고, VQ 단계로 전달되는 잠재 분포의 안정성을 높이기 위함이다.

Fig. 2.

Proposed residual block

구체적인 Residual block의 구조는 입력 특징 맵의 정규화를 통해 학습 안정성을 향상시키는 Batch Normalization, SiLU의 하드웨어 친화적 근사로서 높은 표현력과 구현 효율성을 동시에 제공하는 Hard swish^[11] 활성화 함수, 그리고 특징 추출 및 변환을 수행하는 Convolution 연산의 순서로 구성된다. 이러한 pre-activation 구성은 두 가지 관점에서 압축 태스크와 정합적이다. 첫째, 프레임 압축은 본질적으로 정보 병목을 도입하기 때문에 과도한 비선형, 축소가 고주파 성분의 손실을 유발하기 쉽다. 제안 블록은 항등 경로를 통해 세부 구조를 보존하고 변환 경로는 의미 압축을 수행함으로써 정보 보존과 요약 사이의 균형을 유지한다. 둘째, 본 연구는 공간적 다운샘플링 없이 채널 차원 변환만으로 압축을 수행하므로 블록 수준의 안정적 변환이 곧 공간 정밀도 유지로 직결된다. 이는 후단 편집, 분석, 프레임 정렬성 요구가 높은 응용에서 유리하다. 또 본 블록 설계는 VQ 단계와의 상호작용 측면에서도 유리하다. VQ는 연속 잠재 z를 코드북 벡터에 최근접 할당하는 과정이며 이때 z의 스케일, 분포 안정성은 코드북 경쟁 균형과 시간적 일관성을 좌우한다. 블록 선두의 BN은 z의 통계를 일정하게 유지하여 특정 코드의 과도한 점유로 인한 코드북 붕괴 경향을 억제한다. 학습 및 배포 효율성도 고려하였다. Hard Swish는 비선형부의 연산 복잡도를 낮추어 FPGA/엣지 환경에서 지연, 전력, 자원 제약을 만족시키는데 유리하며 프레임 단위 고정 비트율 전송과 결합되어 큐잉 지연과 버퍼 변동을 구조적으로 억제한다.

3. 인코더 구조

제안하는 압축기의 인코더는 입력 이미지를 벡터 양자화에 적합한 잠재 표현으로 변환하는 역할을 수행한다. 인코더는 초기 특징 추출부, 핵심 압축부, 최종 매핑부로 구성되어 점진적인 특징 압축과 표현 학습을 수행한다. 초기 특징 추출부는 단일 convolution 레이어로 구성되어 입력 RGB 이미지를 고차원 특징 공간으로 매핑한다. 이 과정에서 픽셀 단위의 원시 정보가 의미 있는 특징 표현으로 변환되며, 후속 압축 과정을 위한 기초 특징이 추출된다. 핵심 압축부에서는 3개의 개선된 residual 블록이 순차적으로 배치되어 특징의 압축과 추상화를 수행한다. 각 residual 블록은 앞서 설명한 BN-Hard_swish-Conv 구조를 따르며, 블록 간에는 배치 정규화와 Hard_swish 활성화 함수가 적용된 convolution 레이어가 삽입되어 안정적인 특징 변환을 보장한다. 이러한 구성을 통해 인코더는 원본 이미지의 중요한 의미 정보를 보존하면서도 효율적인 압축을 달성한다. 최종 매핑부는 압축된 특징을 벡터 양자화기에 적합한 형태로 변환하는 역할을 담당한다. Hard_swish 활성화 함수를 통해 최종 특징 변환이 수행되며, 이를 통해 생성된 잠재 표현은 벡터 양자화기로 전달되어 이산적인 코드북 벡터로 매핑된다. 전체 인코더 구조는 공간적 다운샘플링 없이 채널 차원에서의 특징 변환에 집중하여 세밀한 공간 정보를 보존하면서도 재구성에 필요한 핵심 특징만을 효율적으로 표현하도록 인코더를 설계하였다.

Fig. 3.

Proposed encoder

4. 벡터 양자화기

벡터 양자화기는 인코더에서 출력된 연속적인 잠재 표현을 이산적인 코드북 벡터로 매핑하는 핵심 구성 요소이다. 제안하는 벡터 양자화기는 고정 비트율을 엄격히 보장하기 위해 크기 K=64의 임베딩 벡터로 구성된 코드북을 사용하여 코드북 인덱스는 log₂ K = 6비트로 표현되므로 토큰당 전송 비트 수가 고정되어 비트율이 일정하게 유지된다. 각 임베딩 벡터는 256차원으로 설정하였다. 임베딩 차원은 표현력과 학습 ·메모리 비용 간의 고전적인 트레이드오프를 형성하며, 차원이 너무 작으면 재구성 품질이 저하되고 지나치게 크면 학습 ·메모리 비용이 급증하기 때문에 코드북 크기와 임베딩 차원의 균형을 적절히 조정해야 한다. 이와 관련해서는 기존 벡터 양자화 기반 이미지 표현 연구들에서 표현력과 연산 복잡도 간의 균형점으로 검증된 구성을 참조하였다^[4]. 이를 통해 정확한 4:1 압축비를 달성하고 고정 비트율 압축의 핵심 요구사항인 일정한 압축 성능을 보장한다. 양자화 과정에서는 입력 특징과 코드북 벡터 간의 유클리드 거리를 계산하여 가장 가까운 벡터를 선택하는 방식을 사용한다. 거리 계산은 효율적인 행렬 연산을 통해 수행되며, 벡터 양자화 과정에서 발생하는 손실은 양자화 손실과 commitment 손실로 구성된다. Commitment cost는 0.25로 설정하여 인코더가 코드북에 맞춰 학습되도록 균형을 맞추며, 양자화 과정에서 발생하는 미분 불가능성 문제를 해결하기 위해 straight-through estimator를 사용하여 순전파에서는 양자화된 값을 사용하고 역전파에서는 기울기를 직접 전달함으로써 end-to-end 학습을 가능하게 한다. 코드북의 모든 벡터가 효율적으로 사용되도록 하기 위해 사용량 추적 메커니즘을 도입하였다. 코드북은 훈련 시 전체 시퀀스에 공통적으로 사용하며 연속으로 20회 이상 사용되지 않은 코드북 벡터는 자동으로 새로운 입력 특징으로 교체되어 코드북의 표현력을 유지하며, 이는 코드북 붕괴 문제를 효과적으로 방지하고 안정적인 학습을 보장한다. 이렇게 학습된 단일 코드북을 추론 시 전체 시퀀스에 공통적으로 사용하였다. 이러한 설계를 통해 제안하는 벡터 양자화기는 목표 압축 효율과 안정적인 학습 성능을 동시에 달성할 수 있다.

Fig. 4.

Vector Quantizer

5. 디코더 구조

디코더는 벡터 양자화된 잠재 표현을 원본 이미지로 복원하는 역할을 수행한다. 그림 5에 나타낸 바와 같이, 디코더는 인코더와 대칭적인 구조로 설계되어 압축된 정보만으로도 고품질 복원이 가능하도록 구성하였다. 초기 복원부는 단일 Conv 레이어로 구성되어 벡터 양자화기로부터 전달받은 코드북 인덱스를 연속적인 특징 맵으로 변환하고 양자화 과정에서 손실된 정보를 보완한다. 핵심 복원부에서는 3개의 residual 블록이 인코더와 역순으로 배치되어 점진적인 특징 복원을 수행한다. 각 residual 블록 사이에 삽입된 BN-Hard swish-Conv 레이어는 배치 정규화를 통한 안정적인 학습과 Hard swish 활성화 함수를 통한 비선형적 표현력을 동시에 확보한다. 이러한 구성은 압축 과정에서 손실된 세부 정보를 단계적으로 복원하며, 잔여 연결을 통해 중요한 특징 정보의 전파를 보장한다. 최종 복원부는 Hard Sigmoid 활성화 함수로 복원된 특징을 최종 이미지 픽셀 값으로 변환한다. 이러한 구조를 통해 디코더는 압축된 잠재 표현으로부터 원본과 시각적으로 구별하기 어려운 수준의 고품질 이미지 복원을 달성한다. 추론 시 디코더는 학습된 코드북을 모델 가중치에 포함된 상태로 사용한다. 따라서 복원에 필요한 모든 임베딩 벡터가 로컬에 존재하며, 전송되는 정보는 오직 코드 인덱스뿐이다. 이는 추가적인 코드북 전송이나 동적 업데이트 없이도 정확한 4:1 고정 비트율과 예측 가능한 메모리 사용량을 유지할 수 있다는 장점을 제공한다.

Fig. 5.

Proposed decoder

1. 실험 설정

제안된 VQ-VAE 아키텍처의 성능을 검증하기 위해 고해상도 이미지 데이터셋인 HEVC-B를 사용하여 실험을 수행하였다. 실험 데이터는 1920×1080 해상도의 이미지를 64×64 픽셀 크기의 세그먼트로 분할하여 총 120,000개의 세그먼트를 생성하였다. 학습은 NVIDIA GeForce RTX 4070Ti에서 배치 크기 64, AdamW 옵티마이저를 적용한 학습률 1e-4, 총 50 에폭으로 설정하여 진행하였다.

2. 학습 안정성 분석

그림 6-(a)와 6-(b)에서 보는 바와 같이 학습 과정에서 train loss와 validation loss가 유사한 패턴으로 수렴하며 두 손실 간의 차이가 적게 나타났다. 이는 모델이 과적합 없이 안정적으로 학습되었음을 의미하며, 제안된 아키텍처의 일반화 성능이 우수함을 보여준다. 학습 곡선의 안정적인 수렴 패턴은 제안된 아키텍처의 핵심 구성 요소들이 네트워크 최적화에 효과적으로 기여했음을 시사한다. 인코더와 디코더에 각각 3개씩 배치된 residual 블록은 잔여 연결을 통해 깊은 네트워크에서 발생할 수 있는 기울기 소실 문제를 해결하여 안정적인 학습을 가능하게 했으며, 입력 특징과 변환된 특징을 직접 결합함으로써 정보 손실을 최소화했다. Conv-BN-Hard swish와 BN-Hard swish-Conv 순서로 구성된 배치 정규화는 각 레이어의 입력 분포를 안정화하여 압축 과정에서 발생하는 정보 손실로 인한 학습 불안정성을 효과적으로 해결했다. Hard swish 활성화 함수는 하드웨어 친화적 특성을 유지하면서도 부드러운 비선형성을 제공하여 복잡한 이미지 패턴의 세밀한 특징 표현을 가능하게 하여 전체적으로 안정적인 학습 환경을 조성했다.

Fig. 6.

(a) Comparison graph of Kimono sequence validation PSNR and training PSNR (b) Comparison graph of Kimono sequence validation loss and training loss

3. 정량적 성능 평가

성능 지표 측면에서 학습 진행에 따른 단계별 성능 향상을 확인할 수 있었다. 학습 초기에는 양자화기와 디코더가 충분히 적응하지 못해 색 번짐과 윤곽 흐림이 두드러진다. 1 epoch 기준으로 성능은 HEVC-B의 모든 영상 시퀀스에 대해 평균 PSNR: 34.53dB, 평균 SSIM: 0.96 수준으로 관찰된다. 10 epoch부터는 pre-activation residual 구조가 안정적인 기울기 흐름을 제공하면서 엣지 선명도와 색 정확도가 뚜렷이 개선된다. 특히 미세 질감과 고명암 대비 경계에서의 ringing/banding이 현저히 감소한다. 장기간 미사용 엔트리를 재활성화하여 50 epoch이 가까워질수록 표현력 유지와 시간적 일관성을 확보한다. 잔존하던 저주파 색 편향과 고주파 과보정이 완화되며 세부 질감이 안정화된다. 최종 성능은 평균 PSNR: 43.92dB, 평균 SSIM: 0.99 수준으로 관찰된다.

Fig. 7.

(a) Comparison graph of BQTerrace sequence validation PSNR and training PSNR (b) Comparison graph of BQTerrace sequence validation loss and training loss

4. 시각적 품질 평가

그림 8의 시각적 품질 평가 결과는 정량적 성능 평가 지표와 일관된 경향을 보인다. 먼저 학습, 추론 모두 40dB 이상의 PSNR 구간에서는 원본 대비 복원 영상의 차이를 관찰자 수준에서 식별하기 어렵다. 세부 구조 보존 측면에서, 실내 체육관의 목재 패턴, 카페 난간과 테라스의 미세 구조, 직물과 실타래의 반복 질감, 수목과 잎의 고주파 성분 등 복잡한 텍스처에서 과평활이나 노이즈 증폭 없이 미세 대비가 유지된다. 이는 다운샘플링 없이 채널 변환 중심으로 설계된 인코더와 코드북 활용 균등화 덕분에 고주파 성분의 선택적 표현력이 유지된 결과로 해석된다. 고명암 대비 경계에서는 ringing과 halo가 억제되어 자연스러운 edge 전이가 관찰된다. 특히 금속 난간과 같은 주기적 패턴에서 aliasing 징후가 두드러지지 않으며 이는 벡터 양자화 기반 표현이 블록 변환 기반에서 흔한 blocking 아티팩트를 야기하지 않기 때문이다. 색 재현 관점에서는 빨간 직물과 피부 톤에서 색상 편향이나 chroma bleed가 두드러지지 않고 명암 변화에 다른 색상 이동이 제한적이다. 이는 학습 중 Hard-Swish 기반의 pre-activation residual block이 기울기 흐름을 안정화하여 채널 간 상관 구조를 과도하게 왜곡하지 않도록 작동한 결과와 합치한다.

Fig. 8.

(a) Comparison graph of Basketball sequence validation PSNR and training PSNR (b) Comparison graph of Basketball sequence validation loss and training loss

Fig. 9.

(a) Comparison graph of Cactus sequence validation PSNR and training PSNR (b) Comparison graph of Cactus sequence validation loss and training loss

Fig. 10.

(a) Comparison graph of ParkScene sequence validation PSNR and training PSNR (b) Comparison graph of ParkScene sequence validation loss and training loss

Fig. 11.

Train result

Fig. 12.

Visual comparison of results