스파이크 신경망을 활용한 편광합성개구레이다 영상 기술 연구

1. Spiking Neural Network

스파이킹 신경망(Spiking Neural Network, SNN)은 생물학적 신경망을 모방한 신경망 모델로, 신경 세포의 발화와 시간 정보를 활용하여 신경 신호를 처리한다. 기존의 인공신경망(Artificial Neural Network, ANN)과 달리 이벤트 기반으로 작동하며, 계산 및 에너지 효율성이 높은 모델로 주목받고 있다. 스파이킹 뉴런 모델에는 Hodgkin-Huxley(H-H)^[6] 모델, IF(Integrate-and-Fire)^[7] 모델, LIF(Leaky Integrate-and-Fire)^[8] 모델 등이 있다. 본 연구에서는 SNN의 동작 원리를 수학적으로 쉽게 모델링한 LIF을 사용한다.

Fig. 1.

Example of LIF Model

LIF 모델은 뉴런의 전기적 특성을 단순화하여 모델링한 것으로, 입력 신호가 일정 임계값에 도달하면 뉴런이 발화하고 막전위를 초기화한다. 이 과정에서 뉴런은 입력 신호가 시간이 지남에 따라 점진적으로 감소하는 특성을 포함한다.

LIF 모델은 뉴런의 충전(Charging), 방전(Discharging), 휴식(Resting)을 가지고 있으며 다음과 같은 미분 방정식으로 막전위의 변화를 표현할 수 있다.

위의 식 (1)에서 V(t)는 시간 t에서의 뉴런 막전위(membrane potential), V_rest는 안정 상태 전위(resting potential), R_m은 뉴런의 입력 저항(input resistance), I(t)는 시간 t에서의 입력 전류(input current), τ_m = R_mC은 막전위 시간 상수(membrane time constant)를 의미한다. 이 미분 방정식은 LIF 뉴런이 전류 자극에 따라 막전위가 변화하는 연속 동역학을 표현한다.

위의 식 (2)는 일정한 전류 I₀가 입력될 때, 시간에 따라 막전위가 지수적으로 증가하는 충전 과정을 나타낸다. 초기 막전위가 V_rest이고, 입력이 지속될수록 막전위는 점차 포화 상태에 도달한다. 이는 LIF 모델의 중요한 생물학적 특성을 반영한 식이다.

위의 식 (3)에서 H[n]은 충전 상태 예측값, X[n]은 입력 자극, V[n]은 시간 n에서의 뉴런 막전위, V_reset은 스파이크 후 초기화 전위, S[n]은 뉴런의 스파이크 발화 여부(0 또는 1), V_th는 발화 임계값, Θ(x)는 계단 함수(Heviside Step Function)이다. 이 수식은 뉴런이 입력을 받아 충전하고, 임계값 도달 시 발화 및 막전위 리셋 과정을 이산 시점에서 계산하는 과정을 나타낸다. 대부분의 딥러닝 프레임워크에서는 이 이산 모델을 기반으로 구현된다.

2. Spike-Timing-Dependent Plasticity

스파이크 시차 의존 가소성(Spike-Timing-Dependent Plasticity, STDP)^[9]은 뉴런 간의 연결 강도(가중치)가 시냅스 전후의 발화 시간 차이에 따라 변화하는 학습 메커니즘이다. 이는 생물학적 신경망에서 관찰된 헤비안(Hebbian) 학습 원리를 SNN에 적용한 것으로 STDP는 스파이크 뉴런의 불연속적인 특성에 따른 역전파의 사용할 수 없는 점을 대신해서 SNN에서 학습과 적응을 가능하게 한다. STDP는 다음과 같은 규칙으로 작동한다.

STDP는 뉴런 간의 시공간적 관계를 학습하며, SNN의 자율적 학습 능력을 향상시킨다. 또한 입력 신호 패턴을 시간에 따라 동적으로 학습하고 적응할 수 있는 능력을 제공한다.

위의 식 (4)에서 A₊ (w)는 LTP, A_- (w)는 LTD를, η는 학습률(Learning Rate), w_init는 초기 시냅스 가중치, w는 현재 시냅스 가중치 값이다. 이 수식은 Spike-Timing- Dependent Plasticity(STDP) 학습 규칙을 간결하게 나타낸 것으로, 시냅스 전 뉴런의 발화가 시냅스 후 뉴런보다 먼저 발생할 경우 가중치가 증가하는 장기 시냅스 강화(Long-Term Potentiation, LTP)가 일어나며, 반대로 시냅스 후 뉴런이 먼저 발화할 경우 가중치가 감소하는 장기 시냅스 감소(Long-Term Depression, LTD)가 발생한다.

3. 인코딩 방법(Encoding Method)

SNN은 이벤트 기반 모델로 작동하기 때문에 입력 데이터를 스파이크 신호로 변환해야 한다. 이러한 변환 과정을 스파이크 인코딩(Spike Encoding)^[10]이라 하며, SNN의 작동에 필수적이다. 정적인 데이터를 SNN이 처리할 수 있는 연속적인 형태로 변환해야 하며 이렇게 변환된 데이터는 입력 신호의 패턴을 시간 축으로 표현하여 SNN의 특성을 극대화할 수 있다. 이번 연구에서는 Rate Coding을 사용했으며, Rate Coding은 입력 신호의 강도를 발화 빈도로 변환하는 방법이다. 입력값의 크기에 비례하여 스파이크를 생성하는 방법으로 구현이 간단하며 대부분의 SNN에서 쉽게 적용할 수 있고 입력 신호의 강도를 직관적으로 표현할 수 있는 장점이 있지만, 스파이크 빈도를 기반으로 하여 시간 정보를 풍부하게 표현하지 못할 수 있다는 단점이 있다.

1. 백본 네트워크: Spiking VGG-9 with BNTT

제안된 프레임워크의 백본 네트워크는 스파이킹 버전의 VGG-9 구조로, 시간 정보 처리를 위한 학습 방식으로 BNTT(Backpropagation Through Time)를 채택하였다^[11]. 본 구조는 스파이크 입력을 처리할 수 있는 합성곱 계층으로 구성되어 있으며, VGG 계열의 특징 추출 능력을 유지하면서도 SNN 특유의 에너지 효율성과 이벤트 기반 연산 구조를 통합하였다.

Fig. 2.

Proposed spiking VGG-9 with BNTT architecture

왼쪽부터 오른쪽까지 순서대로 Input Image, Spike Encoding, Spike Neural Network, Feature Fusion & Attention Mechanism, Multi-Layer Perceptron & Classifier로 구성되어 있다.

2. 특징 융합과 어텐션 메커니즘(Feature Fusion & Attention Mechanism)

PolSAR 이미지의 고차원 편광 특성과 스펙클 노이즈 문제를 해결하기 위해, 본 연구에서는 특징 융합(feature fusion)과 CBAM(Convolutional Block Attention Module) 기반 어텐션 메커니즘을 적용하였다.

2.1 특징 융합(Feature Fusion) 방법

특징 융합은 다양한 편광 채널의 정보를 하나의 통합된 표현으로 결합하는 방법으로, 본 연구에서는 Early Fusion과 Late Fusion 두 가지 전략을 비교하였다.

왼쪽 그림은 초기 융합, 오른쪽 그림은 후기 융합을 보여준다.

초기 융합(Early Fusion): 입력 단계에서 서로 다른 채널의 특징을 연결(concatenate)하여 하나의 통합 표현으로 구성한다. 이 방식은 연산 효율이 높고, 모델 전반에 걸쳐 융합된 정보를 학습할 수 있다.

대표적으로 그림 3과 같이 입력 특징 F_A, F_B를 연결하여 초기 융합 특징 F를 생성한다.

$\[ F_{early}=concat\left(\left[F_A;F_B\right]\right) \]$

(5)

Fig. 3.

Proposed feature fusion

위의 식 (5)에서 F_early는 연결된 통합 특징 맵(초기 융합 특징)이고, F_A, F_B는 각각 입력 편광 채널 A와 B의 특징 맵이다. 위 과정을 거쳐서 F_early를 얻는다.

후기 융합(Late Fusion): 백본 네트워크를 통해 추출된 고차원 특징을 결합하는 방식으로, 연결(concatenate), 덧셈(add), 곱셈(multiply) 방식이 모두 고려되었다.

$\[ F_{late}=concat\left(\left[SNN\left(F_A\right);SNN\left(F_B\right)\right]\right) \]$

(6)

위의 식 (6)에서 F_late는 기 융합 결과로 생성된 통합 특징 맵이고, F_A, F_B는 각각 입력 편광 채널 A와 B의 특징 맵, SNN은 사용할 SNN 모델이다. 각 입력 특징 F_A, F_B를 모델 SNN을 통과하여 얻은 특징들을 연결하여 그림 3의 오른 그림과 같이 통합된 특징 F_late를 얻는다.

2.2 어텐션 메커니즘(Attention Mechanism) 방법

어텐션 매커니즘(Attention Mechanism)^[12]: 본 연구에서는 CBAM(Convolutional Block Attention Module)을 네트워크에 통합하여, 중요한 특징에 가중치를 부여하는 방식으로 모델의 표현력을 강화하였다. CBAM은 채널 주의(channel attention)와 공간 주의(spatial attention) 모듈로 구성되며, 이를 순차적으로 적용한다.

Fig. 4.

Proposed CBAM attention module

채널 어텐션은 평균 풀링과 최대 풀링을 통해 채널 간 중요도를 계산한 후, 다층 퍼셉트론(MLP)을 통해 각 채널별 가중치를 산출한다.

공간 어텐션은 2D 특징 맵에 대해 평균/최대 풀링 후, 7×7 컨볼루션을 적용하여 중요한 위치 정보를 강조한다.

$\[ \begin{array}{c}{F}^{\prime }=M_c\left(F\right)\mathrm{*}F\hfill \\ F^{\prime \prime }=M_s\left(F\right)\mathrm{*}F\hfill \\ M_c\left(F\right)=\sigma \left(MLP\left(AvgPool\left(F\right)\right)+MLP\left(MaxPool\left(F\right)\right)\right)\hfill \\ M_s\left(F\right)=\sigma \left(f^{7\times 7}\left(\left[AvgPool\left(rF\right);MaxPool\left(F\right)\right]\right)\right)\hfill \end{array} \]$

(7)

여기서 F′은 채널 주의 어텐션을 사용하여 통합된 특징이고, F′′는 공간 주의 어텐션을 사용하여 통합된 특징, M_c는 채널 주의 어텐션(Channel Attention)을 적용한 특징 맵, M_S는 공간 주의 어텐션(Spatial Attention)을 적용한 특징 맵이다. M_c는 평균 풀링(avg pooling), 최대 풀링(max pooling), 다층 퍼셉트론(MLP)을 통해 채널별 중요도를 계산하고, M_s는 7×7 컨볼루션과 시그모이드 함수를 통해 공간적 중요도를 추출한다. MLP는 다층 퍼셉트론, AvgPool은 평균 풀링, MaxPool은 최대 풀링, σ는 시그모이드 함수, f^{7 × 7}은 7 × 7 풀링을 의미한다.

CBAM은 비교적 경량화된 구조로 다양한 네트워크에 쉽게 통합 가능하며, 본 연구에서는 각 시간 단계에서 합성곱 연산 전 위치에 삽입되어 적용되었다. 참고로 본 연구에서는 다른 어텐션 구조들(spatial-only, triplet 등)은 실험에 포함하지 않았으며, CBAM의 적용 효과만을 중심으로 분석하였다.

3. 분류기 및 손실함수(Classifier and Loss Function)

최종적으로 융합된 특징은 의사결정을 위해 다층 퍼셉트론(MLP) 분류기에 전달된다. 네트워크 학습을 위해 다중 클래스 분류 작업에 적합한 크로스 엔트로피 손실함수(Cross-Entropy Loss)를 사용하였다. 이 손실함수는 올바른 클래스 확률을 강조하고 잘못된 예측에 페널티를 부여하여 네트워크를 효과적으로 최적화한다.

1. 실험 설정

제안한 SNN 기반 PolSAR 이미지 분류 프레임워크의 성능을 평가하기 위해 OpenSARShip 2.0 데이터셋을 사용하여 다양한 융합 전략에 따른 성능 비교 실험을 수행하였다. 사용된 데이터는 HH(수직 편광), VV(수평 편광) 채널로 구성되어 있으며, 모델은 동일한 네트워크 구조(Spiking VGG-9 with BNTT)를 기반으로 설계되었다.

Table 1.

Experiment Setting

실험은 Python 3.8, PyTorch 1.12.1 환경에서 진행되었으며, 하드웨어는 NVIDIA GeForce RTX 3070 GPU를 사용하였다. 입력 이미지는 64×64 해상도(Image Size)이며, 시간 단계(Time Step)는 10, 배치 크기(Batch Size)는 16으로 설정하였다. 최적화 기법(Optimizer)으로는 SGD(Stochastic Gradient Descent)를 사용하였고, 학습률(Learning Rate)은 0.01로 고정하였다. 전체 학습은 200 epoch 동안 수행하였으며, 훈련/검증 데이터(Train/Test data)는 8:2의 비율로 분할하였다.

본 실험에서는 정적 이미지를 입력으로 사용하기 때문에, Spike Encoder로는 Rate Coding을 적용하였다. 모든 실험은 같은 조건 하에서 진행되어 비교의 공정성을 확보하였다.

2. 실험 결과 및 분석

본 연구는 OpenSARShip 2.0 데이터셋의 두 편광 채널(수직 편광 HH, 수평 편광 VV)을 활용하여, 특징 융합과 어텐션 메커니즘이 PolSAR 이미지 분류 성능에 미치는 영향을 정량적으로 평가하였다. 실험은 다음과 같은 네 가지 전략으로 수행되었다. 1) 단일 채널 기반 모델(HH, VV) 2) 초기 융합(Early Fusion) 3) 후기 융합(Late Fusion - Add, Multiply, Concatenate) 4) 초기 융합에 어텐션 메커니즘(CBAM)을 적용한 방식 각 실험은 동일한 Spiking VGG-9 with BNTT 구조를 기반으로 진행되었으며, 공정한 비교를 위해 동일한 하이퍼파라미터와 학습 조건을 적용하였다. 주요 실험 결과는 다음 표 2와 같다.

Table 2.

Experimental results for each feature fusion and attention mechanism

정확도 분석 결과, 초기 융합(Early Fusion) 방식이 65.0767%로 가장 높은 성능을 보였으며, 단일 채널 VV 방식은 62.2807%로 가장 낮은 성능을 기록하였다. 융합 방식에 따른 정확도 순위는 초기 융합, 초기 융합 + 어텐션 메커니즘(Attention), 후기 융합(Late Fusion), 단일 채널 방식 순으로 나타났다. 한편, 정밀도(Precision), 재현율(Recall), F1-Score는 데이터의 클래스 불균형 문제로 인해 micro 방식으로 계산되었으며, 이들 지표에서는 후기 융합 방식이 가장 우수한 값을 기록하였다. 전체적으로 볼 때, 단일 채널 방식 대비 초기 융합 방식은 정확도가 약 3% 향상되었으며, 후기 융합 방식은 정밀도 및 재현율에서 약 10% 이상의 성능 향상을 보였다. 이러한 결과는 특징 융합과 어텐션 메커니즘이 PolSAR 이미지 분석 성능 향상에 효과적으로 기여함을 실험적으로 입증한 것이다.

3. 계산 복잡도 및 모델 비교

본 연구에서는 제안된 Spiking Neural Network 기반 분류 모델의 연산 복잡도(FLOPs), 파라미터 수(Parameters), 평균 추론 시간(Latency)을 측정하여 기존 ANN 구조와 비교 분석하였다. 실험에는 VGG9(ANN 버전), Spiking VGG9 with BNTT, 다양한 특징 융합 방식 및 CBAM 어텐션 모듈이 적용된 모델이 포함되었다.

표 3에서 확인할 수 있듯이, SNN 구조는 ANN 구조에 비해 FLOPs 측면에서는 약 20배 이상 높은 연산량을 요구하지만, 이벤트 기반 연산 방식의 특성상 평균 추론 시간은 실시간 처리가 가능한 수준(8~14ms)으로 유지된다. 이는 시간 단계 단위의 계산을 분산 처리하는 SNN의 구조적 이점에 기인한다.

Table 3.

Comparison of computational complexity and inference performance by model

특히 CBAM 어텐션 모듈이나 Late Fusion 기법은 FLOPs와 파라미터 수를 다소 증가시키지만, 성능 향상과 비교할 때 연산 비용 대비 효율이 높은 것으로 분석된다. 예를 들어, Late Fusion(Multiply)의 경우 상대적으로 높은 정밀도 및 F1-Score를 기록하면서도 추론 지연은 13ms 수준에 머무는 등 실용 가능성이 충분함을 보여준다.

이러한 결과는 SNN이 단순히 에너지 효율적인 구조를 넘어서, 고차원 PolSAR 이미지와 같이 복잡한 데이터를 처리하는 데 있어서도 실시간성과 성능을 양립할 수 있음을 의미한다. 따라서 SNN은 향후 원격탐사 분야에서 저전력 기반 고성능 분석 플랫폼으로 활용 가능성이 크다.