원격탐사 영상에서 “가볍다”는 말의 의미
위성·항공 영상은 한 장의 해상도가 크고, 배치 단위 처리보다 넓은 지역을 타일로 잘라 반복 추론하는 경우가 많다. 이 환경에서는 조금 무거운 네트워크도 전체 처리 시간과 메모리 비용이 빠르게 커진다. 반대로 채널 수만 크게 줄이면 도로, 지붕, 농경지처럼 반복되는 고주파 패턴이 쉽게 뭉개진다. FeNet은 이 두 요구 사이에서 특징을 어떻게 나눠 계산하고 다시 합칠지에 집중한다.
저자들은 기본형보다 더 작은 FeNet-baseline도 함께 제시한다. 중요한 점은 “작은 모델”을 별도 부록처럼 다루지 않고, 처음부터 제한된 장비에서의 사용을 설계 목표에 포함했다는 것이다.
Lightweight Lattice Block
핵심 구성요소인 LLB는 입력 채널을 두 흐름으로 나눈다. 각 분기는 전체 특징의 절반만 담당하므로 계산량을 줄일 수 있다. 단순한 그룹 합성곱과 다른 점은 분리된 두 흐름을 완전히 독립시키지 않는다는 데 있다. 주의 메커니즘으로 얻은 가중치를 이용해 상·하위 분기가 서로 필요한 정보를 교환한다.
이 구조를 읽을 때는 격자 모양 자체보다 분리와 재결합의 균형을 보는 편이 좋다. 분리만 하면 연산은 줄지만 표현력이 떨어지고, 매 단계에서 무거운 융합을 하면 경량화 이점이 사라진다. LLB는 교환 지점을 제한하면서도 한 분기에서 놓친 텍스처를 다른 분기가 보완하도록 만든다.
Feature Enhancement Block이 하는 일
FeNet은 LLB를 중첩해 FEB를 구성한다. 깊이가 다른 층은 서로 다른 정도의 텍스처 정보를 담당하고, 이 특징들을 깊은 층에서 얕은 층 방향으로 순차 융합한다. 원격탐사 영상에는 넓은 구조와 촘촘한 반복 패턴이 동시에 나타나므로, 마지막 특징 하나만 사용하는 것보다 여러 깊이의 정보를 보존하는 편이 유리하다는 판단이다.
여기서 “enhancement”는 새로운 정보를 생성한다기보다, 작은 네트워크 내부에서 이미 계산한 특징을 버리지 않고 다시 쓰는 전략에 가깝다. 경량 모델에서 성능을 만드는 주요 자원이 채널 폭이 아니라 특징 재사용 경로라는 점이 잘 드러난다.
실험을 읽는 법
논문은 원격탐사 데이터와 일반 SR 벤치마크를 함께 사용해 정확도와 복잡도의 균형을 비교한다. 이때 숫자를 볼 때는 같은 배율과 같은 학습 데이터인지 먼저 맞춰야 한다. 파라미터 수가 작아도 연산 그래프가 복잡하면 실제 지연시간이 길 수 있고, 반대로 FLOPs가 비슷해도 메모리 접근 패턴에 따라 장비별 속도가 다를 수 있다. 공개 구현에는 학습·테스트 설정과 체크포인트가 있어 구조를 확인하기 좋지만, 실제 배포를 판단하려면 목표 장비에서 별도 프로파일링이 필요하다.
아쉬운 지점
FeNet은 고전적인 bicubic 열화와 PSNR 중심 평가에 가까운 논문이다. 실제 위성 영상의 센서 노이즈, 대기 영향, 압축, 서로 다른 센서 간 분포 차이를 직접 해결하지는 않는다. 또한 작은 파라미터 수가 곧바로 모바일·엣지 장비의 빠른 실행을 보장하지 않는다.
읽고 남은 판단
FeNet의 가치는 최신 최고 성능보다, 경량 네트워크를 설계할 때 무엇을 보존해야 하는지 보여 주는 데 있다. 채널을 나누되 정보 교환을 끊지 않고, 여러 깊이에서 얻은 텍스처를 재사용한다는 원칙은 이후의 경량 복원 모델을 읽을 때도 유효하다.