이 서베이를 먼저 읽을 이유
초해상도 논문을 처음 따라가면 EDSR, RCAN, ESRGAN, SwinIR처럼 모델 이름부터 외우기 쉽다. 하지만 실제로 논문을 비교할 때 더 중요한 질문은 따로 있다. 저해상도 영상이 어떤 과정으로 만들어졌는지, 복원 결과에서 픽셀 충실도와 자연스러운 질감 중 무엇을 우선하는지, 그리고 제한된 메모리와 연산량 안에서 어디까지 성능을 끌어올리는지가 핵심이다. 이 서베이는 딥러닝 기반 단일 영상 초해상도 연구를 이런 설계 목표에 따라 정리한다.
논문 자체는 2021년 공개 당시의 연구 흐름을 반영하므로 최신 모델 목록으로 쓰기에는 시간이 지났다. 그럼에도 입문 자료로 가치가 남는 이유는, SISR을 구성하는 요소를 비교적 안정적인 축으로 나눠 놓았기 때문이다. 새로운 모델을 읽을 때도 이 축은 그대로 적용된다.
문제를 네 조각으로 나눠 보기
첫째는 열화 과정이다. 흔한 벤치마크는 고해상도 영상을 정해진 보간법으로 축소해 저해상도 입력을 만든다. 반면 실제 카메라 영상에는 블러, 센서 노이즈, 압축, 비선형 후처리가 한꺼번에 섞인다. 같은 4배 복원이라도 입력 생성 과정이 다르면 문제 난도가 크게 달라진다.
둘째는 특징 추출과 업샘플링이다. 초기 CNN 계열은 잔차 연결과 깊은 합성곱을 중심으로 발전했고, 이후 채널·공간 주의, 비지역 연산, Transformer가 장거리 의존성을 다루기 시작했다. 업샘플링도 입력을 먼저 키우는 방식, 특징 공간에서 계산한 뒤 마지막에 키우는 방식, 점진적으로 배율을 높이는 방식으로 나뉜다. 어느 위치에서 해상도를 올리는지는 계산량과 정보 보존 방식에 직접 영향을 준다.
셋째는 학습 목표다. L1·L2 계열 손실은 PSNR을 높이는 데 유리하지만, 사람이 보기 좋은 미세 질감을 항상 복원하지는 않는다. 지각 손실과 적대적 학습은 더 그럴듯한 결과를 만들 수 있지만 원본에 없던 질감을 생성할 위험도 있다. 이 지점에서 성능은 단일 숫자가 아니라 왜곡과 지각 품질 사이의 선택이 된다.
넷째는 평가 조건이다. PSNR과 SSIM은 여전히 기본 지표지만, 색 공간·크롭 범위·스케일·테스트 코드가 다르면 숫자가 쉽게 달라진다. 시각적 품질을 다루는 논문은 정량 지표와 함께 실패 사례를 확인해야 한다.
논문을 읽을 때 바로 쓸 체크리스트
새 SISR 논문을 볼 때는 먼저 입력이 bicubic으로 생성됐는지, 실제 열화를 다루는지 확인한다. 그다음 학습 데이터와 테스트 데이터의 분포가 얼마나 가까운지, 파라미터 수뿐 아니라 FLOPs와 실제 추론 메모리를 함께 보고, 마지막으로 저자가 선택한 손실이 결과의 성격을 어떻게 바꾸는지 살핀다. 이 순서를 지키면 “0.1 dB 향상” 같은 문장보다 연구가 해결한 조건과 남겨 둔 조건이 더 잘 보인다.
지금 다시 읽었을 때의 한계
서베이의 분류는 CNN 중심 시대에서 만들어졌고, 이후 확산 모델·암시적 표현·대형 사전학습 모델·생성형 복원처럼 경계가 흐린 접근이 크게 늘었다. 실제 영상 초해상도에서는 데이터 생성 파이프라인과 주관적 품질 평가가 더 중요해졌다. 따라서 이 글은 최신 기술 목록보다 기본 좌표계로 사용하는 편이 맞다.
읽고 남은 판단
이 서베이의 가장 좋은 용도는 특정 모델을 추천받는 것이 아니라, 초해상도 연구를 읽는 순서를 배우는 것이다. 모델 구조보다 먼저 열화 모델, 학습 목표, 평가 프로토콜을 확인하면 논문의 주장과 실제 적용 범위를 훨씬 정확하게 구분할 수 있다.