확대만으로는 충분하지 않다
작은 위장 객체를 보려면 확대가 필요하지만, 너무 가까이 보면 객체 전체 형태와 배경 문맥을 잃는다. 반대로 축소된 장면은 전역 구조를 보여 주지만 세밀한 경계가 사라진다. ZoomNet은 둘 중 하나를 고르지 않고, 같은 장면의 여러 스케일을 triplet input으로 함께 처리한다.
핵심 문제는 단순히 feature pyramid를 쓰는 것과 다르다. 한 입력에서 생긴 네트워크 내부 해상도만 섞는 것이 아니라, 실제로 크기를 달리한 입력이 제공하는 서로 다른 관찰을 정렬하고 교환한다.
mixed-scale triplet
세 스케일의 이미지는 공유된 인코더 계열을 지나며 각자 특징을 만든다. 큰 입력은 작은 객체와 가는 윤곽을 더 많은 픽셀로 표현하고, 작은 입력은 넓은 수용 영역으로 장면의 전체 배치를 압축한다. 기준 스케일은 최종 예측의 공간적 기준점이 된다.
이 구성은 객체 크기 변화뿐 아니라 심한 가림과 흐릿한 외형에도 도움이 된다. 국소 패턴만 보면 배경처럼 보이는 부분을 전역 실루엣이 지지하고, 전역 특징에서 사라진 작은 돌출부를 고해상도 분기가 복구한다.
SIU와 HMU
**Scale Integration Unit(SIU)**은 서로 다른 공간 크기의 특징을 주 스케일에 맞춰 선택적으로 합친다. 단순 resize 후 합산하면 각 위치에서 필요한 스케일이 다르다는 점을 놓친다. SIU는 공간별 가중을 통해 어느 스케일의 정보가 유용한지 조절한다.
그 다음 **Hierarchical Mixed-scale Unit(HMU)**은 통합된 특징을 계층적으로 분해하고 다시 섞어, 다양한 수용 영역의 관계를 디코더 안에서 유지한다. 여러 스케일 정보를 한 번 합치고 끝내지 않고, 예측이 정교해지는 동안 계속 상호작용하게 만든다.
uncertainty-aware loss
위장 객체와 배경의 질감이 거의 같으면 경계 부근의 예측이 낮은 confidence로 흔들린다. 저자들은 후보 영역의 ambiguity를 고려하는 regularization을 추가해, 어려운 위치에서도 더 명확한 예측을 내도록 유도한다. 이 손실은 별도의 확률 모델이라기보다 mixed-scale 특징이 애매한 값을 남기지 않도록 하는 학습 제약에 가깝다.
여기서는 ‘확신이 높다’와 ‘잘 보정된 uncertainty’가 같은 뜻은 아니라는 점을 구분해야 한다. 손실의 주된 목적은 segmentation 품질이며, 실제 위험 판단에 쓸 calibration까지 보장하지는 않는다.
결과를 해석하는 방법
논문은 네 개의 공개 COD 데이터셋에서 폭넓은 기존 방법과 비교하고, SOD에도 적용해 구조의 일반성을 확인한다. 가장 설득력 있는 부분은 데이터셋 하나에만 맞춘 모듈이 아니라 다양한 객체 크기에서 일관된 이득을 보인다는 점이다. 절제 실험에서는 triplet input, SIU, HMU, uncertainty loss가 각각 필요한지 확인한다.
다만 여러 입력 스케일을 각각 인코딩하면 메모리와 연산량이 늘어난다. 정확도 표와 함께 입력 해상도, 추론 속도, 학습 비용을 봐야 실제 효율을 비교할 수 있다.
지금 남는 설계 원칙
ZoomNet이 남긴 핵심은 “multi-scale”이라는 이름이 아니라 스케일별 역할을 명확히 하고, 위치마다 필요한 관찰 범위를 선택하라는 원칙이다. 최근 모델에서는 이미지 피라미드 대신 multi-resolution token이나 deformable attention으로 구현할 수 있지만 질문은 같다.
한계는 중복 계산과 보간이다. 세 입력이 많은 정보를 반복해서 처리하고, 정렬 과정에서 세부 위치가 어긋날 수 있다. 이후 연구에서는 필요한 영역만 고해상도로 재처리하거나, 하나의 인코딩에서 동적으로 수용 영역을 바꾸는 방식이 더 효율적인 대안이 될 수 있다.