광학 영상에서 배운 검출기를 SAR에 옮기기 어려운 이유
SAR 선박 영상의 라벨은 전문 지식과 시간이 필요하다. 반면 광학 영상에는 비교적 풍부한 선박 데이터가 있다. 자연스러운 선택은 광학 도메인에서 학습한 지식을 라벨 없는 SAR 영상으로 옮기는 것이지만, 두 센서의 차이는 일반적인 날씨·색감 변화보다 훨씬 크다. 광학 영상은 반사된 가시광을 기록하고, SAR은 전자기파의 산란 응답을 영상으로 만든다. 형태가 비슷한 선박도 밝기 구조와 배경 통계가 전혀 다르게 나타난다.
이 논문은 하나의 정렬 손실로 전체 간극을 줄이려 하기보다, 입력 생성부터 검출 손실까지 여러 단계에서 문제를 나눠 처리한다.
CycleGAN-SCA로 만드는 전이 영상
첫 단계는 CycleGAN 계열의 cross-domain image generation이다. CycleGAN-SCA는 광학 영상을 SAR과 더 가까운 외형으로 변환해 검출기가 처음부터 너무 큰 분포 차이를 마주하지 않게 한다. 생성 영상은 정답 SAR을 복원하는 것이 아니라, source label을 유지하면서 target 스타일에 가까운 중간 도메인을 만드는 수단이다.
생성형 적응에서 항상 확인할 점은 객체 기하가 보존되는가이다. 선박의 위치·크기·방향이 변하면 기존 bounding box가 잘못된 감독 신호가 된다. 따라서 시각적으로 SAR처럼 보이는지보다, 변환 뒤에도 검출 라벨이 유효한지가 더 중요하다.
배경과 작은 선박을 따로 고려한 검출기
저자들은 복잡한 해상 배경에서 유효한 표현을 얻기 위해 self-attention을 포함한 backbone을 설계한다. 이어 작은 선박의 낮은 해상도와 정보 손실을 줄이기 위한 경량 feature fusion·enhancement neck을 사용한다. 도메인 적응 논문이지만, target task 자체의 어려움도 네트워크 안에 반영한 셈이다.
이 선택은 합리적이지만 결과 해석을 복잡하게 만든다. 성능 향상이 도메인 정렬 때문인지, 더 강한 detector 구조 때문인지 분리해서 봐야 한다. baseline과의 비교에서 backbone·neck·loss를 하나씩 추가한 ablation이 중요한 이유다.
Data Contribution Balance
모든 source·target 샘플을 같은 신뢰도로 학습하면 생성 품질이 낮거나 목표 도메인과 거리가 먼 샘플이 최적화를 흔들 수 있다. 논문은 샘플이 학습에 기여하는 정도를 조절하는 손실을 두어 이 문제를 완화한다. 핵심은 더 많은 데이터를 무조건 같은 비중으로 쓰는 것이 아니라, 현재 검출기에 유용한 신호와 불확실한 신호를 구분하려는 데 있다.
실험을 해석할 때의 주의점
논문은 자체 구축한 광학–SAR 데이터와 일부 라벨을 활용한 설정도 보고한다. 이런 결과는 방법의 가능성을 보여 주지만, 데이터 구성과 센서 종류가 달라지면 일반화가 달라질 수 있다. “unsupervised domain adaptation”이라는 이름 아래 target label이 모델 선택이나 하이퍼파라미터 조정에 간접 사용되지 않았는지도 확인해야 한다.
읽고 남은 판단
이 연구의 장점은 광학→SAR 전이를 단일 기술로 축약하지 않는 데 있다. 영상 스타일, 특징 표현, 작은 객체, 샘플 신뢰도를 각각 다룬다. 반면 구성요소가 많은 만큼 어떤 부분이 다른 센서·지역에도 재사용되는지 판단하려면 더 분리된 검증이 필요하다. 실제 적용에서는 생성 영상의 사실성보다 라벨 보존과 새 센서에서의 안정성을 우선 확인해야 한다.