COD가 아니라 CIS인 이유
일반 COD는 이미지 안의 모든 위장 객체를 하나의 전경 마스크로 합쳐도 정답이 된다. **Camouflaged Instance Segmentation(CIS)**은 다르다. 서로 붙어 있거나 겹친 개체를 각각 구분하고, 각 마스크에 개체 정체성을 유지해야 한다. 배경과 객체가 비슷한 데다 객체끼리도 비슷하므로 semantic segmentation보다 한 단계 더 어렵다.
DCNet은 이 문제를 “위장에 강한 특징을 만들자”보다 특징 안의 위장 성분을 찾아 걷어내자는 방향으로 푼다. 픽셀 수준에서는 객체와 배경의 혼합을 풀고, instance 수준에서는 배경 노이즈가 개체 표현에 들어오는 것을 억제한다.
pixel-level camouflage decoupling
첫 모듈은 Fourier transform을 통해 특징을 주파수 관점에서 본다. 객체가 배경을 모방하더라도 형태를 만드는 성분과 위장 질감을 만드는 성분이 완전히 같지는 않다는 가정이다. 변환된 표현에서 camouflage characteristic을 추출한 뒤, difference attention으로 그 성분은 줄이고 target characteristic은 남긴다.
단순한 고주파 강조와는 다르다. 목표는 경계를 무조건 세게 만드는 것이 아니라, 객체와 배경을 닮게 하는 공통 성분을 분리해 픽셀 특징의 대비를 회복하는 것이다. 이 단계가 잘 작동하면 후속 instance decoder가 훨씬 구분하기 쉬운 입력을 받는다.
instance-level camouflage suppression
픽셀 특징이 좋아져도 개체별 마스크를 만들려면 각 instance를 대표하는 표현이 필요하다. DCNet은 여러 픽셀의 정보를 instance prototype으로 모은다. 다만 초기 마스크가 불안정한 상황에서 모든 픽셀을 평균하면 배경이 prototype에 섞인다.
이를 줄이기 위해 저자들은 신뢰할 수 있는 reference point를 선택하고, 그 점들을 기준으로 더 견고한 similarity를 계산한다. 개체 내부라고 확신할 수 있는 위치가 anchor 역할을 해, 주변의 배경 노이즈나 다른 개체 특징이 mask assignment를 흔드는 것을 막는다.
두 수준을 나눈 효과
논문은 COD10K와 NC4K의 instance-level 설정에서 기존 CIS 방법과 비교하고, 평균 정밀도 계열 지표에서 개선을 보고한다. 주장의 핵심은 Fourier 모듈 하나가 아니라 픽셀 혼동과 개체 혼동을 서로 다른 모듈로 처리했을 때의 합성 효과다. 절제 실험에서 decoupling과 suppression을 각각 제거한 결과를 함께 봐야 한다.
정성 예시는 붙어 있는 동물, 복잡한 잎사귀, 개체 일부가 가려진 장면에서 의미가 있다. 전체 전경은 찾았지만 instance를 합쳐 버리는 실패와, 배경 일부를 별도 개체로 만드는 실패가 줄어드는지 확인하는 것이 semantic COD 결과를 보는 것보다 중요하다.
흥미로운 설계 언어
‘de-camouflaging’은 입력 이미지를 실제로 눈에 띄게 변환한다는 뜻은 아니다. 네트워크 내부 표현에서 객체와 배경의 공통 성분을 약화해, downstream head가 구분하기 쉬운 공간을 만든다는 의미다. 이 관점은 domain-invariant feature learning이나 nuisance removal과도 닮아 있다.
또한 prototype을 단순 평균이 아닌 신뢰 점 기반으로 만드는 선택은 noisy mask에서 흔히 쓰이는 원칙이다. 최근 prompt segmentation에서도 초기 mask가 불확실할 때 reliable token이나 point를 골라 다시 조회하는 구조로 이어진다.
남는 위험
Fourier 성분을 camouflage와 target으로 명확히 나눌 수 있다는 보장은 없다. 특정 대역을 억제하다가 객체의 가는 무늬나 작은 윤곽까지 지울 수 있다. reference point가 잘못 선택되면 오히려 오류가 prototype 전체로 퍼진다. 새로운 생물 종, 인공 위장, 압축 영상처럼 주파수 통계가 달라진 환경에서도 같은 decoupling이 유지되는지 추가 검증이 필요하다.