본문 바로가기
Computer Vision/CV (Computer Vision)

BiRefNet (Bilateral Reference for High-Resolution Dichotomous Image Segmentation)

by AteN 2024. 11. 25.

BiRefNet 정리

요약

  • 누끼(배경 제거)에는 근본 딜레마가 있습니다. 입력을 키우면 머리카락 같은 얇은 경계가 살지만 메모리가 폭증하고, 줄이면 경계가 뭉개집니다.
  • BiRefNet의 해법은 참조를 두 갈래로 분리하는 것입니다. 위치는 저해상도 특징으로 싸게 잡고, 경계 디테일만 원본에서 따로 끌어옵니다. "전부를 고해상도로"가 아니라 "필요한 곳만 고해상도 참조"입니다.
  • U-Net이나 IS-Net은 스킵 연결로 인코더 특징만 디코더에 넘깁니다. BiRefNet은 여기에 원본 이미지 패치와 그래디언트 맵이라는 외부 참조 두 갈래를 추가로 주입합니다. 디코더가 "줄어든 특징"이 아니라 "원본 디테일"을 다시 봅니다.
  • 사실관계를 정확히 해둘 필요가 있습니다. DIS라는 과제와 DIS5K 데이터셋과 기준선 IS-Net은 BiRefNet이 아니라 Qin et al. 2022가 정립했습니다. BiRefNet(2024)은 그 과제를 푸는 후속 모델입니다.
  • 실무 결론 둘. 이진 마스크만으로는 경계가 거칠어 품질이 중요한 서비스는 매팅 변형에 전경색 후처리를 덧댑니다. 그리고 상용에서는 MIT 라이선스가 채택의 결정타입니다.
  • SAM 계열과는 경쟁이 아니라 상보 관계입니다. SAM은 "무엇을 분할할지"에 압도적이고, BiRefNet 계열은 "경계를 얼마나 정밀하게 그리는지"에 강합니다.

1장. 문제 설정

1.1 이분 분할과 누끼

분할 중 가장 단순한 형태가 이분 분할이다
   클래스가 전경 하나와 배경 둘뿐

   흔히 "누끼"라 부르는 작업이 여기 속한다

1.2 문제는 해상도다

보통 분할망은 메모리 한계 때문에 입력을 작게 줄여 처리한다
   예: 1024 x 1024

   그러면 머리카락, 잎맥, 철망 같은
   얇고 복잡한 경계가 뭉개진다

   누끼와 매팅 제품에서는 이 경계 품질이 곧 체감 품질이다
   저해상도로 뭉갠 마스크는 그대로 쓸 수 없다

1.3 출처를 정확히

혼동이 잦은 지점이라 먼저 정리합니다.

Qin et al., ECCV 2022 (arXiv:2203.03041)
   DIS (Dichotomous Image Segmentation) 라는 과제를 정식화
   DIS5K 데이터셋 (5,470장의 고해상도 고정밀 라벨)
   기준선 모델 IS-Net
   보정노력 지표 HCE

BiRefNet, 2024 (arXiv:2401.03407)
   그로부터 2년 뒤, 이 DIS 과제를 더 잘 푸는 모델로 등장

   "DIS = BiRefNet" 이 아니다
   DIS 는 과제와 데이터셋이고 BiRefNet 은 그 위의 강력한 해법이다

1.4 무엇이 아닌지

❌ BiRefNet 은 배경 제거 앱이 아니다

   전경 마스크나 알파를 출력하는 모델이고
   배경 제거는 그 마스크를 알파 채널로 합성하는 응용이다

2장. 구조

2.1 두 모듈

위치추정 모듈 (LM, Localization Module)
   저해상도 고의미 특징으로
   "전경이 화면 어디쯤 있는가"를 잡는다
   전역 의미 담당

재구성 모듈 (RM, Reconstruction Module)
   디코더가 경계를 정밀하게 복원한다
   이 안에서 양방향 참조로 디테일을 살린다

2.2 지도 먼저, 돋보기 나중

작은 지도로 물체가 어디쯤인지 큰 그림을 잡고 (LM)
그다음 돋보기로 경계만 골라
원본 고해상도 픽셀을 다시 들여다본다 (RM)

2.3 전체 흐름

입력 이미지
   │
   ▼
Swin Transformer 백본 (기본 Swin-v1-Large)
   │
   ├──► 위치추정 LM   가장 깊은 특징으로 대략적 위치
   │       │
   │       ▼
   └──► 재구성 RM   경계 복원 디코더
           │
           │   여기에 원본 이미지에서 두 갈래 참조가 들어온다
           │      안쪽 참조   원본을 계층적 패치로 잘라 공급
           │      바깥쪽 참조  그래디언트 맵을 참조로 공급
           │
           ▼
        전경 확률 지도 ──► sigmoid ──► 마스크 또는 알파

3장. 양방향 참조가 무엇을 우회하나

3.1 딜레마부터 정확히

고해상도 분할의 근본 딜레마
   해상도와 메모리와 수용영역의 맞바꿈

   입력을 키우면   디테일은 살지만 계산과 메모리가 폭증
   입력을 줄이면   경계가 뭉개진다

3.2 두 참조를 분리해 우회한다

안쪽 참조 (inward, source)
   원본 이미지를 계층적 패치로 잘라
   고해상도 디테일을 디코더에 다시 공급한다
   저해상도로 줄이며 잃은 디테일을 원본에서 되찾는다

바깥쪽 참조 (outward, target)
   그래디언트 맵을 참조로 준다
   값이 급변하는 곳, 즉 경계에 모델이 집중하게 만든다

핵심은 이 한 줄입니다.

위치는 저해상도 특징으로 싸게 잡고
경계 디테일만 따로 끌어와 복원한다

   "전부를 고해상도로"가 아니라 "필요한 곳만 고해상도 참조"

3.3 보조 그래디언트 감독

학습 시 디테일이 많은 영역에 손실 가중을 더 준다
경계 학습을 강화한다

참조로 정보를 주는 것과, 손실로 그쪽을 보게 만드는 것을 함께 씁니다.

3.4 U-Net이나 IS-Net과 무엇이 다른가

전형적 인코더-디코더와 IS-Net
   스킵 연결로 인코더 특징만 디코더에 넘긴다
   디코더는 "줄어든 특징"만 본다

BiRefNet
   여기에 원본 이미지 패치와 그래디언트라는 외부 참조 두 갈래를 추가 주입
   디코더가 "원본 디테일"을 다시 본다

이게 핵심 차별점입니다. 인코더를 거치며 잃은 정보를 인코더 특징에서 복구하려는 게 아니라 원본에서 직접 다시 가져옵니다.

4장. 마스크와 매팅

4.1 두 갈래 출력

이분 분할 (마스크)
   픽셀이 전경(1)이냐 배경(0)이냐의 이진 지도
   경계가 계단처럼 단단하게 끊긴다

매팅 (matting)
   0 에서 1 사이 연속 알파를 내보낸다
   반투명 경계(머리카락 끝)를 부드럽게 표현
   trimap 없이 알파를 추정하는 trimap-free 방식

4.2 실제로 무엇이 다른가

머리카락이 흩날리는 인물 사진에서 둘이 어떻게 갈리는지 보면 매팅이 왜 필요한지 바로 드러납니다.

경계 픽셀 이진 마스크 매팅 알파
반투명 잔머리 한 올 0 또는 1. 있다 없다뿐이라 계단과 삐침 예를 들어 0.35. 반투명이 자연스럽게
배경과 머리의 경계 딱 끊기고 배경색이 남을 수 있음 부드러운 전이
최종 투명 PNG 윤곽이 거칠어 "오려붙인" 티 원본처럼 자연스러운 가장자리

4.3 색 누출과 후처리

품질이 중요한 누끼 서비스는 매팅 변형에 전경색 보정 후처리를 기본으로 삼습니다.

모델 알파만으로는
경계에 배경색이 묻는 색 누출(color bleeding)이 남는다

대표적 후처리가 blur-fusion 계열 전경색 추정
   trimap 없이 모델 알파를 가이드로
   박스 블러를 이용해 전경색과 배경색을 재구성한다
   경계의 halo 를 줄이고 투명 PNG 를 만든다

5장. 변형 고르기

5.1 모델 zoo

BiRefNet은 하나가 아니라 여러 변형으로 제공됩니다.

변형 특징과 언제 쓰나
일반 (general) 기본 1024 입력. 범용 누끼의 출발점
BiRefNet_HR 2048 학습. 고해상도 원본에서 경계를 더 살릴 때
BiRefNet_lite Swin-Tiny 백본 경량판. CPU와 엣지
BiRefNet_lite-2K 2560x1440 입력에 맞춘 경량 변형
BiRefNet-matting 연속 알파를 내보내는 trimap-free 매팅
BiRefNet_dynamic 256에서 2304까지 가변 해상도를 한 모델로 처리

5.2 실무에서 함께 만지는 손잡이

입력 해상도
   무작정 키우면 메모리가 제곱으로 폭증한다
   품질이 필요하면 HR 변형
   속도가 필요하면 입력 고정 + 경량 변형이나 양자화

마스크 vs 알파
   딱딱한 이진이 필요하면 일반
   부드러운 경계면 matting

후처리
   이진 마스크를 그대로 알파로 쓰면 경계가 거칠다

5.3 비용 감각

백본이 Swin-L (약 0.2B 파라미터급) 이라 고해상도 추론은 무겁다
메모리와 지연은 입력 해상도의 제곱에 민감하다

   실제품은 입력 크기를 고정하거나 양자화로 대응한다

5.4 온디바이스 패턴

① 입력 크기를 고정하고
   경량 변형이나 INT8 양자화 ONNX 로 추론 비용을 낮춘다

② 모델 알파의 색 누출을 전경색 추정 후처리로 보정한다

6장. SAM 계열과의 관계

6.1 목표가 다르다

SAM (Segment Anything Model)
   프롬프트(점, 박스, 개념)로 임의 물체를 분할
   학습하지 않은 새 물체에도 일반화가 강점
   "무엇이든 분할"

BiRefNet
   프롬프트 없이 자동으로 "주된 전경 하나"를
   극도로 정밀한 경계로 뽑는 데 특화
   "고해상도 경계 품질"

목표 과제가 달라서 정량 비교가 애매합니다. 평가 지표와 벤치마크가 서로 달라 동일 기준의 직접 비교표를 만들기 어렵습니다.

6.2 SAM 진영의 최근 도약

SAM 3 (2025-11)
   개념 프롬프트로 이미지와 영상에서
   매칭 객체를 검출하고 분할하고 추적한다
   짧은 명사구나 이미지 예시를 프롬프트로 쓴다

   이미지 검출기와 메모리 기반 영상 추적기가 단일 백본을 공유
   400만 개념 라벨 데이터와 벤치마크를 공개

SAM 3.1 (2026-03)
   핵심은 object multiplexing
   기존   객체당 1 forward pass
   신규   최대 16개 슬롯으로 묶어 1 pass 에 최대 16객체 추적
   단일 H100 에서 중간 객체 수 기준 처리량 약 2배 (제작사 보고)

PicoSAM3
   파라미터 1.3M 의 센서 내 ROI 분할 모델
   SAM2 와 SAM3 에서 지식 증류
   특정 센서에서 엔드투엔드 11.82ms
   클라우드 오프로딩 없이 센서 안에서 ROI 분할

6.3 그래서 상보적이다

SAM 3 계열     "무엇을 분할할지"에 압도적
               개방 어휘 검출과 추적

BiRefNet 계열   "얼마나 정밀하게 그릴지"에 강함
                머리카락 한 올급 경계와 연속 알파

   목표 과제가 달라 대체재라기보다 상보적이다

7장. 생태계

7.1 차별화 축이 이동했다

BiRefNet의 LM/RM 구조는 사실상 누끼 모델의 공용 백본이 됐습니다.

그 결과 차별화의 축이
"아키텍처"에서 "데이터 큐레이션 + 후처리 + 라이선스"로 이동했다

7.2 RMBG-2.0, 같은 구조 다른 데이터

BiRefNet 과 동일 아키텍처에
자체 큐레이션 데이터로 재학습한 모델

   자사 벤치마크에서 복잡한 배경에서의 우위를 주장하지만
   제작사 자체 벤치마크라 구성과 기준이 비공개다

결정적 차이는 성능이 아니라 라이선스입니다.

RMBG-2.0    CC BY-NC 4.0 (비상업)
            상업 사용은 별도 상용 계약이 필요

BiRefNet    MIT

   품질 주장과 별개로 상용 서비스에는 BiRefNet 이 여전히 유리

7.3 BEN 계열, 어려운 픽셀만 다시

핵심은 Confidence-Guided Matting

   베이스 모델이 낸 저신뢰 픽셀만
   별도 refiner 네트워크로 다시 다듬는 2단계 파이프라인

   헤어 매팅과 4K 에 강점을 주장
   라이선스는 혼재. Base 는 오픈, refiner 와 상업 이용은 제한
   채택 전 약관 확인이 필요하다

"어려운 픽셀만 골라 다시 처리한다"는 발상이 BiRefNet의 "필요한 곳만 고해상도 참조"와 같은 계열입니다. 계산을 균등하게 쓰지 않고 어려운 곳에 몰아준다는 원리가 이 분야에서 반복됩니다.

8장. 실무

8.1 로드

공식 가중치는 Hugging Face에 MIT로 공개돼 있고 transformers의 AutoModelForImageSegmentation으로 바로 로드됩니다. 커스텀 모델 코드를 불러오므로 trust_remote_code=True가 필요합니다.

8.2 평가 지표

IoU, F-measure, MAE, S-measure 등

   모델 카드에 나오는 수치는 저자 보고이므로
   자신의 데이터로 재검증하는 게 좋다

8.3 발전사

시기 발전
2022-03 DIS5K 데이터셋과 IS-Net 기준선. 고정밀 이분 분할을 과제로 정식화
2024-01 BiRefNet. LM/RM 두 모듈과 양방향 참조와 보조 그래디언트 감독
2025-02 BiRefNet_HR과 matting 변형 공개
2024에서 2025 lite, 2K, dynamic 등 모델 zoo 확장

무게중심이 "분할 마스크"에서 "연속 알파 매팅"으로, 그리고 경량화를 통한 온디바이스로 이동하는 흐름입니다.

9장. 정리

9.1 핵심 셋

① 고해상도 이분 분할을
   "위치는 저해상도로 싸게, 경계 디테일만 원본을 다시 참조해 정밀하게"
   나눠 푼다

② 이진 마스크만으론 경계가 거칠어
   실무는 매팅 변형에 전경색 후처리를 쓴다

③ 상용에는 MIT 라이선스가 채택의 결정타다

 

9.2 용어 정리

용어 한 줄 뜻
이분 분할 (DIS) 전경 하나와 배경의 고정밀 이진 분할 과제
양방향 참조 (BiRef) 원본 패치와 그래디언트 두 참조로 경계를 복원하는 기법
위치추정 모듈 (LM) 전역 의미로 전경의 대략적 위치를 잡는 모듈
재구성 모듈 (RM) 양방향 참조로 경계를 정밀 복원하는 디코더
보조 그래디언트 감독 학습 시 디테일 많은 영역에 손실 가중을 더하는 기법
매팅 / 알파 0에서 1 사이 연속값으로 반투명 경계를 표현하는 출력
trimap-free 전경과 배경과 미지 3영역 입력 없이 알파를 추정하는 방식
색 누출 경계에서 배경색이 전경에 묻어 halo가 생기는 현상
DIS5K / IS-Net 고정밀 이분 분할 데이터셋 / 함께 제안된 기준선 모델
Confidence-Guided Matting 저신뢰 픽셀만 별도 refiner로 다시 다듬는 2단계 기법
개념 프롬프트 분할 (PCS) 명사구나 예시로 지정한 개념의 객체를 검출하고 분할하고 추적

9.4 참고자료

'Computer Vision > CV (Computer Vision)' 카테고리의 다른 글

Vision Metrics  (0) 2023.07.13
[CV] One-Stage와 Two-Stage 차이  (0) 2022.11.16
[CV] 영상 처리(image processing)  (0) 2022.10.28
[CV] VGGNet (Simonyan and Zisserman, 2015)  (0) 2022.10.28
[CV] ResNet  (0) 2022.10.11

관련글

댓글

티스토리툴바