paper · 2026
Lossless Mechanistic Compression and Surgical Correction of Medical Imaging Models
DenseNet121 흉부 X-ray 분류기를 51.43% 압축하면서 정확도 유지. 압축이 channel attribution을 atomic하게 만들어 외과적 교정 가능 — 5채널 zero-out으로 target FP 확률 −0.13, true positive 손실 0. Polarized 채널을 label mutual exclusivity를 활용하는 bipolar 축으로 재해석.
이 논문이 한 일
CheXNet (DenseNet121) 은 14개 흉부 pathology multi-label 분류에 널리 배포되지만 6.97M 파라미터 + 디버깅이 불투명. 이 논문은 세 가지 별개 문제 — 크기·불투명성·비싼 재학습 — 를 하나의 메커니즘 시스템으로 해결:
-
무손실 압축 — 51.43% 파라미터 감축 (6.97M → 3.38M) — 채널 단위 sparsity 제약 weight reconstruction. NIH ChestX-ray14 test set에서 출력 일치는 수치 정밀도 수준 (max |Δlogit| < 5×10⁻⁶). 이미지당 지연 16.07 ms → 15.54 ms.
-
외과적 교정 — classifier 채널 attribution + 선택적 weight zeroing. 5 채널 교정으로 target false positive 확률 Δprob −0.13, true positive 손실 0, 다른 13 pathology AUROC 변화 정확히 0 (구조적 보장 — classifier W의 한 row만 수정).
-
비용 인식 Treatment Decision System — 각 pathology 문제를 가장 싼 효과적 intervention 으로 routing: threshold calibration · 외과적 교정 · 부분 재학습 · 데이터 증강. 실측 비용 매트릭스가 추정치를 정정 (특히 retrain_part 비용 6 → 2, 단 85초).
-
임상 보고서 자동 생성 — 채널-level 근거 + Grad-CAM 영역 매핑 + mutual exclusivity 기반 배제.
Polysemanticity 재해석 — mutual exclusivity 활용
Olah et al. 의 고전적 우려는 polysemantic 채널 — 한 채널이 무관한 여러 개념에 반응 — 이 해석을 어렵게 만든다는 것. multi-label 의료 환경에서는 질적으로 다른 현상을 발견: polarized 채널 (한 채널에 다른 pathology 별로 강한 + 와 강한 − weight 가 동시) 은 구조적 conflict 가 아니라, mutually exclusive label 사이의 bipolar discriminative axis 이다.
100개 polarized classifier 채널의 Jaccard 정당성 분류:
| 카테고리 | 갯수 | 기준 |
|---|---|---|
| Perfect | 48 | J = 0 |
| Legitimate | 41 | J < 0.1 |
| Mixed | 11 | 0.1 ≤ J < 0.3 |
| Conflict | 0 | J ≥ 0.3 |
모델은 혼란이 아니라 효율. Hernia와 Cardiomegaly는 거의 동시 발생 안 함 (J = 0) — 하나의 bipolar 채널에 둘을 인코딩하는 게 capacity 절약.
최소 재학습 — 언제 어떤 도구를 쓸지
실측 비용 매트릭스 분해:
| Treatment | 실측 비용 | 시간 | 학습 파라미터 |
|---|---|---|---|
| 작업 없음 | 0 | 0 | — |
| Threshold calibration | 1 | <1 s | — |
| 외과적 교정 | 2 | <5 s | 5–10 (zeroed) |
| 부분 재학습 | 2 ★ | 85 s | 18K (0.55%) |
| F 재최적화 | 3 | 분 단위 | layer 의존 |
| 데이터 증강 | 8 | 시간 단위 | — |
| 전체 재학습 | 10 | 시간 단위 | 3.38M (100%) |
Classifier-only fine-tune (18K params, 0.55%, 85초) + Youden J 기반 threshold calibration: 기본 threshold-0.5 평가 대비 F1 × 1.6 와 recall × 7. fine-tune set에 깊은 layer 추가는 our test split에서 측정 가능한 추가 이득 없음.
검증
- Zenodo — paper PDF + 영구 DOI (citation 가능)
- 압축된 backbone 가중치 + fine-tuned classifier 가중치를 paper와 함께 공개
상태
한국 특허출원 진행 중, PCT 국제 출원은 우선권 기간 내 예정. 저자는 의료 영상 AI, edge 배포용 모델 압축, 통합 진단 시스템 분야의 협업자를 적극 모집 중.