[혼공학습단 14기] DenseNet, MobileNet, EfficientNet

 

기본 숙제

---

🗜️DenseNet

Dense Convolutional Network

DenseNet은 레이어마다 이전의 모든 출력(feature map)을 다음 레이어의 입력으로 사용한다. 즉, 각 레이어가 앞선 모든 레이어의 출력을 concat해서 입력으로 받는다. 이렇게 하면 특징의 재사용이 일어나고, 기울기 소실 문제를 줄이며, 매우 적은 파라미터로도 높은 성능을 낼 수 있다.

 

구조 핵심

• Dense Block 내부의 레이어들은 서로 촘촘하게 연결된다(dense connectivity)
• Transition Layer로 블록 간 연결, 채널 수 줄임(BN -> 1x1 Conv -> 2x2 AvgPool)
• 각 레이어는 BatchNorm -> ReLU -> Conv(3x3) 순서

DenseNet은 파라미터 수가 적고, 학습이 빠르고 안정적이다. 정보 흐름이 강화되어 작은 네트워크에서도 높은 정확도를 낼 수 있다는 장점이 있다.

---

📱MobileNet

MobileNet은 경량화를 위해 Depthwise Separable Convolution을 사용한다. 일반적인 Conv 연산을 두 단계로 분리해서 효율을 극대화한 것.

 

구조 핵심

• Depthwise Conv
  • 채널별로 각각 1개의 필터만 사용하는 공간 필터링
  • 계산량이 1/N 수준으로 감소
• Poinwise Conv(1x1 Conv)
  • 채널 간 정보를 섞기 위한 1x1 Convolution
  • 필터 수를 조절하며 네트워크의 차원을 변화시킴

이 두 단계를 반복하며 특징을 추출한다.

 

MobileNet은 연산량과 파라미터 수가 대폭 감소하여, 모바일 환경에서도 빠른 추론이 가능하다. 정확도를 크게 잃지 않으면서도 효율적인 모델이다.

---

✅EfficientNet

EfficientNet은 모델을 단순히 깊게, 넓게, 크게 하는 것이 아닌, 세 가지를 균형 있게 조정(Compound Scailing)하는 구조이다.

 

구조 핵심

• 기본 베이스 모델은 MBConv 블록(MobileNet의 inverted residual block + SE block)을 사용
• 이후 B1 - B7은 compound coefficient를 적용하여 scailing

특징 구성

• Inverted Residual Block
• SE(squeeze-and-Excitation) Block
• Swish Activation

EfficientNet은 동일한 자원으로도 더 높은 정확도를 가지며, 경량성과 성능을 동시에 달성한 모델이다. Transfer Learning에도 탁월한 모델

 

Inverted Residual Block (역잔차 블록)

원래 ResNet에서는 입력->작은 차원 ->처리->되돌리는 방식이었지만, 역잔차 블록은 그 반대로 작동한다.

 

구조 핵심

• 먼저 채널 수를 확장하고(1x1 Conv)
• Depthwise Conv를 적용(채널별 필터)
• 다시 채널 수 축소(1x1 Conv)
• 입력과 출력을 Add(단, stride가 1일 때 skip 연결)

MobileNetV2부터 MobileNetV3, EfficientNet에서 핵심 구성 요소로 사용된다.

 

SE Block

특징맵의 어떤 채널이 중요한가를 학습하는 구조이다.

 

동작 원리

• squeeze: global average pooling으로 채널당 특징을 1개의 값으로 압축
• Excitation: 작은 FC-layer을 두 번 통과시키며, 중요도를 학습
• Scale: 원래 특징맵 채널마다 중요도를 곱해줌(채널-wise attention)

중요 특징에 집중하게 한다. 계산량은 적으면서도 성능을 향상할 수 있고, 여러 모델에 쉽게 결합할 수 있다.

 

Swish 함수

ReLU보다 부드럽고, 비선형성이 더 높다.

Swish(x) = x * sigmoid(x)

 

특징

• x가 작으면 음수 값을 혀용하여 정보 손실이 줄어듦
• 미분 가능하고 gradient 흐름이 자연스러움
• ReLU보다 일반화 성능이 더 좋다고 알려짐
• EfficientNet의 주요 구성 요소