[혼공학습단 14기] CNN 구조와 동작 원리의 이해

👉합성곱층 동작 확인하기
👉풀링층 동작 확인하기

 

기본 숙제

tensorflow, keras 설치

Lenet 구조(claude)

---

💜최초의 CNN, LeNet

CNN의 시초로 평가받는 모델은 1998년 Yann LeCun이 발표한 LeNet이다. LeNet-5는 손글씨 숫자(MNIST 데이터셋) 인식을 위해 설계되었으며, 오늘날 우리가 사용하는 CNN의 기본 구조인 "합성곱 -> 풀링 -> 완전 연결" 형태를 거의 최초로 정립한 모델이다. 

 

⭐용어
CNN에서는 다음 용어들이 혼용되어 사용된다. 의미를 잘 알아두기!

- 뉴런: 전통적인 인공 신경망에서 하나의 노드를 의미하며, 입력을 받아 가중치와 곱하고 비선형 활성화를 통과해 출력값을 생성
- 유닛: CNN에서는 feature map의 한 위치에 있는 활성 노드를 지칭
- 필터, 커널: 입력 데이터(예: 이미지)에 대해 공간적으로 국소적인 영역을 스캔하며 특징을 추출하는 가중치 행렬

---

💜ANN vs CNN

 

✅인공 신경망(ANN)
ANN은 입력층, 은닉층, 출력층으로 구성된다. 각 층의 뉴런은 바로 이전 층의 모든 뉴런과 연결된다. 이를 완전 연결 또는 Dense 구조라고 한다. ANN은 구조적으로 단순하지만 입력 데이터가 고차원일 경우 가중치 수가 급격히 증가하여 학습과 일반화에 어려움이 있다.

 

✅합성곱 신경망(CNN)

CNN은 합성곱층, 풀링층, 완전 연결층으로 구성된다.

• 합성곱층(convolution layer): 입력 데이터에 필터를 적용하여 특징 맵(feature map)을 생성한다. 필터는 국소적인 영역에서 특징을 추출하며, 모든 입력에 걸처 동일한 가중치를 공유한다. 이로 인해 파라미터 수가 급격하게 줄어든다.
• 풀링층(pooling layer): 특징 맵의 크기를 축소하여 연산량을 줄이고, translation invariance를 제공한다. max pooling, average pooling이 사용된다.
• 완전 연결증/밀집층(dense layer):flatten된 feature을 분류기(softmax 등)에 전달하여 최종 출력을 생성한다.

✅LeNet-5과 최신 CNN의 차이

입력: 32x32 흑백 이미지
C1: 6개의 5x5 필터를 적용한 합성곱층
S2: 2x2 평균 풀링층(subsampling)
C3: 16개의 5x5 필터를 적용한 합성곱층
S4: 2x2 평균 풀링층
C5: 120개의 5x5 필터를 적용한 합성곱층
F6: 84개의 뉴런으로 이루어진 완전 연결층
출력층: softmax로 10개 클래스 분류

CNN이 발전함에 따라, LeNet과는 구조적으로 몇 가지 차이점이 있다.

• 풀링층: LeNet-5는 주로 average pooling을 사용했다. 하지만 요즘 모델 대부분은 max pooling을 사용한다. 
• 활성화 함수: LeNet-5는 Sigmoid나 tanh 함수를 사용했다. 하지만 이 함수들은 네트워크가 깊어질수록 기울기가 0에 가까워져 학습이 멈추는 vanishing gradient 문제가 있었다. 현대 CNN은 이를 해결하기 위해 ReLU 함수를 기본적으로 사용한다.
• 출력층 및 구조의 복잡성: LeNet-5는 7개의 층으로 구성된 비교적 단순한 구조였다. 하지만 AlexNet, VGG, ResNet, EfficientNet 등으로 발전하며 네트워크는 수백개의 층으로 더 깊고 복잡해졌고, dropout, batch normalization 등 다양한 기법이 추가되어 성능을 극대화했다.

---

💜합성곱층 Conv2D

tensorflow, keras 등에서 2차원 합성곱 연산을 수행하는 layer

합성곱층에서는 다음과 같은 동작을 수행한다.

• 입력으로 2차원 또는 다채널 이미지를 받는다.
• 정해진 크기의 필터(커널)을 이미지에 슬라이딩하여 국소적인 영역의 특징을 추출한다.
• 각 필터는 하나의 출력 채널(feature map)을 생성한다.
• 여러 개의 필터를 적용하면 여러 개의 출력 채널이 생성된다.
• 가중치 공유 덕분에 학습해야 할 파라미터 수는 "필터 크기 * 입력 채널 수 * 필터 수"에 의해 결정되며, 완전 연결층에 비해 훨씬 작다.

layers.Conv2D(filters=32, kernel_size=(3, 3), strides=1, padding='same', activation='relu')

 

Conv2D 주요 파라미터

• padding: 입력 주변을 0으로 감싸서 출력 크기를 조절하낟. same 패딩은 출력 크기를 입력과 같게 유지하며, valid 패딩은 패딩을 추가하지 않는다.
• strides: 필터가 입력 위를 이동하는 간격이다. 스트라이드가 1이면 한 칸씩 이동하며, 스트라이드가 2 이상이면 출력 크기가 더 작아진다.
• filters: 생성할 출력 채널(feature map) 수
• kerner_size: 필터(커널)의 크기
• activation: 비선형 함수(ReLU, Sigmoid 등)

👉filters와 kernel_size가 어떻게 다르게 동작하는지 확인해보기

---

💜풀링층

feature map의 공간적 크기를 축소하여 연산량을 줄이고, translation invariance(위치 불변성)을 제공하는 layer

AveragePooling2D

• 풀링 영역의 평균값을 출력으로 반환
• 입력 데이터가 부드러운 값이나 전체적인 경향을 유지해야 할 때 유리

layers.AveragePooling2D(pool_size=(2,2), strides=2, padding='valid')

MaxPooling2D

• 풀링 영역의 최댓값을 출력으로 반환
• 가장 뚜렷한 특징(엣지, 선)을 보존하는데 유리

layers.MaxPooling2D(pool_size=(2,2), strides=2, padding='valid')

 

풀링층 주요 파라미터

• pool_size: 풀링 윈도 크기
• strides: 윈도를 슬라이딩하는 간격(기본값은 pool_size)]
• padding

👉풀링 레이어 동작 확인해보기

---

전공 수업도 열심히 들었고, 나름 빨간 쏘가리 책 보면서 공부도 했는데...2년만에 보니 가물가물하다. 책 챌린지 3개에 벌려놓은게 많아서 빡센데 이왕 신청한거 끝까지 열심히 하기. 책에서 다양한 모델 다루고 있어서 많이 기대됨...