728x90
1. AlexNet (2012)
특징:
- 아키텍처: 8개의 레이어로 구성된 비교적 간단한 구조.
- 5개의 컨볼루션 레이어와 3개의 완전 연결(FC) 레이어로 이루어져 있다.
- ReLU 활성화 함수 사용: 기존의 Sigmoid나 Tanh 대신 ReLU를 사용하여 Vanishing Gradient Problem을 해결하고, 학습 속도를 높였다.
- Max Pooling: 다운샘플링을 위해 Max Pooling 레이어를 사용하여 특징을 추출하면서 계산량을 줄였다.
- Dropout: 과적합을 방지하기 위해 FC 레이어에서 Dropout을 적용했다.
- 데이터 증강: 훈련 데이터에 다양한 변형(회전, 자르기 등)을 적용하여 더 일반화된 모델을 만들었다.
장점과 한계:
- 딥러닝의 발전에 큰 기여를 했으며, ReLU와 Dropout, 데이터 증강 등 다양한 혁신적인 요소를 도입했다.
- 하지만, 층의 깊이가 상대적으로 얕고, 파라미터 수가 많아 연산 비용이 크다.
2. VGG (2014)
특징:
- 아키텍처: VGG는 16층(VGG16)과 19층(VGG19)의 버전으로 나뉘며, 매우 깊은 네트워크 구조를 가지고 있다.
- VGG의 특징은 3x3 컨볼루션 필터를 사용하여 깊은 층을 쌓는 방식이다. 작은 필터를 여러 층에 걸쳐 쌓음으로써 더 많은 비선형성을 학습하고 더 복잡한 특징을 추출할 수 있다.
- 모든 풀링 레이어는 2x2 Max Pooling을 사용한다.
- 간단한 구조: 네트워크가 작은 필터(3x3)와 풀링 레이어의 반복으로 구성되어 있어, 다른 네트워크에 비해 구조적으로 단순하고 이해하기 쉽다.
장점과 한계:
- VGG는 규모가 커질수록 성능이 좋아지는 경향이 있지만, 그만큼 파라미터 수가 크게 늘어나고 연산 비용이 증가한다.
- 특히, 완전 연결(FC) 레이어에서 많은 파라미터가 사용되기 때문에, 메모리와 계산 자원이 많이 필요하다.
3. ResNet (2015)
특징:
- 아키텍처: ResNet은 50층(ResNet-50), 101층(ResNet-101), 152층(ResNet-152) 등으로 나뉘며, 매우 깊은 신경망 구조를 가지고 있다.
- Residual Learning (잔차 학습): ResNet의 핵심 아이디어는 Residual Block을 도입한 것이다.
- Residual Block은 입력 x가 네트워크를 통과한 후 출력 F(x)에 다시 입력 x를 더해주는 방식이다. 이때 네트워크가 F(x)=H(x)−x형태로 학습하게 되어, 네트워크가 학습할 내용이 줄어들고, 기울기 소실 문제를 극복하게 된다.
- 스킵 연결(skip connection)을 통해, 깊은 네트워크에서도 정보가 소실되지 않고 전달될 수 있다.
- 성능: 깊은 층에서도 성능이 유지되거나 오히려 개선되기 때문에, 매우 깊은 네트워크를 사용할 수 있다.
장점과 한계:
- 기울기 소실 문제를 해결하고, 매우 깊은 네트워크에서도 학습이 가능하도록 만든 혁신적인 구조이다.
- 하지만, ResNet은 깊이가 깊어질수록 계산 비용이 증가하며, 스킵 연결을 통한 구조적 복잡성으로 인해 구현이 더 복잡해질 수 있다.
728x90
