Neural Networks and Deep Learning - 1 week

특화 과정은 5개의 강의로 이루어져 있으며, 각 강의에서 다루는 내용은 다음과 같다

 

Welcome

1. Neural Networks and Depp Learning

-이름 그대로 NN과 DL을 배웁니다. 구현 하는 법과, 데이터 학습법, DL에서 자주 다루는 고양이 이미지 인식 프로그램을 만들어 본다

2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization

-DL을 최적화하여 좀 더 잘 동작하고, 효율적으로 개선하는 방법을 배운다

-최적화하는 흑마법이라고 하니 좀 재밌어 보인다

3. Structuring Machine Learning Projects

-ML을 어떻게 구성하는지, train/test 구조화 방법과 같은걸 배운다고 한다

-경험적으로 배운 내용을 많이 공유해 준다고 한다

4. Convolutional Neural Network

-주로 이미지에 적용되는 CNN을 배운다

5. Natural Language Processing: Building sequence models

자연어 처리, 음성과 같은 시퀀스 모델을 배운다 (RNN, LSTM)

What is a Neural Network?

집값을 예측하는 문제를 생각해 보자

집값을 예측하는 문제는 아래와 같은 파란색 선을 그리는 것이다

선이 얼마나 빨간 X와 비슷한 지가 예측의 정확도를 정하게 된다

빨간 X는 실제 집의 가격이다

위 파란 선과 같이 최솟값으로 0을 가지며 꺾여있는 직선을 ReLu라고 한다. 렐?루

함수로는 Rectified Linear unit = \(\max(0, x)\)

선을 그리는 데에는 입력 \(x\)를 넣으면 \(y\)를 출력하는 뉴런이 사용되며 아래와 같은 느낌이다

뉴런이 하나뿐인 작고 귀여운 신경망

집의 가격은 넓이만으로 정해지지 않는다

따라서 다른 특성을 추가한 조금 더 복잡한 신경망을 보자

조금 더 복잡해 졌다

처음 입력값 \(X\)로부터 다른 뉴런들을 만들어 냈다

Supervised Learning with Neural Networks

지도 학습은 정답이 있는 데이터로 학습을 진행하는 경우이다

이런저런게 있나보다

데이터의 형태에 따라 사용하는 모델의 종류도 달라진다

집값과 광고와 같은 경우는 Standard NN을 사용한다

이미지와 같은 데이터는 CNN를 사용한다

오디오, 번역기 같은 시퀀스 데이터는 RNN을 사용한다

자율 주행과 같은 복잡한 것은 custom hybrid 모델을 사용한다

뭔지 모르겠으니 그런가 보다 하고 넘어가자

이렇게 생겼나보다~

데이터는 형태에 따라 나눌 수 있다

데이터 베이스와 같은 Structured Data와

오디오, 이미지, 글자와 같은 Unstructured Data

Why is Deep Learning taking off?

왜 요새 딥러닝이 뜨고 있을까?

가로 축은 Amount of data

딥러닝은 데이터 증가에 따라 퍼포먼스가 폭발적으로 증가한다

이는 딥러닝의 규모가 커질수록 더 두드러지게 나타난다

데이터의 양이 늘어나고, 큰 신경망을 처리할 계산능력 (GPU 발달 등), 효율적인 알고리즘이 딥러닝을 떠오르게 만들었다

시그모이드가 렐루로 바뀌어 뭐가 효율적으로 변했지 이런 구체적인 내용은 궁금하면 알아보자

물론 데이터가 작다면 그게 그거

빠르게 동작시킬수록 위 사이클을 빠르게 돌릴 수 있다

즉 발전이 가속화된다