분류 전체보기
-
Improving Deep Neural Networks - 3 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 15. 03:06
Tuning Process 지금까지 이런저런 하이퍼 파라미터들을 배웠다 어떻게 하이퍼 파라미터들을 튜닝하는지 알아보자 학습에 영향을 많이 주는 하이퍼 파라미터는 학습률(알파)이다 다음으로 모멘텀(베타), 배치 사이즈, 히든 유닛 수 세 가지 마지막으로 레이어 수, learning rate decay 친구들을 조절한다고 한다 아담 알고리즘은 주로 전에 둔 값을 그대로 사용한다(앤드류 응 교수님의 의견이라 한다) 조절할 하이퍼 파라미터를 격자에 랜덤으로 쌍을 잡고 반복하여 시도한다 어느 하이퍼 파라미터 영향이 클지 모르기에 랜덤으로 찍는 게 좋다고 한다 최적을 찾기 위해, 잘 되는 범위에서 랜덤으로 쌍 찾기를 반복할 수도 있다 Using an Appropriate Scale to pick Hyperparam..
-
Improving Deep Neural Networks - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 13. 00:40
이번 주차에는 학습 알고리즘의 속도를 빠르게 만들어줄 최적화 알고리즘에 대해 배워보자 머신 러닝은 경험적으로 알 수 있는 내용에 많이 의존하며, 그냥 많이 해보기가 중요하다고 한다 그렇기에 속도가 빠른 건 중요하다 Mini-batch Gradient Descent 벡터화로 m이 크더라도 효율적으로 계산을 할 수 있다 근데 m이 너무 크다면? 모든 training example을 반복하는데 좀 오랜 시간이 걸릴 것이다 전체 훈련세트를 끝내기 전에, 조금씩 조금씩 처리를 하면 시간이 더 적게 걸린다고 한다 이러한 작은 학습 예제를 배치(batch)라고 한다 각 배치는 중괄호를 사용하여 아래와 같이 표기하자 \(X^{\left\{1\right\}} (n_x,batch size), Y^{\left\{m\righ..
-
Improving Deep Neural Networks - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 10. 15:26
Train / Dev / Test sets NN 구현에 대해서는 배웠다 이 강의에선 하이퍼 파라미터 튜닝, 데이터 설정과 같은 실용적 측면을 배울 것이다 신경망을 학습시킬 때, 레이어는 몇 개로 하고, 히든 유닛은 몇 개로 하고, 학습률.. 활성 함수 등 정할게 많다 가장 적절한 하이퍼 파라미터를 예측하는 건 거의 불가능하다 따라서 반복 또 반복해야한다 빠르게 반복하기 위해 반복이 효율적이어야 한다 그렇기에 데이터 셋을 train/dev/test set으로 나누는 것은 중요하다 각각의 의미는 다음과 같다 train set : 말 그래도 모델을 학습시키는 데이터 셋 dev set : 모델을 검증하고, 파라미터를 튜닝하기 위한 데이터 셋 train set : 학습과 검증이 완료된 모델의 성능을 평가하기 위한..
-
Neural Networks and Deep Learning - 4 week 실습Google ML Bootcamp 2022/Coursera mission 2022. 7. 8. 17:24
데이터 가공이나, 라이브러리 같은 부분 말고 직접적은 코드만 살펴보자 4주차 실습은 사진을 고양이인지 판단하는 모델 제작이다 이를 L개의 레이어를 가지는 모델로 구현해보자 먼저 모델을 보며 전체적인 흐름을 살펴보자 def L_layer_model(X, Y, layers_dims, learning_rate = 0.0075, num_iterations = 3000, print_cost=False): """ Arguments: X -- data, numpy array of shape (num_px * num_px * 3, number of examples) Y -- true "label" vector (containing 0 if cat, 1 if non-cat), of shape (1, number of e..
-
Neural Networks and Deep Learning - 4 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 8. 17:11
Deep L-layer Neural Network deep nural network가 무엇일까? 1 week에 한 로지스틱 회귀 모델이 shallow 하다면 hidden layer가 많은 모델은 deep 하다 얕은 신경망이 학습하지 못하는 무언가를 깊은 신경망은 학습 가능하다 얼마나 deep 한 모델을 구축해야 하는지 예측하는 것은 쉽지 않다 강의에서 그냥 단일층, 한두 개의 히든 레이어 모두 시도해 보라 한다 나중에 자세히 보자 하니 이것도 마법이라 생각하자 표기법들은 지난 3주 차에 본 것과 동일하다 \(A^{[레이어 번호](예제 번호)}_{노드 번호}\) Forward Propagation in a Deep Network FP는 다음 두 식이 반복된다 \(z^{[l]}=w^{[l]}a^{[l-1]}..
-
Neural Networks and Deep Learning - 3 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 7. 00:25
Neural Networks Overview 지금까지 단일 레이어 신경망을 살펴보았다 이번 주차에는 여러 층으로 구성된 신경망을 구성하는 법을 알아볼 것이다 Neural Network Representation 먼저 표기법들을 알아보자 입력 레이어를 input layer, 출력 레이어를 output layer라고 한다 또한 학습 세트 중간에서 노드의 실제 값이 관찰되지 않는 층들을 hidden layer라고 한다 \(L\) : Number of total layer \(n^{[l]}\) : number of units of later \(l\) \(a^{[l]}\) : Activations of layer \(l\), \(a^{[l]}=g^{[l]}(z^{[l]})\) \(w^{[l]}\) : weigh..
-
Neural Networks and Deep Learning - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 4. 19:02
신경망 계산에선 for문 사용을 줄이는 게 좋다고 한다 왜인지는 모르겠으니 마법이라 생각하자 아마도 컴퓨터 시스템 개론에선 배운 레지스터와 무언가 관련이 있어 보이기도 하고, numpy에서 잘~ 구현을 해둔 걸 지도 모르겠다 아무튼 for문 사용을 줄이고, 메써드를 사용하자 또한 NN 구현에 사용되는 순전파(Forward Propagation)과 역전파(Backward Propagation)을 배워보자 Binary Classification 이미지를 보고 고양이인지 아닌지 판단하는 문제를 살펴보자 이에는 이진 분류가 사용된다 이진 분류는 고양이(1)인가 아닌가(0)처럼 두 가지로 분류하는 분류 알고리즘이다 이름 그대로 정직해서 마음에 든다 그런데 이진 분류에 사용되는 로지스틱 회귀(Logistic Reg..
-
Neural Networks and Deep Learning - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 4. 16:41
특화 과정은 5개의 강의로 이루어져 있으며, 각 강의에서 다루는 내용은 다음과 같다 Welcome 1. Neural Networks and Depp Learning -이름 그대로 NN과 DL을 배웁니다. 구현 하는 법과, 데이터 학습법, DL에서 자주 다루는 고양이 이미지 인식 프로그램을 만들어 본다 2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization -DL을 최적화하여 좀 더 잘 동작하고, 효율적으로 개선하는 방법을 배운다 -최적화하는 흑마법이라고 하니 좀 재밌어 보인다 3. Structuring Machine Learning Projects -ML을 어떻게 구성하는지, train/test 구조..