coursera
-
Convolutional Neural Networks - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 27. 14:32
Why look at case studies? pool, conv와 같은 레이어를 어떻게 CV에서 사용하는지 배우는 좋은 방법은 예시를 보는 것이라고 한다 따라서 몇 가지 CNN 연구 사례를 살펴볼 것이다 어떤 문제에 잘 작동하는 신경망 아키덱쳐는 다른 CV task에도 보통 잘 작동한다고 한다 (마법?) 아무튼 다음 영상들에서 이런저런 아키텍처를 볼 것이다 요약해 주셨는데 차피 기억 못할거 아래서 자세히 알아보자 Classic Networks LaNet-5, AlexNet, VGNet과 같은 고전 신경망을 배워보자 LaNet-5 지난 주차에 본 모델과 유사하다 손글씨 인식 모델이 아래와 같이 구성 된다 논문을 발표한 1998년도에는 패딩을 사용하지 않아, conv에서 크기가 줄어든다 최근 신경망에 비해..
-
Convolutional Neural Networks - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 21. 01:06
Computer Vision 컴퓨터 비전은 딥러닝의 분야 중 하나로 시각적인 분야를 컴퓨터에 학습시키는 분야다 얼굴 인식, 신원 확인, 자율 주행 자동차 등등.. 지금까지 했던 고양이 분류, 자동차 분류도 모두 여기에 해당한다 Edge Detection Example Convolutional operation을 edge detection을 하며 알아보자 이미지에서 어떻게 저렇게 수직, 수평 테두리를 검출해 낼 수 있을까 필터나 커널을 이미지에 convolution을 통해 얻을 수 있다 수직선 검사 예시를 보자 결과 행렬은 필터를 이미지에 원소곱 해서 얻는다 뭘 한지 모르겠으니 간단한 숫자로 알아보자 합성곱을 시행하자 가운데 색이 바뀌는 부분의 수치가 크게 나타난다 More Edge Detection po..
-
Structuring Machine Learning Projects - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 16. 19:20
Carrying Out Error Analysis 알고리즘이 인간 수준보다 떨어질 때, 수동으로 점검하며 다음으로 무엇을 해야 할지 알 수 있다 이러한 절차를 오류 분석이라고 한다 고양이 분류기를 보며 개를 고양이라 인식한다면, 이 부분에 집중해서 고친다 일단 개선하기 전에 얼마나 개선 가능한지, 최대 성능 상한(ceiling)을 알아야 한다 100개 중 5개가 개 라면 5%의 성능 상한, 최대로 개선해서 얻을 수 있는 것을 알 수 있다 이러한 과정을 통해 아이디어의 효율성을 알아내고 시작하는게 좋다 이런저런 아이디어를 보며 효율이 좋은 것을 우선순위로 하는 게 좋다 Cleaning Up Incorrectly Labeled Data 지도 학습 문제의 데이터는 X,Y 라벨로 이루어져 있다 만약 결괏값 데이..
-
Structuring Machine Learning Projects - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 16. 12:10
Why ML Strategy 이 강의에선 머신 러닝 전략에 대해 배운다 모델을 개선하기 위해 할 수 있는 건 아주 많다 문제는 개선 방향을 잘못 선택하면 오랜 기간 시행착오를 겪을 수 있다 Orthogonalization 시도하고, 바꿀게 너무 많다 그렇기에 하나의 효과를 얻기 위해 무엇을 튜닝할 것인지를 뚜렷하게 알아야 한다 이러한 절차를 직교화라고 한다 하나의 변수가 하나의 기능을 하도록 좌표축을 쪼개는 느낌? 어떤 절차에서 문제가 생겼는지 알고, 적절한 조정을 해줘야 한다 하나의 과정에만 영향을 주는 직교화된 손잡이를 사용하는게 조절하기 쉽다 Single Number Evaluation Metric 아이디어를 시도하는 과정에서 잘 되고 있다는 점수가 있다면 진행이 훨씬 쉬울 것이다 정밀도(Preci..
-
Improving Deep Neural Networks - 3 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 15. 03:06
Tuning Process 지금까지 이런저런 하이퍼 파라미터들을 배웠다 어떻게 하이퍼 파라미터들을 튜닝하는지 알아보자 학습에 영향을 많이 주는 하이퍼 파라미터는 학습률(알파)이다 다음으로 모멘텀(베타), 배치 사이즈, 히든 유닛 수 세 가지 마지막으로 레이어 수, learning rate decay 친구들을 조절한다고 한다 아담 알고리즘은 주로 전에 둔 값을 그대로 사용한다(앤드류 응 교수님의 의견이라 한다) 조절할 하이퍼 파라미터를 격자에 랜덤으로 쌍을 잡고 반복하여 시도한다 어느 하이퍼 파라미터 영향이 클지 모르기에 랜덤으로 찍는 게 좋다고 한다 최적을 찾기 위해, 잘 되는 범위에서 랜덤으로 쌍 찾기를 반복할 수도 있다 Using an Appropriate Scale to pick Hyperparam..
-
Improving Deep Neural Networks - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 13. 00:40
이번 주차에는 학습 알고리즘의 속도를 빠르게 만들어줄 최적화 알고리즘에 대해 배워보자 머신 러닝은 경험적으로 알 수 있는 내용에 많이 의존하며, 그냥 많이 해보기가 중요하다고 한다 그렇기에 속도가 빠른 건 중요하다 Mini-batch Gradient Descent 벡터화로 m이 크더라도 효율적으로 계산을 할 수 있다 근데 m이 너무 크다면? 모든 training example을 반복하는데 좀 오랜 시간이 걸릴 것이다 전체 훈련세트를 끝내기 전에, 조금씩 조금씩 처리를 하면 시간이 더 적게 걸린다고 한다 이러한 작은 학습 예제를 배치(batch)라고 한다 각 배치는 중괄호를 사용하여 아래와 같이 표기하자 \(X^{\left\{1\right\}} (n_x,batch size), Y^{\left\{m\righ..
-
Improving Deep Neural Networks - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 10. 15:26
Train / Dev / Test sets NN 구현에 대해서는 배웠다 이 강의에선 하이퍼 파라미터 튜닝, 데이터 설정과 같은 실용적 측면을 배울 것이다 신경망을 학습시킬 때, 레이어는 몇 개로 하고, 히든 유닛은 몇 개로 하고, 학습률.. 활성 함수 등 정할게 많다 가장 적절한 하이퍼 파라미터를 예측하는 건 거의 불가능하다 따라서 반복 또 반복해야한다 빠르게 반복하기 위해 반복이 효율적이어야 한다 그렇기에 데이터 셋을 train/dev/test set으로 나누는 것은 중요하다 각각의 의미는 다음과 같다 train set : 말 그래도 모델을 학습시키는 데이터 셋 dev set : 모델을 검증하고, 파라미터를 튜닝하기 위한 데이터 셋 train set : 학습과 검증이 완료된 모델의 성능을 평가하기 위한..
-
Neural Networks and Deep Learning - 4 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 8. 17:11
Deep L-layer Neural Network deep nural network가 무엇일까? 1 week에 한 로지스틱 회귀 모델이 shallow 하다면 hidden layer가 많은 모델은 deep 하다 얕은 신경망이 학습하지 못하는 무언가를 깊은 신경망은 학습 가능하다 얼마나 deep 한 모델을 구축해야 하는지 예측하는 것은 쉽지 않다 강의에서 그냥 단일층, 한두 개의 히든 레이어 모두 시도해 보라 한다 나중에 자세히 보자 하니 이것도 마법이라 생각하자 표기법들은 지난 3주 차에 본 것과 동일하다 \(A^{[레이어 번호](예제 번호)}_{노드 번호}\) Forward Propagation in a Deep Network FP는 다음 두 식이 반복된다 \(z^{[l]}=w^{[l]}a^{[l-1]}..