coursera
-
Sequence Models - 4 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 8. 16. 01:42
Transformer Network Intuition 딥러닝에서 흥미로운 발전 중 하나는 트랜스포머 네트워크이다 이 아키텍처는 NLP 세계를 완전히 장악하고 있다 좀 복잡하니 부분 부분 알아보자 시퀀스 task가 복잡해질수록 모델도 복잡해진다 RNN의 장거리 정보 소실을 게이트로 해결하여 GRU, LSTM을 사용한 것처럼 말이다 복잡도는 증가하지만, 여전히 위 모델들은 시퀀스 모델들이다 동일하게 마지막 유닛 계산을 위해 나머지를 모두 계산해야 한다 트랜스포머 모델을 이용하면 전체 문장을 동시에 병렬적으로 연산할 수 있다고 한다 트랜스포머 모델은 어텐션 모델과 CNN을 결합한 느낌이라 한다 CNN에서 단어 픽셀을 단어에 맞춰 병렬로 처리한다 그런데 이때 어텐션을 줘서 처리를 하는 거지.. . 이를 위해 S..
-
Sequence Models - 3 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 8. 14. 23:56
Basic Models 기계 번역과 음성 인식 등에 사용되는 시퀀스와 시퀀스 모델에 대해 배워보자 먼저 시퀀스 모델이 사용된 예시를 좀 알아보자 또한 이미지를 보고 설명하는 글을 만들어 내는 image captioning 도 할 수 있다 softmax 대신, encoding 된 벡터를 RNN decoder에 넘겨주면 된다 Picking the Most Likely Sentence 시퀀스 기계 번역 모델과, 첫 주에 배운 언어 모델은 몇몇 차이점이 있다 보라색 디코더는 위의 언어 모델과 굉장히 비슷하게 생겼다 입력이 영벡터나, 시드인 대신 인코더 네트워크에서 입력을 받는다는 차이가 있다 언어 모델이 p(y) 라면, 기계 번역은 p(y|x)인 느낌? 번역을 무작위로 한다면, 좀 이상한 문장이 나올 수도 있기..
-
Sequence Models - 2 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 8. 10. 01:39
Word Representation NLP에 대해 배워보자 단어를 나타내는 방법 중 하나인 word embedding을 배울 것이다 임베딩은 man-woman, king-queen처럼 무언가 유사성을 알아내는 것이다 지금까지 단어를 집합을 이용해 one-hot으로 표현했다 그렇기에 man-woman, king-queen이 일관적으로 벡터에 위치하지 않을 테니, 무언가 규칙을 학습하기가 쉽지 않다 일반화가 쉽지 않은 느낌? orange - juice를 학습한 후, apple - ? 에 juice를 넣기가 쉽지 않다 벡터 간 내적이 0이기에 apple이 king보다 orange와 비슷한 느낌의 단어라고 알 수가 없다 one-hot 대신 featurized representation을 이용하다 단어별로 특징의..
-
Sequence Models - 1 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 8. 7. 02:22
Why Sequence Models? 드디어 마지막 미션이다 딥러닝의 흥미로운 분야 중 하나인 RNN (Recurrent Neural Network) 모델을 배워 볼 것이다 sequential model의 적용 예시를 몇 가지 알아보자 입력과 출력 모두 시퀀스 일 수도 있고, 둘 중 하나만 시퀀스 일 수도 있다 Notation Name entity 인식 문제 예제를 통해 알아보자 입력 시퀀스는 단어의 나열이다 각 단어를 위 첨자 을 통해 \(x^{}\)로 나타낸다 스퀀스의 길이는 \(T_x, T_y\)로 나타낸다 이 예제에선 둘이 같지만, 다를 수도 있다 다른 표기와 함께 사용하여 \(x^{(i)}\) i 번 예제의, t 번 시퀀스와 같은 표기를 할 수 있다 NPL에선 사용할 단어 목록을 먼저 만들..
-
Convolutional Neural Networks - 4 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 8. 2. 22:37
CNN의 마지막 주차에선 몇몇 응용 프로그램을 알아볼 것이다 얼굴 인식, neuron tranfer 같은 걸 배워보자~ What is Face Recognition? 예시로 실제 사용 영상을 보여주셨다 id 카드 없이 얼굴 인식으로 게이트를 통과한다 신기하게도 id 카드의 사진으론 통과를 시키지 않는다 (사진 카메라에 보여줘도) 간단히 용어를 좀 짚고 넘어가자 Face verification과 face recognition이라는 두 가지 문제가 있다 Face verification Face recognition input image, name/ID image (hase data base) output whether input image is that of claimed person or not ID if..
-
Convolutional Neural Networks - 3 week 실습Google ML Bootcamp 2022/Coursera mission 2022. 7. 31. 20:57
뭔가 요새 재미난 과제가 많아서 실습 글을 많이 적는다 신난다 신나 1. Car detection with YOLO 2. Image Segmentation with U-Net Car detection with YOLO 위의 bounding box를 그리는 YOLO 모델을 만들어보자 YOLO에 대한 설명은 생략하고, 바로 기능 별로 함수를 만들어 보자 텐서를 보면 알 수 있듯이, 5개의 앵커 박스를 가지며 19 x 19 그리드로 처리했다 먼저 박스에 필터를 씌우는 함수이다 max인 클래스를 찾고, threshold를 넘지 않으면 값을 날린다 def yolo_filter_boxes(boxes, box_confidence, box_class_probs, threshold = .6): """Filters YOL..
-
Convolutional Neural Networks - 3 weekGoogle ML Bootcamp 2022/Coursera mission 2022. 7. 31. 16:47
CV에서 object detectoin은 빠르게 발전하고, 유용하게 사용되고 있다 Object Localization 객체 감지를 배우기 전에, object localization을 먼저 배워야 한다 우리는 이미지에 라벨을 붙이는 분류에 대해서 배웠다 여기서 localization은 분류와 함께, 어디에 있는지 경계 상자를 그리는 것도 해야 한다 이제 더 나아가 detection은 여러 객체가 있을 수 있고, 이들을 모두 찾고 경계 상자를 쳐 줘야 한다 아래와 같이 classification with localization을 한다고 생각해보자 추가적으로 물체의 중심 위치 \(b_x, b_y\)를 찾고, 높이와 너비 \(b_h, b_w\)를 알아내야 한다 구체적으로 타깃 레이블을 아래와 같이 설정한다 \(..
-
Convolutional Neural Networks - 2 week 실습Google ML Bootcamp 2022/Coursera mission 2022. 7. 29. 13:49
목차 만드는 법을 배워왔다 그런데 좀 귀찮아서 잘 사용은 안 할 듯싶다 1. ResNet 2.MobileNet 사실 과제는 매 시간 있는데, 뭔가 이해가 안 가서 적어두고 싶은 것만 기록한다 자 그럼 Residual Network 구현을 알아보자 앞서 강의에선 2개를 건너뛰었지만, 1 x 1을 이용한 3개의 레이어를 건너뛰는 블록을 구현할 것이다 def identity_block(X, f, filters, training=True, initializer=random_uniform): """ Implementation of the identity block as defined in Figure 4 Arguments: X -- input tensor of shape (m, n_H_prev, n_W_prev,..