티스토리

피준이오

검색하기

블로그 홈

피준이오

www.pjun.io/m

피준 님의 블로그입니다.

구독자: 14

방명록 방문하기

주요 글 목록

Sequence Models - 4 week Transformer Network Intuition 딥러닝에서 흥미로운 발전 중 하나는 트랜스포머 네트워크이다 이 아키텍처는 NLP 세계를 완전히 장악하고 있다 좀 복잡하니 부분 부분 알아보자 시퀀스 task가 복잡해질수록 모델도 복잡해진다 RNN의 장거리 정보 소실을 게이트로 해결하여 GRU, LSTM을 사용한 것처럼 말이다 복잡도는 증가하지만, 여전히 위 모델들은 시퀀스 모델들이다 동일하게 마지막 유닛 계산을 위해 나머지를 모두 계산해야 한다 트랜스포머 모델을 이용하면 전체 문장을 동시에 병렬적으로 연산할 수 있다고 한다 트랜스포머 모델은 어텐션 모델과 CNN을 결합한 느낌이라 한다 CNN에서 단어 픽셀을 단어에 맞춰 병렬로 처리한다 그런데 이때 어텐션을 줘서 처리를 하는 거지.. . 이를 위해 S.. 공감수 1 댓글수 2 2022. 8. 16.
Sequence Models - 3 week Basic Models 기계 번역과 음성 인식 등에 사용되는 시퀀스와 시퀀스 모델에 대해 배워보자 먼저 시퀀스 모델이 사용된 예시를 좀 알아보자 또한 이미지를 보고 설명하는 글을 만들어 내는 image captioning 도 할 수 있다 softmax 대신, encoding 된 벡터를 RNN decoder에 넘겨주면 된다 Picking the Most Likely Sentence 시퀀스 기계 번역 모델과, 첫 주에 배운 언어 모델은 몇몇 차이점이 있다 보라색 디코더는 위의 언어 모델과 굉장히 비슷하게 생겼다 입력이 영벡터나, 시드인 대신 인코더 네트워크에서 입력을 받는다는 차이가 있다 언어 모델이 p(y) 라면, 기계 번역은 p(y|x)인 느낌? 번역을 무작위로 한다면, 좀 이상한 문장이 나올 수도 있기.. 공감수 2 댓글수 0 2022. 8. 14.
Sequence Models - 2 week Word Representation NLP에 대해 배워보자 단어를 나타내는 방법 중 하나인 word embedding을 배울 것이다 임베딩은 man-woman, king-queen처럼 무언가 유사성을 알아내는 것이다 지금까지 단어를 집합을 이용해 one-hot으로 표현했다 그렇기에 man-woman, king-queen이 일관적으로 벡터에 위치하지 않을 테니, 무언가 규칙을 학습하기가 쉽지 않다 일반화가 쉽지 않은 느낌? orange - juice를 학습한 후, apple - ? 에 juice를 넣기가 쉽지 않다 벡터 간 내적이 0이기에 apple이 king보다 orange와 비슷한 느낌의 단어라고 알 수가 없다 one-hot 대신 featurized representation을 이용하다 단어별로 특징의.. 공감수 2 댓글수 0 2022. 8. 10.
Sequence Models - 1 week Why Sequence Models? 드디어 마지막 미션이다 딥러닝의 흥미로운 분야 중 하나인 RNN (Recurrent Neural Network) 모델을 배워 볼 것이다 sequential model의 적용 예시를 몇 가지 알아보자 입력과 출력 모두 시퀀스 일 수도 있고, 둘 중 하나만 시퀀스 일 수도 있다 Notation Name entity 인식 문제 예제를 통해 알아보자 입력 시퀀스는 단어의 나열이다 각 단어를 위 첨자 을 통해 \(x^{}\)로 나타낸다 스퀀스의 길이는 \(T_x, T_y\)로 나타낸다 이 예제에선 둘이 같지만, 다를 수도 있다 다른 표기와 함께 사용하여 \(x^{(i)}\) i 번 예제의, t 번 시퀀스와 같은 표기를 할 수 있다 NPL에선 사용할 단어 목록을 먼저 만들.. 공감수 1 댓글수 0 2022. 8. 7.
Convolutional Neural Networks - 4 week CNN의 마지막 주차에선 몇몇 응용 프로그램을 알아볼 것이다 얼굴 인식, neuron tranfer 같은 걸 배워보자~ What is Face Recognition? 예시로 실제 사용 영상을 보여주셨다 id 카드 없이 얼굴 인식으로 게이트를 통과한다 신기하게도 id 카드의 사진으론 통과를 시키지 않는다 (사진 카메라에 보여줘도) 간단히 용어를 좀 짚고 넘어가자 Face verification과 face recognition이라는 두 가지 문제가 있다 Face verification Face recognition input image, name/ID image (hase data base) output whether input image is that of claimed person or not ID if.. 공감수 1 댓글수 0 2022. 8. 2.
Convolutional Neural Networks - 3 week 실습 뭔가 요새 재미난 과제가 많아서 실습 글을 많이 적는다 신난다 신나 1. Car detection with YOLO 2. Image Segmentation with U-Net Car detection with YOLO 위의 bounding box를 그리는 YOLO 모델을 만들어보자 YOLO에 대한 설명은 생략하고, 바로 기능 별로 함수를 만들어 보자 텐서를 보면 알 수 있듯이, 5개의 앵커 박스를 가지며 19 x 19 그리드로 처리했다 먼저 박스에 필터를 씌우는 함수이다 max인 클래스를 찾고, threshold를 넘지 않으면 값을 날린다 def yolo_filter_boxes(boxes, box_confidence, box_class_probs, threshold = .6): """Filters YOL.. 공감수 1 댓글수 0 2022. 7. 31.
Convolutional Neural Networks - 3 week CV에서 object detectoin은 빠르게 발전하고, 유용하게 사용되고 있다 Object Localization 객체 감지를 배우기 전에, object localization을 먼저 배워야 한다 우리는 이미지에 라벨을 붙이는 분류에 대해서 배웠다 여기서 localization은 분류와 함께, 어디에 있는지 경계 상자를 그리는 것도 해야 한다 이제 더 나아가 detection은 여러 객체가 있을 수 있고, 이들을 모두 찾고 경계 상자를 쳐 줘야 한다 아래와 같이 classification with localization을 한다고 생각해보자 추가적으로 물체의 중심 위치 \(b_x, b_y\)를 찾고, 높이와 너비 \(b_h, b_w\)를 알아내야 한다 구체적으로 타깃 레이블을 아래와 같이 설정한다 \(.. 공감수 1 댓글수 0 2022. 7. 31.
Convolutional Neural Networks - 2 week 실습 목차 만드는 법을 배워왔다 그런데 좀 귀찮아서 잘 사용은 안 할 듯싶다 1. ResNet 2.MobileNet 사실 과제는 매 시간 있는데, 뭔가 이해가 안 가서 적어두고 싶은 것만 기록한다 자 그럼 Residual Network 구현을 알아보자 앞서 강의에선 2개를 건너뛰었지만, 1 x 1을 이용한 3개의 레이어를 건너뛰는 블록을 구현할 것이다 def identity_block(X, f, filters, training=True, initializer=random_uniform): """ Implementation of the identity block as defined in Figure 4 Arguments: X -- input tensor of shape (m, n_H_prev, n_W_prev,.. 공감수 2 댓글수 0 2022. 7. 29.
Convolutional Neural Networks - 2 week Why look at case studies? pool, conv와 같은 레이어를 어떻게 CV에서 사용하는지 배우는 좋은 방법은 예시를 보는 것이라고 한다 따라서 몇 가지 CNN 연구 사례를 살펴볼 것이다 어떤 문제에 잘 작동하는 신경망 아키덱쳐는 다른 CV task에도 보통 잘 작동한다고 한다 (마법?) 아무튼 다음 영상들에서 이런저런 아키텍처를 볼 것이다 요약해 주셨는데 차피 기억 못할거 아래서 자세히 알아보자 Classic Networks LaNet-5, AlexNet, VGNet과 같은 고전 신경망을 배워보자 LaNet-5 지난 주차에 본 모델과 유사하다 손글씨 인식 모델이 아래와 같이 구성 된다 논문을 발표한 1998년도에는 패딩을 사용하지 않아, conv에서 크기가 줄어든다 최근 신경망에 비해.. 공감수 1 댓글수 2 2022. 7. 27.
Convolutional Neural Networks - 1 week Computer Vision 컴퓨터 비전은 딥러닝의 분야 중 하나로 시각적인 분야를 컴퓨터에 학습시키는 분야다 얼굴 인식, 신원 확인, 자율 주행 자동차 등등.. 지금까지 했던 고양이 분류, 자동차 분류도 모두 여기에 해당한다 Edge Detection Example Convolutional operation을 edge detection을 하며 알아보자 이미지에서 어떻게 저렇게 수직, 수평 테두리를 검출해 낼 수 있을까 필터나 커널을 이미지에 convolution을 통해 얻을 수 있다 수직선 검사 예시를 보자 결과 행렬은 필터를 이미지에 원소곱 해서 얻는다 뭘 한지 모르겠으니 간단한 숫자로 알아보자 합성곱을 시행하자 가운데 색이 바뀌는 부분의 수치가 크게 나타난다 More Edge Detection po.. 공감수 3 댓글수 0 2022. 7. 21.
Structuring Machine Learning Projects - 2 week Carrying Out Error Analysis 알고리즘이 인간 수준보다 떨어질 때, 수동으로 점검하며 다음으로 무엇을 해야 할지 알 수 있다 이러한 절차를 오류 분석이라고 한다 고양이 분류기를 보며 개를 고양이라 인식한다면, 이 부분에 집중해서 고친다 일단 개선하기 전에 얼마나 개선 가능한지, 최대 성능 상한(ceiling)을 알아야 한다 100개 중 5개가 개 라면 5%의 성능 상한, 최대로 개선해서 얻을 수 있는 것을 알 수 있다 이러한 과정을 통해 아이디어의 효율성을 알아내고 시작하는게 좋다 이런저런 아이디어를 보며 효율이 좋은 것을 우선순위로 하는 게 좋다 Cleaning Up Incorrectly Labeled Data 지도 학습 문제의 데이터는 X,Y 라벨로 이루어져 있다 만약 결괏값 데이.. 공감수 1 댓글수 0 2022. 7. 16.
Structuring Machine Learning Projects - 1 week Why ML Strategy 이 강의에선 머신 러닝 전략에 대해 배운다 모델을 개선하기 위해 할 수 있는 건 아주 많다 문제는 개선 방향을 잘못 선택하면 오랜 기간 시행착오를 겪을 수 있다 Orthogonalization 시도하고, 바꿀게 너무 많다 그렇기에 하나의 효과를 얻기 위해 무엇을 튜닝할 것인지를 뚜렷하게 알아야 한다 이러한 절차를 직교화라고 한다 하나의 변수가 하나의 기능을 하도록 좌표축을 쪼개는 느낌? 어떤 절차에서 문제가 생겼는지 알고, 적절한 조정을 해줘야 한다 하나의 과정에만 영향을 주는 직교화된 손잡이를 사용하는게 조절하기 쉽다 Single Number Evaluation Metric 아이디어를 시도하는 과정에서 잘 되고 있다는 점수가 있다면 진행이 훨씬 쉬울 것이다 정밀도(Preci.. 공감수 1 댓글수 0 2022. 7. 16.
Improving Deep Neural Networks - 3 week Tuning Process 지금까지 이런저런 하이퍼 파라미터들을 배웠다 어떻게 하이퍼 파라미터들을 튜닝하는지 알아보자 학습에 영향을 많이 주는 하이퍼 파라미터는 학습률(알파)이다 다음으로 모멘텀(베타), 배치 사이즈, 히든 유닛 수 세 가지 마지막으로 레이어 수, learning rate decay 친구들을 조절한다고 한다 아담 알고리즘은 주로 전에 둔 값을 그대로 사용한다(앤드류 응 교수님의 의견이라 한다) 조절할 하이퍼 파라미터를 격자에 랜덤으로 쌍을 잡고 반복하여 시도한다 어느 하이퍼 파라미터 영향이 클지 모르기에 랜덤으로 찍는 게 좋다고 한다 최적을 찾기 위해, 잘 되는 범위에서 랜덤으로 쌍 찾기를 반복할 수도 있다 Using an Appropriate Scale to pick Hyperparam.. 공감수 1 댓글수 0 2022. 7. 15.
Improving Deep Neural Networks - 2 week 이번 주차에는 학습 알고리즘의 속도를 빠르게 만들어줄 최적화 알고리즘에 대해 배워보자 머신 러닝은 경험적으로 알 수 있는 내용에 많이 의존하며, 그냥 많이 해보기가 중요하다고 한다 그렇기에 속도가 빠른 건 중요하다 Mini-batch Gradient Descent 벡터화로 m이 크더라도 효율적으로 계산을 할 수 있다 근데 m이 너무 크다면? 모든 training example을 반복하는데 좀 오랜 시간이 걸릴 것이다 전체 훈련세트를 끝내기 전에, 조금씩 조금씩 처리를 하면 시간이 더 적게 걸린다고 한다 이러한 작은 학습 예제를 배치(batch)라고 한다 각 배치는 중괄호를 사용하여 아래와 같이 표기하자 \(X^{\left\{1\right\}} (n_x,batch size), Y^{\left\{m\righ.. 공감수 3 댓글수 0 2022. 7. 13.
Improving Deep Neural Networks - 1 week Train / Dev / Test sets NN 구현에 대해서는 배웠다 이 강의에선 하이퍼 파라미터 튜닝, 데이터 설정과 같은 실용적 측면을 배울 것이다 신경망을 학습시킬 때, 레이어는 몇 개로 하고, 히든 유닛은 몇 개로 하고, 학습률.. 활성 함수 등 정할게 많다 가장 적절한 하이퍼 파라미터를 예측하는 건 거의 불가능하다 따라서 반복 또 반복해야한다 빠르게 반복하기 위해 반복이 효율적이어야 한다 그렇기에 데이터 셋을 train/dev/test set으로 나누는 것은 중요하다 각각의 의미는 다음과 같다 train set : 말 그래도 모델을 학습시키는 데이터 셋 dev set : 모델을 검증하고, 파라미터를 튜닝하기 위한 데이터 셋 train set : 학습과 검증이 완료된 모델의 성능을 평가하기 위한.. 공감수 1 댓글수 0 2022. 7. 10.
Neural Networks and Deep Learning - 4 week 실습 데이터 가공이나, 라이브러리 같은 부분 말고 직접적은 코드만 살펴보자 4주차 실습은 사진을 고양이인지 판단하는 모델 제작이다 이를 L개의 레이어를 가지는 모델로 구현해보자 먼저 모델을 보며 전체적인 흐름을 살펴보자 def L_layer_model(X, Y, layers_dims, learning_rate = 0.0075, num_iterations = 3000, print_cost=False): """ Arguments: X -- data, numpy array of shape (num_px * num_px * 3, number of examples) Y -- true "label" vector (containing 0 if cat, 1 if non-cat), of shape (1, number of e.. 공감수 2 댓글수 1 2022. 7. 8.
Neural Networks and Deep Learning - 4 week Deep L-layer Neural Network deep nural network가 무엇일까? 1 week에 한 로지스틱 회귀 모델이 shallow 하다면 hidden layer가 많은 모델은 deep 하다 얕은 신경망이 학습하지 못하는 무언가를 깊은 신경망은 학습 가능하다 얼마나 deep 한 모델을 구축해야 하는지 예측하는 것은 쉽지 않다 강의에서 그냥 단일층, 한두 개의 히든 레이어 모두 시도해 보라 한다 나중에 자세히 보자 하니 이것도 마법이라 생각하자 표기법들은 지난 3주 차에 본 것과 동일하다 \(A^{[레이어 번호](예제 번호)}_{노드 번호}\) Forward Propagation in a Deep Network FP는 다음 두 식이 반복된다 \(z^{[l]}=w^{[l]}a^{[l-1]}.. 공감수 2 댓글수 0 2022. 7. 8.
Neural Networks and Deep Learning - 3 week Neural Networks Overview 지금까지 단일 레이어 신경망을 살펴보았다 이번 주차에는 여러 층으로 구성된 신경망을 구성하는 법을 알아볼 것이다 Neural Network Representation 먼저 표기법들을 알아보자 입력 레이어를 input layer, 출력 레이어를 output layer라고 한다 또한 학습 세트 중간에서 노드의 실제 값이 관찰되지 않는 층들을 hidden layer라고 한다 \(L\) : Number of total layer \(n^{[l]}\) : number of units of later \(l\) \(a^{[l]}\) : Activations of layer \(l\), \(a^{[l]}=g^{[l]}(z^{[l]})\) \(w^{[l]}\) : weigh.. 공감수 3 댓글수 0 2022. 7. 7.
Neural Networks and Deep Learning - 2 week 신경망 계산에선 for문 사용을 줄이는 게 좋다고 한다 왜인지는 모르겠으니 마법이라 생각하자 아마도 컴퓨터 시스템 개론에선 배운 레지스터와 무언가 관련이 있어 보이기도 하고, numpy에서 잘~ 구현을 해둔 걸 지도 모르겠다 아무튼 for문 사용을 줄이고, 메써드를 사용하자 또한 NN 구현에 사용되는 순전파(Forward Propagation)과 역전파(Backward Propagation)을 배워보자 Binary Classification 이미지를 보고 고양이인지 아닌지 판단하는 문제를 살펴보자 이에는 이진 분류가 사용된다 이진 분류는 고양이(1)인가 아닌가(0)처럼 두 가지로 분류하는 분류 알고리즘이다 이름 그대로 정직해서 마음에 든다 그런데 이진 분류에 사용되는 로지스틱 회귀(Logistic Reg.. 공감수 4 댓글수 4 2022. 7. 4.
Neural Networks and Deep Learning - 1 week 특화 과정은 5개의 강의로 이루어져 있으며, 각 강의에서 다루는 내용은 다음과 같다 Welcome 1. Neural Networks and Depp Learning -이름 그대로 NN과 DL을 배웁니다. 구현 하는 법과, 데이터 학습법, DL에서 자주 다루는 고양이 이미지 인식 프로그램을 만들어 본다 2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization -DL을 최적화하여 좀 더 잘 동작하고, 효율적으로 개선하는 방법을 배운다 -최적화하는 흑마법이라고 하니 좀 재밌어 보인다 3. Structuring Machine Learning Projects -ML을 어떻게 구성하는지, train/test 구조.. 공감수 4 댓글수 0 2022. 7. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.