CS231n 공부하기5 Lecture 13 | Generative Models 본 글은 다음 영상을 참고하여 정리한 것입니다. www.youtube.com/watch?v=5WoItGTWV54&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=13 비지도 학습의 유형인 Generative Model을 살펴볼것이다. • PixelRNN 과 PixelCNN • Variational Autoencoders (VAE) • Generative Adversarial Networks (GAN) 비지도학습은 데이터에 라벨이 없어서 그만큼 싸고, 기본구조를 많이 나타내기 때문에 그만큼 어렵지만 공부하면 좋다. Generative Models 로 데이터로부터 우리가 원하는 샘플을 만들 수 있기 때문! etc. 초고해상도 사진, 상품 겉모양 따서 원하는 색깔로 채색하기,.. 2021. 1. 12. Lecture 7 | Training Neural Networks II 본 글은 아래 강의를 참고하여 작성했습니다. 링크 참고: www.youtube.com/watch?v=_JB0AO7QxSA&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=7 오늘 공부할 주제 Fancier optimization Regularization Transfer Learning - 지난 강의를 다시 보면, 신경망의 가장 중요한 점은 최적화를 어떻게 하냐의 문제이다. 손실함수를 작성하고, 가중치에 각 값에 대해 손실 함수는 얼마나 좋은지 나쁜지에 대해 알려준다. 여기서 중요한 점은 최적화된 가중치를 찾아서 목표를 향해 가는 것이다. (좋은 학습을 위해 손실을 가장 줄여줄 가중치는 무엇인가) 저 3줄밖에 안되는 코드에 비교적 간단한 최적화 알고리즘(Vanilla G.. 2020. 12. 1. Lecture 4 | Backpropagation and NN part 1 유투브 강의: www.youtube.com/watch?v=qtINaHvngm8&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=3 q는 매개변수 우리가 원하는 것은 인풋값에 대한 마지막 영향력. 이를 구하기 위해 bp 를 구해야 한다. y 미분값 구하는 과정. y를 h만큼 증가하면 q도 h만큼 증가. 반드시 알아두기. x 미분값도 똑같다. 이렇게 그라디언트를 구했다. 포워드패스일 때 로컬그라이던트는 우리가 구할 수 있다. 여기서 핵심 내용은, 로컬그라이던트는 포워드패스일때 구해서 메모리에 저장해둔다. 그렇다면, 글로벌 그라이던트는 어떻게 구할까. 아래와 같이 구함 이 과정을 Backward Pass = Backpropagation 이라고 한다. z가 여러개의 노드인 경우.. 2020. 10. 20. Lecture 3 | Loss fn, optimization 유투브 강의: www.youtube.com/watch?v=KT4iD6yiqwo&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=2 참고 사이트: cding.tistory.com/2 스코어에 대해 불만족을 정량화하는 로스펑션 로스펑션을 최소화하는 파라미터를 찾는 과저이 옵티파이제이션을 알아본다. 두가지 로스에 대해 svm을 활용한 힌지로스, softmax cross entropy loss 를 알아보자 sj 잘못된 레이블의 스코어 syi 제대로된 레이블의 스코어 1은 safety margin (이게 머여) A: 모든 로스값에 1이 더해짐. 최종 로스값도 1만큼 증가 A: 별 의미는 없다. 어차피 미니마이즈한 파라미터값을 구하는 거기때문에 영향을 주지 않느다. A: 경우에따라.. 2020. 10. 19. Lecture 2 | Image Classification 본 내용은 유투브 강의를 바탕으로 작성되었습니다. 링크 : www.youtube.com/watch?v=3QjGtOlIiVI&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=1 이미지는 3D array 이다. L1 distance 는 이미지 1과 이미지 2의 절대값을 취한 형태의 모든 합 distances 한 줄로 가장 가까운 train image 찾는다. L1 을 사용할 지 L2를 사용할 지는 여러 실험을 통해 최적의 파라미터를 찾아야 한다. 이를 하이퍼파라미터라고 함. -100%, 트레이닝 데이터셋에 동일한 이미지가 존재하기 때문에 distance가 0, 자기 자신과 비교하는 셈. Q. 잉 먼말이지. -상황에 따라 다름. 1위는 정확한 클래스 예측하겠지만, 2위,3위는.. 2020. 10. 13. 이전 1 다음
