분류 전체보기57 Lecture 4 | Backpropagation and NN part 1 유투브 강의: www.youtube.com/watch?v=qtINaHvngm8&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=3 q는 매개변수 우리가 원하는 것은 인풋값에 대한 마지막 영향력. 이를 구하기 위해 bp 를 구해야 한다. y 미분값 구하는 과정. y를 h만큼 증가하면 q도 h만큼 증가. 반드시 알아두기. x 미분값도 똑같다. 이렇게 그라디언트를 구했다. 포워드패스일 때 로컬그라이던트는 우리가 구할 수 있다. 여기서 핵심 내용은, 로컬그라이던트는 포워드패스일때 구해서 메모리에 저장해둔다. 그렇다면, 글로벌 그라이던트는 어떻게 구할까. 아래와 같이 구함 이 과정을 Backward Pass = Backpropagation 이라고 한다. z가 여러개의 노드인 경우.. 2020. 10. 20. Lecture 3 | Loss fn, optimization 유투브 강의: www.youtube.com/watch?v=KT4iD6yiqwo&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=2 참고 사이트: cding.tistory.com/2 스코어에 대해 불만족을 정량화하는 로스펑션 로스펑션을 최소화하는 파라미터를 찾는 과저이 옵티파이제이션을 알아본다. 두가지 로스에 대해 svm을 활용한 힌지로스, softmax cross entropy loss 를 알아보자 sj 잘못된 레이블의 스코어 syi 제대로된 레이블의 스코어 1은 safety margin (이게 머여) A: 모든 로스값에 1이 더해짐. 최종 로스값도 1만큼 증가 A: 별 의미는 없다. 어차피 미니마이즈한 파라미터값을 구하는 거기때문에 영향을 주지 않느다. A: 경우에따라.. 2020. 10. 19. Lecture 2 | Image Classification 본 내용은 유투브 강의를 바탕으로 작성되었습니다. 링크 : www.youtube.com/watch?v=3QjGtOlIiVI&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5&index=1 이미지는 3D array 이다. L1 distance 는 이미지 1과 이미지 2의 절대값을 취한 형태의 모든 합 distances 한 줄로 가장 가까운 train image 찾는다. L1 을 사용할 지 L2를 사용할 지는 여러 실험을 통해 최적의 파라미터를 찾아야 한다. 이를 하이퍼파라미터라고 함. -100%, 트레이닝 데이터셋에 동일한 이미지가 존재하기 때문에 distance가 0, 자기 자신과 비교하는 셈. Q. 잉 먼말이지. -상황에 따라 다름. 1위는 정확한 클래스 예측하겠지만, 2위,3위는.. 2020. 10. 13. 이전 1 ··· 7 8 9 10 다음
