확률적 경사 하강법(Stochastic Gradient Descent)

확률적 경사 하강법(Stochastic Gradient Descent)

: 훈련 세트에서 랜덤하게 또 다른 샘플을 선택해 가파른 경사를 조금씩 내려가는 학습 알고리즘.

 

에포크(epoch)

: 확률적 경사 하강법에서 훈련 세트를 한 번 모두 사용하는 과정. 1에폭이라고 함

 

미니배치 경사 하강법(minibatch gradient descent)

: 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식. 실전에서 아주 많이 사용.

 

배치 경사 하강법(batch gradient descent)

: 전체 샘플을 사용해 경사 하강법을 수행하는 방식. 데이터가 너무 많을 경우 전체 데이터 모두 읽을 수 없을 수도.

 

손실 함수(loss function)

: 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준. 손실 함수 값이 작을 수록 좋다.

 

+ 손실 함수와 비용 함수

: 비용 함수(cost function)는 손실 함수와 다른 말이다. 손실 함수는 샘플 하나에 대한 손실을 말하고 비용 함수는 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합을 말한다. 보통 이 둘을 엄격히 구분하지 않고 섞어서 사용한다.

 

로지스틱 손실 함수를 활용한 SGDClassfier 활용 예제