다항 회귀

해당 글은 코드잇에서 공부 내용을 토대로 정리한 글입니다 :)

 

1. 다항회귀란?

:일차 함수나 직선이 아닌 고차식(다항식이나 곡선)을 구해서 학습하는 것입니다. 영어로는 polynomial regression.

 

2. 단일 속성, 다중 속성

- 속성이 하나인 경우

:만약 가설 함수가 삼차항이라고 한다면 제곱한 것과 세제곱한 것을 가상 열로 추가해 다중 선형 회귀 문제로 풀면 됩니다.

 

- 속성이 많고 다항 회귀인 경우

: 가능한 경우의 수로 가상의 열을 추가하고, 이 새로운 열들을 마치 입력 변수처럼 취급해서 다중 선형 회귀로 문제를 풀면 됩니다.

 

예를 들어, 가설 함수가 이차항이라면 상수항+일차항+이차항인 총 9개 항으로 다중 선형 회귀 문제로 풉니다.

 

3. 다항 회귀가 필요한 이유

집 값 예측을 예시로 들어봅시다.

 

집 크기에 따라 집 값이 달라진다고 했을 때 영향을 줄 수 있는 변수는 집 높이와 집 너비라고 가정한다면, 

 

좋은 집 값을 예측하기 위해서는 이 둘을 곱한 값, 집의 넓이가 커야 되는데 이는 높이와 너비가 같이 커야 의미가 있습니다. 아무리 너비가 커도 높이가 작거나, 높이만 크고 너비만 작으면 크기가 작고 구조가 효율적이지 못한 것처럼 말이죠.

 

단순 선형 회귀를 사용하면 이 두 변수가 서로 독립적이기 때문에 프로그램은 "높이와 너비가 같이 커야지만 집 값도 커진다"라는 관계를 학습할 수 없습니다.

 

이 속성들을 서로 곱해서 차항을 높여주면, 속성들 사이에 있을 수 있는 복잡한 관계들을 프로그램에 학습시킬 수 있습니다.