AI 기초 이론

AI 기초 이론

 

● Hypothesis

 

y = 2x

 

Supervised Learning - Regression / Classification

 

Unsupervised Learning

 

y = ax + b가 딥러닝에서는 다음으로 정의합니다.

y를 Hypothesis, b를 Θ_0, a를 Θ_1

 

● Cost Function

 

Hypothesis로 나온 결과 값과 실제 값의 차이를 제곱하는 비용함수를 구합니다.

 

비용함수(Cost Function)는 다음으로 정의합니다.

 

 

숫자 2는 계산의 편의상 들어가 있습니다.

 

비용함수가 최소가 되는 ZERO가 되도록 만드는 지점을 찾습니다.

 

어떻게 ZERO로 만들까?

 

● Gradient desecnt

 

Gradient descent algorithm을 사용하여 repeat until convergence(수렴) 합니다.

 

Cost Function을 minimize하는 방법입니다.

현재 데이터에 비용함수를 미분하여 빼주는 방식입니다.

 

alpha는 learning rate입니다. 얼마나 빠르게 접근할지에 해당하는 부분입니다.

 

비용함수의 기울기

 

데이터의 위치가 음의 기울기에 존재하면 기울기가 음수이기에 Θ_j  자체는 값이 커져 계속 커집니다.

반대로 데이터의 위치가 양의 기울기에 존재하면 기울기가 양수이기에  Θ_j 자체는 값이 줄어 계속 작아집니다. 비용함수가 ZERO로 수렴합니다.

 

편미분을 한 각 계수는 다음과 같습니다.