[Machine Learning] LDA

Linear Discriminant Analysis

● 선형 판별 분석법으로 불립니다.

 

● PCA와 유사하게 입력 데이터 세트를 저차원 공간에 투영해 차원을 축소하는 기법입니다.

 

● 개별 클래스를 분별할 수 있는 기준을 최대한 유지하면서 차원을 축소합니다.

 

● 지도학습의 분류에서 사용하기 쉽습니다. 즉, 지도학습 이기에 LDA 학습할 입력데이터에 클래스의 결정 값이 있어야 합니다. LDA 변환 시 클래스의 결정 값이 필요합니다.

 

●  입력 데이터의 결정 값 클래스를 특정 공간상에서 최대한 분리할 수 있는 축을 찾습니다.

 

●  클래스 간 분산(between-class scatter)과 클래스 내부 분산(within-class scatter)을 사용하여 두 비율을 최대화하는 방식입니다.

 

● 클래스 간 분산은 최대한 크게 가져가고, 클래스 내부 분산은 최대한 작게 가져가는 방식입니다.

 

왼쪽 그래프에서 Fisher's "sensibel rule"에 기반한 투영 방향을 표시하면 오르쪽 그래프처럼 나누어집니다.

출처 : https://towardsdatascience.com/linear-discriminant-analysis-explained-f88be6c1e00b