Classification-03. Model 2: Logistic Regression

Logistic Regression : 주어진 데이터(X)를 통해서 사건의 발생 확률(y)를 예측하는 통계 모델.

 

 

Source : http://incredible.ai/machine-learning/2016/04/26/Logistic-Regression/

Issue

• Logistic Regression 대표적인 이진 분류 모델입니다
• 온전한 모델에 대한 디테일을 이해하고 싶으신 분들은 Chapter.04 Regression-02. Model 1 : Linear Regression 을 먼저 보고 오시기 바랍니다.

Linear Regression에 대한 간단한 이해

• Linear Regression은 전체 데이터의 경향성을 파악하는 선형식을 구하는 방법을 말합니다

Source : https://knowledge.dataiku.com/latest/courses/intro-to-ml/regression/regression-summary.html

 

 

• Linear Regression은 기본적으로 특정 값 (target value)을 예측하는 것을 목표로 합니다.
• 특정 값을 찾기 위해서는 주어진 데이터(training data)의 패턴을 찾아야 합니다.
• 그 패턴을 선형식으로 파악하는 것이 Linear Regression이라고 합니다.

 

Logistic Regression

 

 

Source : http://incredible.ai/machine-learning/2016/04/26/Logistic-Regression/

 

• Logistic Regression은 Linear Regression을 분류 모델로써 확장한 모델입니다
• Linear Regression은 특정 수치값(numeric value, continuous)을 예측하는 것에는 좋지만, 특정 카테고리(categorical value, discrete)를 예측하는데는 적합하지 않습니다
• Logistic Regression 결과에 적당한 함수를 적용하여 output score를 0과 1사이의 값으로 변환하는 것으로 카테고리가 나올 확율을 예측하는 문제로 변환합니다
• 이 확률값은 예측값이 1이 될 확률이며, 이 확률이 0.5를 넘기면 1로 예측하고 그렇지 않다면 0으로 예측을 하는 분류 모델로써 사용할 수 있습니다.

 

 

Go Detail

• Logistic Regression 모델은 다음과 같은 수식으로 표현됩니다.
• 아래 수식은 Linear Regression의 결과를 확장한 것입니다. 

• Linear Regression의 계산 결과를 z라고 하면, Logit function(또는 Sigmoid function)을 계산한 결과가 위의 수식입니다.
• Logit Function은 다음과 같습니다.

 

• Logit function은 무한대의 범위를 가지는 $z$를 [0, 1] 사이의 값으로 바꿔줍니다.
• 이 때 [0, 1] 사이의 값은 예측값이 1이 될 확률로 해석됩니다.
• 즉, Equation A을 봤을 때 input x가 들어가고 최종적으로 [0 ,1] 사이의 확률이 나온다고 생각하시면 되며 그 확률은 최종적으로 1이라는 target value가 나올 확률입니다. 이 확률이 0.5를 넘으면 1이라고 예측값을 출력합니다.
• 여기서도 업데이트 되는 파라미터는 여전히 W와 b입니다.