Regression-05. Model 4 : LightGBM

LightGBM : 기존 GBM들 보다 훨씬 더 빠르게 학습이 되는 모델.

Source : https://lightgbm.readthedocs.io/en/latest/Features.html

 

• 기존의 GBM들은 Level-wise 방식으로 DT를 build했습니다.
• Level-wise라는건 DT가 학습을 할 때, 같은 level에 있는 node들을 모두 split한 뒤에 다음 Level로 넘어가는 방식을 얘기합니다.(Breadth-First Search)
• 깊이가 너무 커지면 overfitting될 가능성이 높기 때문에, Level을 제한하여 최대한 모델을 키우는 방식을 사용해왔습니다.(Model Generalization)

 

Source : https://lightgbm.readthedocs.io/en/latest/Features.html

 

 

• LightGBM이 제안하는 메인 아이디어는 Level-wise 방식이나 Leaf-wise 방식 모두 optimal을 만들게 된다면 비슷한 DT를 만들게 된다는 것에서 시작합니다
• Leaf-wise를 사용한다면, 월씬 더 빠르게 optimal을 찾을 수 있다는 것이 포인트 입니다.
• 전체 Loss가 줄어드는 방향으로 node를 선정해서 split을 합니다. 이 때, level을 유지하려는 경얄을 포기합니다
• 필요한 node들만 split하면 되기 때문에, 기존 GBM들과 비교했을 때 훨씬 빠르게 학습이 가능하다는 장점이 있습니다.(최대 10,000배까지 빨라진다!)
• 단, 적은 데이터를 사용하게 되면 overfiting이 될 가능성이 높아집니다.(10,000 rows 이상일 때만 사용 권장)
• 또ㅡ 다른 GBM들에 비해 hyper-parameter sensitive합니다.(특히 max_depth에 가장 민감함)