LLM 학습 트랜드

LLM이란

Large Language Model은 P(text)를 계산 할 수 있는 큰 모델

 - P(text): 문장 현재까지는 

 - 큰모델: 현재까지는 일반적으로 Transformers

 

Transformer

• Inductive Bias 가 적음

• Scaling 이 쉬움

 

 

 

Language Modeling

• Language Modeling은 텍스트의 확률을 계산 할 수 있도록 학습 하는 것

 

LLM의 능력

대량의 corpus 로 Language Modeling을 학습 했을 때 창발 되는 능력

•  In context learning
  •  Fewshot learning
  •  Zeroshot learing
•  Reasoning
  •  Chain of thought
•  Representation learning
  •  Pretraining

 

In context learning

 

Reasoning - Chain of thought

 

 

Representation learning

LLM 의 진영 싸움