[LG Aimers 4th] Module 3. Machine Learning 개론

Part 1. Introduction to Machine Learning

 

Part 2. Bias and Variance

 

Part 3. Recent Progress of Large Language Models

GPT-3

• Generative Pre-trained Transfomer
• GPT-3부터 소스코드를 비공개

 

Instruct GPT(GPT-3.5)

• 모델에게 자연어로 '직접적으로' 명령 제시 가능
• RLHF(Reinforcement Learning from Human Feedback)

• SFT(Supervised fine-tuning) -> RM (Reward Model) training -> RL via PPO

 

ChatGPT

• Instruct GPT에 대화 UI를 붙인 형태
• 빠른 속도로, 주기적으로 문제점들이 개선되고있다.

 

GPT-4

• A large multimodal language model: 이미지, 텍스트가 인풋으로 주어졌을 때, 적절한 텍스트 아웃풋 반환
•  No technical detatils
• context length: 나눈 대화 중에서 몇 개의 토큰까지를 고려해서 output을 내는지 나타냄 -> GPT-4: 32768 tokens

 

Limitation

• Hallucination: 없는 사실을 만들어내는 errors
• Prompt Engineering좋은 질문이 필요함

 

Anthropic Claude

• Anthropic AI: OpenAI 퇴사자들이 설립
• ChatGPT와 유사한 task

 

Google Bard

• 구글 검색 기능과 연결됨

 

Google PaLM

• Google Pathway LM system
• 5000억 parameter 모델도 구동 가능

 

Meta OPT & LLaMA

• Open Pretrained Transfomer -> open source 형태
• Large Language Model Meta Ai

 

Self-instruct Tuning on LLaMA

• Instruction dataset(사람이 지시하고 그 지시를 이행한 데이터셋)이 필요
• 해당 데이터셋을 GPT에서 가져오는 방식
• LMsys Vicuna: LLaMA 모델,  ShareGPT.com 사이트에서 50만개의 데이터 가져와 학습

LLaMA의 파생 모델이 빠른 속도로 개발되고 있다.

 

 

---

참고자료 

• https://www.lgaimers.ai/