#Compute

LLM 사전학습 목표와 Scaling Law: Token·Parameter·Compute 예산 (2/10)

Causal LM의 next-token loss부터 parameter·token·compute 관계, Kaplan·Chinchilla scaling law, pilot run과 안정성, inference 비용을 반영한 over-training 판단까지 설명합니다.