#CrossEntropy

신경망 학습 입문: Logit·Softmax·Loss·Gradient 한 번에 연결하기 (4/10)

LLM 학습에서 자주 만나는 parameter·logit·softmax·cross entropy·backpropagation·gradient descent를 세 토큰 예제로 계산하고, pretraining과 inference의 차이까지 RAG 개발 관점에서 설명합니다.