blog.ruahverce Vol · 2026 · Issue 018 — A field log of LLMs, RAG, and ML systems

Tag index

#FineTuning

04 entries
№004 reranker-engineering · 08

Reranker 학습 심화: Ranking Loss·Distillation·Calibration (8/14)

Cross-Encoder의 pointwise BCE, pairwise logistic, listwise softmax 학습을 비교하고 teacher score·permutation distillation, calibration, train-serve parity를 연결합니다.

#Reranking #RankingLoss #KnowledgeDistillation #Calibration
Human grade와 teacher score를 pointwise·pairwise·listwise loss로 학습하고 temperature calibration을 거쳐 serving score로 만드는 흐름
№003 embedding-research-engineering · 07

Synthetic Data·Distillation로 Embedding을 도메인 적응하기 (7/14)

문서에서 synthetic query를 만들고 Cross-Encoder·LLM teacher로 relabel·distill하며, LoRA·full tuning·model merging을 비교해 작은 in-domain embedding을 안전하게 학습합니다.

#Embeddings #SyntheticData #KnowledgeDistillation #DomainAdaptation
도메인 문서에서 LLM이 query를 생성하고 teacher reranker가 positive와 hard negative를 정제해 작은 embedding student로 distill하는 흐름
№002 llm-training-serving-foundations · 06

LoRA·QLoRA·DoRA와 PEFT: Rank·Target Module·Merge 설계 (6/10)

LoRA의 low-rank update 수식과 trainable parameter를 계산하고 rank·alpha·target module을 고르는 법, QLoRA의 4-bit frozen base, DoRA, adapter merge·동적 serving·평가 계약까지 설계합니다.

#LLM #PEFT #LoRA #QLoRA
Frozen base weight에 rank r의 LoRA A B update를 더하고 QLoRA 4-bit base와 DoRA를 거쳐 merged checkpoint 또는 dynamic adapter serving으로 배포하는 구조