blog.ruahverce Vol · 2026 · Issue 013 — A field log of LLMs, RAG, and ML systems

Series · Folio

Reranker 엔지니어링

14 parts

후보 재정렬의 원리부터 학습·평가·서빙·2026년 연구까지 이어지는 14편

후보 검색에서 Learning to Rank, Cross-Encoder, 생성형과 LLM reranker, 학습, 평가, 다국어 선택, 서빙, RAG utility, 최신 연구, production 실습으로 이어지는 로드맵
대상
BM25·dense·hybrid 검색 뒤 top-k 품질을 높이고, 한국어·도메인 RAG에 맞는 reranker를 선택·학습·운영하려는 개발자와 연구자
읽고 나면
Learning to Rank, Cross-Encoder, monoT5·RankT5, ColBERT, LLM listwise reranking을 구분하고, 데이터·loss·평가·latency·보안까지 포함한 production pipeline을 직접 설계할 수 있음
추천 진입
01편 → 02편 → 03편 → 06편 → 09편 → 11편 → 13편 → 14편
№001 reranker-engineering · 01

Reranker란 무엇인가: 두 단계 검색과 전체 지도 (1/14)

Retriever와 reranker의 역할을 분리하고 candidate recall 상한, scoring·interaction·학습 방식의 분류축을 세웁니다. 14편 학습 순서와 도입 전후의 실험 기준까지 정리합니다.

#RAG #Reranking #InformationRetrieval #LearningToRank
넓고 빠른 후보 검색 뒤 느리지만 정밀한 reranker가 최종 근거를 고르는 두 단계 검색 구조와 14편 학습 지도
№002 reranker-engineering · 02

Learning to Rank: Pointwise·Pairwise·Listwise와 LambdaMART (2/14)

Reranker 학습의 공통 언어인 pointwise·pairwise·listwise 목표를 수식과 작은 예제로 풉니다. RankNet, ListNet, LambdaRank·LambdaMART를 nDCG와 연결하고 loss 선택 기준을 세웁니다.

#Reranking #LearningToRank #RankNet #LambdaMART
Query별 후보 목록을 pointwise 점수, pairwise 선호, listwise 순열과 nDCG 가중치로 학습하는 Learning to Rank 지도
№003 reranker-engineering · 03

Cross-Encoder Reranker: Joint Attention부터 실전 추론까지 (3/14)

Query와 document를 한 Transformer에 넣는 Cross-Encoder의 joint attention과 score를 이해하고, batching·truncation·긴 문서 windowing 및 재현 가능한 baseline을 구현합니다.

#Reranking #CrossEncoder #Transformer #SentenceTransformers
Query와 document token을 한 Transformer에 넣어 모든 layer에서 joint attention한 뒤 relevance score로 재정렬하는 Cross-Encoder 구조
№004 reranker-engineering · 04

monoT5·duoT5·RankT5·ListT5: 생성형 Reranker의 계보 (4/14)

T5가 relevance label token을 점수화하는 monoT5부터 pairwise duoT5, scalar ranking loss를 쓰는 RankT5, Fusion-in-Decoder listwise ListT5까지 입력·출력·loss·추론 비용을 분리해 설명합니다.

#Reranking #monoT5 #RankT5 #ListT5
monoT5의 relevance token, duoT5의 문서 쌍 비교, RankT5의 scalar loss, ListT5의 후보 목록 비교로 이어지는 T5 reranker 계보
№005 reranker-engineering · 05

ColBERT Late Interaction: Multi-Vector 검색과 Reranking (5/14)

Single-vector bi-encoder와 full Cross-Encoder 사이에서 document token vector를 보존하는 ColBERT의 MaxSim을 계산합니다. ColBERTv2 compression·PLAID 검색과 reranker로 배치하는 기준까지 설명합니다.

#Reranking #ColBERT #LateInteraction #VectorSearch
Query token마다 document token 중 최대 유사도를 찾고 합산하는 ColBERT MaxSim과 사전 계산 가능한 multi-vector index 구조
№006 reranker-engineering · 06

LLM Reranker: Pointwise·Pairwise·Setwise·Listwise 설계 (6/14)

Decoder-only LLM의 pointwise·pairwise·setwise·listwise 방식을 비교하고 RankGPT·RankZephyr·PRP·FIRST의 순서 편향, 파싱, token 비용과 안정성 평가를 다룹니다.

#Reranking #LLM #RankGPT #RankZephyr
한 LLM이 문서 하나를 점수화하거나 두 문서를 비교하고 후보 집합의 승자 또는 전체 ID 순열을 만드는 네 가지 reranking paradigm
№007 reranker-engineering · 07

Reranker 학습 데이터: Positive·Hard Negative·False Negative (7/14)

Production 후보 분포에서 graded positive와 hard negative를 만들고 false negative를 거르는 법을 익힙니다. Hybrid mining, 합성 label, split leakage와 dataset versioning도 다룹니다.

#Reranking #HardNegative #TrainingData #DataQuality
실제 hybrid retriever 후보에서 direct evidence, partial evidence, near-miss hard negative와 false negative를 구분해 reranker dataset을 만드는 과정
№008 reranker-engineering · 08

Reranker 학습 심화: Ranking Loss·Distillation·Calibration (8/14)

Cross-Encoder의 pointwise BCE, pairwise logistic, listwise softmax 학습을 비교하고 teacher score·permutation distillation, calibration, train-serve parity를 연결합니다.

#Reranking #RankingLoss #KnowledgeDistillation #Calibration
Human grade와 teacher score를 pointwise·pairwise·listwise loss로 학습하고 temperature calibration을 거쳐 serving score로 만드는 흐름
№009 reranker-engineering · 09

Reranker 평가: Candidate Ceiling·nDCG·MRR·Latency·RAG 품질 (9/14)

고정 candidate에서 reranker 효과를 분리하고 Recall ceiling, MRR·MAP·nDCG, paired confidence interval을 계산합니다. BEIR·BRIGHT·AIR-Bench의 역할과 latency·비용·최종 RAG 평가까지 설계합니다.

#Reranking #Evaluation #NDCG #BEIR
고정 후보의 Recall 상한에서 MRR와 nDCG, p95 latency, 최종 답변 품질까지 단계별로 검증하는 reranker evaluation funnel
№010 reranker-engineering · 10

Reranker 모델 선택: 한국어·도메인·Open Model·API 비교법 (10/14)

2026년 7월 기준 BGE·Qwen3·Jina와 Cohere·Voyage 계열을 구조와 배포 조건으로 분류합니다. 한국어·code-switch·긴 문서용 in-domain bake-off, license·보안·비용 판단표를 만듭니다.

#Reranking #Multilingual #KoreanNLP #ModelSelection
한국어와 영어가 섞인 query, 긴 정책 문서, 로컬 GPU와 외부 API 조건을 품질·지연·license 축으로 비교하는 reranker 선택표
№011 reranker-engineering · 11

Reranker Serving: Batching·Quantization·Adaptive Cascade (11/14)

Candidate 수와 token 길이로 용량을 계산하고 dynamic batching, TEI·vLLM, quantization parity를 설계합니다. Adaptive cascade, timeout·fallback·관측성으로 p95 SLO를 지킵니다.

#Reranking #ModelServing #DynamicBatching #Quantization
짧고 긴 query-document pair를 token bucket으로 batch하고 작은 reranker에서 불확실한 후보만 큰 reranker로 보내는 production cascade
№013 reranker-engineering · 13

Reranker 최근 연구 동향: 2024–2026 논문 지도 (13/14)

Reasoning·test-time compute, contextual listwise ranking, RAG utility 학습, 효율화, 불확실성, 멀티모달과 공격 내성을 중심으로 2024–2026 reranker 연구를 비판적으로 읽습니다.

#Reranking #ResearchTrends #ReasoningModels #Multimodal
2024년 listwise LLM에서 2025년 reasoning과 utility alignment를 지나 2026년 contextual, efficient, multimodal, robust reranking으로 갈라지는 연구 지도