Tag: #DataEngineering

Tag index

№003 enterprise-rag-knowledge-pipeline · 06

RAG freshness를 event·observed·processed·indexed·active time으로 측정합니다. CDC, watermark, tombstone과 bitemporal metadata로 최신·시점 검색과 권한 회수를 안전하게 운영합니다.

16 Jul 2026 #RAG #CDC #Temporal #DataFreshness

№002 enterprise-rag-knowledge-pipeline · 03

RAG 문서의 경로, source object, version, parser representation, chunk ID를 분리합니다. SHA-256·MinHash로 중복 후보를 찾고 stable span과 tombstone으로 멱등 upsert·삭제를 설계합니다.

16 Jul 2026 #RAG #DocumentIdentity #Versioning #Deduplication

№001 enterprise-rag-knowledge-pipeline · 01

Enterprise RAG 지식 파이프라인을 원문 snapshot, canonical document, chunk, index generation으로 분리합니다. 변경·삭제·ACL을 멱등 처리하고 검증된 지식만 원자적으로 배포하는 수명주기를 설계합니다.

16 Jul 2026 #RAG #KnowledgePipeline #DataEngineering #Ingestion