blog.ruahverce Vol · 2026 · Issue 017 — A field log of LLMs, RAG, and ML systems

Knowledge pillar · active

AI Agent·Harness

37 entries

Agent 상태·도구·메모리·복구·보안과 코딩 에이전트 환경, Python 서비스 구현, 운영 방식을 연결합니다.

№036 ai-agent-operations · 04

OpenClaw 사용법: Gateway·Workspace·Channel을 이해하는 첫날 (4/7)

OpenClaw를 설치하고 Gateway·내장 Agent runtime·Workspace·Session·Channel의 관계를 확인합니다. Dashboard에서 읽기 전용 첫 작업을 검증하고 안전하게 메시징으로 확장하는 순서를 정리합니다.

#OpenClaw #AI에이전트 #AgentGateway #AgentWorkspace
Dashboard와 메시징 채널의 요청이 OpenClaw Gateway에서 Agent session으로 라우팅되고 Workspace 규칙 도구 기억 스킬을 사용해 결과를 만드는 구조
№034 ai-agent-operations · 02

VPS에 Hermes Agent 구축하기: Gateway·격리·복구까지 (2/7)

로컬에서 검증한 Hermes Agent를 Linux VPS의 항상 켜진 서비스로 옮깁니다. 전용 계정, Messaging Gateway, 사용자 허용 목록, Docker 실행 격리, 백업과 재시작 검증을 연결합니다.

#HermesAgent #VPS #AI에이전트 #TelegramBot
사용자가 메시징 채널로 요청하면 Hermes Gateway가 전용 서비스 계정과 격리된 실행 backend에서 작업하고 감사 기록을 남기는 VPS 구조
№033 ai-agent-operations · 01

Hermes Agent 사용법: 설치보다 먼저 첫 작업 계약을 만든다 (1/7)

Nous Research의 Hermes Agent를 처음 설치하고 모델·도구·세션·프로젝트 문맥을 확인합니다. 막연한 비서 대신 검증 가능한 첫 작업을 정해 안전하게 사용하는 순서를 정리합니다.

#HermesAgent #AI에이전트 #NousResearch #AgentSkills
검증 가능한 작업 계약이 Hermes Agent의 모델 도구 세션 프로젝트 문맥을 통과해 결과와 증거를 만드는 첫 사용 흐름
№032 ai-agent-operations · 05

OpenClaw 구축: Docker Gateway와 Slack을 안전하게 연결하기 (5/7)

Linux VPS에 OpenClaw Docker Gateway를 version pin과 영속 volume으로 구축하고 Slack Socket Mode를 연결합니다. SecretRef, 사용자·채널 allowlist, sandbox, health check와 rollback을 포함합니다.

#OpenClaw #Docker #SlackBot #AgentGateway
Slack Socket Mode가 인증된 연결로 Docker의 OpenClaw Gateway에 들어오고 agent별 workspace sandbox tool policy와 영속 state를 거치는 VPS 배포 구조
№027 production-rag-agent-python · 05

RAG Prompt·Context Builder: Evidence Budget과 Citation 검증 (5/10)

검색 Evidence를 결정적 context bundle로 조립합니다. token budget, 중복 제거, 원문 span, untrusted data 격리와 server-side citation ID 검증을 Python으로 구현합니다.

#RAGAgent #Python #PromptEngineering #ContextEngineering
검색 Evidence가 dedup과 token budget packer를 지나 S1 S2 context block으로 변환되고 structured answer의 citation ID가 server-side evidence map에서 검증되는 흐름
№024 production-rag-agent-python · 09

RAG Agent 테스트: Fake·Contract·Record/Replay 설계 (9/10)

RAG Agent를 외부 API 없이 검증합니다. deterministic fake, 공통 contract suite, HTTPX transport, 비밀정보를 제거한 record/replay와 fault injection을 설계합니다.

#RAGAgent #Python #Testing #Pytest
순수 unit test와 fake contract HTTP transport record replay live smoke offline evaluation으로 구성한 RAG Agent 테스트 피라미드
№023 rag-agent-harness-foundations · 01

RAG Agent는 무엇인가: Workflow에서 상태 기반 제어 루프로 (1/10)

고정 RAG pipeline을 observe·decide·act·evaluate 상태 루프로 바꾸고, LLM과 deterministic harness의 책임을 분리해 종료 조건·예산·불변식·실패 상태를 가진 첫 RAG Agent를 Python으로 구현합니다.

#RAG #Agent #AgentHarness #StateMachine
사용자 목표가 상태 저장소, LLM 행동 제안, 정책 게이트, 도구 실행, 관찰과 근거 판정을 순환한 뒤 답변 또는 실패로 끝나는 RAG Agent Harness
№022 rag-agent-harness-foundations · 03

Query Router와 Adaptive RAG: 질문마다 다른 검색 경로 (3/10)

질문의 지식 필요성·신선도·식별자·복잡도·모호성·위험도를 판별해 no retrieval, direct lookup, single·iterative search, clarification을 선택하고 routing regret로 검증하는 RAG router를 설계합니다.

#RAG #QueryRouting #AdaptiveRAG #Agent
질문 분석 결과에 따라 검색 없음, 정확 조회, 단일 검색, 반복 검색, 사용자 확인 경로로 분기하고 confidence와 예산 gate가 경로를 통제하는 Adaptive RAG router
№021 rag-agent-harness-foundations · 04

Agent Planning 패턴: ReAct·Plan/Execute·ReWOO·Tree Search (4/10)

ReAct, plan-execute, ReWOO, tree search를 비용과 적응성으로 비교하고 dependency·success criteria·failure policy를 가진 plan DAG와 replan trigger·stop rule을 설계합니다.

#Agent #Planning #ReAct #ReWOO
즉시 관찰하며 행동하는 ReAct, 계획 후 실행하는 plan-execute, dependency DAG를 만드는 ReWOO, 여러 경로를 탐색하는 tree search를 비용과 불확실성에 따라 비교한 Agent planning 지도
№020 rag-agent-harness-foundations · 05

근거 충분성 판정: Self-RAG·CRAG·FLARE로 재검색하기 (5/10)

질문을 evidence requirement로 분해하고 relevance·coverage·support·contradiction·freshness를 판정해 Self-RAG·CRAG·FLARE식 재검색·확인 질문·안전 종료를 bounded loop로 구현합니다.

#RAG #SelfRAG #CRAG #Evidence
질문의 evidence requirement와 source span ledger를 비교해 충분, 부분 충족, 무관, 모순, 오래됨으로 판정하고 query rewrite·다른 source·확인 질문·안전 종료로 교정하는 RAG loop
№019 rag-agent-harness-foundations · 06

Agent Memory 설계: Working·Episodic·Semantic·Procedural (6/10)

Agent state·context·memory·corpus를 구분하고 working·episodic·semantic·procedural memory의 write·retrieve·update·forget lifecycle을 provenance·유효 기간·ACL·민감도로 설계합니다.

#Agent #Memory #RAG #MemGPT
현재 run의 working state, 과거 사건의 episodic memory, 검증된 사실의 semantic memory, versioned procedure를 분리하고 쓰기·검색·통합·갱신·망각하는 Agent memory architecture
№018 rag-agent-harness-foundations · 07

Durable Agent Execution: Checkpoint·Retry·Idempotency (7/10)

프로세스·네트워크 장애 뒤에도 RAG Agent를 안전하게 재개하도록 checkpoint·replay·idempotency·timeout·retry·cancellation·compensation을 설계합니다.

#Agent #DurableExecution #Idempotency #Retry
Agent 실행을 event log와 checkpoint에서 replay하고 idempotency receipt로 외부 부작용 중복을 막으며 timeout·retry·cancel·compensation으로 복구하는 durable execution 구조
№017 rag-agent-harness-foundations · 08

Agent Observability: Trace·Span·Event로 실패 재현하기 (8/10)

RAG Agent의 router·retrieval·model·tool·checkpoint를 trace·span·event·artifact로 연결하고 version·비용·latency·error를 기록해 최초 실패 지점을 재현합니다.

#Agent #Observability #OpenTelemetry #Tracing
Agent run을 router·retrieval·model·tool·checkpoint span tree로 연결하고 state event, manifest, metric, redaction으로 실패 원인과 비용을 재현하는 관측성 구조
№015 rag-agent-harness-foundations · 10

Production RAG Agent Harness: Trajectory 평가와 Release Gate (10/10)

State·tool·router·evidence·memory·durable runtime·trace·security를 production harness로 통합하고 final state와 trajectory의 품질·비용·보안 gate로 안전하게 릴리스합니다.

#Agent #AgentHarness #Evaluation #Trajectory
RAG Agent 실행 모듈을 typed state·policy로 감싸고 durable runtime·trace·trajectory evaluation·release gate로 검증하는 production harness 구조
№014 production-rag-agent-python · 07

RAG Session 영속화: PostgreSQL·Redis·Idempotency 설계 (7/10)

Agent session을 PostgreSQL versioned event로 저장합니다. optimistic concurrency, idempotency key·request hash·lease, Redis cache와 crash window를 Python·SQL로 구현합니다.

#RAGAgent #Python #PostgreSQL #Redis
중복 Agent 요청이 tenant와 operation 범위의 idempotency row에서 합류하고 PostgreSQL session version과 event를 commit한 뒤 Redis versioned cache를 갱신하는 흐름
№013 rag-agent-harness-foundations · 02

Tool Calling 설계: JSON Schema와 안전한 실행 계약 (2/10)

LLM의 tool call을 실제 API 실행과 분리하고 JSON Schema 입력 계약, 의미·권한 검증, 구조화된 결과와 오류 envelope, side-effect·idempotency·version metadata를 갖춘 안전한 tool registry를 설계합니다.

#Agent #ToolCalling #JSONSchema #MCP
LLM의 tool proposal이 JSON Schema, 의미와 권한 gate, executor, output validator를 통과해 provenance가 있는 observation으로 바뀌는 도구 실행 계약
№012 rag-agent-harness-foundations · 09

RAG Agent 보안: Prompt Injection·Capability·실행 직전 승인 (9/10)

검색 문서와 tool result를 untrusted data로 격리하고 provenance·taint·최소 capability·human approval·commit-time authorization으로 Agent 부작용과 정보 유출을 막습니다.

#Agent #Security #PromptInjection #Authorization
Untrusted 문서와 tool result에 taint를 유지하고 capability, action-bound approval, commit-time authorization을 통과한 요청만 실행하는 RAG Agent 보안 구조
№010

OpenAI SDK vs Temporal vs LangGraph — LLM 에이전트 백엔드 비교 2026

OpenAI Agents SDK, Temporal, LangGraph는 자주 비교되지만 셋은 같은 층이 아닙니다. 만드는 도구·운영 엔진·판단 흐름이라는 세 층을 한 장으로 정리하고, 언제 무엇을 써야 하는지 정직하게 가이드합니다.

#AI에이전트 #OpenAI #LangGraph #Temporal
OpenAI SDK·LangGraph·Temporal 세 박스가 위에서 아래로 쌓인 계층도 — 만드는 도구·판단 흐름·운영 엔진
№009 ai-agent-operations · 06

OpenClaw 구축 후 최적화: 20봇을 1 workflow로 줄인 기록 (6/7)

OpenClaw로 여러 프로젝트의 개발·QA·반복 업무를 동시에 자동화하려다 약 20개 봇을 한 프로젝트와 한 workflow로 줄였습니다. 실패 원인과 측정·Skill·Memory·권한 최적화 순서를 정리합니다.

#OpenClaw #AI에이전트 #AgentOptimization #AgentSkills
여러 프로젝트와 약 20개 OpenClaw 봇이 한 프로젝트 한 agent 한 반복 workflow로 수렴하고 평가 Skill Memory 권한 관측을 통해 안정화되는 과정
№008 harness-engineering · 01

하네스 엔지니어링이란? AI 에이전트 환경 설계 7축 로드맵 (1/8)

하네스 엔지니어링은 프롬프트만이 아니라 AI 에이전트가 일하는 환경 전체(규칙·도구·기억·권한·역할·검증)를 체계적으로 설계하는 방법론입니다. 정의·에이전트 루프·7가지 설계 축을 입문자 눈높이로 정리합니다.

#하네스엔지니어링 #AI에이전트 #ClaudeCode
하네스 엔지니어링 시리즈 1편 오픈 그래프 카드
№003 harness-engineering · 06

AI 에이전트 메모리 패턴 — PROGRESS.md로 세션 핸드오프 만들기 (6/8)

Claude Code·OpenCode·OpenClaw에서 세션이 끊겨도 에이전트가 어제까지의 결정을 기억하게 만드는 메모리 패턴을 정리합니다. PROGRESS.md 템플릿, --continue와 새 세션 선택 기준, 구조적 커밋 메시지, 세션 핸드오프 프로토콜 포함.

#하네스엔지니어링 #AI에이전트 #ClaudeCode
하네스 엔지니어링 시리즈 6편 오픈 그래프 카드
№002 harness-engineering · 07

Claude Code Subagent 만들기 — code-reviewer · researcher 역할 분리 패턴 (7/8)

Claude Code에서 subagent로 역할을 분리해 code-reviewer·researcher·test-writer 전문 에이전트를 만드는 방법을 정리합니다. 실제 정의 파일 3개 예시, tools.allow/deny 설계, 확장 순서와 흔한 실수까지 포함합니다.

#하네스엔지니어링 #AI에이전트 #ClaudeCode
하네스 엔지니어링 시리즈 7편 오픈 그래프 카드
№001 harness-engineering · 08

AI 에이전트 검증 루프 설계 — 실패 로그 패턴과 Hooks 자동화 (8/8)

Claude Code 기반 AI 에이전트가 같은 실수를 반복하지 않도록 만드는 검증 루프 설계법. 실패 로그를 남기고 Hooks로 해당 축만 보강하는 4단 루프(관찰·진단·보강·검증)를 실전 시나리오와 함께 정리합니다.

#하네스엔지니어링 #AI에이전트 #ClaudeCode
하네스 엔지니어링 시리즈 8편 오픈 그래프 카드