강한 모델을 고르는 것만으로는 에이전트가 신뢰할 수 있는 실행자가 되지 않는다. X 게시물은 이를 간단한 식으로 표현한다. Agent = Model + Harness. 모델이 추론하는 두뇌라면 Harness는 도구, 규칙, 검증, 기억, 권한, 로그를 둘러싼 실행 시스템이다.

이 글은 해당 게시물의 6계층 제안을 Google Developers의 Harness Engineering 글과 공개 저장소를 대조해 설명한다. 게시물에서 언급한 “Google의 9페이지 PDF” 자체의 원문은 확인하지 못했으므로, PDF의 내용이라고 단정하지 않고 공식 블로그와 저장소에서 확인되는 개념만 별도로 표시한다.

Sources

Harness Engineering이 필요한 이유

채팅에서 한 번 올바른 답을 내는 것과, 파일을 읽고 도구를 호출하고 코드를 바꾸고 테스트를 통과시키는 작업을 반복해서 성공하는 것은 다르다. 후자의 실패는 모델의 지식 부족뿐 아니라 잘못된 컨텍스트, 도구 오류, 무한 재시도, 권한 과다, 검증 부재에서 발생한다.

Google Developers는 Harness Engineering을 모델을 블랙박스처럼 평가하는 대신, 모델 주변의 프롬프트·도구·검증·실행 루프를 소프트웨어 시스템으로 설계하고 테스트하는 접근으로 설명한다. 평가 스위트의 목적도 단일 벤치마크 점수를 올리는 것이 아니라, 프롬프트·도구 스키마·모델 업그레이드가 전체 동작을 악화시키지 않았다는 확신을 주는 데 있다. (Google Developers 공식 글)

flowchart TD
    A["모델"] --> B["컨텍스트 조립"]
    B --> C["도구 호출"]
    C --> D["실행 환경"]
    D --> E["검증·관찰"]
    E --> F{"계속·수정·중단"}
    F -->|"계속"| B
    F -->|"수정"| C
    F -->|"중단"| G["결과·증거"]
    classDef modelTone fill:#e0c8ef,stroke:#7b4fa3,color:#333
    classDef systemTone fill:#c5dcef,stroke:#4b78a8,color:#333
    classDef verifyTone fill:#fde8c0,stroke:#b88728,color:#333
    classDef resultTone fill:#c0ecd3,stroke:#4d9362,color:#333
    class A modelTone
    class B,C,D systemTone
    class E,F verifyTone
    class G resultTone

6계층으로 분해한 Harness

X 원문은 Harness를 여섯 구성요소로 나눈다. 각 요소는 모델에게 더 긴 지시문을 붙이는 대신, 실패를 시스템 구조에 남기는 방법이다.

1. Guides: 실패를 규칙으로 바꾼다

Guides는 AGENTS.md, 규칙 파일, 설계 문서, 체크리스트처럼 에이전트가 작업 전에 읽는 지식이다. 같은 실수가 반복될 때 매번 대화로 설명하지 않고 “이 프로젝트에서는 반드시 이렇게 한다”는 실행 규칙으로 고정한다.

좋은 Guide는 추상적인 “품질을 높여라”가 아니라 관찰 가능한 제약을 쓴다. 예를 들어 “모든 새 API에는 계약 테스트를 추가하고, 공개 함수의 오류는 호출자에게 전달한다”처럼 검증 가능한 문장이어야 한다.

2. Sensors: 결과를 자동으로 감지한다

Sensors는 테스트, 린터, 타입 검사, 스키마 검증, 보안 스캐너다. 에이전트의 출력이 다음 단계로 넘어가기 전에 실패를 감지한다. 센서가 없으면 에이전트가 자신 있게 잘못된 결과를 제출해도 시스템은 알아차리지 못한다.

센서는 단순한 품질 도구를 넘어 피드백 채널이다. 실패 메시지는 다음 수정 루프의 입력이 되며, 어떤 실패가 반복되는지에 따라 Guide를 보강할 수 있다.

3. Agentic Loop: 계획·실행·검증·수정을 제한한다

Agentic Loop는 계획→실행→검증→수정의 반복이다. 중요한 것은 루프가 무한하지 않아야 한다는 점이다. 재시도 횟수·토큰 예산·시간 예산을 제한하고, 같은 실패가 반복되면 사람에게 에스컬레이션한다.

4. External Memory: 세션 밖에 상태를 남긴다

모델의 컨텍스트 창은 프로젝트의 영구 데이터베이스가 아니다. 결정 사항, 현재 상태, 생성한 아티팩트, 실패 이력을 파일·데이터베이스·검색 인덱스에 저장하면 다음 세션이 처음부터 다시 추론하지 않아도 된다.

5. Permissions: 자율성의 경계를 정의한다

에이전트가 어떤 파일·명령·네트워크·비밀정보에 접근할 수 있는지 정한다. 읽기는 허용하되 삭제·배포·결제·외부 전송은 승인받게 하는 식으로 도구별 권한을 나눈다. 모델이 안전을 “기억”할 것이라고 기대하지 말고 실행 환경이 강제해야 한다.

6. Observability: 모든 실행을 증거로 남긴다

도구 호출, 비용, 소요 시간, 재시도 횟수, 오류, 승인·거부를 기록한다. 관찰 가능성이 있어야 “이번 실패가 모델 문제인지, 도구 문제인지, 권한 문제인지”를 구분하고, Harness 변경의 효과를 측정할 수 있다.

flowchart TD
    A["Model"] --> B["Guides\n규칙·지식"]
    A --> C["Sensors\n테스트·린터"]
    A --> D["Agentic Loop\n계획·실행·수정"]
    A --> E["External Memory\n상태·결정"]
    A --> F["Permissions\n권한·승인"]
    A --> G["Observability\n로그·비용·오류"]
    B --> H["신뢰할 수 있는 실행 시스템"]
    C --> H
    D --> H
    E --> H
    F --> H
    G --> H
    classDef modelTone fill:#e0c8ef,stroke:#7b4fa3,color:#333
    classDef layerTone fill:#c5dcef,stroke:#4b78a8,color:#333
    classDef resultTone fill:#c0ecd3,stroke:#4d9362,color:#333
    class A modelTone
    class B,C,D,E,F,G layerTone
    class H resultTone

실패를 Harness 개선으로 전환하는 루프

Harness를 운영하는 핵심은 실패를 숨기지 않고 분류하는 것이다. 같은 오류가 반복되면 세 가지 질문을 한다.

  1. Guide 문제인가? 에이전트가 알아야 할 규칙이 컨텍스트에 없었는가?
  2. Sensor 문제인가? 잘못된 결과를 조기에 잡을 검사가 없었는가?
  3. Loop·권한 문제인가? 재시도가 무한했거나 도구 권한이 과도했는가?

답에 따라 문서, 테스트, 실행 정책을 수정하고 작은 평가 세트에서 다시 실행한다. 이때 한 번에 모델과 Harness를 모두 바꾸면 원인을 알 수 없으므로, 모델 고정 상태에서 Harness 변경을 비교하는 것이 좋다.

flowchart TD
    A["실패 실행"] --> B["로그·출력·증거 수집"]
    B --> C{"원인 분류"}
    C -->|"규칙 부재"| D["Guide 추가"]
    C -->|"검증 부재"| E["Sensor 추가"]
    C -->|"루프·권한 문제"| F["예산·권한 조정"]
    D --> G["회귀 평가"]
    E --> G
    F --> G
    G --> H{"재발 여부"}
    H -->|"예"| B
    H -->|"아니오"| I["Harness 버전 고정"]
    classDef failureTone fill:#ffc8c4,stroke:#b45b5b,color:#333
    classDef inspectTone fill:#fde8c0,stroke:#b88728,color:#333
    classDef fixTone fill:#c5dcef,stroke:#4b78a8,color:#333
    classDef resultTone fill:#c0ecd3,stroke:#4d9362,color:#333
    class A failureTone
    class B,C,H inspectTone
    class D,E,F,G fixTone
    class I resultTone

공개 프로젝트로 보는 실전 진입점

Harness²: 고정된 모델을 반복적으로 개선하기

Google Research의 Harness² README는 Harness를 프롬프트·도구·메모리·스킬·오케스트레이션을 포함한 모델 주변 시스템으로 정의한다. 프로젝트는 모델 가중치를 바꾸지 않고, 현재 작업을 위한 실행 Harness를 제안·탐색·조합하는 재귀적 방식을 실험한다. X 원문이 말한 “모델보다 시스템”이라는 관점을 연구 프레임워크로 살펴볼 수 있는 출발점이다. (google-research/harness2)

Learn Harness Engineering: 개념을 단계별로 학습하기

walkinglabs/learn-harness-engineering은 Harness를 에이전트 루프, 컨텍스트 전달, 컴팩션, 도구 설계, MCP, 권한·샌드박스, 메모리, 계획, 서브에이전트, 평가, 훅과 인터페이스로 나누어 학습 자료를 제공한다. 처음부터 완성형 플랫폼을 도입하기보다 현재 병목에 해당하는 장부터 읽고 작은 실험으로 옮기기 좋다. (walkinglabs/learn-harness-engineering)

Awesome Agent Harness: 평가 관점의 지도

Awesome-Agent-Harness는 에이전트가 반복 행동·컨텍스트·상태·증거를 관리하는 구조를 조사한 서베이다. 도구를 많이 붙이는 것보다 관찰·복구·권한 경계·평가 증거를 함께 설계해야 한다는 시야를 제공한다. (Gloriaameng/Awesome-Agent-Harness)

Graph Engineering: 여러 Harness를 연결하기

X 원문은 한 단계 더 나아가 Graph Engineering을 제안한다. 연구 에이전트, 분석 에이전트, 코딩 에이전트, 검증 에이전트가 각각 자신의 Harness를 갖고 그래프로 연결되는 구조다. 한 에이전트의 실패가 단순한 종료가 아니라 다른 에이전트의 센서나 다음 실행의 입력이 된다.

이 구조의 핵심은 에이전트 수가 아니라 계약과 증거의 연결이다. 연구 에이전트는 출처와 불확실성을 남기고, 분석 에이전트는 계산 근거를 남기며, 코딩 에이전트는 변경 파일과 테스트 결과를 남긴다. 검증 에이전트는 그 증거를 읽고 통과·실패·재작업을 결정한다.

flowchart TD
    A["연구 에이전트\n출처·가설"] --> B["분석 에이전트\n계산·해석"]
    B --> C["코딩 에이전트\n구현·변경"]
    C --> D["검증 에이전트\n테스트·리뷰"]
    D -->|"통과"| E["결과 패키지"]
    D -->|"실패 신호"| A
    D -->|"수정 요청"| C
    A -.-> F["각자의 Harness"]
    B -.-> F
    C -.-> F
    D -.-> F
    classDef agentTone fill:#c5dcef,stroke:#4b78a8,color:#333
    classDef verifyTone fill:#fde8c0,stroke:#b88728,color:#333
    classDef resultTone fill:#c0ecd3,stroke:#4d9362,color:#333
    classDef harnessTone fill:#e0c8ef,stroke:#7b4fa3,color:#333
    class A,B,C agentTone
    class D verifyTone
    class E resultTone
    class F harnessTone

Graph를 설계할 때 정해야 할 것

  • 노드별 책임과 입력·출력 스키마
  • 실패 신호가 어느 노드로 돌아가는지
  • 공유 메모리와 노드별 메모리의 경계
  • 각 노드가 사용할 수 있는 도구와 권한
  • 전체 그래프의 비용·시간 예산과 중단 조건
  • 최종 결과에 포함할 증거의 최소 형식

Graph가 이 계약 없이 연결되면 여러 채팅창을 병렬로 여는 것과 다르지 않다. 실패를 전달하는 표준 이벤트와 검증 가능한 아티팩트가 있어야 협업 그래프가 된다.

Hermes를 실행 환경으로 볼 때의 주의점

X 원문은 Hermes를 도구·스킬·메모리·워크플로를 한곳에 놓는 에이전트 실행 환경의 예로 든다. Hermes Agent 공식 문서에는 도구 세트, 온디맨드 스킬, MEMORY.md·USER.md 기반 메모리, MCP 통합과 코드 실행 기능이 설명되어 있다. (Hermes Agent 기능 개요, 공식 도구 문서)

하지만 실행 환경 자체가 Harness의 모든 계층을 자동으로 보장하는 것은 아니다. 사용자는 어떤 스킬을 허용할지, 비밀정보를 어디에 둘지, 파일·터미널 권한을 어떻게 제한할지, 로그와 평가를 어디에 저장할지 별도로 결정해야 한다. 플랫폼은 부품을 제공하고, 신뢰성의 기준은 운영자가 조립한다.

최소 구현부터 시작하는 방법

처음부터 멀티에이전트 그래프를 만들 필요는 없다. 다음 순서가 비용 대비 효과가 좋다.

  1. 반복되는 실패 세 가지를 기록한다.
  2. 가장 빈번한 실패 하나를 Guide 규칙으로 바꾼다.
  3. 같은 실패를 잡는 자동 Sensor를 추가한다.
  4. 계획·실행·검증 루프에 재시도 상한과 사람 승인 지점을 넣는다.
  5. 작업 상태와 결정을 외부 파일에 저장한다.
  6. 도구 권한과 비용·시간 로그를 연결한다.
  7. 단일 에이전트가 안정화된 뒤에만 두 번째 에이전트를 추가한다.
flowchart TD
    A["반복 실패 3개 기록"] --> B["Guide 1개 추가"]
    B --> C["Sensor 1개 추가"]
    C --> D["재시도·승인 경계"]
    D --> E["외부 상태 저장"]
    E --> F["권한·관찰성 연결"]
    F --> G{"단일 에이전트 안정화"}
    G -->|"완료"| H["두 번째 에이전트 연결"]
    G -->|"미완료"| B
    classDef observeTone fill:#fde8c0,stroke:#b88728,color:#333
    classDef buildTone fill:#c5dcef,stroke:#4b78a8,color:#333
    classDef decisionTone fill:#e0c8ef,stroke:#7b4fa3,color:#333
    classDef resultTone fill:#c0ecd3,stroke:#4d9362,color:#333
    class A observeTone
    class B,C,D,E,F buildTone
    class G decisionTone
    class H resultTone

핵심 요약

  • Agent는 모델만이 아니라 모델을 둘러싼 Harness까지 포함한 실행 시스템이다.
  • Guides는 실패를 규칙으로 고정하고, Sensors는 잘못된 출력을 다음 단계 전에 잡는다.
  • Agentic Loop에는 계획·실행·검증·수정과 함께 재시도·비용·시간 제한과 사람 에스컬레이션이 필요하다.
  • External Memory·Permissions·Observability가 있어야 세션 간 상태, 안전한 자율성, 운영 증거를 관리할 수 있다.
  • Graph Engineering은 각자 Harness를 가진 전문 에이전트를 연결하고, 한 노드의 실패를 다른 노드의 센서·입력으로 사용하는 방식이다.
  • Harness², Learn Harness Engineering, Awesome Agent Harness, Hermes Agent는 개념을 실험하거나 학습할 수 있는 출발점이다.

결론

앞으로의 경쟁력은 가장 큰 모델을 호출하는 데서 끝나지 않는다. 모델이 실패해도 감지하고, 복구하고, 기억하고, 권한을 넘지 않고, 다음 실행이 더 좋아지도록 만드는 주변 시스템이 실제 제품의 신뢰성을 결정한다. 단일 에이전트의 Harness를 먼저 안정화한 뒤, 증거와 실패 신호가 흐르는 Graph로 확장하는 것이 안전한 순서다.