AI 에이전트를 개발에 쓰기 시작했을 때는 어떤 프롬프트를 써야 더 좋은 결과를 받을 수 있을까를 가장 많이 고민했습니다. 조건을 자세히 적고 예시를 붙이면 결과가 달라졌기 때문에 자연스럽게 프롬프트에 집중했습니다.

그런데 에이전트가 저장소를 직접 읽고 파일을 고치고 테스트와 명령까지 실행하기 시작하자, 결과를 가르는 지점이 프롬프트 밖으로 넓어졌습니다. 같은 모델을 써도 무엇을 먼저 읽었는지, 어떤 단계까지 맡겼는지, 앞 단계의 대화를 얼마나 들고 왔는지, 실패했을 때 어디로 돌아갔는지에 따라 결과가 크게 달라졌습니다.

그래서 요즘은 에이전트에게 일을 주기 전에 작업의 흐름과 컨텍스트 경계부터 정합니다. 한 번에 더 많은 일을 시키는 것보다 각 단계가 무엇을 받아서 무엇을 남기는지 정해 두는 편이 수정도 쉽고 토큰도 덜 쓰며, 사람이 다시 확인하기도 편했습니다.

제가 지금 가장 먼저 보는 것은 프롬프트의 길이가 아니라 다음 세 가지입니다. 지금 어느 단계인지, 다음 단계에 무엇만 넘길지, 실패하면 어디로 돌아갈지.

이 글은 특정 도구의 사용법을 정리한 글이 아닙니다. AI 에이전트를 계속 개발에 사용하면서 제가 작업을 나누고, 역할을 분리하고, 컨텍스트와 검증을 관리하는 방식이 어떻게 바뀌었는지를 정리한 회고입니다.


프롬프트보다 먼저 작업의 흐름을 정한다

작업이 조금만 커지면 하나의 긴 요청 안에 설계, 구현, 테스트, 검토를 전부 섞지 않습니다. 각 단계를 별도의 상태로 보고 다음 상태로 넘어가기 위한 조건을 둡니다.

원본 보기

그림 1. 개발과 테스트, 코드 검토 사이를 오가며 실패한 위치에 맞춰 되돌아가는 기본 흐름

이 방식에서 중요한 것은 단계 이름보다 회귀 지점이 정해져 있다는 것입니다.

테스트가 깨졌다면 우선 개발로 돌아갑니다. 반대로 테스트는 통과했지만 요구 자체를 잘못 이해했다면 구현을 계속 덧대기보다 설계와 계획을 다시 확인해야 합니다. 같은 실패라도 코드 문제인지, 맥락 문제인지에 따라 돌아갈 위치가 달라집니다.

이 흐름을 먼저 정해 두면 프롬프트도 오히려 짧아집니다. 개발 단계에서는 개발에 필요한 행동만 허용하고, 검토 단계에서는 새로운 기능을 만드는 대신 근거를 확인하게 할 수 있기 때문입니다.

제가 작업을 시작할 때 정하는 것은 보통 다음 정도입니다.

  • 현재 상태: 지금은 탐색인지, 구현인지, 검증인지
  • 허용 범위: 지금 단계에서 바꿔도 되는 파일과 행동
  • 통과 조건: 다음 단계로 넘어가기 전에 확인할 근거
  • 회귀 조건: 실패했을 때 이전 어느 상태로 돌아갈지
  • 사람의 판단 지점: 자동으로 넘기지 않을 결정

LY Corporation의 최근 개발 워크플로 사례에서도 코드 변경 전에 먼저 자료를 읽고 불명확한 질문을 드러낸 뒤 사람의 확인을 기다리는 흐름을 강조합니다. 에이전트가 빨리 구현하는 것보다 잘못된 전제를 구현 전에 밖으로 꺼내는 순서가 중요하다는 점이 인상적이었습니다.


에이전트를 나눌 때는 역할 이름보다 컨텍스트 경계를 먼저 본다

멀티 에이전트를 처음 보면 탐색, 설계, 구현, 검토를 각각 별도 에이전트로 만들고 싶어집니다. 지금은 반대로 생각합니다. 먼저 하나의 에이전트로 처리하고, 컨텍스트를 끊는 편이 더 이득인 지점만 분리합니다.

원본 보기

그림 2. 역할 이름을 먼저 늘리지 않고, 컨텍스트 분리와 독립 검토가 필요한지에 따라 에이전트 수를 늘리는 기준

작은 변경은 하나의 에이전트가 탐색에서 구현, 검증으로 역할만 바꾸는 편이 단순합니다. 실제로 별도 에이전트를 띄우는 경우는 크게 두 가지입니다.

  1. 앞 단계의 긴 과정이 다음 단계에 필요하지 않을 때

탐색이 많은 파일과 문서를 읽더라도 구현에는 관련 경로와 확인된 제약만 있으면 되는 경우입니다. 이때 탐색 역할을 분리하면 구현 컨텍스트가 훨씬 작아집니다.

  1. 이미 세운 가정에서 일부러 떨어져서 다시 봐야 할 때

구현 과정의 설명에 끌리지 않고 처음 요구와 실제 변경만 비교해야 하는 경우입니다. 이때 검증 역할을 새 컨텍스트로 분리할 가치가 생깁니다.

역할을 분리할 때는 이름보다 입력과 출력의 계약을 먼저 만듭니다. 제가 가장 자주 쓰는 형태는 아래처럼 짧습니다.

text
목표:
이번 범위:
바꾸지 않을 것:
확인된 제약:
열린 질문:
완료 기준:
근거 위치:

탐색 역할이 읽은 모든 내용을 다음 역할에 넘기지 않는 것도 중요합니다. 다음 역할에는 관련 파일, 확인된 제약, 열린 질문, 다시 확인할 근거 위치 정도만 넘깁니다. 이렇게 하면 서브 에이전트는 병렬 작업자이면서 동시에 컨텍스트를 압축하는 경계가 됩니다.

다만 압축된 요약만 남기면 검증할 길이 끊길 수 있습니다. 그래서 결론만 전달하지 않고 파일 경로, 문서 위치, 로그 구간처럼 다시 원문으로 돌아갈 수 있는 위치를 함께 남깁니다.

LY Corporation의 멀티 에이전트 사례에서 특히 참고할 만했던 부분도 비슷했습니다. 모든 작업에 같은 수의 에이전트를 붙이지 않고 작업 복잡도에 따라 토론 강도를 조정하고, 각 실행은 제한된 컨텍스트와 구조화된 산출물을 통해 다음 단계로 넘어갑니다. 역할 분리 자체보다 분리 비용이 실제 품질 개선으로 돌아오는가를 보는 접근입니다.

역할을 나눴다면 도구도 같이 좁힌다

컨텍스트만 분리하고 모든 역할에 같은 도구를 열어 두면 역할의 경계가 쉽게 흐려집니다. 그래서 실제로 역할을 나눌 때는 사용할 수 있는 도구도 같이 줄이는 편입니다.

  • 탐색 단계는 읽기와 검색 중심으로 두고 파일 수정은 열지 않습니다.
  • 구현 단계는 필요한 파일 수정과 좁은 범위의 검사 실행만 허용합니다.
  • 검증 단계는 변경 내용을 다시 읽고 검사를 실행할 수 있지만, 검토 중 발견한 문제를 바로 고치기보다 실패 근거를 반환하게 합니다.
  • 외부 전송이나 배포처럼 되돌리기 어려운 행동은 역할과 관계없이 별도의 사람 판단 지점을 둡니다.

이렇게 두면 역할이 단순한 이름표가 아니라 볼 수 있는 정보와 할 수 있는 행동의 경계가 됩니다. 도구 목록도 줄어들기 때문에, 어떤 도구를 고를지 판단하는 데 쓰이는 컨텍스트와 잘못된 호출 가능성도 함께 줄일 수 있습니다.


토큰을 줄일 때는 정보를 지우기보다 필요한 곳에 둔다

처음에는 토큰을 줄이려면 프롬프트를 짧게 쓰면 된다고 생각했습니다. 실제로 오래 쓰다 보니 더 큰 낭비는 다음 단계가 읽지 않아도 되는 내용을 계속 들고 가는 것에서 생겼습니다.

그래서 컨텍스트를 세 종류로 나눕니다.

  • 항상 읽는 지도: 저장소 구조, 핵심 규칙, 어디에서 무엇을 찾는지
  • 필요할 때만 읽는 자료: 상세 설계, API 문서, 과거 결정, 예시
  • 이번 단계에서만 생긴 정보: 로그 일부, 테스트 출력, 탐색 결과
원본 보기

그림 3. 여러 원본을 그대로 다음 단계에 넘기지 않고 이번 판단에 필요한 부분만 작업 컨텍스트로 보내는 구조

OpenAI의 Codex 팀도 거대한 AGENTS.md를 설명서처럼 두기보다 짧은 지도 역할로 사용하고, 깊은 내용은 저장소 안의 문서로 찾아가게 했다고 설명합니다. 핵심은 정보를 없애는 것이 아니라 항상 들어오는 정보와 필요할 때 찾아가는 정보를 분리하는 것입니다.

제가 토큰을 줄일 때 효과가 컸던 방법도 이 원칙에서 나왔습니다.

항상 읽는 문서는 목차처럼 유지한다

모델이 이미 알고 있는 Java 문법이나 Git 사용법을 저장소 지침에 다시 적지 않습니다. 이 저장소에서만 알 수 있는 규칙과 상세 문서로 가는 경로를 남깁니다.

탐색 결과는 구조화해서 넘긴다

자유로운 설명보다 관련 파일, 제약, 열린 질문, 근거 위치처럼 다음 역할이 바로 사용할 필드로 줄입니다. 구조가 고정되면 필요 없는 서술이 줄고 누락도 찾기 쉬워집니다.

큰 원문은 대화 밖에 둔다

긴 로그나 대규모 검색 결과는 파일이나 별도 산출물에 남기고, 현재 컨텍스트에는 필요한 구간과 위치만 둡니다. 나중에 다시 볼 수 있는 정보라면 계속 복사해 둘 이유가 없습니다.

도구 정의도 단계별로 줄인다

MCP 서버가 많아질수록 실제 호출보다 도구 정의가 차지하는 토큰이 커질 수 있습니다. 현재 단계에서 필요하지 않은 도구는 노출하지 않고, 가능한 경우 필요한 도구를 검색해서 불러옵니다.

LY Corporation의 ADK 실험은 이 효과를 꽤 구체적으로 보여줍니다. 도구 필터링, 서브 에이전트를 통한 컨텍스트 분리, 구조화된 입출력을 조합한 버전에서 전체 시스템의 평균 토큰 소비가 174,643에서 103,583으로 40.7% 감소했고, 루트 에이전트의 컨텍스트 사용률도 크게 줄었습니다. 모든 최적화를 한 번에 적용할 필요는 없지만, 적어도 어디에서 토큰이 새는지는 측정할 수 있다는 점이 중요합니다.

저는 그래서 작업마다 토큰 수 자체보다 먼저 다음을 봅니다.

  • 이 정보가 항상 들어와야 하는가
  • 지금 단계에서만 필요한 정보인가
  • 다음 역할이 정말 알아야 하는가
  • 다시 찾을 수 있는데 굳이 복사하고 있지는 않은가
  • 도구가 반환하는 원본 중 실제 판단에 필요한 부분은 어디인가

같은 실패가 반복되면 더 오래 돌리지 않는다

에이전트가 스스로 고칠 수 있다는 이유로 재시도를 오래 허용하면 생각보다 많은 토큰을 쓰면서 제자리에서 돌 수 있습니다. 특히 다음처럼 오류가 반복되면 더 많은 시도보다 접근 자체를 바꿔야 할 신호로 봅니다.

text
1회차: 오류 A
2회차: A를 고쳤더니 오류 B
3회차: B를 고쳤더니 다시 오류 A

LY Corporation의 멀티 에이전트 개발 사례에서는 이런 A → B → A 형태를 진동으로 감지해 같은 자가 수정 루프를 중단하고 다른 검토나 재설계로 올립니다. 이 방식은 멀티 에이전트에만 필요한 기법은 아닙니다. 단일 코딩 에이전트를 쓸 때도 재시도 예산을 정해 두면 유용합니다.

제가 적용할 때는 아래처럼 생각합니다.

  • 같은 실패 서명이 반복되면 자동 수정 횟수를 더 늘리지 않는다
  • 새로운 근거 없이 같은 파일만 반복 수정하면 탐색 단계로 돌아간다
  • 실패 원인이 요구 해석인지 코드 구현인지 먼저 분리한다
  • 고정된 순서로 판단할 수 있는 부분은 에이전트 루프 대신 스크립트나 테스트로 옮긴다

이 기준이 없으면 에이전트가 열심히 일하는 모습과 실제 진척을 구분하기 어렵습니다. 도구 호출 횟수와 수정 횟수도 진행 상황의 증거는 아닙니다. 이전보다 새로운 근거가 생겼는지가 더 중요합니다.


검증은 자동으로 판정할 부분과 해석할 부분을 나눈다

변경을 확인할 때도 하나의 리뷰 에이전트에게 모든 판단을 맡기지 않습니다. 정답이 정해진 검사와 해석이 필요한 검토를 분리합니다.

원본 보기

그림 4. 하나의 변경을 기계 검증과 독립 검토로 나눠 확인한 뒤 근거가 충분할 때 사람의 판단으로 넘기는 구조

기계 검증에는 같은 입력에 같은 판정을 내려야 하는 항목을 둡니다.

  • 컴파일과 타입 검사
  • 린트와 정적 분석
  • 단위 테스트와 통합 테스트
  • 스키마와 파일 규칙
  • 금지 명령과 비밀 값 검사

이 영역을 다시 LLM에게 괜찮은지 봐줘라고 묻는 것은 비용도 들고 판정도 흔들릴 수 있습니다.

독립 검토에서는 기계적으로 판정하기 어려운 부분을 봅니다.

  • 처음 요구를 실제로 해결했는지
  • 빠진 예외 경로가 있는지
  • 변경 범위를 불필요하게 넓히지 않았는지
  • 테스트가 놓친 위험이 있는지
  • 확인하지 못한 항목이 무엇인지

별도의 검증 역할을 둘 때도 구현 대화를 그대로 복사하지 않습니다. 주로 요구와 완료 기준, 실제 변경, 테스트와 실행 결과, 미확인 항목만 새 컨텍스트에 넣습니다. 구현자의 설명을 읽기 전에 결과를 다시 보는 편이 이미 세운 가정에 끌려갈 가능성을 줄여 줍니다.

검증 상태도 세 가지로 구분합니다.

2열 표
상태의미
확인됨실제 근거를 확인함
실패기대와 다른 근거를 확인함
미확인아직 실행하거나 확인하지 못함

미확인을 별도 상태로 두는 이유는 확인하지 않은 항목이 에이전트의 요약 안에서 자연스럽게 문제없음으로 바뀌는 것을 막기 위해서입니다.


긴 작업은 채팅을 이어가기보다 상태를 이어간다

긴 세션에서 불편한 것은 컨텍스트가 부족한 순간만이 아니었습니다. 앞에서 유효했던 정보가 계속 남아 현재 판단을 흐리는 경우도 많았습니다.

그래서 작업을 오래 이어갈 때는 전체 대화보다 다음 상태를 남깁니다.

text
현재 목표:
현재 범위:
확인된 사실:
버린 가정:
변경한 파일:
검증한 근거:
열린 질문:
다음 행동:

여기서 버린 가정을 따로 남기는 것이 생각보다 유용했습니다. 이전에 맞다고 생각했다가 폐기한 가정을 새 세션이 다시 채택하는 일을 줄일 수 있기 때문입니다.

새 세션이나 다른 에이전트는 이 메모를 시작점으로 사용하되, 현재 저장소와 실행 결과를 다시 읽습니다. 체크포인트는 현재 상태의 복사본이 아니라 다시 탐색하기 위한 지도입니다.

반복해서 쓰는 지식은 성격에 맞는 위치로 옮깁니다.

  • 반복되는 동작 실패는 테스트로
  • 반드시 지킬 경계는 저장소 규칙으로
  • 이유와 배경이 필요한 결정은 문서로
  • 같은 순서의 작업은 스크립트나 도구로

그리고 주기적으로 지웁니다. OpenAI의 하네스 엔지니어링 사례에서도 오래된 문서와 규칙을 계속 쌓는 대신 정리하는 작업을 별도로 둡니다. 모델이나 도구가 바뀌었는데 과거 약점을 보완하기 위해 만든 지침이 계속 남아 있으면, 그 자체가 다시 노이즈와 토큰 비용이 됩니다.


결국 바꾼 것은 에이전트 수가 아니라 경계였다

처음에는 더 좋은 프롬프트, 더 많은 도구, 더 많은 에이전트를 붙이면 결과가 좋아질 거라고 생각했습니다. 지금은 오히려 필요하지 않은 것을 다음 단계로 넘기지 않는 구조가 더 중요하다고 봅니다.

지금은 에이전트의 수나 프롬프트 길이보다 세 가지 경계를 먼저 봅니다. 현재 단계에서 어디까지 행동할 수 있는지, 다음 단계에 어떤 정보만 넘길지, 무엇을 확인해야 사람의 판단으로 넘어갈 수 있는지입니다.

이 경계를 잘 잡아 두면 작은 작업은 한 에이전트로 빠르게 끝낼 수 있고, 탐색이 커지면 그 부분만 분리할 수 있으며, 검토가 중요해지면 구현 과정과 떨어진 새 컨텍스트를 만들 수 있습니다. 반대로 경계가 없으면 에이전트 수를 늘릴수록 대화와 도구 호출만 늘고, 어디에서 잘못됐는지 찾기는 더 어려워졌습니다.

AI 에이전트의 성능이 계속 좋아지더라도 제가 유지하고 싶은 것은 특정 프롬프트나 역할 이름이 아닙니다. 필요한 정보는 필요한 단계에서만 쓰고, 반복되는 실패는 더 오래 돌리지 않으며, 마지막 판단은 현재의 근거로 다시 만드는 작업 방식입니다. 모델이 더 많은 일을 할 수 있게 될수록 개발자가 해야 할 일도 사라진다기보다, 무엇을 맡기고 무엇을 넘기지 않을지를 설계하는 쪽으로 옮겨간다고 느끼고 있습니다.

참고한 글