같은 조직의 요청이 Redis Lock 앞에 몰렸다
AI Agent는 한 작업 안에서 검색, 분석, 외부 API 호출을 여러 Tool Call로 나눠 병렬로 실행합니다. 여기서 Tool Call은 Agent가 도구 하나를 실행한 단위입니다. 여러 Tool Call이 비슷한 시점에 끝나면 사용량 확인과 크레딧 차감 요청도 짧은 시간에 집중됩니다.
기존 차감 경로는 요청마다 조직을 구분하는 식별자(organizationId)를 기준으로 Redis Lock을 얻고 DB 트랜잭션을 열었습니다. 같은 조직 식별자를 가진 요청은 하나의 조직 잔액을 함께 사용하므로 같은 Lock을 기다립니다. Redis Lock은 이 잔액이 동시에 변경되지 않도록 처리 순서를 보장합니다.
요청이 드물 때는 문제가 없었습니다. 그러나 같은 조직에서 30개 요청이 거의 동시에 들어오면 뒤의 요청은 앞선 요청의 네트워크 왕복과 DB 작업이 끝날 때까지 차례로 기다려야 했습니다. 일부 요청은 2초로 설정한 Lock 획득 대기 한도를 넘겨 실패했습니다.
| 구분 | 기존 경로 | 변경 후 |
|---|---|---|
| Redis Lock | Tool Call마다 획득 | 조직별 처리 묶음마다 획득 |
| DB 트랜잭션 | Tool Call마다 시작 | 처리 묶음마다 시작 |
| 사용 금액과 정산 이력 | 요청별 저장 | 요청별 저장 유지 |
| 응답 방식 | 차감 완료 후 반환 | 같은 동기 응답 유지 |
대기 한도를 늘리는 방법은 선택하지 않았습니다. 대기 시간을 늘려도 Lock 획득을 시도하는 요청 수는 그대로이고, 실패한 요청이 곧바로 재시도되면 같은 대기열에 다시 들어가 부하를 더 키울 수 있기 때문입니다. 실패 시점을 늦추기보다 Lock 앞에 서는 실행 단위 자체를 줄이는 쪽으로 문제를 다시 정의했습니다.
Lock 안전성과 경합을 분리했다
기존 SET NX와 DEL 조합에는 Lock 소유권과 관련된 별도 위험이 있었습니다. 먼저 시작한 요청의 TTL이 끝난 뒤 다른 요청이 같은 키로 Lock을 얻었는데, 이전 요청이 늦게 DEL을 실행하면 새 요청의 Lock까지 지울 수 있었습니다. 이 문제는 Redisson으로 전환해 Lock 소유자를 확인하도록 바꾸면서 해결했습니다.
그러나 Redisson 전환만으로 Tool Call마다 Lock을 얻는 구조가 달라지지는 않았습니다. 최종 경로에서는 다음 세 문제를 따로 다뤘습니다.
- Lock 안전성은 Redisson으로 소유권 확인과 안전한 해제를 보완했습니다.
- Lock 보유 시간은 사전 검증과 반복 조회 일부를 Lock 밖으로 옮겨 줄였습니다.
- Lock 경합은 local micro-batch로 Lock 획득 시도 횟수를 줄였습니다.
문제가 드러난 단위는 AI Agent 실행이었지만 실제로 경쟁하는 값은 조직의 잔액이었습니다. 서로 다른 Agent 실행에서 나온 요청이라도 조직 식별자(organizationId)가 같으면 같은 잔액과 Redis Lock을 사용합니다. 그래서 요청을 묶는 기준도 실행 ID가 아니라 조직 식별자로 정했습니다.
| 묶는 기준 | 얻는 점 | 감수하는 점 |
|---|---|---|
| 조직 식별자 | 같은 잔액을 쓰는 요청을 넓게 묶어 Lock 횟수를 줄이기 유리합니다. | 서로 다른 Agent 실행의 요청이 같은 묶음에 들어갈 수 있습니다. |
| 조직 식별자와 실행 ID | 한 요청의 실패가 다른 Agent 실행에 미치는 범위를 줄이기 쉽습니다. | 같은 조직의 요청이 여러 묶음으로 나뉘어 Lock 횟수가 다시 늘어납니다. |
이번에는 실행별 실패 격리보다 실제 경합 자원인 조직 잔액을 기준으로 Lock 횟수를 줄이는 쪽을 우선했습니다.
local micro-batch로 Lock과 트랜잭션 진입을 묶었다
local micro-batch는 같은 Pod에 들어온 동일 조직의 요청을 메모리에서 잠시 모아 Redis Lock과 DB 트랜잭션을 함께 사용하는 방식입니다. local은 요청을 받은 Pod 안에서만 모은다는 뜻이고, micro-batch는 최대 100ms 또는 20건처럼 짧고 작은 범위로 요청을 묶는다는 뜻입니다. 여러 Pod가 함께 쓰는 메시지 큐와는 다릅니다.
요청이 처리되는 순서
- 요청을 조직 식별자별 요청 버퍼(
OrgBatchBuffer)에 넣습니다. - 첫 요청 이후
100ms가 지나거나 대기 요청이20건에 도달하면 현재 묶음의 처리(flush)를 시작합니다. - 같은 조직에서는 한 번에 하나의 묶음만 처리합니다. 시간 조건과 건수 조건이 동시에 충족돼도 같은 요청을 두 번 가져가지 않습니다.
- Redisson Lock을 한 번 얻고 DB 트랜잭션을 한 번 시작합니다.
- 묶음 안의 요청을 들어온 순서대로 확인하고, 요청별 중복 방지 키(
idempotencyKey)로 이미 처리된 요청인지 검사합니다. - 요청별 금액을 계산해 잔액과 정산 이력(
ledger)에 반영합니다. - DB 커밋이 끝나면 Lock을 해제하고 각 호출자에게 개별 결과를 반환합니다.
시간 조건과 건수 조건이 거의 동시에 충족돼도 같은 묶음을 두 번 처리하지 않도록 처리 시작 권한은 한 번만 얻습니다. 현재 묶음에 포함할 요청을 한 번에 분리한 뒤 이후 도착한 요청은 다음 묶음으로 보냅니다. 앞선 처리가 끝났을 때 대기 요청이 남아 있으면 다음 처리를 예약합니다. 비어 있는 버퍼와 사용이 끝난 타이머도 제거해 조직별 버퍼가 메모리에 계속 남지 않도록 했습니다.
| 묶음 단위로 공유한 것 | 요청별로 유지한 것 |
|---|---|
| Redis Lock 획득 | 사용 금액 |
| DB 트랜잭션 진입 | 중복 방지 키(idempotencyKey) |
| 묶음 안의 처리 순서 | 비용 계산 원본 정보(payload) |
| 같은 조직의 짧은 처리 구간 | 정산 이력(ledger)과 개별 결과 |
이 변경은 JDBC batch와도 다릅니다. local micro-batch는 요청이 Redis Lock과 DB 트랜잭션에 진입하는 횟수를 줄입니다. JDBC batch는 반복되는 INSERT와 UPDATE의 DB 왕복을 줄이는 별도 최적화입니다. 요청별 정산 이력 N건을 저장하는 것은 정산 근거를 남기기 위한 의도된 쓰기이며, 같은 조직 정보나 연관 데이터를 요청마다 다시 읽어 SELECT가 반복되는 문제와도 구분해야 합니다.
100ms와 20건을 k6 부하 테스트로 조정했다
local micro-batch를 도입하면 기존에 없던 수집 대기가 생깁니다. 더 오래 기다릴수록 많은 요청을 묶을 수 있지만 첫 요청의 응답은 늦어집니다. 묶음이 커질수록 Lock 획득 횟수는 줄지만 한 번의 DB 트랜잭션과 함께 롤백되는 범위는 커집니다.
| 설정 | 초기값 | 선택 기준 |
|---|---|---|
| 최대 수집 대기 | 100ms | 기존 2초 Lock 대기 한도의 5%입니다. 실제 묶음 크기가 계속 1이면 기다리기만 하는 상태이므로 줄입니다. |
| 최대 묶음 크기 | 20건 | Lock 횟수는 줄지만 한 번의 트랜잭션과 롤백 범위가 커집니다. Lock 보유 시간이나 DB p99가 오르면 낮춥니다. |
| 조직별 대기열 | 100건 | 20건짜리 묶음 다섯 개까지만 잠시 흡수합니다. 상한 도달이 반복되면 재시도보다 처리량과 DB 병목을 먼저 확인합니다. |
| 조직별 동시 처리 | 1개 | 같은 조직에서 두 트랜잭션이 동시에 잔액을 변경하거나 같은 요청을 중복 처리하지 않도록 고정합니다. |
p95는 전체 요청의 95%가 해당 시간 안에 완료됐다는 뜻이고, p99는 99% 요청을 기준으로 한 값입니다. k6로 50ms, 100ms, 200ms를 비교했을 때 50ms는 전체 응답 p95가 가장 짧았지만 30개 요청당 Redis Lock 횟수가 가장 많았습니다. 200ms는 Lock 횟수를 더 줄였지만 응답 시간이 크게 늘었습니다. 100ms는 최저 지연을 만드는 값이 아니라 Tool Call 완료 시점이 조금씩 어긋나는 순간 부하를 흡수하면서 추가 대기를 제한하기 위한 초기값입니다.
k6 대기 시간 비교 결과
| 최대 대기 시간 | 평균 Lock 대기 | 대기열 p95 | 전체 응답 p95 | 평균 묶음 크기 | 30개 요청당 Lock 횟수 |
|---|---|---|---|---|---|
50ms | 26.6ms | 50.0ms | 118.7ms | 4.51건 | 6.65회 |
100ms | 25.8ms | 100.0ms | 195.4ms | 6.61건 | 4.54회 |
200ms | 35.4ms | 200.0ms | 304.3ms | 10.00건 | 3.00회 |
100ms는 50ms보다 전체 응답 p95가 76.7ms 늘지만 Lock과 트랜잭션 진입은 6.65회에서 4.54회로 줄었습니다. 반대로 200ms는 Lock 횟수를 더 낮추는 대신 사용자가 기다리는 시간이 지나치게 커졌습니다.
요청 단위의 정합성을 유지했다
성능이 좋아져도 차감 결과와 정산 근거가 기존 단건 처리와 달라지면 적용할 수 없습니다. 그래서 요청을 버퍼에 넣기 전, Redis Lock을 얻은 뒤, 데이터베이스에 저장할 때 각각 맡을 검증을 나눴습니다.
| 검증 위치 | 확인한 내용 | 이 위치에서 확인한 이유 |
|---|---|---|
| 버퍼에 넣기 전 | 요청 형식, 금액 계산에 필요한 입력, 거래 유형 | 잘못된 요청 하나가 정상 요청이 포함된 전체 묶음을 반복해서 롤백시키는 일을 줄입니다. |
| Redis Lock 안 | 최신 잔액, 이미 처리된 요청인지 여부, 잔액 부족과 초과 사용 정책 | 동시에 들어온 요청을 반영한 최신 상태가 필요합니다. |
| 데이터베이스 | 중복 방지 키의 고유 제약, 잔액과 정산 이력의 함께 커밋 여부 | 서버 재시작이나 다른 Pod의 재시도까지 포함한 최종 방어선입니다. |
같은 요청은 한 번만 반영했다
메모리에서 먼저 중복을 걸러도 서버 재시작이나 다른 Pod에서 들어오는 재시도까지 막을 수는 없습니다. 따라서 중복 여부의 최종 기준은 로컬 버퍼가 아니라 데이터베이스의 고유 제약입니다.
같은 중복 방지 키로 동일한 요청이 다시 들어오면 기존 처리 결과를 확인하고 추가 차감하지 않습니다. 반대로 같은 키를 사용하면서 금액이나 거래 유형이 달라지면 이전 결과를 재사용하지 않고 요청 충돌로 처리합니다. 같은 키가 같다는 이유만으로 서로 다른 요청을 같은 요청으로 오인하지 않기 위한 기준입니다.
정산 이력은 Tool Call별로 남겼다
금액만 합쳐 한 줄로 저장하면 어느 Tool Call에서 비용이 발생했는지 확인하기 어렵습니다. 그래서 Redis Lock과 DB 트랜잭션은 공유하되 다음 정보는 요청별로 남겼습니다.
- Tool Call별 사용 금액
- 비용 계산에 사용한 입력과 정책 정보
- 중복 요청을 구분하는 키
- 정산과 사후 분석에 필요한 ledger
잔액 부족과 초과 사용 정책은 바꾸지 않았다
묶음 안에서 잔액이 부족해져도 기존 서비스의 초과 사용 정책과 요청 순서를 그대로 적용했습니다. local micro-batch가 새로운 금액 정책을 만들지 않으며, 기존 단건 경로와 결과가 달라지지 않도록 같은 계산 로직을 재사용했습니다.
묶음 전체를 하나의 DB 트랜잭션으로 처리했기 때문에 중간 요청 하나에서 예상하지 못한 오류가 발생하면 앞에서 처리한 요청도 함께 롤백됩니다. 일부만 성공시키는 방식은 결과 조합과 재시도 규칙을 복잡하게 만들고, 요청 순서에 따라 잔액 부족 결과가 달라질 수 있어 초기에는 사용하지 않았습니다.
다만 특정 요청 하나 때문에 정상 요청까지 반복해서 실패한다면 현재 트랜잭션 경계가 맞지 않는 신호입니다. 이 경우 최대 묶음 크기를 줄이거나 요청별 결과와 요청별 트랜잭션으로 전환해야 합니다.
종료와 과부하에서도 응답 의미를 지켰다
local micro-batch의 대기열은 Pod 메모리에 있으므로 영속 큐가 아닙니다. 이 한계를 숨기지 않고, 호출자가 성공으로 받은 요청과 실제로 커밋된 요청이 어긋나지 않도록 다음 기준을 뒀습니다.
| 상황 | 처리 기준 |
|---|---|
| 정상 종료 | 새 요청 접수를 막고 이미 시작한 묶음은 정해진 종료 시간 안에서 마무리합니다. |
| 아직 처리를 시작하지 않은 요청 | 성공으로 응답하지 않고 실패 결과를 반환해 상위 경로가 재시도 여부를 판단하게 합니다. |
| 조직별 대기열 100건 초과 | 메모리와 응답 시간을 예측할 수 없게 늘리지 않고 즉시 실패를 반환합니다. |
| DB 커밋 후 응답 전달 실패 | 같은 중복 방지 키로 다시 요청하면 기존 처리 결과를 확인하고 추가 차감하지 않습니다. |
| 호출자가 먼저 시간 초과 | 이미 시작한 차감은 임의로 취소하지 않습니다. 재요청은 같은 중복 방지 키로 결과를 확인합니다. |
| 버퍼 정리 | 처리가 시작되면 예약된 타이머를 취소하고 비어 있는 조직 버퍼를 제거합니다. |
대기열이 가득 찼다는 응답 뒤에 즉시 재시도를 무제한으로 반복하면 같은 순간 부하가 더 커질 수 있습니다. 따라서 재시도 횟수와 간격을 제한하고, 재요청에서도 같은 중복 방지 키를 유지해야 합니다.
더 큰 구조보다 현재 문제에 맞는 변경을 택했다
| 대안 | 얻는 점 | 이 경로에서 먼저 선택하지 않은 이유 |
|---|---|---|
| PostgreSQL 행 잠금 | 하나의 잔액 행을 DB 트랜잭션 안에서 보호하기 명확합니다. | 대기와 사용 이력 저장까지 DB 트랜잭션 안으로 가져오면 연결을 오래 점유하고 Tool Call의 순간 부하가 DB 대기로 이동할 수 있습니다. |
| Redis Lua로 직접 제어 | 네트워크 왕복을 줄이고 원자적인 제어가 가능합니다. | 소유권 확인, TTL 갱신, 대기 통지와 장애 복구를 직접 유지해야 하며 이미 사용 중인 Redisson과 책임이 겹칩니다. |
| Kafka 또는 Redis Streams | 여러 Pod의 요청을 한곳에서 모으고 프로세스 종료 뒤에도 재처리할 수 있습니다. | 기존 동기 응답을 비동기로 바꾸고 소비자 장애, 중복 전달, 처리 순서, 실패 메시지와 완료 통지를 새로 운영해야 합니다. |
| Agent 실행별 전체 합산 | Agent 실행당 Lock 한 번으로 단순하게 처리할 수 있습니다. | Tool Call이 많으면 트랜잭션과 Lock 보유 시간이 커지고, 서로 인접한 다른 Agent 실행의 순간 부하는 함께 묶지 못합니다. |
| local micro-batch | 기존 동기 응답을 유지하면서 같은 Pod에서 반복되는 Lock 진입을 줄일 수 있습니다. | 여러 Pod의 요청을 하나의 묶음으로 만들 수 없고 최대 100ms의 의도적인 대기가 추가됩니다. |
local micro-batch를 선택한 이유는 기능이 가장 많아서가 아닙니다. 병목이 발생한 Redis Lock 바로 앞에서 실행 단위를 줄이면서 기존 API 계약과 정산 근거를 바꾸지 않는 가장 작은 변경이었기 때문입니다. 공유 큐를 배제한 것이 아니라 로컬 집계 효과가 실제로 부족해지는 시점까지 도입을 미룬 선택입니다.
여러 Pod에서는 정합성보다 묶음 효율이 먼저 떨어진다
Pod마다 로컬 대기열은 따로 존재합니다. 같은 조직의 요청이 여러 Pod로 흩어질수록 Pod별 묶음은 작아지고 공통 Redis Lock 획득 횟수는 다시 늘어납니다.
하지만 모든 Pod가 같은 조직 식별자(organizationId) 기준 Redis Lock을 사용하고 데이터베이스가 같은 중복 방지 키(idempotencyKey)를 한 번만 인정하므로, 요청이 분산된다고 곧바로 중복 차감이나 동시 잔액 변경이 발생하는 것은 아닙니다. 여러 Pod 환경에서 먼저 약해지는 것은 정합성보다 요청을 묶는 효율입니다.
다만 로컬 대기열이 보장하는 순서는 각 Pod 안의 도착 순서뿐입니다. 여러 Pod를 합친 전체 도착 순서는 보장하지 않습니다. 금액 정책이 반드시 전체 선착순을 요구한다면 local micro-batch만으로는 부족하며, 공유 순서를 정하는 키나 데이터베이스 직렬화 지점이 추가로 필요합니다.
여러 Pod에서는 다음 값을 함께 봅니다.
- Pod별 평균 묶음 크기
- 동일 조직 요청이 도달한 Pod 수
- 차감 요청 수 대비 Redis Lock 획득 횟수
- Redis Lock 획득 대기와 보유 시간
- 동일 Agent 실행의 Pod 분산도
같은 Agent 실행의 요청을 같은 Pod로 보내면 묶음 효율은 높아질 수 있습니다. 그러나 요청이 집중된 Agent나 조직이 특정 Pod를 과도하게 점유할 수 있고, Pod 재배치와 장애 때 라우팅 정책도 함께 관리해야 합니다. 따라서 이 방식은 local micro-batch의 전제 조건이 아니라 실제 분산도를 확인한 뒤 적용할 수 있는 별도 최적화로 남겼습니다.
k6 다중 Pod 비교 결과
| 라우팅 | Pod 수 | 평균 묶음 크기 | 30개 요청당 Lock 횟수 | Lock 대기 p95 | 전체 응답 p95 |
|---|---|---|---|---|---|
| Pod에 순서대로 분배 | 1 | 15.0건 | 2회 | 1.2ms | 141.4ms |
| Pod에 순서대로 분배 | 3 | 10.0건 | 3회 | 84.0ms | 220.9ms |
| Pod에 순서대로 분배 | 6 | 5.0건 | 6회 | 119.9ms | 239.9ms |
| 같은 Agent 실행을 같은 Pod로 전달 | 3 | 15.0건 | 2회 | 1.2ms | 141.4ms |
| 같은 Agent 실행을 같은 Pod로 전달 | 6 | 15.0건 | 2회 | 1.2ms | 141.5ms |
k6로 부하 특성과 한계를 확인했다
평균 Lock 대기 하나만으로는 local micro-batch가 전체 경로를 개선했는지 판단하기 어렵습니다. k6 테스트는 다음 질문에 답하도록 시나리오를 나눴습니다.
| 시나리오 | 확인한 내용 |
|---|---|
| 10개 동시 요청 | 묶을 요청이 적을 때 100ms의 대기가 불필요한 지연만 추가하지 않는지 확인했습니다. |
| 30개 동시 요청 | 같은 조직의 Redis Lock 경합을 재현하고 적용 전후 평균 대기를 비교했습니다. |
| 60개 동시 요청 | Lock 대기는 줄었지만 대기열이나 DB가 새로운 병목으로 바뀌지 않는지 확인했습니다. |
| 50ms, 100ms, 200ms | 응답 지연과 Lock 횟수 사이의 차이를 비교했습니다. |
| 1개, 3개, 6개 Pod | 요청 분산으로 묶음 효율이 얼마나 줄어드는지 확인했습니다. |
| 60초 지속 부하 | 대기열이 계속 증가하는지, 처리량 한계와 Lock 대기 초과가 나타나는지 확인했습니다. |
| 여러 조직의 혼합 부하 | 한 조직의 집중 요청이 다른 조직의 응답을 밀어내지 않는지 확인했습니다. |
| 중복 요청과 장애 상황 | 중복 차감, DB 오류, Redis 지연, 커밋 뒤 응답 실패를 확인했습니다. |
운영에서 확인한 결과
| 지표 | 적용 전 | 적용 후 |
|---|---|---|
| 같은 조직의 30개 동시 요청 평균 Redis Lock 대기 | 180ms | 42ms |
| 해당 차감 경로의 월간 실패 | 약 13건 | 1건 이하 |
첫 번째 값은 k6로 동일 조직의 동시 요청을 재현해 비교한 결과입니다. 두 번째 값은 운영 로그에서 같은 차감 경로의 실패 건수를 집계한 결과입니다. 월간 실패 건수는 전체 요청 대비 실패율이 아니라 절대 건수이므로 트래픽 변화의 영향을 받을 수 있습니다.
이 결과를 local micro-batch 하나의 독립 효과로 분리해서 설명하지 않았습니다. 실패 감소에는 Redisson의 소유권 확인, Lock 안의 작업 축소, local micro-batch가 함께 기여했습니다. 따라서 180ms에서 42ms는 최종 동시성 경로 전체의 전후 결과로 보는 편이 정확합니다.
k6 구현 단계와 지속 부하 결과
구현 단계 비교
| 단계 | 평균 Lock 대기 | Lock 대기 p95 | 전체 응답 p95 | Lock 보유 p95 | 30개 요청당 Lock 횟수 |
|---|---|---|---|---|---|
V0 SET NX와 DEL, 요청별 처리 | 179.9ms | 346.1ms | 358.2ms | 13.6ms | 30회 |
| V1 Redisson, 요청별 처리 | 163.9ms | 315.1ms | 326.3ms | 12.5ms | 30회 |
| V2 Lock 안의 작업 축소, 요청별 처리 | 116.2ms | 222.9ms | 230.8ms | 8.9ms | 30회 |
| V3 Agent 실행 전체 합산 | 0.8ms | 1.2ms | 127.1ms | 109.6ms | 1회 |
| V4 local micro-batch | 41.3ms | 84.0ms | 221.2ms | 43.3ms | 3회 |
V3는 Lock 횟수는 가장 적지만 30건을 한 트랜잭션에서 처리해 한 번의 Lock 보유 시간이 길어졌습니다. V4는 최대 20건으로 처리 범위를 제한해 Lock 횟수와 보유 시간 사이의 균형을 맞췄습니다.
60초 지속 부하 비교
| 초당 Agent 실행 | 초당 Tool Call | 방식 | Lock 대기 p95 | 전체 응답 p95 | Lock 대기 초과 | 실제 처리량 |
|---|---|---|---|---|---|---|
10 | 30 | 실행별 합산 | 1.2ms | 33.6ms | 0% | 30.0/s |
10 | 30 | local micro-batch | 20.8ms | 131.6ms | 0% | 30.0/s |
50 | 150 | 실행별 합산 | 33.9ms | 58.2ms | 0% | 150.0/s |
50 | 150 | local micro-batch | 32.7ms | 145.1ms | 0% | 149.8/s |
60 | 180 | 실행별 합산 | 5,094.8ms | 5,116.9ms | 62.779% | 165.2/s |
60 | 180 | local micro-batch | 42.1ms | 154.0ms | 0% | 179.7/s |
70 | 210 | 실행별 합산 | 15,364.0ms | 15,386.6ms | 87.516% | 165.4/s |
70 | 210 | local micro-batch | 52.1ms | 163.6ms | 0% | 209.6/s |
local micro-batch는 낮은 부하에서 최대 100ms를 의도적으로 기다리므로 실행별 합산보다 느릴 수 있습니다. 대신 지속 부하가 처리 한계에 가까워질 때 여러 Agent 실행의 인접 요청도 같은 묶음에 포함해 Lock과 트랜잭션 진입 증가를 억제했습니다.
여러 조직이 함께 들어오는 상황
한 조직에서 초당 120개 Tool Call이 들어오고 나머지 50개 조직에서는 각각 초당 1.2개가 들어오는 혼합 부하도 재현했습니다.
| 지표 | 결과 |
|---|---|
| 전체 응답 p95 | 135.7ms |
| 요청이 집중된 조직의 응답 p95 | 137.9ms |
| 일반 조직의 응답 p95 | 135.6ms |
| 두 조직군의 p95 비율 | 1.02 |
| DB 연결 풀 대기 p95 | 0ms |
| Lock 대기 초과 | 0% |
조직별 버퍼와 조직당 하나의 동시 처리, 제한된 처리 작업자를 함께 적용했을 때 요청이 집중된 조직이 일반 조직의 응답을 크게 밀어내지 않았습니다. 운영에서는 전체 평균만 보지 않고 조직별 p95와 가장 오래 기다린 요청의 경과 시간을 함께 확인해야 합니다.
운영에서는 Lock 감소와 새 병목을 함께 본다
아래 이름은 운영에서 수집한 메트릭 이름입니다. 특정 코드나 클래스 이름을 알지 못해도 오른쪽 설명으로 무엇을 확인하려는지 알 수 있도록 정리했습니다.
| 메트릭 이름 | 확인하려는 문제 |
|---|---|
credit_batch_size | 묶음 크기가 계속 1이면 100ms 대기만 추가되는지 확인합니다. |
credit_batch_queue_wait_ms | 요청을 모으는 시간이 설정한 상한을 넘는지 확인합니다. |
credit_lock_acquire_ms | Redis Lock 경합과 대기 한도 초과의 전조를 확인합니다. |
credit_lock_hold_ms | 묶음이 커지면서 한 번의 Lock 보유 시간이 다시 길어지는지 확인합니다. |
credit_batch_transaction_ms | DB 트랜잭션 시간과 묶음 크기의 관계를 확인합니다. |
credit_consume_e2e_ms | 대기열 진입부터 응답까지 호출자가 실제로 기다린 시간을 확인합니다. |
credit_batch_queue_full_total | 조직별 과부하와 대기열 상한 초과가 반복되는지 확인합니다. |
credit_batch_oldest_item_age_ms | 처리되지 못한 요청이 대기열에 오래 남는지 확인합니다. |
credit_consume_failure_total | Lock 대기 초과, DB 오류, 중복 요청, 대기열 초과를 원인별로 구분합니다. |
조직 ID와 요청 ID를 메트릭 태그로 넣으면 값의 종류가 계속 늘어나 저장과 조회 비용이 커집니다. 서비스, Pod, 처리 결과, 실패 사유처럼 값의 범위가 제한된 항목만 태그로 사용하고 특정 조직과 요청은 분산 추적과 구조화 로그에서 찾도록 나눴습니다.
언제 설정을 줄이고 언제 구조를 바꿀 것인가
- 낮은 트래픽에서 묶음 크기가 계속 1이면 최대 대기 시간을 줄입니다.
- 묶음이 커질수록 Lock 보유 시간이나 DB p99가 상승하면 최대 묶음 크기를 낮춥니다.
- 조직별 대기열 100건을 자주 넘으면 재시도 횟수보다 처리 작업자, DB 연결 풀과 트랜잭션 시간을 먼저 확인합니다.
- 여러 Pod에서 차감 요청 수 대비 Redis Lock 획득 횟수가 다시 높아지면 같은 조직의 요청을 같은 Pod로 보내는 방식이나 공유 큐를 검토합니다.
- 한 요청의 오류가 정상 요청까지 반복해서 롤백시키면 더 작은 묶음이나 요청별 트랜잭션으로 전환합니다.
- 프로세스 종료 뒤 처리하지 못한 요청을 반드시 이어받아야 하는 요구가 생기면 Redis Streams나 Kafka 같은 영속 큐를 검토합니다.
배포 전에 확인할 엣지 케이스
성능
- 10개, 30개, 60개 동시 요청에서 평균뿐 아니라 p50, p95, p99를 측정합니다.
- 묶음 크기와 Tool Call 완료 시점의 분산을 바꿔 100ms 설정의 효과를 비교합니다.
- 1개, 3개, 6개 Pod에서 동일 조직 요청의 분산과 Lock 횟수를 비교합니다.
- 낮은 부하에서 묶음 크기 1이 반복될 때 추가되는 지연을 확인합니다.
- 60초 이상 지속 부하에서 대기열이 계속 증가하지 않는지 확인합니다.
정합성
- 같은 중복 방지 키가 같은 묶음, 다른 묶음, 다른 Pod에서 재시도돼도 한 번만 차감되는지 확인합니다.
- 묶음 중간에 실패하면 잔액과 정산 이력이 함께 롤백되는지 확인합니다.
- 잔액 부족과 초과 사용 정책이 기존 단건 경로와 같은 결과를 내는지 확인합니다.
- 전체 금액과 요청별 정산 이력의 합계가 일치하는지 확인합니다.
- Tool Call 순서가 결과에 영향을 주는 정책이라면 입력 순서가 보존되는지 확인합니다.
장애
- Redis 지연과 연결 단절 중 대기열이 무한히 증가하지 않는지 확인합니다.
- DB 연결 풀이 고갈될 때 처리 작업자가 전체 요청 스레드를 점유하지 않는지 확인합니다.
- 트랜잭션 커밋 직후 응답 전달이 실패한 요청을 같은 키로 재시도했을 때 중복 차감되지 않는지 확인합니다.
- 종료 시 진행 중인 묶음과 아직 처리를 시작하지 않은 요청이 성공으로 오인되지 않는지 확인합니다.
- 대기열 100건 초과 시 실패 사유와 재시도 가능 여부가 명확한지 확인합니다.
마무리
local micro-batch의 핵심은 요청을 많이 묶는 데 있지 않습니다. 같은 조직의 잔액 변경 순서와 요청별 정산 근거는 그대로 유지하면서 짧은 순간 부하가 만드는 반복적인 Redis Lock 획득과 DB 트랜잭션 진입만 줄였습니다.
이 방식은 낮은 부하에서는 최대 100ms의 수집 비용을 추가합니다. 반면 병렬 Tool Call이 계속 몰릴 때는 인접한 요청을 작은 묶음으로 처리해 Lock 경합을 낮춥니다. 따라서 100ms, 20건, 100건은 고정된 정답이 아니라 실제 묶음 크기, Lock 보유 시간, DB p99와 대기열 포화를 함께 보며 조정해야 하는 운영값입니다.
k6 부하 테스트에서는 같은 조직의 30개 동시 요청에서 평균 Redis Lock 대기가 180ms에서 42ms로 줄었습니다. 운영 로그에서는 해당 차감 경로의 월간 실패가 약 13건에서 1건 이하로 감소했습니다. 이 결과는 Redisson 전환, Lock 안의 작업 축소, local micro-batch를 함께 적용한 최종 동시성 경로의 전후 결과입니다.