AI가 버그를 고칠 때 안에서는 무슨 일이 일어날까: Claude Code와 Codex의 반복 루프를 열어 봤습니다

AI가 버그를 고칠 때 안에서는 무슨 일이 일어날까: Claude Code와 Codex의 반복 루프를 열어 봤습니다

코딩 에이전트에게 "이 버그 고쳐 줘"라고 하면, 코드를 읽고 한 줄을 고치고 테스트까지 돌린 뒤 끝났다고 알려 줍니다. 저희가 맡긴 버그는 Claude Code가 12.8초, Codex가 20초쯤 걸렸습니다.

그런데 이상한 점이 있습니다. 두 에이전트 안의 모델은 내 코드를 본 적이 없습니다. 파일을 열 수도, 명령을 실행할 수도 없고, 글만 씁니다. 그럼 버그는 누가 고친 걸까요?

답은 반복 루프입니다. 이 루프를 알면 에이전트가 같은 파일을 또 읽는 이유, 앞에서 한 말을 잊는 이유, 가끔 같은 자리를 빙빙 도는 이유가 보입니다.

이 글에서는 다음을 차례로 봅니다.

  1. 모델은 글만 쓴다: 도구 목록과 도구 요청
  2. 같은 버그를 Claude Code와 Codex에 맡긴 결과
  3. Codex 소스 속 루프
  4. 모델은 기억이 없다: 호출마다 보낸 토큰과 캐시
  5. 대화가 꽉 차면: 자르기와 압축
  6. 빙빙 도는 이유
  7. 안전장치 두 겹: 승인과 샌드박스
  8. 되돌리기: 체크포인트와 git

숫자 읽는 법. [공식 문서] 는 앤트로픽이 직접 낸 자료, [직접 측정] 은 저희가 이 맥에서 직접 돌려 잰 숫자, [소스 확인] 은 공개된 Codex 저장소(openai/codex, 커밋 54201ea)를 직접 읽고 확인한 내용입니다. 측정은 2026년 10월 31일~11월 1일, Claude Code 2.1.316(Claude Opus 5.5)과 Codex CLI 0.164.0(GPT-6.1 Sol)으로 했습니다.

1. 모델은 글만 쓴다

모델이 하는 일은 단순합니다. 글을 받으면 글을 돌려줍니다. 파일을 열거나 명령을 실행하는 능력은 없습니다. 그래서 못 본 코드를 고치라고 하면 추측밖에 할 수 없고, 있지도 않은 파일을 지어내기도 합니다.

그래서 에이전트 프로그램은 요청보다 먼저 모델에게 도구 목록을 줍니다. 파일 읽기, 검색, 고치기, 명령 실행 같은 것들입니다. 그래도 모델은 이걸 직접 하지 못합니다. "이 명령을 실행해 달라"는 짧은 요청을 글로 쓸 뿐입니다.

  • 모델이 도구를 쓰고 싶으면 답에 tool_use 블록을 담고 stop_reason: "tool_use"로 멈춥니다.
  • 그 요청을 받아 내 컴퓨터에서 실제로 실행하는 것은 애플리케이션 쪽이고, 결과를 tool_result로 돌려보냅니다 [공식 문서] (Tool use).

Claude Code나 Codex가 바로 그 애플리케이션입니다. 앤트로픽 문서는 이렇게 모델을 감싸고 도구와 맥락을 맡는 층을 에이전틱 하네스(agentic harness) 라고 부릅니다 [공식 문서] (How Claude Code works). 짧게 말하면 에이전트 = 모델 + 에이전틱 하네스입니다.

Codex 소스에서는 모델에게 보낼 요청을 만들 때 tools 칸에 모델이 쓸 수 있는 도구 목록을 넣습니다(core/src/session/turn.rs 1758–1764줄) [소스 확인].

2. 같은 버그를 두 에이전트에게

과제는 택배비를 계산하는 작은 파이썬 프로젝트입니다. 5만 원 이상이면 무료 배송인데, 딱 5만 원일 때도 배송비가 붙는 버그가 있습니다. 조건이 >로 적혀 있어서, >=로 바꾸면 됩니다. 프롬프트는 이것 하나였습니다.

주문 금액이 딱 5만 원일 때도 배송비가 붙는 버그가 있어. 고쳐 줘.

Claude Code: 모델 호출 네 번

Claude Code가 모델을 네 번 불러 버그를 고친 기록

모델을 부를 때마다 한 줄씩 보이게 해 두고 실행했습니다. [직접 측정]

  1. 첫 번째 호출: 파일 목록부터 달라고 합니다. 검색 명령 일부는 에러가 났는데, 그 에러도 그대로 결과로 돌아갑니다.
  2. 두 번째 호출: 코드 파일 세 개를 한 번에 읽습니다.
  3. 세 번째 호출: 한 줄을 고치면서 테스트까지 같이 돌립니다. 결과는 OK(테스트 3개 통과).
  4. 네 번째 호출: 우리가 보는 요약 답.

모두 12.8초가 걸렸습니다. 이 시간은 CLI가 켜지는 시간까지 포함해 실제로 기다린 시간이고, CLI가 기록한 처리 시간은 11.5초였습니다. [직접 측정]

Codex: 모델 호출 다섯 번

같은 버그를 Codex에도 맡겼습니다(깨끗한 설정 폴더, 작업 폴더 쓰기만 허용). [직접 측정]

  1. 첫 번째·두 번째 호출: 파일 목록을 보고 배송비 코드를 찾습니다.
  2. 세 번째 호출: 코드를 읽으면서 테스트를 먼저 돌려, 정말 실패하는지 확인합니다.
  3. 네 번째 호출: 한 줄을 고치고 테스트와 git diff를 다시 돌립니다.
  4. 다섯 번째 호출: 요약 답.

모두 20.2초였습니다. 순서는 조금 달라도 하는 일은 같습니다. 모델이 요청하고, 프로그램이 실행하고, 결과를 대화에 붙이고, 다시 모델을 부릅니다. 모델이 도구 요청 없이 답만 할 때까지 이 고리를 계속 돕니다.

3. Codex 소스 속 루프

Codex 소스의 loop

Codex 코드에서 이 고리는 말 그대로 loop입니다(turn.rs 490줄). 요청 하나를 처리하는 동안 이 안을 계속 돕니다. [소스 확인]

  • 루프 안에서 매번 지금까지의 대화 기록 전체를 복사해 모델에게 보냅니다. clone_history가 그 줄입니다(589–601줄).
  • 모델 답에 도구 요청이 있으면 도구를 실행하고 needs_follow_up을 true로 바꿉니다. "한 바퀴 더 돌라"는 표시입니다(stream_events_utils.rs 365–368줄).
  • 도구 요청이 없으면 루프를 빠져나옵니다(turn.rs 750줄). 모델이 "다 했다"고 답한 순간입니다.
도구 요청이 있으면 needs_follow_up = true

4. 모델은 기억이 없다

여기서 많이 놓치는 부분이 있습니다. 모델은 기억이 없습니다. 그래서 호출할 때마다 대화 전체를 처음부터 다시 보냅니다. 지시문과 도구 설명, 내 요청, 읽은 파일, 테스트 결과까지 전부입니다. 호출이 늘수록 보내는 양도 쌓입니다. 에이전트가 같은 파일을 또 읽는 것처럼 보이는 것도, 모델이 앞에서 본 것을 기억하지 못하고 매번 다시 받기 때문입니다.

Codex 요청에는 store: false가 붙습니다(core/src/client.rs 1163줄). 서버에 대화를 저장하지 말라는 뜻입니다. 대화는 Codex가 들고 있다가 매번 보냅니다. [소스 확인]

호출마다 보낸 토큰

호출마다 보낸 입력 토큰. 초록은 캐시에서 읽은 부분

Claude Code 실행에서 호출마다 보낸 양을 뽑았습니다. [직접 측정]

호출보낸 입력 토큰캐시에서 읽음새로 보냄
117,21111,2665,945
217,40617,209197
317,91717,404513
418,30317,915388
합계70,83763,794 (90.1%)

한 줄 고치는 데 7만 토큰쯤 보냈고, API 요금으로 환산하면 약 0.08달러였습니다. Codex도 거의 같았습니다. 한 번에 1만 4천~1만 5천 토큰씩 다섯 번, 모두 73,631토큰을 보냈고 그중 90.9% 가 캐시였습니다. [직접 측정]

프롬프트 캐시

프롬프트 캐시는 요청의 앞부분이 지난번과 똑같으면 저장해 둔 계산을 다시 쓰는 기능입니다. [공식 문서] (Prompt caching)

  • 캐시에서 읽은 부분은 기본 입력 값의 0.1배로 계산됩니다. 이번에 쓴 Opus 5.5는 0.05배, 즉 20분의 1입니다.
  • 대신 앞부분(도구 → 지시문 → 메시지 순서)이 100% 같아야 맞습니다. 앞에서 하나라도 바뀌면 그 지점부터 뒤는 전부 다시 계산합니다.

같은 내용을 여러 번 보내도 비용이 크게 늘지 않는 이유가 이것입니다.

5. 대화가 꽉 차면: 자르기와 압축

그래서 에이전트는 대화를 예산처럼 다룹니다.

  • Claude Code: 명령 결과는 3만 자 정도까지만 그대로 넣고, 넘으면 결과를 파일로 저장한 뒤 경로와 앞 2,000자만 보여 줍니다. 파일 읽기는 2만 5천 토큰까지입니다 [공식 문서] (Tools reference).
  • Codex: 도구 결과 하나를 1만 토큰 정도로 자릅니다. 모델 설정 파일에 "limit": 10000이 적혀 있고(models-manager/models.json 15–18줄), 넘치면 앞뒤는 남기고 가운데를 잘라 몇 토큰을 잘랐는지 표시를 붙입니다(utils/string/src/truncate.rs) [소스 확인].
Codex 모델 설정의 truncation_policy: limit 10000

그래도 대화가 계속 쌓여 꽉 차면, 두 에이전트 모두 대화를 요약해서 압축합니다.

  • 이때 옛 도구 결과는 버려지고, 앞쪽의 자세한 지시는 사라질 수 있습니다. 그래서 늘 지킬 규칙은 Claude Code는 CLAUDE.md에 적어 두라고 문서가 권합니다 [공식 문서] (How Claude Code works). Codex는 AGENTS.md가 압축 뒤에도 초기 맥락에 다시 실립니다 [소스 확인].
  • Codex는 대화가 모델이 받을 수 있는 양의 90% 에 이르면 압축을 시작합니다(protocol/src/openai_models.rs 563–566줄, * 9 / 10). [소스 확인]
  • 요약을 만드는 프롬프트도 공개돼 있습니다. 이어받을 다른 모델에게 넘길 인수인계서를 쓰라고 하고, 지금까지의 진행·중요한 결정·남은 일을 담으라고 합니다(compact/prompt.md). [소스 확인]

에이전트가 앞에서 한 말을 잊는 건 부주의해서가 아니라, 자리를 만들려고 밀려났기 때문입니다.

6. 빙빙 도는 이유

약한 모델은 검색이 안 나오면 단어만 조금 바꿔 또 검색하곤 합니다. 자기가 같은 자리를 돌고 있다는 걸 잘 모릅니다.

이걸 막는 장치가 있는지 Codex 소스(core/src)를 찾아봤지만, 같은 호출을 반복하는지 감시하는 코드는 없었습니다. 루프는 모델이 도구 요청을 멈추거나, 사람이 멈추거나, 에러가 날 때 끝납니다. 코드에는 "압축만 잘 되면 무한 루프는 걱정하지 않아도 된다"는 뜻의 주석이 있습니다(turn.rs 707줄). 대화가 넘치는 건 막지만, 같은 일을 반복하는 건 막지 않는다는 뜻입니다. [소스 확인] Claude Code 문서에서도 반복 감지 장치는 찾지 못했습니다.

그러니 에이전트가 빙빙 돌면 사람이 끊고 방향을 다시 잡아 줘야 합니다.

7. 안전장치 두 겹: 승인과 샌드박스

두 에이전트 모두 안전장치가 두 겹입니다.

  • 승인(권한): 위험한 일은 하기 전에 사람에게 묻습니다.
  • 샌드박스: 명령이 실행되는 동안 운영체제가 직접 막습니다. macOS에서는 Seatbelt, 리눅스에서는 bubblewrap을 씁니다. 샌드박스 밖에 쓰려고 하면 운영체제가 Operation not permitted를 돌려줍니다 [공식 문서] (Sandboxing).

Claude Code 샌드박스는 셸 명령에 걸리고, 쓸 수 있는 곳을 작업 폴더·임시 폴더·따로 허락한 폴더로 좁힙니다. 기본은 꺼져 있습니다 [공식 문서]. Codex의 샌드박스 정책 파일은 (deny default), 즉 "기본은 전부 막기"로 시작하고(sandboxing/src/seatbelt_base_policy.sbpl 7–8줄), 쓸 수 있는 곳에 현재 폴더와 임시 폴더를 늘 넣습니다(protocol/src/protocol.rs 1421–1427줄) [소스 확인].

직접 해 보기: 바탕화면에 파일 만들기

샌드박스가 막고, 밖에서 다시 실행하려는 요청도 거절됨

Claude Code에서 샌드박스를 켜고 바탕화면에 메모 파일을 만들어 달라고 했습니다. [직접 측정]

  1. 첫 시도는 운영체제가 막았습니다: operation not permitted.
  2. 모델이 샌드박스 밖에서 다시 실행하겠다고 요청했습니다(dangerouslyDisableSandbox).
  3. 이 요청은 권한 단계에서 거절됐습니다(거절 기록 1건).
  4. 모델은 파일을 못 만들었다고 말하고, 어떻게 할지 방법 세 가지를 제안하며 물었습니다. 바탕화면에는 아무것도 생기지 않았습니다.

Codex도 비슷합니다. 샌드박스에 막히면 이유를 적어서 밖에서 실행하게 해 달라고 다시 요청하라고 모델에게 지시하고(require_escalated + justification), 그 요청을 사람이 승인해야 밖에서 돕니다(on_request.md 32줄) [소스 확인].

모델은 무엇을 해도 되는지 스스로 정하지 않습니다. 요청만 할 뿐입니다.

8. 되돌리기: 체크포인트와 git

에이전트가 고친 게 마음에 안 들면 되돌릴 수 있을까요? 여기서는 두 에이전트가 다릅니다.

  • Claude Code: 턴을 시작하는 프롬프트를 보낼 때마다 체크포인트가 생깁니다. /rewind(또는 Esc 두 번) 메뉴에서 코드와 대화를 같이, 또는 하나만 되돌릴 수 있습니다. 다만 셸 명령으로만 바꾼 파일은 추적하지 않으니 git으로 되돌리라고 적혀 있습니다 [공식 문서] (Checkpointing).
  • Codex: 예전에는 "고스트 스냅샷"이라는 파일 사본을 만들었지만, 지금 코드에는 스냅샷을 더는 만들지 않는다고 적혀 있습니다(core/src/config/mod.rs 237–238줄). 대화를 되돌리는 기능의 설명에도 "대화 기록만 바꾸고 로컬 파일 변경은 되돌리지 않는다"고 적혀 있습니다(app-server-protocol/src/protocol/v2/thread.rs 1308–1310줄) [소스 확인].
Codex: 대화 되돌리기는 로컬 파일 변경을 되돌리지 않는다

그래서 Codex로 일할 때는 git 커밋을 자주 남기는 게 안전합니다.

정리

수정을 요청하면 안에서는 이 루프가 여러 번 돕니다. 모델이 요청을 쓰고, 프로그램이 실행하고, 결과를 대화에 붙여 다시 모델을 부릅니다.

  • 결정은 모델이 합니다.
  • 무엇을 보고, 무엇을 만질 수 있는지는 바깥 프로그램(에이전틱 하네스)이 정합니다.
  • 모델은 기억이 없어서 매번 대화 전체를 다시 받고, 캐시 덕분에 그 비용이 크게 늘지 않습니다.
  • 꽉 차면 압축되면서 앞쪽 지시가 밀려날 수 있으니, 늘 지킬 규칙은 CLAUDE.md·AGENTS.md에 둡니다.

에이전트가 놀랍게 잘하거나 이상하게 굴 때, 이 루프를 떠올려 보세요.

이번 확인의 한계

  • 버그 하나(한 줄짜리)를 각 에이전트에 한 번씩 맡긴 기록입니다. 호출 횟수와 토큰은 과제·설정·모델에 따라 달라집니다. 같은 과제를 개인 설정이 있는 환경에서 두 번 더 돌렸을 때는 호출은 똑같이 네 번이었지만 첫 입력이 커서 모두 13만 토큰 안팎을 보냈습니다. [직접 측정]
  • Codex 소스는 커밋 54201ea 기준입니다. OpenAI 공급자를 쓸 때는 서버 쪽 압축을 쓰므로, 공개된 요약 프롬프트는 다른 공급자용입니다. 이후 버전에서 줄 번호와 동작이 바뀔 수 있습니다.
  • 이 모든 장치가 약한 모델을 똑똑하게 만들어 주지는 않습니다. 헛수고나 위험한 행동은 막아 주지만, 모델이 고른 해결책이 틀렸다면 더 빠르고 안전하게 틀리게 도와줄 뿐입니다.

영상으로 보기

같은 내용을 실제 실행 화면과 Codex 소스를 열어 보며 영상으로 정리했습니다.

출처

Comments0
No comments yet.

Related Posts