밑바닥부터 만드는 AI 에이전트 — RAG · 멀티 에이전트 · MCP

입문 8편에서 완성하는 에이전트의 실제 녹화 화면이에요. 테스트를 돌리고, 실패 메시지와 코드를 읽고, 고칠 내용을 diff로 보여 주며 허락을 받은 뒤 다시 테스트합니다. 모델을 다섯 번 불렀고, 실제로 청구된 돈은 $0.000560이었습니다.

그다음 실전 파트에서는 실제 상장사 사업보고서로 RAG · 멀티 에이전트 · MCP 서버를 직접 만들어 AI 투자 리서치 워크벤치를 완성합니다. 마지막 AI 평가 파트에서는 그 에이전트를 직접 평가하며 AI 평가 · AI 엔지니어 면접까지 준비합니다. 세 파트 모두 지금 바로 볼 수 있어요.

Claude Code나 Codex에게 부탁하면 알아서 파일을 열고, 테스트를 돌리고, 코드를 고칩니다. 그런데 막상 직접 만들어 보려면 어디서부터 시작해야 할지 막막하죠. 결론부터 말하면, 그 뼈대는 while 문 하나입니다. 아래는 1편에서 실제로 쓰는 코드예요.

# ep01/03_agent.py (47~67행)
while turn < MAX_TURNS:
    turn += 1
    response = client.chat.completions.create(
        model=os.environ["MODEL"],
        tools=tools,
        messages=messages,
    )
    message = response.choices[0].message
    messages.append(message.model_dump(exclude_none=True))

    if not message.tool_calls:
        print(message.content)
        break

    for call in message.tool_calls:
        # 모델은 요청서만 쓴다. 실행은 우리 코드가 한다
        result = run_tool(call.function.name, json.loads(call.function.arguments))
        messages.append({"role": "tool", "tool_call_id": call.id, "content": result})

화면에 맞게 try/except와 print 몇 줄을 줄였습니다. 원본은 공개 저장소의 python/ep01 폴더에 있습니다. 모델에게 묻고, 모델이 도구를 써 달라고 하면 실행해서 결과를 돌려주고, 다시 묻습니다. 이 강의는 이 루프에서 출발해 한 편에 부품 하나씩 붙여 갑니다.

프레임워크가 나쁘다는 이야기는 아닙니다. 다만 처음 배울 때는 프레임워크가 감춰 주는 부분이 바로 우리가 알아야 할 부분이에요. 둘의 장단점을 솔직하게 놓고 보면 이렇습니다.

OpenAI Python SDK와 표준 라이브러리로 만들고, 웹 화면(7편)과 연습용 가짜 서버(3편)에만 FastAPI를 씁니다. 구조를 알고 나면 어떤 프레임워크 문서를 봐도 "아, 이게 그 루프구나" 하고 읽힐 겁니다.

1편의 첫 에이전트는 도구 정의까지 포함해 67줄입니다. 그 안의 while 문은 21줄이고요. 여기에 2편부터 도구 등록표, 안전장치, 기억, 사람 승인, 평가, 웹 화면을 한 편씩 붙이고, 8편에서 그 부품을 한 루프에 모읍니다.

영상 속 터미널과 브라우저는 모두 실제 OpenRouter 호출을 녹화한 것입니다. 비용도 가격표로 계산한 추정치가 아니라, 응답에 들어 있는 실제 청구액(usage.cost)으로 봅니다. 가격표 계산과 실제 청구액이 다르다는 것도 여기서 처음 보게 될 거예요.

강의를 만들면서 실제로 돌려 보니, 대본을 쓸 때의 예상과 다른 결과가 여러 번 나왔습니다. 결과를 예상에 맞춰 고치지 않고, 나온 그대로 영상과 튜토리얼에 담았어요.

사업보고서 한 권은 80만 자가 넘고, 숫자는 표 안에 숨어 있고, 비슷한 이름의 도구가 수십 개입니다. 장난감 예제에서는 보이지 않던 문제가 한꺼번에 나옵니다. 실전 파트는 그 문제를 하나씩 재현하고, 고친 뒤, 정말 나아졌는지 성적표로 잽니다.

실제 상장사 사업보고서(DART)로 AI 투자 리서치 워크벤치를 만듭니다. 섹션이 끝날 때마다 워크벤치에 기능이 하나씩 붙고, 마지막에는 0편과 같은 질문으로 최종 성적표를 냅니다. 7개 섹션 모두 지금 바로 볼 수 있어요.

"좋아진 것 같다"로는 답할 수 없는 질문입니다. 미국 AI 평가 직무 공고 12개에 적힌 요구 역량을 뽑아 순서를 짰고, 실전 파트에서 만든 DART 리서치 에이전트를 직접 평가합니다. 편마다 실제 면접 질문 2~3개에 우리가 잰 숫자로 답하는 연습을 합니다.

이 파트에서 직접 만드는 것

• 실행 기록(트레이스)에서 뽑은 평가 세트 67문항과 오류 분석 — 메모 달기 → 묶기 → 세기
• 루브릭(채점 기준표) · 코드 채점기와 채점기 테스트 · LLM 판사(쌍 비교 · 위치 바꾸기)
• 사람 라벨링과 판사 검증 — TPR/TNR · Cohen’s kappa
• 통계 — 신뢰구간 · 표본 크기 · pass^k로 "정말 나아졌나" 판단하기
• 에이전트 · RAG 평가 — 검색 · 근거성 · 도구 궤적 · 레드팀 · 비용
• GitHub Actions 회귀 관문, 평가 대시보드, 같은 평가를 Langfuse로 옮겨 숫자 비교
• 평가 시스템 설계 모의 면접과 GitHub 포트폴리오 · 이력서 문장

실전 8 섹션입니다. 실전 파트의 에이전트와 실행 기록을 그대로 평가 대상으로 쓰고, 12편 모두 지금 바로 볼 수 있어요.

입문은 18편 본편 끝에 과제가 세 개씩 나오고, 바로 다음 수업이 그 과제를 푸는 해설 영상입니다. 먼저 혼자 풀어 보고, 막히면 해설을 보세요. 실전은 0편부터 22편과 배포 부록까지 한 프로젝트로 이어지고, AI 평가는 2334편에서 그 프로젝트를 평가합니다. 입문 0편과 1편은 로그인하면 결제 전에도 볼 수 있습니다.

API 비용이 걱정되시죠? 강의를 따라 한 번씩 실행하면 편당 1센트 안팎이었습니다. 아래는 2026-10-04 OpenRouter 실제 청구액이에요.

반복 실험까지 포함해 제작 중 가장 많이 든 편도 약 $0.20이었습니다. 모델 ID와 가격은 바뀌니 실습 전에 OpenRouter에서 다시 확인하세요.