AI 코딩과 개발 강의

이 수업에서 하는 것 - 예상 면접 질문 "사내 문서 Q&A 에이전트의 평가 시스템을 설계해 보세요"에 답하는 9단계 틀(성공 정의 → 평가 대상 → 데이터 · 라벨 → 채점기 · 루브릭 → 판사 검증 → 통계 → 회귀 관문 → 운영 모니터링 → 반복)을 23~33편 결과물에 연결 — 공개 면접 준비 자료 기반 예상 질문이며 특정 회사의 실제 질문이 아님 - 개선 한 바퀴(실제 실행): 26편 오류 분석의 가장 큰 칸(계획 실패 6) → 계획 담당 지시문 한 곳 수정 → 계획 담당만 먼저 확인 → 영향받은 6문항 + 회귀 세트 35문항만 다시 실행(41문항 · $0.034) → 33편 관문 - 결과: 고치려던 문항 0/6 → 5/6(95% 44~97%), 하지만 회귀 세트 32/35로 관문 실패 → 병합하지 않음. 떨어진 3문항을 원래 지시문으로도 다시 돌려 흔들림임을 확인(과제 1). 평균 +4.9%p는 구간이 0을 포함 - 다시 돌리다 생긴 일도 그대로: 1차 KeyError로 멈춤(계획 정리 함수 고침), 2차 검색 자료 누락으로 관문 16/35 — 계획이 그대로인 문항까지 떨어진 것을 보고 원인을 찾음 - 포트폴리오: GitHub README(문제 · 평가 대상 · 데이터셋/라벨 · 채점기/루브릭 · 판사 검증 N과 구간 · 통계 · 회귀 관문 · 개선 한 바퀴 · 한계), 기록에 있는 숫자만 쓴 이력서 문장과 쓰지 않을 문장, 23~34편 × 미국 공고 역량 10개 지도 실습 코드: (README · 과제 풀이 SOLUTIONS.md) · 포트폴리오 예 PORTFOLIO.md ( 면접 질문 1. 사내 문서 Q&A 에이전트의 평가 시스템을 설계해 보세요 → 성공 정의(누가 무엇을 잃나)부터 9단계로. 판사는 검증한 뒤에 쓰고, 숫자에는 개수와 구간을, 마지막은 관문과 반복. 2. 평가 결과를 보고 출시 여부를 어떻게 설명하나요? → 막는 조건 · 통과한 것 · 아직 모르는 것 세 칸으로. 이번 판정은 보류(회귀 3문항). 3. 개선했다는 걸 어떻게 증명하나요? → 한 곳만 바꾸고, 같은 문항 짝 비교와 구간, 영향받은 문항과 회귀 세트를 함께 본다. 과제: ① 관문이 막은 문항이 지시문 탓인지 흔들림인지 v1 · v2로 다시 돌려 가리기 ② 출시 판정 메모 ③ 이력서 문장 검사기(숫자 출처 · 분모 · 막연한 말) 참고: 미국 평가 엔지니어 채용 공고 12개(23편) · 면접 준비 자료(techinterview.org, PracHub) · 이 섹션 각 편 README의 실측