"만들 수 있다는 것과 만들 가치가 있다는 건 다른 문제입니다. 이번엔 만들어놓은 기능이 실제로 쓸만한지, 제가 직접 써보면서 확인했습니다."
채용 지원 자동화를 위해 만든 Job 스튜디오를 처음으로 실제 채용 공고에 써보는(도그푸딩) 세션이었습니다. 매칭부터 경력기술서·자기소개서 생성까지 실사용 흐름을 따라가다가, 설계 당시엔 보이지 않던 문제 — AI가 매칭한 경험을 전량 그대로 최종 산출물에 반영하는 구조가 가진 리스크를 발견했습니다.
이를 계기로 매칭과 생성 사이에 '선택' 단계를 추가하는 기능 개선까지 이어졌고, 그 과정에서 부수적으로 발견한 UX 문제(복사 기능 부재, 가독성 저하)도 함께 해결했습니다.
이 변경은 처음부터 계획된 게 아니라, 직접 써보면서 드러난 문제였습니다. 매칭 결과를 눈으로 보다가 "이 프로젝트명, 실제로 제출되는 문서에 이대로 들어가도 되나?"라는 질문이 들었고, 답이 바로 안 나와서 일단 판단을 미뤘습니다. 다만 그 감각(위험할 것 같다는 판단)은 유효했고, 근본적으로는 AI 매칭 로직이나 프롬프트를 고치는 게 아니라 사람이 매번 통제할 수 있는 지점을 만드는 게 맞는 방향이라고 판단했습니다.
계획 단계에서 Antigravity가 제시한 diff에 "// JSON 파싱 로직 생략 (동일하게 처리)" 같은 서술이 섞여 있어 두 차례 반려했습니다. 실행 결과 보고에서도 "성공적으로 완료했다"는 narrative만 오고 실제 git diff 원본이 없어 재요청한 경우가 있었습니다. 매번 원본 출력을 직접 대조한 뒤에만 다음 단계로 넘어갔고, 이 과정에서 브랜치가 main에 남아있는 상태로 다음 작업을 시작하려던 상황도 두 번 잡아냈습니다. 이후로는 main 병합 뒤 develop으로 돌아오는 단계를 워크플로우 끝에 고정으로 넣었습니다.
기능 자체는 실제 클릭 테스트로 검증했습니다 — 매칭 결과 일부를 체크 해제한 뒤 생성된 결과물에 그 내용이 빠졌는지를 직접 확인하는 것 외에, 코드만 보고 판단할 방법은 없었습니다.
매칭(넓게 훑기)과 생성(좁게 반영하기)을 분리하는 이 패턴은 Job 스튜디오에만 국한되지 않습니다. 여러 데이터 소스를 AI가 큐레이션해서 하나의 산출물로 합치는 다른 기능들(회고 스튜디오, CR 조기 감지 등)에도 같은 구조 — AI는 후보를 넓게 제시하고, 최종 반영 여부는 사람이 결정하는 단계를 추가할 수 있습니다. '무엇을 매칭할 것인가'는 기능마다 다르지만 '반영 전에 사람이 거르게 할 것인가'는 재사용 가능한 설계 원칙입니다.
관련 프로젝트
프로젝트 개요 기획자(PM)로서 AI를 활용한 업무 자동화(AX) 사례를 문서화하는 개인 포트폴리오 사이트입니다. 국내 기업의 AX 기획자/AI PM 직군으로의 커리어 전환을 목표로, 사이트 자체가 채용 지원용 스토리텔링 자료로 실사용되고 있습니다. 핵심 패턴: 업무 병목 발견 → AI로 워크플로우 재설계 → Before/After·근거·재현 가능성 문서화 전체 서사는 '실행하지 않은 아이디어 나열'이 아니라, 하나의 검증된 자동화 패턴과 도메인별 확장 블루프린트를 갖춘 재사용 가능한 엔진을 보유하는 방향으로 수렴하고 있습니다. 기술 스택 Next.js 16, Tailwind CSS v4, TypeScript Supabase (개발/운영 환경 분리), Vercel, Resend Claude API 기반 기술 자문 및 프롬프트 설계 보안 아키텍처 관리자 CRUD는 세션 기반 인증과 RLS(Row Level Security)로 보호 공개 읽기 전용 경로는 별도의 익명 클라이언트로 분리 서비스 롤 키는 애플리케이션 코드에서 완전히 배제 권한 검증은 마이그레이션 파일 및 대시보드 검토를 통해서만 진행 작업 방식 (에이전틱 IDE 협업 워크플로우) AI 에이전트 기반 IDE가 파일/버전관리 작업을 담당하고, LLM은 기술 자문 및 프롬프트 작성 역할을 수행하는 협업 구조를 운영합니다. AI 자문 → 에이전트용 프롬프트 작성 → 실행자가 붙여넣기 → 계획 확인 → 자문 검토 → 실행 승인 → 로그 검토 → 직접 클릭 테스트 → 명시적 지시 시에만 커밋 통제 규칙 실행 전 계획 검토 필수 요약 보고가 아닌 직접 클릭 테스트로 검증 개발 환경 우선 적용 후 명시적 승인 하에 운영 환경 반영 커밋은 명시적 지시가 있을 때만 수행 DB 자격증명 직접 연결 및 범위 외 삭제 금지 브랜치 전략: 개발 브랜치에서 작업 후 운영 브랜치는 배포 전용으로 직접 커밋 금지, 병합 전 변경 범위 검증 현재 진행 상황 고객사 미팅 브리핑 자동화 사례: 1단계 완료, 개발/운영 환경 배포 및 실데이터 테스트 완료 범위 변경 감지 자동화 사례: 상태 확인 진행 중 리스크 조기 경보 자동화 사례: 운영 환경 배포 완료 보안 사고 관련 포스트: 'AI 리스크 거버넌스 사례'로 재구성 예정 AI 활용 관련 콘텐츠 시리즈 초안 작성 완료, 게시 미확정 핵심 학습 원칙 보고가 아닌 검증: 버그·보안 이슈는 항상 직접 로그/브라우저 검토를 통해서만 발견되며, 에이전트의 자체 결과 요약을 그대로 신뢰하지 않음 보안 사고의 콘텐츠화: 실제 발생한 권한 관련 이슈 사례를 케이스 스터디로 재구성하여 콘텐츠화 커밋 의미 분리: 기능 단위/변경 유형별로 항상 분리 커밋 자동화하지 않는 것도 스토리: 저사용 빈도 기능을 의도적으로 고도화하지 않은 결정 자체를 AX 스토리텔링 소재로 활용