Codex Skill로 반복되는 PR 작성 자동화하기

AI Agent가 많이 발전하면서 실제 현업에서도 활발하게 사용되고 있다. 나도 개발할 때 AI의 도움을 자주 받고 있지만, 부끄럽게도 지금까지 직접 Skill을 만들어 사용해 본 적은 없었다.

그러던 중 이번에는 반복해서 하는 작업을 Skill로 만들어 봐야겠다는 생각이 들었다. 평소 이 블로그 프로젝트를 운영하면서 작업이 끝날 때마다 직접 PR을 작성했는데, 이 과정은 요구사항과 맥락이 거의 항상 같았다.

현재 브랜치와 main 브랜치의 차이를 확인하고, 변경 내용을 정리해 PR 제목과 본문을 작성하는 일이었다. 복잡하지는 않지만 매번 비슷한 과정을 반복하고 있었다.

그래서 이 작업을 다음 경로에 Codex Skill로 만들었다.

.agents/skills/pr-committed-changes/SKILL.md

Skill의 요구조건

Skill을 만들면서 두 가지 조건을 정했다.

1. 현재 로컬 브랜치에서 커밋된 항목만 작업 범위로 판단한다.
2. Base 브랜치인 origin/main과 현재 브랜치의 diff를 파악해 작업 내용과 영향 범위를 작성하고, Draft PR을 생성한다.

첫 번째 조건을 넣은 이유는 아직 작업 중인 내용이 PR에 포함되는 것을 막기 위해서다.

로컬에는 이미 커밋한 작업뿐 아니라 아직 커밋하지 않은 파일이나 다음 작업을 위해 수정 중인 내용이 함께 있을 수 있다. 이때 AI가 현재 보이는 모든 변경사항을 작업 범위로 판단하면, 의도하지 않은 내용이 PR 설명에 포함되거나 함께 커밋될 수 있다.

그래서 이 Skill은 origin/main에는 없고 현재 브랜치에만 존재하는 커밋을 기준으로 작업 범위를 파악하도록 했다. 커밋되지 않은 파일은 staging하거나 commit하지 않고 그대로 남겨둔다.

두 번째 조건에서 Draft PR을 기본값으로 정한 이유는 AI가 작성한 내용을 사람이 한 번 더 검수해야 한다고 생각했기 때문이다.

AI가 아무리 훌륭하더라도 변경 목적이나 영향 범위를 잘못 이해할 수 있다. 그리고 AI가 만든 결과에 오류가 있더라도 그 결과에 대한 최종 책임은 작업자에게 있다.

따라서 바로 리뷰를 요청하는 PR이 아니라 초안 상태인 Draft PR을 만들게 했다. AI가 제목과 본문을 먼저 작성하면, 내가 변경 파일과 내용을 다시 확인한 뒤 Ready for review로 전환하는 방식이다.

실제로 사용해 보기

완성한 Skill은 Codex에서 다음과 같이 호출했다.

$pr-committed-changes

Codex는 먼저 현재 브랜치와 워킹 트리 상태를 확인했다. 그다음 원격 main과 현재 브랜치 사이의 커밋과 diff를 분석하고, 커밋된 변경사항만으로 PR 제목과 본문을 작성했다.

실행 당시 로컬에는 아직 커밋하지 않은 다른 글도 있었는데, Codex는 해당 파일이 PR에서 제외된다는 사실을 먼저 알려주었다. 이후 커밋된 변경사항만 원격 브랜치에 push하고 Draft PR을 생성했다.

내가 Skill에 작성한 두 가지 요구조건이 실제 작업에도 그대로 적용된 것이다.

마치며

처음에는 PR 작성 시간을 조금 줄여보자는 생각으로 시작했다. 하지만 직접 Skill을 만들어 보니 단순히 Prompt를 저장하는 것과는 다르게 느껴졌다.

Skill에는 반복 작업의 순서뿐 아니라 AI가 어디까지 작업해도 되는지에 대한 기준도 함께 담을 수 있었다. 이번에는 커밋된 변경사항만 사용하고 Draft PR까지만 생성하도록 범위를 정했다.

그 덕분에 반복되는 과정은 AI에게 맡기면서도, 작업 중인 파일과 최종 검수는 내가 직접 관리할 수 있었다.

앞으로도 개발하면서 반복되는 작업이 있다면 Skill로 만들 수 있는지 고민해 보려고 한다. 다만 모든 작업을 맡기기보다는 AI가 처리할 부분과 사람이 확인할 부분을 먼저 구분하는 것이 중요할 것 같다.