소속팀: AI플랫폼엔지니어링 작성자: 손재홍
안녕하세요. AI 플랫폼 엔지니어링팀 손재홍입니다.
최근 Anthropic Prompt Engineering Interactive Tutorial과 Claude 공식 Prompt Engineering 문서를 다시 정리했습니다. PDP에는 Anthropic Prompt Engineering 고급 기법을 체계적으로 학습하여 Claude 활용 정확도와 업무 품질을 높이는 목표로 기록해두었습니다. 예전에 ChatGPT Prompt Engineering도 정리했기 때문에 이번 글은 같은 내용을 반복하지 않으려고 했습니다. 이번에는 Claude에 맞는 지시 구조, 긴 문서 처리, XML 태그, 예시, 도구 사용, 평가 방식에 초점을 맞췄습니다.
Anthropic 공식 문서에서 가장 먼저 강조하는 부분은 Prompt Engineering을 시작하기 전 준비입니다. 성공 기준이 명확해야 하고, 그 기준을 경험적으로 테스트할 방법이 있어야 하며, 개선할 첫 prompt가 있어야 한다고 설명합니다. 이 부분이 좋았습니다. 프롬프트를 잘 쓰는 기술보다 먼저 해야 할 일은 내가 원하는 결과가 무엇인지 정하는 것입니다.
업무에서 AI를 쓰다 보면 흔히 prompt 문장을 먼저 고치게 됩니다. 그런데 결과가 마음에 안 들 때도 그 원인이 지시가 불명확한 것인지, 입력 문서가 부족한 것인지, 예시가 없는 것인지, 평가 기준이 없는 것인지 나누지 않으면 계속 감으로 수정하게 됩니다. 이번 학습은 이 부분을 조금 더 체계적으로 보게 해줬습니다.
Claude 프롬프팅을 따로 본 이유
대부분의 LLM prompting 원칙은 비슷합니다. 명확하게 지시하고, 충분한 context를 주고, 원하는 output format을 알려주고, 예시를 주면 결과가 좋아집니다. 이 원칙은 ChatGPT에도 Claude에도 적용됩니다. 그래도 Claude를 따로 정리한 이유는 몇 가지가 있습니다.
첫째, Anthropic 문서는 Claude를 “맥락이 없는 똑똑한 신입 직원”처럼 생각하라고 설명합니다. 제가 이해한 의미는 단순합니다. Claude가 똑똑하다고 해서 우리 조직의 문서 스타일, 업무 규칙, 선호하는 표현, 보고 기준을 알아서 맞춰주지는 않습니다. 그래서 output을 탓하기 전에 내가 충분히 설명했는지 봐야 합니다.
둘째, Claude는 긴 문서나 복잡한 context를 다룰 때 prompt 구조의 영향을 많이 받는다고 느꼈습니다. Anthropic 문서에서는 긴 컨텍스트를 쓸 때 긴 문서와 입력을 prompt 상단에 두고, query와 instruction을 뒤쪽에 두는 것이 좋다고 설명합니다. 또한 여러 문서를 사용할 때는 각 문서를 `
셋째, Claude 공식 문서에서는 XML 태그를 적극적으로 사용합니다. `
넷째, 평가를 별도 단계로 강조합니다. Anthropic 문서에서는 prompt engineering 전에 success criteria와 evaluation을 먼저 세우라고 합니다. Claude Console의 Evaluation Tool도 프롬프트 버전, 테스트 케이스, 나란히 비교, 품질 평가(등급화)을 지원합니다. 프롬프트를 감으로 고치는 것이 아니라 test set으로 비교하는 흐름입니다.
명확한 지시는 생각보다 어렵다
Anthropic의 prompting best practices 문서는 clear and direct instruction을 강조합니다. 원하는 output format과 constraint를 구체적으로 쓰고, 순서나 완결성이 중요하면 numbered list나 bullet point로 instruction을 주라고 설명합니다. 또 황금 기준으로, 해당 prompt를 최소한의 context만 가진 동료에게 보여주고 그대로 따라 할 수 있는지 확인하라고 합니다.
이 기준이 실무적으로 좋았습니다. 사람이 봐도 헷갈리는 prompt라면 Claude도 헷갈릴 수 있습니다. 예를 들어 “이 문서 요약해줘”라고 하면 어떤 관점의 요약인지 모릅니다. 기술 검토용인지, 임원 보고용인지, 장애 대응용인지, 고객 공유용인지, 내가 원하는 길이는 어느 정도인지, 제외해야 할 내용은 무엇인지 모릅니다.
업무에서 더 나은 prompt는 이런 식에 가깝습니다.
“`
아래 문서를 데이터 엔지니어 관점에서 요약해줘.
목적은 운영 리스크와 적용 가능성을 빠르게 판단하는 것이다.
결과는 다음 형식으로 작성해줘.
- 핵심 요약 5줄
- 적용 가능 지점
- 확인이 필요한 리스크
- 추가 질문
내부 URL, 계정, 담당자명은 쓰지 말고 일반화해줘.
“`
이렇게 쓰면 Claude가 해야 할 일이 명확해집니다. 중요한 것은 길게 쓰는 것이 아니라 판단 기준을 넣는 것입니다. “좋게 정리해줘”보다 “누가 읽고 무엇을 판단하기 위한 정리인지”가 훨씬 중요합니다.
제가 업무에 적용한다면 prompt를 항상 목적, 입력, 처리 기준, 출력 형식, 금지 사항으로 나눌 것 같습니다. 이것만 해도 결과가 많이 안정됩니다.
Context는 많이 주는 것보다 구분해서 주는 것이 중요
Claude를 업무에 쓸 때 가장 자주 하는 작업은 문서 요약, 기술 검토, 로그 정리, 보고서 초안입니다. 이 작업들은 대부분 context가 중요합니다. 그런데 context를 많이 붙여 넣는다고 항상 좋아지는 것은 아닙니다. 문서, 요구사항, 예시, 질문이 섞이면 Claude가 무엇을 기준으로 답해야 하는지 헷갈릴 수 있습니다.
Anthropic 문서에서 XML 태그를 추천하는 이유도 여기에 있습니다. Prompt가 복잡할수록 구역을 나누는 것이 좋습니다. 예를 들어 문서 기반 검토라면 아래처럼 나눌 수 있습니다.
“`
너는 데이터 플랫폼 운영 관점에서 기술 문서를 검토하는 엔지니어다.
아래 문서에서 운영 적용 시 확인해야 할 내용을 정리한다.
…
- 핵심 요약
- 운영 영향
- 리스크
- 확인 질문
“`
이 구조는 단순하지만 효과가 있습니다. 특히 여러 문서를 넣을 때는 document index와 source를 같이 넣는 것이 좋습니다. 예를 들어 `
긴 문서 작업에서는 query 위치도 중요합니다. Anthropic 문서에서는 긴 document나 input을 prompt 상단에 두고, query나 instruction을 뒤쪽에 두는 방식이 성능에 도움이 될 수 있다고 설명합니다. 제 업무 기준으로는 긴 로그나 긴 문서를 먼저 붙이고 마지막에 질문을 넣는 방식이 자연스럽습니다. 다만 민감한 로그나 내부 경로가 있으면 반드시 제거하거나 일반화해야 합니다.
Examples는 결과 형식을 고정하는 가장 현실적인 방법
Anthropic 문서에서는 examples를 Claude의 output format, tone, structure를 조정하는 신뢰도 높은 방법으로 설명합니다. 퓨샷(few-shot) 또는 멀티샷(multi-shot) 프롬프팅이라고도 합니다. 예시는 실제 use case와 가까워야 하고, 엣지 케이스를 포함할 만큼 다양해야 하며, `
업무에서 examples가 필요한 경우는 많습니다. 주간보고 문장, 장애 원인 요약, 기술 검토 코멘트, 고객 공유용 설명, 내부 Wiki 정리처럼 결과물의 스타일이 중요한 작업이 그렇습니다. “짧고 자연스럽게 써줘”라고 하는 것보다 좋은 예시 2개를 주는 편이 훨씬 안정적입니다.
예를 들어 장애 대응 메모를 만들 때 아래처럼 예시를 줄 수 있습니다.
“`
입력: Glue job이 timeout으로 실패했고, 재실행 후 정상 완료됨.
출력: 10:30 배치에서 timeout이 발생했으나 재실행 후 정상 완료됨. 현재 적재 결과는 정상이며, 동일 시간대 source 지연 여부를 추가 확인 중임.
입력: S3 input 파일이 평소보다 40분 늦게 도착함.
출력: 원천 파일 도착이 평소 대비 약 40분 지연되어 후속 처리도 순연됨. 파일 수와 크기는 정상 범위이며, 원천 시스템 전송 지연 여부를 확인 중임.
“`
이런 예시는 문체를 설명하는 것보다 빠릅니다. Claude가 원하는 결과를 직접 보고 따라 하기 때문입니다. 다만 예시가 잘못되면 잘못된 패턴도 따라 합니다. 그래서 예시는 실제로 내가 쓰고 싶은 문장이어야 합니다. 너무 과장된 문장, 너무 긴 문장, 실제 업무에 맞지 않는 말투는 넣지 않는 편이 좋습니다.
제가 느낀 기준은 이렇습니다. 단순 질문에는 예시가 필요 없지만, 반복해서 같은 형식의 결과를 얻고 싶다면 예시가 필요합니다. 특히 B-Brain 글, 보고 문장, 검토 코멘트처럼 스타일이 중요한 작업은 예시가 거의 템플릿 역할을 합니다.
제약 조건은 금지보다 원하는 방향으로 쓰기
Anthropic 문서의 output formatting 부분에서 눈에 들어온 내용은 “하지 말라”보다 “이렇게 하라”가 더 낫다는 점입니다. 예를 들어 “markdown을 쓰지 마”보다 “응답은 자연스러운 prose paragraph로 작성해”가 더 좋다는 설명입니다.
이 차이는 실제 업무에서도 체감됩니다. “장황하게 쓰지 마”라고 하면 어느 정도가 장황한지 애매합니다. “5문장 이내로 쓰고, 각 문장은 40자 내외로 작성해”가 더 명확합니다. “AI처럼 쓰지 마”보다 “과장 표현 없이, 엔지니어가 메모하듯 짧게 써”가 더 낫습니다.
제약 조건은 아래처럼 구체적으로 쓰는 편이 좋습니다.
“`
다음 기준을 지켜줘.
- 확실하지 않은 내용은 추정이라고 표시한다.
- 고객사명, 내부 URL, 계정명은 쓰지 않는다.
- 원인과 조치를 분리해서 쓴다.
- 문장은 짧게 쓴다.
- 마지막에 확인이 필요한 항목을 남긴다.
“`
이 방식은 데이터 플랫폼 업무에서 유용합니다. 로그 분석, 장애 보고, 기술 검토는 확실한 사실과 추정이 섞이기 쉽습니다. Claude가 그럴듯한 원인을 만들어내지 않도록 “확실하지 않으면 추정이라고 표시” 같은 기준을 넣어야 합니다.
또 하나 중요한 제약은 source 기반 답변입니다. 공식 문서나 내부 문서를 근거로 정리할 때는 Claude에게 “문서에 없는 내용은 쓰지 않는다”, “근거가 부족하면 확인 필요로 남긴다”라고 명시하는 것이 좋습니다. 이렇게 해야 hallucination을 줄일 수 있습니다.
Role은 말투가 아니라 판단 기준을 잡는 장치
Anthropic 문서에서는 system prompt에서 role을 설정하면 Claude의 behavior와 tone이 use case에 맞게 정리된다고 설명합니다. 여기서 role은 단순히 “너는 전문가야”라고 쓰는 것이 아닙니다. 어떤 기준으로 판단할지 정하는 장치에 가깝습니다.
예를 들어 “너는 데이터 엔지니어야”보다 아래처럼 쓰는 편이 낫습니다.
“`
너는 데이터 플랫폼 운영을 담당하는 5년 차 데이터 엔지니어다.
기술 설명보다 운영 영향, 장애 가능성, 비용, 권한, 모니터링 기준을 우선해서 검토한다.
확실하지 않은 내용은 단정하지 않고 확인 질문으로 남긴다.
“`
이렇게 하면 답변의 초점이 바뀝니다. 단순한 기술 소개가 아니라 운영 영향 중심으로 보게 됩니다. Claude가 똑같은 문서를 읽더라도 역할에 따라 뽑아내는 내용이 달라집니다.
저는 role을 너무 화려하게 쓰는 것은 좋아하지 않습니다. “세계 최고의 전문가” 같은 표현은 실제 업무와 맞지 않습니다. 대신 독자, 목적, 판단 기준을 넣는 것이 좋습니다. “사내 공유용”, “고객 설명용”, “장애 대응용”, “PM 보고용”처럼 결과물을 쓰는 상황을 명확히 하는 것이 더 실용적입니다.
도구 사용에서는 의도를 명확히 해야 한다
Claude 공식 문서에서는 최신 모델이 정확한 instruction following에 강하고, 특정 tool을 사용할지 명확히 지시하면 더 잘 동작한다고 설명합니다. “변경을 제안해줘”라고 하면 제안만 할 수 있고, 실제 변경이 의도라면 명확히 “수정해줘”라고 해야 합니다.
이 부분은 Claude Code나 agent workflow에서 중요합니다. 사람이 보기에는 “이거 고쳐봐”가 수정 요청처럼 보이지만, 모델 입장에서는 분석, 제안, 수정 중 무엇을 해야 하는지 애매할 수 있습니다. 특히 파일 수정, 배포, 삭제, 외부 호출처럼 영향이 있는 action은 더 명확해야 합니다.
업무에 적용하면 다음처럼 구분할 수 있습니다.
- 분석만 해줘: 파일을 수정하지 않고 문제와 원인 후보만 정리
- 수정안 제안해줘: 변경 방향과 예상 영향만 설명
- 직접 수정해줘: 파일을 수정하고 검증 명령까지 실행
- 검증해줘: 기존 결과가 기준을 만족하는지 확인
이 구분은 협업에서도 중요합니다. AI를 쓰는 사람뿐 아니라 결과를 받는 사람도 지금 AI가 어떤 권한으로 움직였는지 알아야 합니다. Prompt가 모호하면 AI가 너무 적게 하거나 너무 많이 할 수 있습니다.
Thinking은 숨겨진 마법보다 작업 분해로 보는 편이 낫다
Anthropic 문서에는 thinking과 interleaved thinking에 대한 내용도 있습니다. 복잡한 작업에서는 Claude가 단계적으로 생각할 수 있게 하는 것이 도움이 됩니다. 다만 저는 이것을 “모델의 생각을 길게 출력하라”로 받아들이기보다, 작업을 분해하고 검증 단계를 넣는 것으로 이해하는 편이 좋다고 봅니다.
예를 들어 기술 검토를 요청할 때 바로 결론을 달라고 하기보다, 다음 순서로 처리하게 할 수 있습니다.
“`
- 먼저 요구사항을 요약한다.
- 관련 기술 요소를 분리한다.
- 운영 리스크를 정리한다.
- 적용 가능성과 보류 항목을 나눈다.
- 마지막에 결론만 짧게 쓴다.
“`
이렇게 쓰면 Claude가 답변 구조를 안정적으로 잡습니다. 특히 원인 분석, 장애 대응, 설계 검토처럼 여러 판단이 필요한 작업에서 유용합니다.
다만 모든 작업에 이런 분해가 필요한 것은 아닙니다. 단순 번역, 문장 다듬기, 짧은 요약에는 오히려 복잡한 prompt가 방해될 수 있습니다. Anthropic 문서에서도 모든 실패한 eval이 prompt engineering으로 해결되는 것은 아니고, 지연 시간(latency)이나 비용(cost)는 model 선택이 더 쉬운 해결책일 수 있다고 설명합니다. 프롬프트를 복잡하게 만들기 전에 문제가 무엇인지 먼저 봐야 합니다.
Evaluation이 없으면 prompt 개선은 감으로 흐른다
이번 학습에서 가장 중요하게 본 것은 평가(Evaluation)입니다. Anthropic의 prompt engineering overview는 시작 전에 success criteria와 empirical test 방법을 정하라고 합니다. Claude Console의 Evaluation Tool은 prompt에 variable을 넣고, test case를 만들고, prompt version을 비교하고, response quality를 5점 척도로 평가할 수 있다고 설명합니다.
이 방식은 업무에도 그대로 적용할 수 있습니다. 예를 들어 문서 요약 prompt를 개선한다고 하면 테스트 케이스를 만들어야 합니다. 짧은 공지 문서, 긴 기술 문서, 표가 많은 문서, 불완전한 문서, 민감정보가 포함된 문서, 서로 충돌하는 내용이 있는 문서 등을 넣어야 합니다. 그리고 결과를 같은 기준으로 평가해야 합니다.
평가 기준은 간단해도 됩니다.
- 사실과 다른 내용이 있는가
- 문서에 없는 내용을 만들어냈는가
- 원하는 형식을 지켰는가
- 불필요하게 장황하지 않은가
- 확인 질문을 잘 남겼는가
- 민감정보를 노출하지 않았는가
이 기준이 있으면 prompt를 바꿨을 때 좋아졌는지 판단할 수 있습니다. 기준이 없으면 “이번 답변이 더 마음에 든다” 정도로 끝납니다. 업무 자동화나 반복 보고에 쓰려면 느낌보다 기준이 필요합니다.
업무에 적용할 prompt 템플릿
이번 학습을 바탕으로 제가 실제 업무에서 쓸 만한 기본 템플릿은 아래 구조입니다.
“`
너는 데이터 플랫폼 운영 관점에서 문서를 검토하는 엔지니어다.
아래 입력을 바탕으로 운영 영향, 리스크, 확인 질문을 정리한다.
이 결과는 내부 검토용 초안으로 사용된다.
확실하지 않은 내용은 추정 또는 확인 필요로 표시한다.
…
- 핵심 요약
- 운영 영향
- 리스크
- 확인 질문
문서에 없는 내용은 단정하지 않는다.
내부 URL, 계정명, 담당자명은 쓰지 않는다.
문장은 짧게 쓴다.
“`
이 템플릿이 모든 작업에 맞지는 않습니다. 하지만 업무 문서 요약, 로그 분석 초안, 기술 검토, 보고서 초안에는 꽤 안정적으로 쓸 수 있을 것 같습니다. 중요한 것은 템플릿 자체가 아니라 구역을 나누는 습관입니다. Role, goal, context, input, output format, constraints만 분리해도 답변 품질이 좋아집니다.
마무리
Anthropic Prompt Engineering을 다시 보면서 가장 크게 남은 것은, 좋은 prompt는 긴 prompt가 아니라 검증 가능한 prompt라는 점입니다. 원하는 결과가 무엇인지, 어떤 기준으로 평가할지, 어떤 입력을 근거로 삼을지, 어떤 형식으로 출력할지 명확해야 합니다.
Claude는 긴 문서 처리, 구조화된 지시, 예시 기반 output 고정, role 기반 판단 기준 설정에서 강점이 있어 보였습니다. 다만 그 강점을 쓰려면 사용자가 context를 잘 정리해야 합니다. 문서와 질문과 예시와 제약 조건이 섞인 prompt는 결과가 흔들릴 수 있습니다.
이번 학습은 ChatGPT 프롬프트 기본기와는 조금 다르게, Claude를 업무 파트너처럼 안정적으로 쓰기 위한 기준을 잡는 과정이었습니다. 다음 단계에서는 자주 쓰는 업무 prompt를 몇 개 템플릿으로 나누고, 실제 결과를 평가할 test case를 만들어보려고 합니다.
참고 자료
- Anthropic Docs: Prompt engineering overview
- Anthropic Docs: Prompting best practices
- Anthropic Docs: Using the Evaluation Tool
- Anthropic Docs: Define success criteria and build evaluations
- Anthropic GitHub: Prompt Engineering Interactive Tutorial