소속팀: Developer팀 작성자: 유수영
🤖 API는 성공했는데, 상담은 이어지지 않는다면?
검색 결과는 있지만 첨부 문서가 빠질 수 있습니다. 답변은 나왔지만, 즐겨찾기에 저장한 이벤트가 다시 보이지 않을 수도 있습니다. 고객 컨택 Agent의 테스트는 응답 코드와 상담 흐름을 함께 확인해야 합니다.
이 글은 이벤트 검색과 상세 질의를 제공하는 Agent의 테스트 설계를 다룹니다. 기존의 API 계약, 문서 묶음, 사용자 기록, 평가 회귀 전략을 중심으로 정리했습니다. 코드는 원리를 확인하기 위한 축약 예제이며, 운영 서비스의 구현을 그대로 옮긴 것은 아닙니다.
| 궁금한 점 | 이 글에서 확인할 내용 |
|---|---|
| 검색 API가 성공하면 충분할까? | 결과 구조와 상담 화면의 연결 |
| 어떤 테스트부터 만들까? | 작은 규칙, API 계약, 실제 연결의 역할 |
| 사용자 기능은 어떻게 확인할까? | 세션, 즐겨찾기, 최근 본 이벤트의 격리 |
| 모델을 바꿔도 괜찮을까? | 검색·답변 품질과 성능의 회귀 검증 |
1. 개요: 테스트의 출발점은 상담사의 다음 행동
상담사가 “온라인 쇼핑 할인 이벤트를 찾아줘”라고 요청합니다. 검색 결과에서 이벤트 하나를 고르고, 적용 조건을 다시 묻습니다. 나중에 안내할 수 있도록 즐겨찾기에 저장하기도 합니다. 사용자에게는 이 과정이 하나의 업무입니다.
개발에서는 검색, 질의, 저장 API가 각각 나뉩니다. 각 API가 정상이어도 그 사이의 연결이 끊기면 상담이 멈춥니다. 검색 응답의 묶음 ID를 상세 질의가 받지 못하는 경우가 한 예입니다. 테스트를 설계할 때 개별 응답 다음의 행동까지 보는 이유입니다.
이 사례에서는 사용자 흐름을 테스트 시나리오의 기준으로 삼았습니다. 저장한 정보가 같은 사용자에게 다시 보이는지도 살펴봅니다. “호출이 됐는가?”에서 “업무를 이어갈 수 있는가?”로 질문을 넓히는 것입니다.
그림 1. 상담 흐름을 함께 확인하는 AI 에이전트. AI로 생성한 설명용 일러스트입니다.
검색과 상세 질의는 서로 다른 약속이다
검색 API는 관련 이벤트와 문서 묶음을 찾습니다. 상세 질의 API는 선택한 묶음의 내용을 근거로 답변을 만듭니다. 둘을 같은 방식으로 테스트하면 어느 단계에서 문제가 생겼는지 구분하기 어렵습니다.
2. 상세내용: 작게 확인하고, 상담 흐름으로 연결하기
2.1 API 목록을 사용자 행동으로 다시 보기
기존 설계의 핵심은 이벤트 검색, 묶음 기반 질의, 사용자별 기록입니다. 여기서 묶음은 하나의 이벤트에 속한 대표 문서와 첨부 문서를 뜻합니다. 코드에서는 이 묶음을 bundle_id로 구분합니다.
| 사용자 행동 | API 역할 | 우선 확인할 약속 |
|---|---|---|
| 서비스를 연다 | 상태 확인 | 프로세스 상태와 요청 처리 준비 상태 구분 |
| 이벤트를 찾는다 | 검색 | 기간, 권한, 대표 문서, 첨부 구조 |
| 조건을 묻는다 | 묶음 기반 질의 | 사용자·세션·선택 묶음 전달 |
| 관심 이벤트를 저장한다 | 즐겨찾기 저장·조회·삭제 | 사용자별 저장과 중복 처리 |
| 이전 이벤트로 돌아간다 | 최근 본 기록 저장·조회 | 최신순 정렬과 사용자 격리 |
| 검색을 다시 확인한다 | 검색 이력 연결 | 이력의 소유자와 묶음 일치 |
상태 확인 응답 하나로 DB와 모델까지 정상이라고 판단하지 않습니다. 단순 기동 확인인지, 필수 의존성의 준비 상태 확인인지 계약을 구분합니다. 모든 상태 확인마다 실제 모델을 호출할 필요도 없습니다.
2.2 모든 테스트에 실제 모델이 필요한 것은 아니다
작은 규칙은 빠르고 일정하게 확인하는 편이 좋습니다. 날짜 해석이나 묶음 구성까지 실제 모델에 맡길 이유는 없습니다. 반대로 대역만 사용한 테스트로 실제 DB 연결이 정상이라고 말할 수도 없습니다.

그림 2. 테스트 범위를 단계적으로 넓히는 흐름. 편집 가능한 draw.io 원본을 함께 보관합니다.
| 단계 | 확인할 내용 | 문제가 생기면 먼저 볼 곳 |
|---|---|---|
| 정적 검증 | 설정·프롬프트 누락, 형식 오류 | 배포 구성 |
| 단위 테스트 | 날짜 경계, 묶음 정규화 | 작은 함수와 데이터 규칙 |
| API 계약 테스트 | 헤더, 요청·응답 구조, 오류 코드 | API 경계 |
| 통합 테스트 | 검색, DB, 인증 시스템 연결 | 실제 연결과 질의 |
| 상담 시나리오 테스트 | 검색부터 저장·재조회까지 | 단계 사이의 상태 전달 |
| 평가 회귀 테스트 | 정답 근거와 답변 품질 | 검색·모델·프롬프트 변경 |
💡 테스트는 변경 범위와 비용에 맞춰 묶되, 실패 원인을 찾을 수 있어야 합니다.
2.3 검색 API: 결과가 있다는 것보다 무엇이 왔는지
검색 응답은 화면에 표시할 문서와 평가에 사용할 정보를 함께 담습니다. documents가 배열인지 확인하는 것은 시작에 불과합니다.
아래 요청은 형식을 설명하는 샘플입니다. 사용자·그룹 헤더는 인증 경계에서 검증된 값이 전달된다고 가정합니다.
|
curl –request POST ‘https://agent.example.com/events/search’ \ |
|---|
| 응답 항목 | 검증할 내용 |
|---|---|
| answer | 검색 결과 안내와 빈 결과 안내를 구분하는가? |
| documents | 정상 결과와 빈 배열을 모두 처리하는가? |
| metadata.bundle_id | 각 대표 문서에 유효한 묶음 ID가 있는가? |
| documents_by_attach | 같은 묶음의 첨부만 들어 있는가? |
| context_chunks_used | 실제 평가할 대표 문서 문맥이 남는가? |
| all_searched_documents | 검색 단계 정보가 정의된 형식으로 남는가? |
| search_history_id | 저장 성공 시 후속 요청에 사용할 이력이 연결되는가? |
기존 설계의 1차 검색 단계 값은 search_step=1입니다. 이 값도 단순 존재 여부보다 의미가 유지되는지 확인합니다. 검색 이력 저장 실패 시 검색까지 실패시킬지는 업무 정책으로 정해야 합니다. 부분 성공을 허용한다면 이력이 저장되지 않았다는 사실을 응답으로 구분합니다.
2.4 작은 HTTP 테스트에도 사전 조건을 명시하기
아래 함수는 별도의 테스트 서버가 있을 때 사용하는 통합 점검 예시입니다. 해당 서버에는 지정한 질문으로 찾을 수 있는 시험 문서가 준비되어 있어야 합니다.
|
import requests |
|---|
연결 대기와 읽기 대기를 구분해 제한했습니다. 이 설정이 요청 전체의 실행 시간을 18초로 보장하는 것은 아닙니다. 타임아웃 의미는 Requests 공식 설명을 참고할 수 있습니다.
문서 버전, 검색 설정, 테스트 계정을 함께 고정합니다. 실제 고객의 식별자나 상담 내용을 시험 데이터로 복사하지 않습니다.
2.5 상세 질의: 헤더와 본문을 따로 확인하기
상담사는 선택한 이벤트를 대상으로 상세 조건을 묻습니다. 이때 사용자 ID, 세션 ID, 묶음 ID는 각각 역할이 다릅니다.
| 값 | 역할 | 놓치기 쉬운 검증 |
|---|---|---|
| 사용자 ID | 요청 주체 식별 | 인증된 주체와 일치하는가? |
| 그룹 ID | 업무 접근 범위 | 요청자가 그룹 값을 임의 변경할 수 없는가? |
| 세션 ID | 대화 흐름 연결 | 같은 문자열을 다른 사용자가 써도 격리되는가? |
| 묶음 ID | 질문할 이벤트 선택 | 존재 여부와 접근 권한을 모두 확인하는가? |
기존 설계는 필수 헤더 누락을 400으로 안내합니다. FastAPI의 기본 요청 검증 오류는 일반적으로 422입니다. 따라서 400을 계약으로 정했다면 직접 검증하는 처리도 필요합니다. FastAPI 오류 처리 문서에서 두 방식을 확인할 수 있습니다.
다음은 헤더 누락을 400으로 처리하는 최소 예제입니다. 본문의 빈 묶음 목록은 Pydantic 검증을 통해 422로 처리합니다. 기존에 본문 오류도 400으로 제공했다면, 호환성 검토 없이 변경하면 안 됩니다.
|
from typing import Annotated |
|---|
이 코드는 헤더 형식만 확인하며 인증을 구현하지는 않습니다. 실서비스에서는 인증된 이용자 정보를 사용하고, 외부에서 위조한 헤더를 차단합니다. 인증 실패와 업무상 필수 정보 누락도 구분합니다.
2.6 테스트 대역으로 API 경계 확인하기
API 입력을 확인할 때마다 모델 응답을 기다릴 필요는 없습니다. 정해진 결과를 반환하는 테스트 대역을 사용하면 됩니다. 외부 연결을 잠시 대신해, 확인하려는 계약에 집중하도록 돕습니다. 이런 대역을 테스트 더블이라고도 부릅니다.
대역이 항상 성공하기만 하면 놓치는 문제가 있습니다. 어떤 질문과 문서가 전달됐는지 기록하는 기능도 필요합니다. 빈 검색 결과와 연결 실패도 각각 재현합니다. 실패 유형을 나눠 확인하면 수정할 위치를 찾기 쉽습니다.
여기서는 서비스를 대역으로 바꿉니다. 검색이나 모델에 근거를 전달하는 로직은 별도로 확인합니다. API 계약의 성공이 답변 품질까지 보장하지는 않습니다.
그림 3. 답변의 근거를 확인하는 에이전트. AI로 생성한 설명용 일러스트입니다.
Python 3.10 이상과 FastAPI, Pydantic 2, HTTPX, pytest를 사용하는 예제입니다. 앞의 API 정의에 이어서 사용하며, 테스트 종료 시 의존성 설정을 복구합니다.
|
import pytest |
|---|
위처럼 FastAPI 의존성 재정의를 사용하면 실제 연결을 대체할 수 있습니다. TestClient의 기본 사용법은 FastAPI 테스트 문서를 참고할 수 있습니다. 네트워크, 실제 인증, 모델 제공자의 응답은 이 테스트의 검증 범위에 포함되지 않습니다.
|
@pytest.mark.parametrize(“missing, expected”, [ |
|---|
오류 코드뿐 아니라, 잘못된 요청이 서비스 호출로 이어지지 않는지도 확인했습니다. 본문 검증에는 빈 질문, 빈 목록, 공백뿐인 묶음 ID를 추가합니다. 응답 계약은 필수 필드의 타입과 누락도 함께 검사해야 합니다. OpenAPI 명세는 이런 요청·응답 계약을 표현하는 기준입니다.
2.7 대표 문서와 첨부: 같은 이벤트의 자료인가?
기존 검색 설계는 먼저 대표 문서인 Main을 찾습니다. 그다음 같은 묶음의 Sub 첨부 문서를 연결합니다. 사용자는 이 둘을 합쳐 이벤트의 조건과 예외를 확인합니다.

그림 4. 대표 문서뿐 아니라 첨부 조회에도 접근 권한을 적용합니다.
이 단계에서는 다른 이벤트의 첨부가 섞이지 않는지 먼저 봅니다. 첨부가 중복되거나 일부가 누락되는 상황도 확인합니다. 문서 수와 청크 수를 같은 값으로 취급하지 않는 것이 중요합니다.
아래 예제는 첨부 배열의 항목 하나가 파일 하나를 나타낸다고 가정합니다. file_id는 예제에서 사용하는 안정적인 파일 식별자입니다. 실제 응답이 청크 단위라면 파일별로 묶은 뒤 개수를 확인해야 합니다.
|
def assert_bundle_shape(documents): |
|---|
이 검증만으로 첨부 누락을 모두 찾을 수는 없습니다. 첨부와 개수 필드가 함께 줄어들면 내부 일관성 검사는 통과하기 때문입니다. 시험 데이터의 기대 파일 ID 목록과 실제 목록을 비교하는 검증도 필요합니다.
🔎 대표 문서의 순위가 좋더라도 제외 조건이 있는 첨부가 빠지면 답변은 불완전해집니다. 검색 평가와 묶음 구성을 나누어 보는 이유가 여기에 있습니다. 첨부 조회 실패를 “첨부 없음”으로 바꿔 조용히 성공시키지 않도록 점검합니다.
2.8 🗓️ 기간 필터: 날짜 형식보다 경계가 더 중요하다
이벤트 기간과 검색 기간이 겹치는지를 확인해야 합니다. 날짜를 단순 문자열로 받았다고 해서 유효한 날짜인 것은 아닙니다. 윤년, 존재하지 않는 날짜, 시작일과 종료일의 역전도 테스트합니다.
| 입력 또는 상황 | 확인할 기준 |
|---|---|
| 기간 없음 | 기본 검색 범위와 종료 이벤트의 순위 조정 |
| 시작일만 있음 | 시작일 이후와 겹치는 이벤트 포함 |
| 종료일만 있음 | 종료일 이전과 겹치는 이벤트 포함 |
| 양쪽 모두 있음 | 두 구간이 겹치는 이벤트 포함 |
| 경계일이 같음 | 시작·종료일 포함 여부를 계약대로 처리 |
| 시작일이 종료일보다 늦음 | 입력 오류로 안내할지 정책 확인 |
| 형식 오류·존재하지 않는 날짜 | 명시한 오류 정책과 일치하는지 확인 |
기존 설계는 잘못된 날짜 형식을 무시하고 경고를 남기는 방식입니다. 이 정책을 유지한다면 검색 범위가 넓어진다는 점도 검증해야 합니다. 사용자가 입력한 조건이 무시됐다는 안내가 필요한지도 함께 판단합니다.
아래 코드는 잘못된 날짜를 오류로 처리하는 별도 설계 예시입니다. 기존 서비스 동작과 구분해 제시합니다. 입력이 올바를 때는 양 끝 날짜를 포함하는 구간으로 계산합니다.
|
import re |
|---|
종료 이벤트의 최신성 감점도 별도의 규칙입니다. 질문에 과거 연도나 월이 있을 때까지 동일하게 감점할지는 다르게 볼 수 있습니다. 시험 실행 날짜를 고정해야 시간이 지나도 같은 기준으로 비교할 수 있습니다.
2.9 즐겨찾기와 최근 본 기록은 두 사용자로 확인하기
한 사용자가 저장하고 조회하는 테스트만으로는 부족합니다. 다른 사용자가 같은 묶음이나 세션 ID를 사용했을 때도 확인해야 합니다. 검색 이력 ID를 알더라도 다른 사람의 기록을 가져올 수 없어야 합니다.
| 순서 | 행동 | 기대하는 결과 |
|---|---|---|
| 1 | 상담사 A가 검색 | A 소유의 검색 이력 획득 |
| 2 | A가 검색 결과를 즐겨찾기에 저장 | 선택한 묶음과 이력 연결 |
| 3 | A가 다시 조회 | 저장한 항목과 문서 정보 확인 |
| 4 | 상담사 B가 같은 이력 ID로 저장 시도 | 권한 정책에 따라 거부 |
| 5 | B가 자기 즐겨찾기 목록 조회 | A의 항목이 보이지 않음 |
| 6 | A가 삭제 후 재조회 | 삭제한 항목만 사라짐 |
검색 이력으로 메타데이터를 보완할 때는 이력 소유자와 묶음을 함께 검사합니다. 요청에서 보낸 제목과 저장된 제목이 다를 때 어느 쪽을 사용할지도 정합니다. 클라이언트의 메타데이터가 문서 권한이나 소유자 값을 덮어쓰면 안 됩니다.
최근 본 기록은 같은 이벤트를 다시 열었을 때의 동작을 확인합니다. 새 행을 계속 만들지, 기존 항목의 시각을 갱신할지 계약으로 고정합니다. 같은 시각이 기록될 수 있으므로 정렬의 보조 기준도 필요합니다. 시간을 고정한 테스트는 최신순 결과를 안정적으로 비교하는 데 도움이 됩니다.
즐겨찾기 저장 요청이 재전송되는 상황도 재현합니다. 같은 사용자와 묶음의 중복 저장을 막는 정책이라면 동시 요청까지 확인합니다. 이 검증은 메모리 대역뿐 아니라 실제 DB의 제약과 트랜잭션으로 수행합니다.
2.10 오류 응답도 상담 화면의 기능이다
사용자는 서버 내부 예외보다 다음에 무엇을 해야 하는지가 궁금합니다. 입력을 고쳐야 하는지, 잠시 후 다시 시도해야 하는지 안내할 수 있어야 합니다.
| 상황 | 이 글에서 제안하는 계약 | 사용자 안내의 방향 |
|---|---|---|
| 검색 결과 없음 | 200, 빈 결과 | 검색어·기간 보완 |
| 업무 필수 헤더 누락 | 400, 고정된 오류 코드 | 요청 정보 보완 |
| 본문 검증 실패 | 예제는 422 | 잘못된 입력 수정 |
| 존재하지 않는 묶음 | 예를 들어 404로 고정 | 다른 이벤트 선택 |
| 접근 권한 없음 | 403 또는 존재를 숨기는 404 정책 | 허용된 업무 범위 안내 |
| 외부 검색·모델 연결 실패 | 503 등 계약된 오류 | 일시적인 이용 실패 안내 |
| 예상하지 못한 내부 오류 | 500, 일반화된 메시지 | 문의 가능한 요청 ID 제공 |
서비스의 예외 처리와 API 계약으로 정하고 테스트해야 합니다. 기존의 “200 또는 빈 결과”처럼 여러 동작을 허용하는 기대값은 하나로 명확히 합니다.
모델이 실패했다고 성공 응답에 빈 답변을 넣어서는 장애를 구분하기 어렵습니다. 재시도도 오류 유형과 중복 실행 가능성을 보고 제한합니다. 검색처럼 읽기 중심인 작업과 즐겨찾기 저장 같은 쓰기는 다르게 검토합니다.
2.11 테스트 대역이 확인할 수 없는 것들
| 대상 | 대역으로 확인할 것 | 실제 연결에서 확인할 것 |
|---|---|---|
| 검색기 | 빈 결과, 첨부 구성, 인자 전달 | 인덱스, 필터, 접근 권한 |
| 모델 | 전달한 질문·근거, 실패 처리 | 응답 형식, 근거 충실성, 지연 |
| DB | 저장 요청과 상태 전이 | SQL, 고유 제약, 트랜잭션, 동시성 |
| 인증 정보 | 업무 계층의 사용자 전달 | 토큰 검증, 헤더 위조 차단 |
메모리 저장소가 통과했다고 SQL이 올바르다는 뜻은 아닙니다. 고정 답변이 반환됐다고 실제 모델이 근거를 읽었다는 뜻도 아닙니다. 각 테스트의 이름과 결과에 대역 사용 여부를 남기면 혼동을 줄일 수 있습니다.
🧪 모델 대역에는 호출 입력을 기록하는 기능을 두면 좋습니다. 질문뿐 아니라 대표·첨부 문서의 본문이 함께 전달됐는지 검사합니다. 근거가 없을 때는 정해 둔 정책대로 호출을 멈추거나 부족함을 안내하는지 확인합니다.
2.12 🚦 CI와 품질 회귀를 같은 배포 판단에 연결하기
API 계약이 통과해도 답변 품질이 떨어질 수 있습니다. 반대로 정답 근거를 잘 찾더라도 필드 하나가 사라지면 화면이 깨질 수 있습니다. 배포 판단에는 기능과 품질을 함께 놓아야 합니다. 둘 중 하나의 점수로 다른 쪽의 실패를 덮지 않습니다.
매번 전체 평가를 실행하기 부담스럽다면 대표 질문부터 확인합니다. 일반 검색, 기간 경계, 첨부의 제외 조건, 정답 없음 등을 고르게 넣습니다. 변경 영향이 큰 경우에는 전체 평가로 범위를 넓힙니다.
모델과 프롬프트만 기록해서는 이전 결과를 재현하기 어렵습니다. 문서와 검색 인덱스 버전, 평가셋, 주요 검색 설정도 함께 남깁니다. 평균 점수뿐 아니라 이전에 통과했다가 실패한 질문을 확인합니다. 상담사가 놓치기 어려운 조건일수록 개별 실패를 자세히 봅니다.
그림 5. 기능과 품질을 함께 점검하는 에이전트. AI로 생성한 설명용 일러스트입니다.
| 테스트 그룹 | 실행 시점 예시 | 포함할 내용 |
|---|---|---|
| unit | 변경 요청마다 | 날짜, 묶음, 스키마 |
| api_contract | 변경 요청마다 | 입력 검증, 응답 계약, 오류 처리 |
| integration_db | 병합 전 또는 별도 환경 | DB·검색·권한 연계 |
| evaluation_smoke | 배포 전 | 주요 실패 유형을 담은 대표 질문 |
| evaluation_full | 큰 변경과 정기 점검 | 전체 기준 평가셋 |
아래는 테스트에 마커를 붙여 선택하는 명령 예시입니다. 사용자 정의 마커는 pytest 설정에 등록해야 합니다. pytest 마커 문서에서 등록과 선택 방식을 확인할 수 있습니다.
|
pytest –strict-markers -m ‘unit or api_contract’ |
|---|
검색 회귀는 정답 근거가 상위 결과에 얼마나 포함됐는지부터 볼 수 있습니다. 다음은 문서 ID 기준의 간단한 Recall@k 예제입니다. 정답 ID와 반환 ID가 같은 단위여야 하며, 중복 ID는 한 번만 셉니다.
|
def recall_at_k(expected_ids, ranked_ids, k): |
|---|
검색 순위는 MRR 같은 지표로 추가 확인할 수 있습니다. 답변은 적용 조건, 제외 조건, 기간을 근거대로 설명하는지 따로 평가합니다. 모델 평가자를 사용한다면 평가 지침과 모델 버전도 기록합니다.
2.13 품질과 응답 시간을 함께 보기
문서를 더 많이 가져오면 답변 근거가 늘어날 수 있습니다. 하지만 첨부 조회와 모델 입력이 커져 응답이 늦어질 수도 있습니다. 품질 지표와 지연을 같은 조건에서 비교해야 합니다.
| 측정 항목 | 확인할 질문 |
|---|---|
| 전체 응답 시간 | 상담사가 기다리는 시간이 어느 정도인가? |
| 검색 시간 | 후보 수나 검색 방식 변경의 영향은 무엇인가? |
| 묶음 조회 시간 | 첨부가 많은 이벤트에서 시간이 늘어나는가? |
| 모델 응답 시간 | 근거 길이와 출력 길이가 어떤 영향을 주는가? |
| 오류율·처리량 | 동시 요청에서 실패와 지연이 늘어나는가? |
평균뿐 아니라 p95 같은 지연 분포와 시간 초과 비율도 확인합니다. 동시 사용자 수, 캐시 상태, 문서 버전, 요청 종류를 함께 기록합니다. top_k와 후보 수는 품질·시간을 같이 보며 조정합니다. ef_search 같은 세부 옵션은 해당 검색 엔진이 지원할 때만 비교합니다.
HTTP 클라이언트의 연결·읽기·쓰기·풀 대기 제한도 구분합니다. 이 구분은 HTTPX 타임아웃 문서에서 확인할 수 있습니다.
3. 결론: 상담을 끝까지 이어갈 수 있는지 확인하기
고객 컨택 Agent의 테스트는 API 목록에서 시작할 수 있습니다. 하지만 완성 기준은 상담사가 검색하고, 질문하고, 저장한 결과를 다시 확인하는 흐름입니다. 그 사이에서 전달되는 묶음, 세션, 사용자 기록을 함께 검증해야 합니다.
✅ 배포 전에는 다음 질문을 다시 확인해 보면 좋습니다.
- 검색 결과의 대표·첨부 문서가 같은 이벤트에 속하는가?
- 입력 오류와 빈 검색, 외부 연결 장애가 구분되는가?
- 다른 사용자의 세션·검색 이력·즐겨찾기가 섞이지 않는가?
- 모델에 전달한 근거와 사용자에게 보여 준 출처가 일치하는가?
- API 계약과 대표 질문의 품질이 모두 기준을 만족하는가?
- 실제 연결과 동시 요청에서도 성능·저장 규칙이 유지되는가?
처음부터 모든 시나리오를 만들 필요는 없습니다. 검색부터 즐겨찾기 재조회까지 한 흐름을 고르고, 정상과 실패 경로를 함께 추가해 봅니다. 작은 규칙은 빠르게, 실제 연결은 분명하게, 답변 품질은 별도로 확인하는 것이 이 전략의 핵심입니다.
4. 참조 출처
API와 테스트 도구의 동작은 아래 공식 문서를 참고했습니다. 예제 식별자와 응답은 설명용이며, 성능 측정값이나 실제 고객 데이터가 아닙니다.
- FastAPI — Testing: API 테스트와 TestClient.
- FastAPI — Testing Dependencies: 테스트에서 의존성 대체.
- FastAPI — Handling Errors: 예외 응답과 요청 검증.
- pytest — Marking Test Functions: 테스트 그룹 등록과 선택.
- HTTPX — Timeouts: 단계별 대기 시간 제한.
- Requests — Quickstart: HTTP 요청과 타임아웃.
- OpenAPI Specification: 요청·응답 계약의 표현.
일러스트 세 장은 AI로 생성한 설명용 이미지입니다. 두 흐름도는 직접 작성했으며, 편집 가능한 draw.io 원본을 함께 보관합니다. 실제 상담 화면이나 운영 결과의 캡처 이미지는 아닙니다.
5. 태그
#상담AI #AIAgent #APITest #FastAPI #Pytest #ContractTest #RegressionTest #EventSearch #RAG #Favorite #RecentView #테스트자동화 #품질회귀 #QA