소속팀: Developer팀 작성자: 유수영
🧭 이 글에서 다루는 것
상담사가 원하는 것은 긴 AI 답변보다 지금 확인할 수 있는 근거입니다. 이벤트를 찾고, 기간과 대상을 확인하고, 첨부의 제외 조건까지 살펴봐야 합니다. 기존 프로젝트의 검색·상세 질의·개인화 흐름을 이 업무 순서로 풀어봅니다. 기술 지표가 실제 상담 경험과 어떻게 연결되는지도 함께 살펴봅니다.
| 읽는 순서 | 함께 살펴볼 질문 |
|---|---|
| 상담 흐름 | 검색과 상세 답변을 왜 나눌까? |
| 근거와 기간 | 어떤 문서와 날짜를 기준으로 안내할까? |
| 화면과 재방문 | 상담사가 다음 행동을 쉽게 고를 수 있을까? |
| 평가와 운영 | 무엇을 측정해야 개선 여부를 알 수 있을까? |
1. 개요 — 상담 중에는 빠름과 정확함이 함께 필요하다 💬
“이번 달 온라인 쇼핑 혜택이 있나요?” 짧은 질문이지만 확인할 것은 많습니다. 행사 기간, 대상 카드, 이용 조건, 제외 업종을 살펴봐야 합니다. 큰 제목에는 혜택이, 첨부에는 중요한 예외가 적혀 있기도 합니다.
기존 프로젝트의 프로모션 검색 설계는 이 확인 과정을 돕는 데 초점을 둡니다. 자연어로 후보를 찾고, 상담사가 이벤트를 선택합니다. 선택한 문서와 첨부를 함께 읽어 상세 질문에 답합니다. 자주 쓰는 자료는 즐겨찾기와 최근 본 목록으로 다시 찾습니다.
이 흐름을 보면 AI의 역할도 구체적입니다. 찾아야 할 자료를 줄이고, 흩어진 조건을 정리합니다. 상담사는 근거를 확인하며 고객에게 안내할 내용을 판단합니다. 검색부터 확인까지 이어지는 경험이 서비스의 핵심입니다.
그림 1. 상담사의 탐색과 조건 확인을 돕는 AI Agent. 이해를 위한 AI 생성 일러스트입니다.
1.1 어떤 불편을 줄이려는가
| 상담 중 마주치는 문제 | 사용자에게 생기는 부담 | 설계에서 보완할 부분 |
|---|---|---|
| 비슷한 이벤트가 많음 | 제목만으로 구별하기 어려움 | 기간과 핵심 혜택을 카드에 표시 |
| 조건이 첨부에 흩어짐 | 여러 문서를 번갈아 확인 | 대표 문서와 첨부를 한 묶음으로 조회 |
| 종료된 행사가 검색됨 | 현재 혜택으로 오해할 수 있음 | 기간 필터와 상태 표시 |
| 같은 자료를 반복 검색 | 통화 흐름이 끊김 | 즐겨찾기와 최근 본 목록 |
| 답변의 근거가 불명확함 | 원문을 다시 찾아야 함 | 문장과 근거 위치 연결 |
| 개선 기준이 주관적임 | 무엇을 먼저 고칠지 어려움 | 업무 지표와 품질 평가를 함께 기록 |
이 글은 기존 원고의 기능과 설계 의도를 바탕으로 합니다. 운영 성과를 수치로 입증한 사례 보고서는 아닙니다. 코드와 이벤트 조건은 흐름을 설명하기 위해 만든 샘플입니다. 향후 확장 제안은 현재 기능과 구분해 설명합니다.
2. 검색과 답변을 나누면 상담 흐름이 보인다 🧩
처음 질문을 받았을 때는 후보 탐색이 필요합니다. 어떤 행사를 설명할지 정해지지 않은 상태에서 긴 답변을 만들 필요는 없습니다. 이벤트를 선택한 다음에는 그 행사의 상세 조건이 필요합니다. 두 순간의 목적이 다르므로 검색과 상세 질의를 나눴습니다.

그림 2. 상담사가 이벤트를 선택한 뒤 상세 질의로 넘어갑니다. 즐겨찾기와 최근 본 목록은 다시 확인할 때의 진입점입니다.
2.1 화면의 단계마다 결과가 달라진다
| 단계 | 상담사가 하는 일 | 서비스가 돌려줄 것 |
|---|---|---|
| 검색 | 자연어 질문과 기간 입력 | 이벤트 후보 목록 |
| 선택 | 기간과 혜택을 비교 | 선택한 문서 묶음의 상세 |
| 확인 | 제외 조건이나 한도 질문 | 근거가 연결된 조건 설명 |
| 안내 | 고객에게 적용할 내용을 판단 | 확인된 사실과 추가 확인 항목 |
| 재방문 | 저장한 이벤트 다시 열기 | 현재 개정과 상태를 반영한 문서 |
검색 결과는 선택할 수 있는 목록으로 보여줍니다. 상세 답변은 선택한 이벤트 안에서 구성합니다. 여러 이벤트를 비교할 때도 어떤 문서들이 입력에 포함됐는지 표시합니다. 이 경계가 있어야 다른 행사의 조건이 섞였을 때 발견하기 쉽습니다.
2.2 자연어 입력만으로 모든 선택을 대신하지 않기
“5월 행사”에는 연도가 없습니다. “전월 실적 없는 행사”는 조건을 확인해야 하는 요청입니다. 이런 표현을 받았다고 검색기가 모든 고객 조건을 알아낸 것은 아닙니다. 해석한 기간과 적용한 필터를 화면에서 확인할 수 있게 합니다.
| 질문 예시 | 검색에서 할 일 | 추가로 확인할 것 |
|---|---|---|
| “온라인 쇼핑 할인 있어?” | 관련 이벤트 탐색 | 대상 가맹점과 카드 |
| “이번 달 진행하는 행사” | 업무 기준일의 월 구간 적용 | 고객의 실제 이용일 |
| “전월 실적 없는 것만” | 관련 조건이 있는 근거 탐색 | ‘조건 없음’의 명시 여부 |
| “이 행사 제외 조건은?” | 선택한 묶음의 첨부 조회 | 제외 업종과 거래 유형 |
| “이 두 행사 차이는?” | 선택한 두 묶음의 같은 항목 비교 | 누락 정보와 중복 적용 조건 |
모호한 입력에는 해석 결과를 보여주고 수정할 길을 제공합니다. 이런 화면 설계는 대화형 UI에서도 사용자의 선택을 돕습니다. 참고할 만한 UX 관점은 NN/g의 챗봇 사용자 경험 글에 정리되어 있습니다. 해당 글은 2018년 연구이므로 최신 모델 성능에 대한 근거로 사용하지는 않습니다.
3. 대표 문서와 첨부를 한 묶음으로 읽기 📎
대표 문서는 어떤 행사인지 빠르게 알려줍니다. 첨부에는 제외 대상이나 상세 한도가 들어갈 수 있습니다. 검색 카드에서는 대표 문서가 중심이지만, 상세 답변에는 첨부도 필요합니다. 기존 설계가 문서를 묶어서 다루는 이유입니다.
묶음의 식별자만 같다고 충분하지는 않습니다. 대표 문서와 첨부가 같은 개정에 속하는지도 확인해야 합니다. 이전 첨부가 남으면 최신 본문과 서로 다른 조건을 설명할 수 있습니다. 완료된 개정의 문서 목록을 기준으로 묶음을 구성합니다.
그림 3. 대표 설명과 첨부 조건을 함께 살펴야 안내에 필요한 근거가 모입니다. AI 생성 일러스트입니다.
3.1 문서 수와 준비 상태도 함께 보여주기
아래는 문서 묶음의 샘플 표현입니다. 대표 문서와 부속 문서의 역할을 나눴습니다. 예정된 근거 목록과 실제 준비된 목록도 구분합니다. 첨부 개수만 세면 잘못된 첨부가 대신 들어온 문제를 놓칠 수 있습니다.
|
{ |
|---|
준비 상태는 수집 서비스가 관리하는 목록을 기준으로 확인합니다. 클라이언트가 보낸 첨부 목록을 완전성의 근거로 삼지는 않습니다. 원문에 있어야 할 첨부가 등록 목록에서도 빠졌다면 이 비교만으로 발견할 수 없습니다. 그래서 원천 등록과 검색 반영을 별도로 점검합니다.
3.2 첨부가 없을 때의 답변 정책
| 상태 | 상담 화면에서 할 일 | 상세 답변 정책 |
|---|---|---|
| 필요한 문서가 모두 준비됨 | 원문과 첨부 목록 제공 | 선택한 근거 범위에서 설명 |
| 필수 첨부가 적재 중 | 준비 중인 항목 표시 | 관련 조건의 확정 안내 보류 |
| 문서 개정이 서로 다름 | 변경 상태 안내 | 일치하는 개정이 준비될 때 재시도 |
| 문서 사이의 조건이 충돌 | 충돌한 근거를 함께 표시 | 임의로 하나를 골라 확정하지 않음 |
| 문서 접근 권한이 없음 | 접근 가능한 범위 안내 | 제외된 원문을 모델에 전달하지 않음 |
문서가 빠진 상태와 “해당 조건이 없다”는 상태는 다릅니다. 첨부가 없다고 제외 조건도 없다고 답해서는 안 됩니다. 사용자가 원문을 확인하거나 잠시 후 다시 조회할 수 있게 합니다. 누락된 근거를 모델의 일반 지식으로 채우지 않는 것이 중요합니다.
4. 기간은 검색 조건이자 안내 조건이다 📅
프로모션에서 날짜는 단순한 정렬 기준이 아닙니다. 오늘 진행 중인지, 고객이 이용한 날에 유효했는지에 따라 답이 달라집니다. 이번 달과 겹치는 행사와 오늘 참여 가능한 행사도 같지 않습니다. 화면의 기간 선택이 어느 질문에 답하는지 먼저 정합니다.
4.1 겹치는 기간을 명확하게 정의하기
예제에서는 시작일과 종료일을 모두 포함합니다. 행사 마지막 날도 검색 대상입니다. 업무 기준일은 서비스의 업무 시간대에서 정한 날짜를 전달합니다. 서버의 UTC 날짜를 그대로 ‘오늘’로 쓰지 않도록 주의합니다.
|
from calendar import monthrange |
|---|
SQL에서도 같은 겹침 조건을 사용합니다. 다음은 전체 쿼리에 넣을 조건절의 예시입니다. 바인딩할 시작일과 종료일은 서버에서 검증한 날짜입니다.
|
WHERE start_event_date <= %(period_end)s |
|---|
종료일이 없거나 기간이 잘못된 문서는 별도 상태로 관리합니다. 알 수 없는 날짜를 임의로 ‘진행 중’으로 바꾸지 않습니다. 범위의 경계를 포함할지 여부는 데이터 계약의 일부입니다. 관련 개념은 PostgreSQL 범위 타입 문서에서도 확인할 수 있습니다.
4.2 질문의 시점을 화면에 남기기
| 사용자 의도 | 적용할 기간 | 화면에서 보완할 것 |
|---|---|---|
| “지금 가능한 행사” | 오늘 하루와 겹치는 기간 | 별도 신청·응모 기한 |
| “이번 달 행사” | 기준일이 속한 달 전체 | 예정·진행 중·종료 상태 |
| “지난달 이용 건 확인” | 확인한 과거 이용 기간 | 현재 상태와 과거 적용 조건 |
| “다음 달 예정 행사” | 확인한 미래 월 구간 | 게시 확정 여부와 변경 안내 |
| 기간을 말하지 않음 | 기본 화면 정책 적용 | 적용한 기본 기간과 수정 기능 |
“5월”처럼 연도가 빠졌다면 선택된 연도를 보여줍니다. 문맥에서 결정할 수 없다면 추가 확인을 받습니다. 날짜 힌트 유무만으로 고객의 의도를 확정하지 않습니다. 검색 요청에는 해석한 구간을 남겨 결과를 재현할 수 있게 합니다.
4.3 종료 행사 감점은 보조 수단이다
기존 원고에는 기간을 지정하지 않은 검색에서 종료 행사를 감점하는 설계가 있습니다. 이는 넓은 범위로 검색할 때 현재 행사를 우선 보여주기 위한 보조 규칙입니다. 진행 중 필터를 적용한 검색에서는 종료 행사가 먼저 제외됩니다. 과거 행사를 명시적으로 찾는 요청에는 같은 감점을 적용하지 않아야 합니다.
|
import math |
|---|
감점 계수는 동작을 설명하기 위한 임의 값입니다. 실제 검색 점수의 분포와 대표 질문으로 조정해야 합니다. 이 함수는 필터나 고객 자격 판단을 수행하지 않습니다. 낮아진 점수라도 종료 상태와 기간은 화면에 분명하게 표시해야 합니다.
5. AI 답변은 선택한 근거의 범위 안에서 ✍️
상세 질의에서는 선택한 문서 묶음을 모델 입력으로 구성합니다. 문서 제목과 근거 식별자를 보존하면 답변에서 출처를 연결하기 쉽습니다. 본문과 첨부를 한 문자열로 무작정 합치면 조건의 경계가 사라질 수 있습니다. 각 근거가 어느 개정에 속하는지도 함께 전달합니다.
5.1 모델에 넘기기 전에 확인할 것
다음 코드는 준비된 문서 묶음을 검증하고 메시지를 구성하는 예제입니다. 권한 검사는 이 함수에 들어오기 전에 서버에서 수행한다고 가정합니다. 문서 길이가 한도를 넘으면 조용히 잘라내지 않고 별도 처리를 요구합니다. 실제 모델의 토큰 한도는 호출 직전에 추가로 확인해야 합니다.
|
import json |
|---|
이 검사는 문서 목록과 개정의 일치를 확인합니다. 문서 내용 자체가 맞는지, 답변의 모든 주장이 근거를 따르는지는 별도 검증이 필요합니다. 문서 속 지시를 따르지 말라는 프롬프트만으로 공격을 완전히 막을 수도 없습니다. 문서 입력과 도구 권한을 다루는 관점은 OWASP LLM 보안 자료를 참고할 수 있습니다.
API 경계에서는 질문과 묶음 식별자의 형식부터 검사합니다. 사용자가 요청한 묶음을 볼 권한이 있는지 확인한 뒤 원문을 조회합니다. 요청 모델 검증의 기본 형태는 FastAPI 요청 본문 문서에서 확인할 수 있습니다. 요청값 검증이 문서 접근 권한 검사를 대신하는 것은 아닙니다.
5.2 안내 문장을 바꾸는 기준
아래 문장은 확인하지 않은 자격과 혜택을 확정합니다.
“고객님은 이번 쇼핑 행사에 참여하시면 할인을 받으실 수 있습니다.”
대상 카드와 참여 조건이 확인되지 않았다면 이렇게 말할 수 없습니다. 샘플 문서에서 확인된 범위만 전달하면 다음처럼 달라집니다.
“이 행사의 기간은 11월 1일부터 30일까지입니다. 상품권 구매는 제외됩니다. 고객님의 대상 카드 여부와 참여 조건을 확인한 뒤 적용 가능 여부를 안내하겠습니다.”
이 예시에서도 혜택 금액과 한도를 임의로 넣지 않았습니다. 문서에 없는 항목은 확인할 대상으로 남깁니다. 상담 화면에서는 각 문장 옆에 해당 근거를 확인할 수 있게 합니다. 근거 식별자가 존재한다는 사실만으로 문장의 정확성이 보장되지는 않습니다.
5.3 비교 답변은 같은 항목끼리 나누기
| 비교 항목 | 행사 A | 행사 B |
|---|---|---|
| 행사 기간 | 원문에서 확인한 구간 | 원문에서 확인한 구간 |
| 혜택과 한도 | 근거가 있는 내용 | 근거가 없으면 확인 필요 |
| 대상 카드 | 확인된 대상 | 확인된 대상 |
| 제외 조건 | 첨부 기준 내용 | 첨부 기준 내용 |
| 중복 적용 | 별도 규정 확인 | 별도 규정 확인 |
한 행사의 빈 항목을 다른 행사의 조건으로 채우지 않습니다. 선택한 행사와 개정을 고정한 뒤 비교합니다. 비교 기능은 복수 문서의 접근 권한과 입력 길이까지 고려해 확장합니다. 비교표가 있다고 어느 행사가 고객에게 더 유리한지 자동 확정되는 것은 아닙니다.
6. 화면은 다음 행동을 고르기 쉽게 🖥️
검색 화면에는 모든 내부 점수를 보여줄 필요가 없습니다. 상담사가 판단할 수 있는 기간, 혜택, 대상, 문서 상태를 먼저 배치합니다. 검색 점수는 운영 분석에는 유용하지만 고객의 혜택 확률은 아닙니다. 사용자에게 의미를 설명하기 어려운 숫자보다 근거를 쉽게 여는 기능이 중요합니다.
| 화면 영역 | 먼저 보여줄 내용 | 다음 행동 |
|---|---|---|
| 검색창 | 질문과 해석한 기간 | 기간 수정, 다시 검색 |
| 결과 카드 | 행사명, 기간, 상태, 핵심 혜택 | 이벤트 선택 |
| 상세 패널 | 대표 문서, 첨부 목록, 개정 | 근거 열기 |
| AI 설명 | 확인된 조건, 추가 확인 항목 | 상세 질문, 잘못된 답변 신고 |
| 개인화 영역 | 즐겨찾기, 최근 본 이벤트 | 현재 상태로 다시 조회 |
6.1 즐겨찾기는 과거 화면의 복사본이 아니다
상담사가 저장한 행사도 시간이 지나면 종료될 수 있습니다. 원문 조건이 개정되거나 접근 권한이 달라질 수도 있습니다. 즐겨찾기에는 다시 찾을 식별자를 저장하고, 열 때 현재 상태를 확인합니다. 지난번과 달라졌다면 변경된 상태를 알려줍니다.
최근 본 목록도 사용자별로 분리합니다. 누가 어떤 문서를 열었는지 기록하되 고객 정보까지 복제할 필요는 없습니다. 권한이 사라진 문서는 이전에 봤다는 이유로 계속 제공하지 않습니다. 과거 안내를 감사할 때 필요한 개정 기록은 별도의 이력으로 관리합니다.
6.2 결과가 없을 때도 이유를 나누기
| 상황 | 사용자 안내 | 가능한 후속 행동 |
|---|---|---|
| 검색 성공, 후보 없음 | 조건에 맞는 결과가 없음 | 검색어나 기간 수정 |
| 검색 시스템 오류 | 조회가 완료되지 않음 | 재시도, 추적 번호 확인 |
| 필수 첨부 준비 중 | 상세 조건 확인이 아직 어려움 | 원문 확인, 재조회 |
| 요청 기간이 모호함 | 적용할 기간 확인 필요 | 연도·기간 선택 |
| 접근할 수 없는 문서 | 허용된 자료 범위 안내 | 권한 있는 업무 경로 이용 |
오류를 빈 결과로 바꾸면 상담사는 검색어만 반복해서 바꿀 수 있습니다. 시스템이 실패한 상황을 사용자 행동의 문제로 돌리지 않아야 합니다. 단, 접근할 수 없는 문서의 제목이나 존재 여부를 불필요하게 드러내지는 않습니다. 안내 문구와 접근 정책을 함께 설계합니다.
7. 클릭이 늘었다고 상담이 성공한 것은 아니다 📊
검색 결과를 클릭한 것은 관심 있는 후보를 찾았다는 신호입니다. 그 문서가 실제 질문을 해결했는지는 아직 알 수 없습니다. 첨부를 열고 다시 검색했다면 조건이 맞지 않았을 수도 있습니다. 그래서 행동 로그와 품질 판단을 나눠서 봅니다.
기존 원고는 검색 시간, 재검색, 재사용, 반영 속도를 KPI로 제안했습니다. 이 방향을 유지하되 측정 구간과 분모를 구체화합니다. 업무가 쉬운 질문만 늘어도 평균 시간은 줄 수 있습니다. 기간과 질문 유형이 비슷한 집단을 비교해야 변화의 의미를 읽을 수 있습니다.
그림 4. 운영 신호와 실제 상담 품질을 함께 확인하는 AI Agent. AI 생성 일러스트입니다.
7.1 업무 KPI와 기술 지표 연결하기
| 업무에서 알고 싶은 것 | 측정 정의의 예 | 함께 볼 기술 지표 |
|---|---|---|
| 근거를 빨리 찾는가 | 검색 시작부터 근거 확인까지의 시간 | 검색 지연, 문서 조회 지연 |
| 첫 검색으로 해결했는가 | 첫 검색에서 검증된 근거를 찾은 세션 비율 | 정답 근거 재현율, 순위 지표 |
| 잘못 안내하는 일이 줄었는가 | 검토한 상담 중 조건 오류 비율 | 근거 충실성, 제외 조건 누락 |
| 다시 검색하는가 | 세션별 추가 검색 횟수 | 빈 결과, 질의 유형별 검색 품질 |
| 자료를 다시 활용하는가 | 저장 자료를 다시 연 사용자 비율 | 즐겨찾기·최근 본 이용 로그 |
| 새 행사를 제때 찾는가 | 승인 게시부터 검색 검증까지의 시간 | 적재·색인 지연, 개정 일치 여부 |
평균과 p95는 다른 값입니다. p95는 느린 요청 구간을 살펴보는 데 도움이 됩니다. 전체 평균만 보면 특정 조직이나 질문 유형의 불편을 놓칠 수 있습니다. 지연, 오류, 요청량, 자원 상태를 나눠 보는 관점은 Google SRE 모니터링 자료를 참고했습니다.
7.2 비율을 계산하기 전에 분모부터 정하기
다음은 검토가 끝난 세션의 예시 집계입니다. 동일한 세션을 중복 집계하지 않습니다. 성공 세션이 전체 세션에 포함되지 않으면 데이터 오류로 봅니다. 관측 대상이 없으면 0% 대신 측정값 없음으로 표현합니다.
|
def validated_rate(success_ids: set[str], observed_ids: set[str]) -> float | None: |
|---|
이 값은 검토한 세션 안에서의 비율입니다. 검토하지 않은 전체 상담의 성공률로 확대해서 말할 수는 없습니다. 표본 수, 수집 기간, 질문 유형을 지표 옆에 표시합니다. 자동 클릭 집계와 사람이 확인한 성공 판정도 별도 이름으로 관리합니다.
7.3 운영 대시보드는 원인을 찾을 수 있게
| 관측 항목 | 추천 표현 | 확인할 문제 |
|---|---|---|
| 요청 수와 오류율 | 시간대별 추이 | 서비스 장애와 사용량 변화 |
| 검색·상세 질의 지연 | p50·p95와 요청 건수 | 어느 경로가 느린지 |
| 검색 결과 없음 | 질문 유형·기간별 비율 | 필터 과도, 데이터 누락 |
| 기간·대상 조건 오류 | 사례 목록과 근거 | 잘못된 안내의 재현 조건 |
| 근거 충실성 | 평가 표본과 항목별 추이 | 문서에 없는 조건 생성 |
| 게시 개정의 검색 반영 | 대기 시간과 미반영 목록 | 신규 행사나 변경 조건 누락 |
알림 기준은 실제 운영 목표와 트래픽을 보고 정합니다. 표본이 적은 구간의 비율 급등을 대규모 장애처럼 해석하지 않습니다. 기간이나 대상 조건의 오안내는 영향도를 확인해 우선 검토할 수 있습니다. 특정 숫자가 모든 조직의 공통 기준이 되는 것은 아닙니다.
8. 저품질 사례를 다시 평가할 수 있는 질문으로 🔁
운영 로그만 쌓으면 문제를 발견해도 같은 실수를 반복할 수 있습니다. 실패한 질문과 당시 조건을 평가 세트로 옮깁니다. 어떤 문서를 찾아야 했는지, 어떤 조건을 설명해야 했는지도 함께 남깁니다. 개인정보가 포함된 원문은 평가용으로 필요한 범위만 정리합니다.

그림 5. 데이터, 검색, 답변의 문제를 나눠 고칩니다. 수정한 항목과 기존 평가 항목을 함께 확인한 뒤 반영합니다.
8.1 원인에 맞는 개선을 선택하기
| 발견한 문제 | 먼저 볼 원인 | 개선 후 확인할 것 |
|---|---|---|
| 최신 이벤트가 없음 | 게시·적재·색인 상태 | 실제 질문에서 새 개정 조회 |
| 첨부 제외 조건이 빠짐 | 묶음 구성과 입력 길이 | 필요한 첨부 근거의 포함 여부 |
| 다른 행사가 먼저 나옴 | 질의, 기간, 검색 순위 | 정답 근거의 순위와 재현율 |
| 근거는 맞지만 답변이 틀림 | 조건 해석과 답변 구성 | 문장별 근거와 누락 조건 |
| 종료 행사를 현재처럼 설명 | 날짜 해석과 상태 표시 | 경계 날짜와 과거 질의 분리 |
| 특정 행사만 반복 노출 | 문서 중복과 평가 구성 | 관련성을 유지한 후보 다양성 |
검색 실패를 프롬프트만 바꿔 해결하려 하지 않습니다. 반대로 근거가 충분한데 답변을 잘못 만들면 검색 설정만 바꿀 이유도 없습니다. 원인을 분리해야 변경의 영향과 회귀를 확인하기 쉽습니다. 평가할 때는 당시 문서 개정과 업무 기준일을 고정합니다.
8.2 기간 경계는 작은 테스트로 먼저 확인하기
|
def test_period_boundaries(): |
|---|
이 테스트는 기간과 감점 규칙을 확인합니다. 실제 고객의 혜택 대상 여부나 모델 답변 품질을 검증하지는 않습니다. 그 검증에는 대상 카드, 참여 조건, 첨부 예외를 포함한 업무 사례가 필요합니다. 테스트 결과가 보장하는 범위를 분명히 해 두는 것이 좋습니다.
9. 다음 확장은 확인 가능한 범위부터 🌱
고객별 추천이나 상담 스크립트 생성으로 확장할 수 있습니다. 다만 현재의 문서 검색과 고객 자격 판단은 필요한 데이터가 다릅니다. 고객 정보의 사용 범위와 최신성, 참여 여부를 확인할 연결이 필요합니다. 문서 검색 결과만으로 개인별 혜택을 확정하지 않습니다.
| 확장 방향 | 사용자 가치 | 먼저 준비할 것 |
|---|---|---|
| 복수 행사 비교 | 조건 차이를 빠르게 확인 | 같은 비교 항목과 개정별 근거 |
| 상담 문장 초안 | 조건을 자연스럽게 설명 | 확인된 사실과 미확인 항목 분리 |
| 고객별 후보 추천 | 관련 행사 탐색 시간 감소 | 허용된 고객 정보와 자격 확인 |
| 사후 상담 QA | 잘못 안내한 조건 발견 | 당시 문서 개정과 검토 기준 |
| 운영 리포트 | 반복 문의와 누락 자료 파악 | 익명화된 집계와 표본 해석 |
| 변경 행사 안내 | 종료·변경 조건의 오안내 감소 | 게시 신호와 검색 반영 확인 |
10. 결론 — 정확히 안내할 근거를 함께 찾는 서비스
프로모션 검색 AI의 가치는 상담 흐름 전체에서 드러납니다. 후보를 빠르게 찾고, 선택한 행사와 첨부를 확인하고, 설명할 조건을 정리합니다. 검색과 상세 질의를 나누면 상담사의 선택과 AI의 역할도 분명해집니다. 즐겨찾기와 최근 본 목록은 이 확인 과정을 다시 이어 줍니다.
기간과 고객 자격, 문서 준비 상태는 서로 다른 판단입니다. 한 가지 조건이 맞는다고 나머지까지 확인된 것은 아닙니다. 모르는 항목을 확인 필요로 남기고 근거를 쉽게 열 수 있어야 합니다. 이런 작은 구분이 실제 안내의 정확성을 지탱합니다.
운영에서는 클릭이나 평균 속도 하나로 성공을 판단하지 않습니다. 근거를 찾았는지, 조건을 빠뜨리지 않았는지, 새 개정이 반영됐는지 함께 봅니다. 상담사가 더 빠르고 정확하게 판단할 수 있는가를 기준으로 개선을 이어갑니다.
11. 참조 출처 📚
- Google SRE — Monitoring Distributed Systems — 지연, 오류, 요청량과 운영 관측.
- OWASP Top 10 for LLM Applications — 문서 입력과 LLM 서비스의 보안 고려사항.
- FastAPI — Request Body — API 요청 데이터 모델과 검증.
- NN/g — The User Experience of Chatbots — 대화형 UI의 사용자 경험에 관한 2018년 연구.
- PostgreSQL — Range Types — 기간 겹침과 경계 포함의 개념.
12. 태그
#상담AI #프로모션검색 #EventSearch #CounselorAssistant #RAG #LLM #CustomerExperience #BusinessAI #근거기반답변 #검색품질