소속팀: Developer팀 작성자: 유수영
🧭 이 글에서 다루는 것
“그 행사에서 제외되는 경우는요?”라는 질문은 앞선 대화를 알아야 이해할 수 있습니다. 상담을 이어 가려면 질문과 답변을 기록하고, 필요한 맥락을 다시 꺼내야 합니다. 기존 프로젝트의 미들웨어·이력 관리·조회 구조를 바탕으로 이 과정을 살펴봅니다. 저장 실패와 중복 요청, 스트리밍 중단까지 함께 다룹니다.
| 읽는 순서 | 함께 살펴볼 질문 |
|---|---|
| 기록의 역할 | 저장한 이력과 모델의 기억은 어떻게 다를까? |
| 저장 경계 | 누가 질문과 답변을 기록할까? |
| 재조회와 맥락 | 어떤 대화를 다음 질문에 붙일까? |
| 운영 정책 | 중단되거나 저장하지 못한 응답은 어떻게 다룰까? |
1. 개요 — 앞선 설명을 다시 묻지 않아도 되도록 💬
상담 중에는 질문이 한 번으로 끝나지 않습니다. 이벤트를 찾은 다음 대상 카드를 묻습니다. 답변을 듣고 제외 조건이나 한도를 다시 확인합니다. 이때마다 처음부터 설명해야 한다면 대화형 서비스의 장점이 줄어듭니다.
기존 프로젝트는 대화 이력을 공통 기능으로 관리합니다. 미들웨어가 기록 시점을 맡고, 관리 계층이 저장을 처리합니다. 조회 API는 상담 화면에 이전 질문과 답변을 제공합니다. 필요한 이력은 다음 답변의 참고 맥락으로도 사용할 수 있습니다.
하지만 저장 버튼을 자동으로 누른다고 대화가 저절로 이어지지는 않습니다. 누구의 세션인지, 어떤 응답이 완료됐는지 먼저 알아야 합니다. 그중 현재 질문에 필요한 부분을 골라 모델에 전달해야 합니다. 기록과 맥락 구성을 나눠 설계하는 것이 출발점입니다.
그림 1. 같은 상담 흐름을 이어 가는 상담사와 AI Agent. 이해를 위한 AI 생성 일러스트입니다.
1.1 이력은 세 가지 용도로 쓰인다
| 용도 | 사용자가 기대하는 것 | 필요한 정보 |
|---|---|---|
| 화면 복원 | 아까 나눈 대화 다시 보기 | 질문, 답변, 순서, 완료 상태 |
| 후속 질문 | “그 행사”가 무엇인지 이어서 이해 | 최근 대화와 선택한 근거 |
| 운영 점검 | 어떤 상황에서 답변이 달라졌는지 확인 | 요청 식별자, 문서 개정, 오류 상태 |
세 용도에 필요한 데이터가 완전히 같지는 않습니다. 화면에는 읽기 좋은 대화가 필요합니다. 운영에는 실행 상태와 추적 정보가 필요합니다. 모델에는 길이를 제한한 관련 맥락이 필요합니다.
본문은 기존 원고의 구조를 일반적인 상담 예제로 풀어쓴 것입니다. 실제 내부 구현을 그대로 옮긴 코드는 아닙니다. 예제 미들웨어는 일반 JSON 응답의 완료 이력을 기록합니다. 스트리밍과 내구성 있는 저장은 뒤에서 별도 확장으로 설명합니다.
2. 저장 책임을 한곳에 모으기 🧩
서비스마다 저장 코드를 따로 넣으면 누락되는 응답이 생기기 쉽습니다. 어떤 곳은 질문만 저장하고, 다른 곳은 오류까지 답변으로 저장할 수 있습니다. 기록 시점과 공통 정책을 미들웨어로 모으면 이런 차이를 줄일 수 있습니다. 다만 각 API가 어떤 값을 대화로 남길지는 명확히 전달해야 합니다.

그림 2. 인증된 요청에서 완료된 대화를 구성합니다. 미들웨어는 저장을 연결하고, 조회는 별도의 권한 검사 뒤 수행합니다.
2.1 미들웨어·관리 계층·조회 API의 역할
| 구성 요소 | 맡을 일 | 넘겨야 할 경계 |
|---|---|---|
| 상담 처리 | 질문 검증과 답변 생성 | 저장할 대화 객체 구성 |
| 미들웨어 | 대상 요청과 완료 시점 판단 | 공통 마스킹과 저장 호출 |
| 이력 관리 계층 | 트랜잭션, 중복 처리, 순서 관리 | 저장 결과와 실패 원인 |
| 조회 API | 소유권 확인과 페이지 조회 | 화면에 필요한 이력 |
| 맥락 구성기 | 관련 이력 선택과 길이 제한 | 모델에 전달할 메시지 |
미들웨어가 모든 HTTP 본문을 읽어 대화를 추측하게 만들 필요는 없습니다. 파일 업로드나 오류 응답은 질문·답변과 구조가 다릅니다. 아래 예제는 상담 처리가 검증한 대화 객체를 요청 상태에 넣는 방식을 사용합니다. 미들웨어는 그 객체를 읽어 공통 저장 정책을 적용합니다.
기존처럼 요청·응답 본문을 직접 읽는 구조도 가능합니다. 그 경우 본문 크기와 형식, 다시 전달할 방식까지 설계해야 합니다. 스트림을 끝까지 읽어 버리면 사용자가 기다리는 방식도 달라질 수 있습니다. 미들웨어의 기본 실행 위치는 FastAPI 미들웨어 문서를 참고합니다.
2.2 세션과 문서 묶음은 다른 식별자다
| 식별자 | 의미 | 예시 |
|---|---|---|
| 대화 세션 | 하나의 상담 대화 흐름 | conversation-42 |
| 문서 묶음 | 답변 근거로 선택한 자료 | PROMO-101 |
| 요청 | 이번 질문 처리와 재시도 구분 | request-73 |
| 사용자 | 인증으로 확인한 주체 | 서버에서 결정 |
| 조직·그룹 | 데이터 범위 또는 화면 묶음 | 역할에 맞게 별도 관리 |
문서 묶음 하나를 여러 사용자가 볼 수 있습니다. 따라서 문서 묶음 식별자를 대화 세션처럼 공유하면 안 됩니다. 헤더 이름을 바꿀 수 있는 설정은 유용하지만 식별자의 의미까지 같아지지는 않습니다. 세션은 인증된 사용자와 조직에 연결해 관리합니다.
X-Session-ID는 조회할 세션을 가리키는 값일 수 있습니다. X-User-ID가 왔다고 그 사용자의 요청으로 신뢰해서는 안 됩니다. 인증 계층에서 주체를 확인하고 세션 소유권을 검사합니다. 이 검사는 저장뿐 아니라 목록, 상세 조회, 삭제에도 적용합니다.
3. 저장할 대화를 먼저 명확하게 만들기 📝
예제에서는 질문 한 개와 답변 한 개를 한 턴으로 봅니다. 턴 번호는 서버가 세션 안에서 정한 순서입니다. 요청 식별자는 같은 질문의 재시도를 알아보는 데 사용합니다. 답변 완료 순서와 질문 접수 순서가 항상 같지는 않습니다.
|
from dataclasses import dataclass, replace |
|---|
이 타입 선언만으로 값이 검증되지는 않습니다. API와 관리 계층에서 식별자, 길이, 소유권을 확인해야 합니다. 질문과 답변이 길다면 저장 크기와 모델 입력 크기도 별도로 제한합니다. 문서 묶음과 개정 같은 추가 정보는 허용한 메타데이터로 연결할 수 있습니다.
3.1 저장 전 마스킹은 공통 정책으로
대화에는 전화번호나 개인 식별 정보가 들어올 수 있습니다. 서비스마다 다른 규칙을 쓰기보다 저장 직전에 공통 정책을 적용합니다. 질문뿐 아니라 답변에 반복된 정보도 처리합니다. 아래 코드는 구분자가 있는 두 형식만 가리는 작은 예제입니다.
|
import re |
|---|
구분자가 없거나 다른 표기로 적힌 값은 놓칠 수 있습니다. 형식만 닮은 일반 숫자를 가릴 가능성도 있습니다. 실제 정책은 필요한 탐지 범위와 오탐 사례를 함께 평가해야 합니다. 원문을 예외 로그나 추적 도구에 그대로 남기면 저장 마스킹의 효과도 줄어듭니다.
3.2 일반 응답을 기록하는 ASGI 미들웨어
다음 예제는 요청별 변수를 호출 안에 둡니다. 동시에 처리되는 다른 요청과 상태가 섞이지 않게 하기 위해서입니다. 응답 바이트를 다시 조립하지 않고 ASGI 메시지를 그대로 전달합니다. 마지막 본문 메시지 전송이 성공한 JSON 응답만 완료 후보로 봅니다.
|
import asyncio |
|---|
이 예제는 응답 전송 뒤 저장하는 정책을 선택했습니다. 저장 실패가 나도 이미 보낸 응답을 오류 응답으로 바꿀 수 없습니다. 프로세스가 종료되면 저장하지 못한 이력이 사라질 수 있습니다. 내구성이 필요한 경우에는 뒤에서 설명할 별도 설계가 필요합니다.
0.2초는 예시이며 운영 권장값이 아닙니다. 저장 함수와 DB 드라이버가 비동기 취소를 지원해야 제한이 의미를 가집니다. 응답 전송 성공은 서버 관점의 완료이지 사용자가 화면에서 읽었다는 증거는 아닙니다. 메시지 완료와 연결 중단의 의미는 ASGI HTTP 규격을 참고합니다.
3.3 FastAPI에 등록하기
|
from fastapi import FastAPI |
|---|
상담 핸들러는 인증과 세션 검증 뒤 request.state.conversation_turn에 객체를 넣습니다. 서버가 만든 식별자와 검증한 질문·답변을 사용합니다. 이 연결 없이 미들웨어만 등록하면 대화 내용이 자동으로 생기지는 않습니다. 예제는 DB 어댑터와 인증·상담 핸들러 구현을 생략했습니다.
대상 경로는 예제처럼 명시적으로 관리할 수 있습니다. 문자열 일부가 겹친다는 이유로 관리자 요청이나 다른 API까지 기록하지 않게 합니다. 실제 서비스에서는 경로 정의와 저장 정책이 함께 바뀌도록 관리합니다. 미들웨어의 순서와 ASGI 구현 방식은 Starlette 미들웨어 문서에서 확인할 수 있습니다.
4. 기록은 순서와 소유권을 함께 가진다 🔐
이전 대화가 보이는 것만으로 충분하지 않습니다. 다른 상담의 내용이 섞이지 않아야 합니다. 같은 질문의 재시도가 두 번 저장되지 않아야 합니다. 중간에 끊긴 답변이 완료된 설명처럼 보이지 않는 것도 중요합니다.
그래서 세션, 요청, 턴 순서를 별도 값으로 둡니다. 세션은 누구의 대화인지 나타냅니다. 요청은 한 번의 실행과 재시도를 연결합니다. 턴 번호는 화면과 맥락을 구성할 순서를 정합니다.
그림 3. 대화 내용과 함께 소유권·순서·근거를 확인합니다. AI 생성 일러스트입니다.
4.1 세션과 턴을 나눠 저장하기
|
CREATE TABLE conversation_sessions ( |
|---|
복합 키는 같은 세션의 중복 요청을 구별하는 기준입니다. 외래 키는 턴의 사용자와 세션 소유자가 일치하도록 연결합니다. 이 제약이 현재 요청자의 접근 권한까지 검사해 주지는 않습니다. 조회 API에서도 인증 주체와 소유권을 확인해야 합니다.
제약의 역할은 PostgreSQL 제약조건 문서에 설명되어 있습니다. 예제의 recorded_at은 DB에 기록된 시점입니다. 실제 요청 시작과 응답 완료 시각이 필요하면 별도로 전달해 저장합니다. JSONB에는 근거 개정처럼 허용한 항목만 넣고 임의의 전체 요청을 복제하지 않습니다.
4.2 재시도와 동시 질문을 다루기
같은 요청 식별자가 다시 오면 먼저 저장된 요청과 같은 작업인지 확인합니다. 식별자가 같다는 이유로 서로 다른 질문을 조용히 버려서는 안 됩니다. 요청 내용의 지문과 완료 상태를 비교하는 정책이 필요합니다. 응답은 한 번 보내도 저장 재시도는 여러 번 발생할 수 있습니다.
턴 번호는 짧은 트랜잭션에서 충돌 없이 배정합니다. DB 번호를 정렬했다고 모델이 올바른 이전 맥락을 본 것은 아닙니다. 같은 세션에서 동시에 질문하면 두 요청 모두 같은 과거를 읽을 수 있습니다. 순차 대화가 필요하면 세션별 실행 제어도 함께 설계합니다.
조회에서는 조직과 소유자를 확인한 범위 안에서 턴 번호로 정렬합니다. 페이지 이동도 같은 순서 기준을 사용합니다. 응답이 늦게 완료됐다는 이유로 사용자가 질문한 순서가 바뀌지 않게 합니다. 세션 삭제 뒤 지연된 재시도가 다시 내용을 만들지 않도록 관리 계층도 점검합니다.
5. 저장된 이력을 모두 모델에 넣지는 않는다 🧠
대화 저장소는 기록을 보존합니다. 모델의 입력은 지금 질문에 필요한 맥락을 구성합니다. 이 두 기능을 분리해야 오래된 답변이나 관련 없는 설명을 줄일 수 있습니다. 이전 AI 답변도 잘못됐을 수 있으므로 새로운 업무 근거처럼 취급하지 않습니다.

그림 4. 권한을 확인한 이력에서 필요한 턴을 선택합니다. 현재 질문과 최신 근거는 그 뒤에 별도로 연결합니다.
5.1 최근 N개 메시지와 최근 N턴 구분하기
사용자 질문과 AI 답변을 따로 저장했다면 메시지 두 개가 한 턴일 수 있습니다. 메시지를 단순히 마지막 N개만 자르면 답변만 남을 수 있습니다. 아래 예제는 질문·답변 쌍을 유지합니다. 실패하거나 중단된 턴은 다음 대화의 완료된 답변으로 넣지 않습니다.
|
def build_conversation_context(turns: list[Turn], *, |
|---|
입력은 한 사용자의 한 세션에서 조회한 이력이라고 가정합니다. 이 함수가 소유권을 검사하거나 서로 다른 세션을 분리하지는 않습니다. 최근 턴이 너무 길면 오래된 대화로 빈자리를 채우지 않는 예제 정책입니다. 질문과 답변의 중간을 잘라 의미가 달라지는 일을 피하려는 선택입니다.
문자 수 제한은 토큰 제한과 다릅니다. 실제 모델 호출에서는 시스템 지시, 현재 질문, 검색 근거, 출력 여유까지 계산합니다. 도구 호출이 있는 대화라면 호출과 결과의 연결도 보존해야 합니다. 위 코드는 단순한 사용자·답변 쌍만 다룹니다.
5.2 대화가 길어지면 무엇을 바꿀까
| 방식 | 장점 | 함께 관리할 것 |
|---|---|---|
| 최근 턴 | 현재 대화 흐름을 간단히 유지 | 오래된 핵심 조건 누락 |
| 요약 | 긴 대화를 짧게 정리 | 요약 오류와 원문 연결 |
| 관련 이력 검색 | 현재 질문과 가까운 대화 선택 | 다른 업무 맥락의 혼입 |
| 혼합 구성 | 최근 흐름과 과거 조건 보완 | 우선순위와 전체 입력 길이 |
요약도 특정 시점의 대화에서 파생된 데이터입니다. 원문을 삭제하거나 수정하면 요약과 검색 색인도 함께 처리해야 합니다. 오래된 대화가 입력에 주는 영향은 LangChain 단기 메모리 문서에서 설명합니다. 이전 사용자 문장을 시스템 지시 역할로 올려서 전달하지 않습니다.
6. 스트리밍에서는 ‘끝났다’의 의미부터 정하기 🌊
스트리밍 응답은 조각이 도착하는 대로 화면에 표시됩니다. 일반 응답처럼 전체 본문을 모은 뒤 전달하면 첫 응답의 장점이 줄어듭니다. 반대로 첫 조각이 나왔다고 대화가 완료된 것은 아닙니다. 모델 생성 완료, 서버 전송 완료, 사용자 수신을 구분해야 합니다.
6.1 어떤 수준으로 기록할지 선택하기
| 전략 | 저장하는 것 | 선택할 때 볼 점 |
|---|---|---|
| 스트리밍 제외 | 정책상 제외 사실과 운영 지표 | 화면에서 다시 볼 수 없는 범위 |
| 최종 답변 저장 | 정상 종료한 전체 답변 | 완료 신호와 요청 식별자 |
| 중단 답변 저장 | 부분 본문과 중단 상태 | 완료 답변으로 재사용하지 않기 |
| 세부 추적 분리 | 최종 이력과 별도 추적 식별자 | 저장량과 접근 범위 |
앞의 미들웨어는 스트리밍 저장을 구현하지 않습니다. 예제 대상 외 경로와 이벤트 스트림 형식은 완료 이력에서 제외합니다. 운영에서는 생성 계층이 의미 있는 완료 이벤트를 발행하도록 설계할 수 있습니다. 미들웨어와 생성 계층이 같은 답변을 각각 저장하지 않게 책임을 정합니다.
6.2 중단된 답변을 완료처럼 보이지 않게
연결이 끊겼을 때 모델 생성이 계속되는지는 실행 구조에 따라 다릅니다. 예외만 잡으면 모든 중단을 동일하게 판단할 수 있는 것은 아닙니다. 부분 답변을 저장한다면 중단 상태와 마지막 처리 지점을 함께 남깁니다. 화면에는 “답변이 중단됨”을 표시하고 다시 시도할 방법을 제공합니다.
성공한 응답만 저장하는 예제에서는 오류·중단 요청이 대화 표에 남지 않습니다. 이런 요청은 별도 실행 로그나 요청 상태로 추적해야 합니다. ‘대화 없음’을 ‘요청 없음’으로 해석하지 않습니다. 스트리밍 조각 수보다 최종 상태와 중복 저장 여부가 우선 점검 항목입니다.
7. 저장 실패와 보존 정책도 사용자 경험이다 🛠️
상담 화면에는 답변이 보였는데 다시 열면 이력이 없을 수 있습니다. 사용자 입장에서는 대화가 사라진 것처럼 느껴집니다. 응답 성공과 저장 성공을 따로 기록해야 이 차이를 찾을 수 있습니다. 저장 실패를 조용히 무시하면 나중에 원인을 설명하기도 어렵습니다.
기존 원고는 저장 실패가 본 요청을 막지 않는 방향을 제안했습니다. 사용자 응답을 우선하는 상황에는 가능한 선택입니다. 다만 이력의 내구성이 필수라면 다른 구조가 필요합니다. 업무가 요구하는 보장 수준부터 정합니다.
그림 5. 답변 완료와 저장 완료를 별도로 확인하는 AI Agent. AI 생성 일러스트입니다.
7.1 저장 방식별 차이
| 방식 | 응답과의 관계 | 남는 과제 |
|---|---|---|
| 응답 전 저장 | 저장이 끝나야 응답 | DB 지연과 장애가 응답에 영향 |
| 응답 후 직접 저장 | 화면 응답 뒤 저장 시도 | 종료·취소 시 유실 가능 |
| 프로세스 내 백그라운드 작업 | 응답 처리와 저장 작업 분리 | 재시작 시 작업 유실 가능 |
| 내구성 있는 작업 전달 | 저장할 이벤트를 보존 후 소비 | 중복 처리와 재시도·지연 관리 |
백그라운드 작업을 붙였다고 내구성이 생기는 것은 아닙니다. 저장 이벤트를 보존했다는 확인과 DB 반영 완료는 다른 단계입니다. 이벤트 전달 방식에서도 요청 식별자로 중복을 제어해야 합니다. 삭제된 세션의 대기 작업을 어떻게 처리할지도 정합니다.
7.2 저장을 끄는 설정의 의미
개발 환경에서는 저장 기능을 끄고 Agent 동작만 확인할 수 있습니다. 앞의 등록 예제는 검증된 불리언 값을 받습니다. 환경 변수의 문자열 “false”를 그대로 bool()로 바꾸면 참이 되므로 주의합니다. 설정 계층에서 허용한 값을 명확히 해석합니다.
운영에서 저장을 중지하면 그 기간의 이력이 비어 있을 수 있습니다. 기능 중지와 저장 장애를 서로 다른 상태로 기록합니다. 헬스 체크, 지표 조회, 관리자 작업은 대화 이력 대상에서 구분합니다. 관리자 감사 기록은 목적에 맞는 별도 정책을 사용합니다.
7.3 보존과 삭제는 파생 데이터까지
얼마나 오래 보관할지는 업무 목적에 맞게 정합니다. 접근 권한, 암호화, 마스킹과 함께 보존 범위를 관리합니다. 조회 시 마스킹만 한다면 원본 저장소에는 민감정보가 남아 있다는 점도 고려합니다. 대화 원문, 요약, 검색 색인, 백업의 처리 범위를 구분합니다.
삭제 요청 뒤 대기 중인 저장 작업이 원문을 다시 만들지 않아야 합니다. 종료된 세션을 무조건 새로 만드는 재시도 로직은 피합니다. 민감정보와 모델 입력의 경계를 보는 자료로 OWASP LLM 보안 안내를 참고할 수 있습니다. 구체적인 보존 기간은 이 예제에서 정하지 않습니다.
8. 운영 지표와 테스트를 함께 보기 ✅
| 확인할 지표 | 무엇을 구분할까? |
|---|---|
| 저장 대상 요청 수 | 제외 정책과 기능 비활성화 |
| 저장 시도·성공·실패 | 응답 성공과 이력 저장 성공 |
| 저장 지연과 대기 작업 | 늦은 반영과 실제 누락 |
| 중복 요청 처리 수 | 정상 재시도와 중복 기록 |
| 빈 답변·중단 턴 | 무응답과 스트리밍 중단 |
| 세션별 턴 수 | 이용 패턴과 반복 재질문 |
턴 수가 늘었다고 사용자 경험이 좋아졌다고 단정하지 않습니다. 답변이 부족해 같은 내용을 반복해서 물었을 수도 있습니다. 저장 실패율의 분모는 저장 시도인지 대상 요청인지 함께 표시합니다. 정책상 제외한 요청을 장애 건수에 섞지 않습니다.
| 테스트할 상황 | 확인할 결과 |
|---|---|
| 정상 JSON 응답 | 원래 응답을 보존하고 한 번 저장 |
| 민감정보가 있는 질문·답변 | 저장본에 공통 마스킹 적용 |
| 저장 실패와 시간 초과 | 이미 전송한 응답 유지, 실패 기록 |
| 기능 비활성화·제외 API | 저장 호출이 없음 |
| 응답 오류·전송 중단 | 완료 이력으로 기록하지 않음 |
| 동시 요청 | 세션과 답변이 서로 섞이지 않음 |
| 0턴·길이 제한 | 전체 이력이 실수로 포함되지 않음 |
| 재시도와 잘못된 소유자 | 중복·소유권 제약과 권한 확인 |
9. 결론 — 대화를 저장하고, 필요한 맥락으로 이어 주기 🌱
대화 이력 미들웨어는 기록 시점과 공통 정책을 모으는 장치입니다. 관리 계층은 저장과 중복 처리를 맡고, 조회 API는 소유권을 확인합니다. 맥락 구성기는 그중 필요한 대화만 다음 질문에 연결합니다. 각 역할을 나누면 누락과 잘못된 재사용을 발견하기 쉬워집니다.
완료된 답변과 중단된 답변을 구분합니다. 세션과 문서 묶음, 요청 식별자도 각자의 의미로 관리합니다. 저장 실패를 숨기지 않고 업무에 필요한 내구성을 선택합니다. 마지막으로 사용자가 다시 열었을 때 이어 갈 수 있는 기록인지 확인합니다.
10. 참조 출처 📚
- FastAPI — Middleware — 요청·응답 흐름의 미들웨어 위치.
- Starlette — Middleware — 순수 ASGI 미들웨어와 요청별 상태 관리.
- ASGI — HTTP 메시지 규격 — 응답 본문 완료와 연결 중단.
- PostgreSQL — Constraints — 고유 키와 외래 키.
- PostgreSQL — JSON Types — 메타데이터 저장 형식.
- LangChain — Short-term Memory — 대화 맥락과 길이 관리.
- OWASP — LLM Applications — 민감정보와 모델 입력의 보안 고려사항.
11. 태그
#ConversationHistory #MultiTurn #FastAPI #Middleware #Session #Memory #AIAgent #PostgreSQL #대화이력 #상담AI