소속팀: Developer팀 작성자: 유수영
🎯 이 글에서 함께 살펴볼 것
필요한 사실을 찾았는지, 유용한 근거가 앞에 나왔는지 나누어 봅니다. 같은 질문으로 비교하고, 평균 옆에 실패와 누락도 표시합니다. 자동 평가의 마지막에는 중요한 예외를 확인하는 업무 검토가 남습니다.
1. 답변은 자연스러운데, 업무에 써도 될까요? 💬
“신청 기한을 넘겼는데 예외가 있나요?” 그런데 AI가 찾은 자료에 일반 신청 기한만 있다면 어떨까요? 문장이 매끄러워도 필요한 답을 만들기는 어렵습니다.
반대 상황도 있습니다. 예외 조항까지 찾았지만 답변에서 승인 조건을 빠뜨릴 수 있습니다. 검색과 답변 생성을 나누어 봐야 어디를 고칠지 알 수 있습니다.
데이터를 준비하는 것에서 끝내지 않고, 실제 질문에 필요한 근거가 돌아오는지 확인해야 했습니다. AI Ready Data의 준비 상태를 사용자 질문으로 점검하는 과정입니다.
그림 1. 문서에서 활용 가능한 근거를 준비하는 AI 생성 일러스트입니다. 실제 Databricks 화면은 아닙니다.

그림 2. Databricks 기반 문서 검색의 평가 흐름입니다. 기존 draw.io 개념도를 활용했습니다.
이 글은 현재 문서 본문에서 질문을 만들고, 실제 검색 결과를 평가하는 구현 사례를 다룹니다. 코드는 원리를 설명하는 예제입니다. 문서·점수·업무 규정은 가상 데이터입니다.
2. 정답 평가셋에는 질문보다 더 많은 것이 필요합니다 📋
정답 평가셋은 골든셋이라고도 부릅니다. 같은 질문을 반복해 검색하고, 결과가 나아졌는지 비교하는 기준 자료입니다.
질문 한 건의 기준을 분명하게 만들기
“신청 방법을 알려 주세요”는 범위가 넓습니다. 기한을 묻는지, 예외를 묻는지에 따라 필요한 근거가 달라집니다.
|
{ |
|---|
가상의 교육 신청 안내문으로 만든 문항입니다. 중요도와 검토 상태는 운영 설계 예시이며, 실제 평가 API 규격을 그대로 옮긴 것은 아닙니다. 기준 답변에서 예외를 빼면, 예외를 놓친 검색도 높은 점수를 받을 수 있습니다.
| 질문 유형 | 사용자가 묻는 내용 | 확인할 근거 |
|---|---|---|
| 단일 사실 | 일반 신청 기한은 언제인가요? | 숫자와 단위 |
| 조건·예외 | 기한이 지나도 가능한가요? | 승인 조건과 적용 대상 |
| 표 비교 | 과정별 준비물이 다른가요? | 행·열 제목과 공통 주석 |
| 절차 | 변경 신청은 어떻게 하나요? | 선행 조건과 단계 순서 |
| 여러 근거 | 신청과 취소 조건을 비교해 주세요 | 문서 사이의 관계 |
| 답이 없는 질문 | 안내에 없는 감면이 가능한가요? | 답변 범위와 추가 확인 |
이 글의 두 지표는 검색 근거를 평가합니다. 답이 없는 질문의 거절 품질이나 최종 답변의 정확성은 별도로 확인해야 합니다. 평가셋도 원문이 바뀌면 갱신하고, 누가 어떤 개정을 검토했는지 남깁니다.
모델을 부르기 전에 입력부터 검사하기
배치 중간에 빈 정답이나 중복 문항을 발견하면 비교가 불완전해집니다. 현재 구현도 입력 검증을 먼저 수행한 뒤 평가 호출과 저장을 시작합니다. 아래는 필수 텍스트와 식별자 중복을 확인하는 작은 예제입니다.
|
def validate_cases(cases): |
|---|
형식이 맞다고 업무적으로 올바른 질문은 아닙니다. 식별자가 달라도 의미가 같은 문항일 수 있습니다.
3. 자동 생성 질문은 좋은 초안입니다 ✍️
현재 사례는 선택한 서비스 버전의 현재 처리된 문서 본문에서 질문을 만듭니다. 원본 파일을 다시 읽는 경로는 아닙니다. 문서 개정, 본문 처리 이력, 발췌 위치를 연결해 출처를 확인할 수 있게 합니다.
긴 본문은 최대 24,000자 범위의 발췌를 사용합니다. 한 번에 생성할 문항 수는 1~100개입니다. 이 수치는 사례 구현의 제한이며, Databricks 전체 기능의 공통 제한은 아닙니다.
문서 선택과 발췌에는 무작위성이 있습니다. 따라서 비교할 때마다 질문을 다시 만들면 평가 조건도 달라집니다. 검토한 질문셋을 고정하고 같은 문항으로 변경 전후를 비교합니다.

그림 3. 자동 생성·검색·평가에 업무 검토를 더한 흐름입니다. 질문셋 확정과 제공 판단까지 자동이라는 뜻은 아닙니다.
모델이 제시한 근거가 본문에 있는지 확인하기
생성된 근거가 원문에 없다면 평가 기준부터 흔들립니다. 공백과 문자 표현 차이는 정리하지만, 뜻이 비슷한 의역을 같은 근거로 인정하지는 않습니다.
|
import html |
|---|
공백 차이는 정리하지만, “3일”과 “5일”은 다르게 봅니다. 다만 문자열이 있어도 다른 대상의 조건일 수 있습니다. 앞뒤 문장과 표 주석을 읽어 기준 답변의 의미를 확인해야 합니다.
💡 자동 생성만으로 원문 처리 품질 전체를 증명할 수는 없습니다. 표의 예외 조항이 본문 변환에서 빠졌다면 그 조항의 질문도 생성되지 않을 수 있습니다. 업무 전문가가 원문에서 직접 만든 핵심 질문을 함께 유지하는 이유입니다.
4. 실제 검색 결과를 같은 조건으로 모읍니다 🔎
평가 질문은 사용자가 이용하는 실제 검색 경로에 넣습니다. 정답 근거를 끼워 넣지 않고, 반환 순서도 그대로 보존합니다.
분할 정책을 비교한다면 검색 방식과 결과 수는 고정합니다. 검색 방식을 비교한다면 문서 개정과 임베딩 조건을 고정합니다. 한 번에 바꾸는 조건이 적을수록 결과를 설명하기 쉽습니다.
|
{ |
|---|
위 JSON은 실험 기록의 설계 예시입니다. 모든 항목이 평가 결과에 자동 저장된다는 뜻은 아닙니다. 질문셋·원문 집합·평가 모델·지시 버전을 실제 이력과 연결해야 합니다.
잘못된 검색 결과를 점수로 바꾸지 않기
현재 검색 경로는 검색 유형, 결과 수, 서비스 버전, 문맥을 검사합니다. 벡터 검색에서는 질문 벡터와 인덱스의 규격도 맞아야 합니다. 아래 예제의 1~200 범위는 사례의 검색 계약을 설명하는 제한입니다.
|
def checked_contexts(hits, service, version, top_k): |
|---|
정상적인 빈 결과는 빈 목록으로 받습니다. 반면 다른 서비스의 결과가 섞이거나 본문이 비어 있으면 오류로 처리합니다.
현재 경로는 활성 인덱스가 없을 때도 빈 문맥을 반환할 수 있습니다. 0점부터 보고 검색 알고리즘을 바꾸기 전에 게시 상태와 인덱스 준비 여부를 확인합니다. 검색 호출 자체가 실패한 경우에는 평가 결과 행도 없을 수 있습니다.
5. 필요한 사실을 찾았나요? — 근거 충족도 🧩
현재 구현의 Context Recall은 근거 충족도로 설명할 수 있습니다. 기준 답변을 사실 주장으로 나누고, 검색 문맥 전체가 각 사실을 뒷받침하는지 봅니다. 관련 문서의 회수 비율인 일반적인 Recall@K와는 정의가 다릅니다.
예를 들어 기준 답변에 대상, 일반 기한, 예외 조건이 있다고 해 보겠습니다. 대상과 기한만 찾았다면 판정은 [1, 1, 0]입니다. 점수는 2 / 3, 약 0.667이 됩니다.
|
def binary_verdicts(values): |
|---|
이 코드는 모델이 사실별 판정을 반환한 뒤의 계산 부분입니다. 본문을 읽어 판정하는 모델 호출은 포함하지 않습니다. 유효한 판정이 하나도 없다면 평가 실패로 구분합니다.
검색 문맥이 아예 없는 경우는 다르게 처리합니다. 현재 구현은 이때 모델을 호출하지 않고 0점을 반환합니다. 문맥은 있는데 판정을 만들지 못했다면 0점이 아니라 점수 없음입니다.
낮은 점수를 만나면 기준 답변이 현재 개정에 맞는지 먼저 봅니다. 그다음 본문 누락, 분할 과정의 관계 단절, 검색 누락을 차례로 확인합니다. 평가자가 예외를 별도 사실로 나눴는지도 함께 읽어야 합니다.
6. 유용한 근거가 앞에 있나요? — 검색 순서 품질 📑
현재 구현의 Context Precision은 검색 순서 품질로 풀어 설명하겠습니다. 문맥별 유용성을 판정하고, 관련 문맥이 나온 순위의 누적 정밀도를 평균합니다. 전체 결과 중 관련 문맥의 단순 비율과는 다릅니다.
판정이 [1, 0, 1]이면 1위의 누적 정밀도는 1, 3위는 2/3입니다. 관련 없는 2위는 합산에서 제외합니다. 점수는 (1 + 2/3) / 2, 약 0.833입니다.
|
def context_precision(relevance_verdicts): |
|---|
분모는 반환된 문맥 중 관련 있다고 판정된 개수입니다. 전체 문서 집합에 있는 모든 정답 문서 수를 쓰지 않습니다. 이름이 비슷한 지표라도 계산 정의를 함께 공유해야 합니다.

그림 4. 사실의 충족 범위와 검색 순위를 따로 봅니다. 0.667과 0.833은 계산 예시이며 실측 성능이 아닙니다.
관련 결과 하나만 반환되어도 순서 점수는 1.0일 수 있습니다. 그 결과에 예외가 빠졌다면 근거 충족도는 낮을 수 있습니다. 뒤쪽에 무관한 문맥이 늘어도 순서 점수가 항상 낮아지는 것은 아닙니다.
그래서 두 지표와 함께 결과 수, 문맥 길이, 검색 시간도 봅니다. 더 많은 근거를 찾는 대신 사용자가 오래 기다리게 되지는 않았는지 확인합니다.
7. 0점과 평가 실패를 나누어 기록합니다 🧭
평균이 올랐다는 보고를 받으면 먼저 분모를 봅니다. 어려운 문항의 평가만 실패했다면 평균이 높아질 수 있기 때문입니다.
현재 구현은 지표별로 결과를 저장합니다. 한 지표가 실패해도 이미 저장한 다른 지표 결과는 남습니다. 배치 전체가 하나의 원자적 결과로 기록되는 구조는 아닙니다.
저장 실패는 호출자에게 전달됩니다. 평가가 끝났는지 판단하려면 요청 문항과 지표별 기록을 대조해야 합니다.
그림 5. 점수와 근거를 함께 검토하는 AI 생성 일러스트입니다. 실제 운영 화면은 아닙니다.
| 상태 | 점수 처리 | 확인할 내용 |
|---|---|---|
| 정상 검색의 빈 결과 | 현재 두 지표는 0점 | 게시·인덱스 준비와 검색 누락 |
| 문맥의 모든 판정이 0 | 0점 | 지지하거나 유용한 근거가 없는 이유 |
| 평가 모델의 잘못된 응답 | 점수 없음·실패 기록 | 응답 형식과 판정 가능 여부 |
| 검색 호출 실패 | 평가 행이 없을 수 있음 | 평가 시작 여부와 호출 오류 |
| 결과 저장 실패 | 완료로 간주하지 않음 | 계산 결과와 저장 상태 |
아래 집계는 한 지표의 결과만 받습니다. 유효한 0점을 평균에 포함하고, 실패와 미기록은 따로 셉니다.
|
import math |
|---|
문항당 두 지표가 저장되므로 섞어서 세면 문항 수가 두 배가 될 수 있습니다. 화면에 도착한 일부 알림만 보지 말고, 저장된 결과를 지표별로 읽어 확인합니다.
SQL에서도 집계 단위를 명시하기
다음은 가상의 결과 테이블을 이용한 SQL입니다. 미기록 수는 결과 행만으로 알 수 없어 별도 요청 목록과 대조해야 합니다.
|
SELECT |
|---|
실행 식별, 질문, 기준 답변, 검색 문맥, 평가 모델과 방법을 함께 남깁니다. 같은 질문의 재평가도 별도 실행으로 구분합니다. 어떤 조건에서 나온 점수인지 설명할 수 있어야 다음 비교에 쓸 수 있습니다.
8. Databricks 화면에서 비교의 기준을 읽습니다 🖥️
화면 1. 인덱스에서 검색 품질 평가 시작하기
공식 인덱스 화면의 Evaluate search quality 버튼입니다. 2026-11-16 확인 기준 베타 기능이며, 관리형 Delta Sync 인덱스가 필요합니다. 공식 기능 안내에서 지원 조건을 확인할 수 있습니다.
이 기능은 앞서 설명한 자체 구현과 별개입니다. 버튼을 누르면 본문의 두 지표가 그대로 저장되는 것은 아닙니다. 문항 생성 방식과 지표 정의를 확인한 뒤 결과를 해석합니다.
화면 1. Databricks 공식 문서의 예시 화면입니다. 프로젝트 실행 화면이 아닙니다. 출처: AI Search 검색 품질 평가.
화면 2. 실행과 검색 전략을 구분해 보기
공식 대시보드는 실행과 평가 질의 수를 먼저 보여 줍니다. 검색 전략별 DCG@10과 평균 관련성도 비교합니다. 내장 평가는 0~3의 관련성 판정을 사용하므로, 본문의 이진 판정 점수와 수치로 직접 비교하면 안 됩니다. 대시보드 설명을 함께 읽으면 범위를 구분하기 쉽습니다.
자체 보고서에도 같은 원칙을 적용할 수 있습니다. 어떤 질문셋으로 몇 건을 평가했는지 먼저 표시합니다. 그다음 실패 사례와 실제 문맥으로 내려가 볼 수 있게 구성합니다.
화면 2. 공식 내장 평가의 결과 예시입니다. 화면의 점수와 추천 검색 방식은 이 프로젝트의 성능 측정값이 아닙니다. 출처: 공식 결과 대시보드 안내.
9. 변경 전후는 같은 문항끼리 비교합니다 ⚖️
한쪽에만 점수가 있는 질문을 빼고 평균만 비교하면 어려운 사례가 사라질 수 있습니다. 공통 성공 문항의 변화와 각 실행의 누락을 함께 보고합니다. 아래 입력 점수는 앞선 검증처럼 범위와 유효성을 확인했다고 가정합니다.
|
def paired_comparison(expected_ids, before, after): |
|---|
예제에서는 두 문항의 평균 변화가 0입니다. 하지만 하나는 개선되고 하나는 악화되었으며, 세 번째 문항은 비교할 점수가 없습니다. 악화된 질문이 중요한 예외라면 평균과 별개로 살펴야 합니다.
평가 모델도 같은 입력에서 판단이 달라질 수 있습니다. 평가자와 지시 버전을 고정하고, 중요한 변화는 반복 판정과 사람 검토로 확인합니다. 반복 실행을 새로운 질문처럼 세어 표본 수를 늘리지는 않습니다.
개선에 계속 사용한 질문과 최종 확인용 질문은 나누는 편이 좋습니다. 같은 문서의 거의 같은 질문이 양쪽에 들어가지 않도록 검토합니다. 이 분리는 현재 코드의 자동 기능이 아니라 평가 운영을 위한 제안입니다.
10. 낮은 점수에서 고칠 대상을 찾습니다 🛠️
| 근거 충족도 | 검색 순서 품질 | 해석 후보 | 먼저 볼 증거 |
|---|---|---|---|
| 높음 | 높음 | 필요한 사실을 비교적 잘 찾음 | 최종 답변과 핵심 예외 |
| 낮음 | 높음 | 찾은 근거는 유용하지만 범위 부족 | 빠진 사실·문맥 분리 |
| 높음 | 낮음 | 사실은 있으나 무관한 결과가 앞섬 | 상위 문맥과 검색 조건 |
| 낮음 | 낮음 | 누락과 혼입이 함께 존재 | 기준 답변·본문·검색 전체 |
| 점수 없음 | 일부 또는 전체 실패 | 유효 결과가 부족 | 평가 응답·연결·저장 상태 |
예외가 빠졌다면 원문과 처리된 본문부터 대조합니다. 본문에 없는 사실은 검색 순위를 바꾸어도 찾을 수 없습니다. 본문에 있다면 분할 후에도 제목과 조건의 관계가 남아 있는지 확인합니다.
관련 근거가 뒤로 밀렸다면 검색 방식과 필터, 정렬 조건을 봅니다. 질문·기준 답변·판정 이유·원문을 함께 보면 수정 방향을 좁힐 수 있습니다.
평가 모델에는 검색 자료를 지시가 아닌 데이터로 다루도록 안내합니다. 현재 구현도 입력 속 명령을 따르지 않고 공급한 근거로 판단하도록 지시합니다. 이 지시만으로 오판이 사라지는 것은 아니므로 핵심 사례는 사람이 확인합니다.
11. 호출 수와 대기 시간도 함께 봅니다 ⏱️
현재 근거 충족도는 문맥이 있는 질문마다 사실 판정을 한 번 요청합니다. 검색 순서 품질은 반환된 문맥마다 따로 평가합니다. 재시도 없이 모든 질문이 K개 문맥을 반환하면 기본 호출은 문항당 1 + K회입니다.
질문 100개에서 문맥 5개씩을 평가하면 기본 평가 요청은 600회입니다. 질문 생성, 검색, 질문 임베딩, 재시도는 제외한 계산입니다. 실제 비용은 입력·출력 사용량과 과금 조건을 함께 확인해야 합니다.
작은 대표 셋에서 입력과 계산을 확인한 뒤 전체 셋으로 확장합니다. 시간 초과나 출력 잘림으로 실패했다면 검색 개선과 분리해 해결합니다.
12. 평균보다 설명 가능한 보고서를 만듭니다 📊
“정확도 90%”라는 문장만으로는 무엇을 평가했는지 알 수 없습니다. 질문셋, 지표 정의, 유효 결과 수를 함께 보여 줍니다. 다음은 가상의 변경 검토 보고서이며 현재 결과 저장 규격과는 별개입니다.
|
{ |
|---|
0.84는 실제 성능이나 권장 통과선이 아닙니다. 한 지표만 발췌한 예시이므로 실제 판단에는 두 지표와 유형별 결과가 필요합니다. 평균이 높아도 중요한 예외 질문이 악화되었다면 확인을 마친 뒤 적용합니다.
업무 영향이 큰 질문과 허용할 수 없는 오류는 실험 전에 정합니다. 결과를 본 뒤 유리한 문항만 골라 기준을 바꾸면 비교를 신뢰하기 어렵습니다. 조건부 적용을 결정했다면 제공 범위와 남은 확인 항목도 기록합니다.
13. 사용자 피드백을 다음 평가 문항으로 남깁니다 🔄
“예외 대상인데 신청할 수 없다고 안내했어요.” 이런 문의가 들어오면 해당 실행의 원문 개정과 서비스 버전을 확인합니다. 질문, 검색 문맥, 답변을 함께 보고 업무 전문가가 올바른 기준을 정리합니다.
수정 전후에 같은 질문을 실행하고 다른 예외 질문의 부작용도 확인합니다. 새 문항은 버전이 있는 평가셋에 추가해 같은 오류를 다시 찾을 수 있게 합니다.
| 담당 역할 | 필요한 판단 | 남길 정보 |
|---|---|---|
| 업무 전문가 | 정답과 예외의 타당성 | 기준 답변·원문 개정·중요도 |
| 데이터 담당자 | 원문 해석과 분할의 완전성 | 누락 위치·처리 조건 |
| 검색 담당자 | 실제 질의와 순위의 적절성 | 검색 조건·문맥·개선 가설 |
| 평가 담당자 | 지표와 비교의 유효성 | 실패·누락·동일 문항 변화 |
| 운영 담당자 | 제공 범위와 후속 조치 | 적용 결정·미해결 질문 |
결론 — 점수 다음에 근거를 설명할 수 있어야 합니다 🌱
이 사례에서 중요하게 본 것은 높은 평균만이 아니었습니다. 어떤 업무 질문이 나아졌고, 어떤 예외가 여전히 빠졌는지 설명하는 일이었습니다. 그러려면 질문셋부터 검색 문맥, 판정 이유, 실행 이력까지 이어져 있어야 합니다.
Databricks에서 준비한 데이터도 실제 질문으로 확인해야 쓸모를 판단할 수 있습니다. 필요한 사실을 찾았는지와 유용한 순서로 보여 주는지를 함께 봅니다. 실패와 누락을 숨기지 않고, 사용자 피드백을 다음 평가에 반영합니다.
정답 평가셋은 한 번 만드는 시연 자료가 아닙니다. 문서와 질문이 바뀔 때 함께 가꾸는 품질 기준입니다. 이 기준이 있어야 AI Ready Data의 개선을 사용자의 경험으로 설명할 수 있습니다.
참조 출처 📚
- Databricks — Evaluate AI Search retrieval quality: 내장 평가의 지원 조건, 지표와 공식 화면. 2026-11-16 확인.
- 구현 설명은 프로젝트의 질문 생성·검색·평가·결과 저장 흐름을 검토해 정리했습니다. 내장 평가와 자체 계산 예제를 구분했습니다.
- 일러스트 2장은 기존 AI 생성 이미지를 재사용했습니다. 흐름도 3장은 기존 draw.io 도식이며, 화면 2장은 위 공식 문서의 예시입니다.
태그 🏷️
#Databricks #DBX #AIReadyData #RAG #검색품질 #정답평가셋 #골든셋 #근거평가 #LLM평가 #데이터품질