소속팀: Developer팀 작성자: 유수영
어제의 성공이 오늘의 최신 결과를 뜻하지는 않습니다.
현재 상태는 다음 행동을 정하고, 감사 이력은 지나간 시도를 설명합니다. 복구 목록은 아직 남은 일을 관리합니다. 이 세 정보를 연결해 필요한 단계부터 다시 처리하는 방법을 살펴봅니다.
1. 어제 성공했는데 오늘은 왜 이전 내용이 나올까요? 💬
상품 안내문이 어제는 정상적으로 검색됐습니다. 오늘 오전 담당자가 보장 제외 조건을 수정했습니다. 그런데 오후 검색에서는 이전 문장이 나옵니다.
운영 화면에는 과거 성공과 오늘 실패가 함께 남아 있습니다. “성공한 적이 있다”는 설명만으로는 해결되지 않습니다. 사용자가 필요한 것은 지금 적용할 안내문이기 때문입니다.
반대로 실패 이력이 있다고 현재 결과까지 모두 잘못된 것은 아닙니다. 이후의 시도에서 이미 복구됐을 수 있습니다. 현재 문서와 처리 조건, 실제 결과가 맞는지 확인해야 합니다.
그림 1. 복구할 대상은 실행 표시뿐 아니라 사용 가능한 문서 결과입니다. AI 생성 일러스트이며 실제 DBX 화면은 아닙니다.
| 사용자 문의 | 먼저 확인할 것 | 설명할 결과 |
|---|---|---|
| 수정했는데 이전 내용이 보여요 | 현재 개정과 검색 개정 | 최신 내용 반영 여부 |
| 다시 업로드해야 하나요 | 원문 보존과 실패 단계 | 재전송 또는 기존 입력 복구 |
| 재처리가 끝났다고 들었어요 | 처리·저장·검색 완료 범위 | 실제 이용 가능한 범위 |
| 일부 문서만 안 보입니다 | 문서별 미완료 상태 | 남은 대상과 조치 |
이 글은 기존 프로젝트의 상태 관리와 복구 설계를 사용자 관점으로 풀어봅니다. 코드의 식별자와 데이터는 설명용 샘플입니다. 제품 화면은 Databricks 공식 문서의 예시이며 운영 실적을 보여주는 화면은 아닙니다.
2. 현재 상태·감사 이력·복구 목록을 나눕니다 🗂️
세 정보는 비슷해 보이지만 답하는 질문이 다릅니다. 모두 과거 이력의 마지막 행 하나로 대신하면 현재 할 일을 놓칠 수 있습니다.

그림 2. 실행 상태와 문서 결과를 함께 확인합니다. 기존 개념도와 편집 가능한 draw.io 원본을 유지했습니다.
| 정보 | 시간 관점 | 확인할 질문 |
|---|---|---|
| 현재 상태 | 지금 | 이 개정은 어디까지 처리됐나 |
| 감사 이력 | 완료된 시도 | 어떤 조건으로 실행했고 왜 끝났나 |
| 복구 목록 | 앞으로 할 일 | 어떤 대상을 어느 단계부터 처리하나 |
현재 상태는 원문 등록부터 검색 반영까지의 진행을 보여줍니다. 본문 정리가 끝나지 않았다면 검색 갱신만 반복해도 해결되지 않습니다. 반대로 게시 결과가 유효하다면 검색 단계부터 복구할 여지가 있습니다.
감사 이력에는 완료된 시도의 성공·실패·생략과 당시 조건을 남깁니다. 현재 사례는 진행 중인 실행 참조와 완료된 결과 이력을 구분합니다. 과거 실패를 지우지 않고도 “현재는 해결됐다”고 설명할 수 있습니다.
복구 목록에는 지금 조치가 필요한 대상을 남깁니다. 이미 해결됐거나 새 개정으로 대체된 실패를 무조건 다시 실행하지 않습니다. 철회된 문서인지도 함께 확인합니다.
문서와 실행을 연결하는 식별자
|
{ |
|---|
샘플의 문서 식별자는 업무 자료를 가리킵니다. 시도 식별자는 처리 시도를, Job 실행 식별자는 플랫폼 실행을 가리킵니다. 한 실행이 여러 문서를 처리하고, 한 문서에 여러 시도가 연결될 수 있습니다.
이 관계를 알아야 플랫폼 오류를 영향을 받은 자료와 연결할 수 있습니다. 누적 실패 횟수와 현재 미완료 문서 수를 따로 계산하는 이유이기도 합니다.
3. 복구 범위는 현재 개정과 실제 결과에서 정합니다 🔎

그림 3. 완료 이력만으로 결과를 재사용하지 않습니다. 지금의 입력에 맞는 결과인지 먼저 확인합니다.
장애 메시지를 읽을 때도 문서 번호와 개정을 함께 봅니다. 제목은 바뀌거나 중복될 수 있습니다. 과거 입력을 재현할지 최신 입력을 복구할지는 요청 목적에 맞춰 정합니다.
같은 원문이어도 처리 조건이 달라질 수 있습니다
같은 원문에 새 분할 기준을 적용할 수 있습니다. 임베딩 모델만 바꿔 다시 처리할 수도 있습니다. 원문이 같다는 사실만으로 모든 결과를 재사용할 수는 없습니다.
반대로 영향이 없는 단계는 재사용을 검토할 수 있습니다. 무조건 처음부터 계산하기 전에 필요한 입력 조건을 비교합니다. 실제 저장 결과가 남아 있고 검증됐는지도 확인합니다.
모델이 다르면 벡터 길이가 같아도 호환된다고 가정하지 않습니다. 검색 근거가 어떤 입력과 처리 조건에서 나왔는지 연결해 둡니다.
그림 4. 복구 이후에도 원문과 검색 근거의 연결을 확인합니다. AI 생성 일러스트입니다.
한 단계의 결과를 재사용할 수 있는지 확인하기
다음 Python은 저장소 조회 없이 판단 조건만 보여주는 예제입니다. 필수 조건을 확인하지 못하면 재사용하지 않는 쪽으로 판단합니다.
|
def reusable_result(previous, requested): |
|---|
출력 검증 값은 실제 확인을 마쳤다고 가정한 샘플입니다. 값 하나를 성공으로 저장한다고 검증이 끝나는 것은 아닙니다. 상위 결과 연결, 예상 출력 수, 게시 범위도 단계에 맞춰 확인합니다.
계산 뒤 저장에 실패하면 일부 출력만 남을 수 있습니다. 출력은 있지만 완료 기록이 없는 경우도 가능합니다. 성공 표시와 결과의 존재·내용을 대조해 부분 완료를 찾아냅니다.
4. 늦게 끝난 이전 개정이 최신 결과를 덮지 않도록 🕒
오전 10시에 4차 개정의 계산을 시작했습니다. 10시 3분에 5차 개정이 들어왔고, 10시 5분에 이전 계산이 끝났습니다. 완료 시각만 보고 결과를 채택하면 최신 상태가 과거로 돌아갈 수 있습니다.

그림 5. 계산 완료 순서와 문서 개정 순서는 다를 수 있습니다. 게시 직전에도 현재 입력을 확인합니다.
현재 사례에는 게시 시 개정과 원천 입력, 적용 조건을 확인하는 경로가 있습니다. 오래된 결과를 보류한 기록은 잘못된 게시를 막았다는 의미일 수 있습니다. 다음 코드는 그 비교 기준을 단순화했습니다.
|
def publication_decision(computed, current): |
|---|
샘플은 조건 비교이며 실제 저장의 동시 실행 제어는 아닙니다. 비교 후 저장하기까지 다른 실행이 상태를 바꿀 수 있습니다. 운영에서는 비교 조건과 저장 경계를 연결하거나 쓰기를 통제해야 합니다.
한 Job의 동시 실행 수 제한만으로 별도 Job 사이의 충돌까지 해결되지는 않습니다. 이전 결과를 보류했다면 최신 개정의 미완료 상태를 이어서 확인합니다. 보류 건수만 보고 복구 완료로 처리하지 않습니다.
5. 문서 재시도와 작업 복구는 범위가 다릅니다 🔁
외부 호출 한 번을 다시 시도하는 것과 Task 전체 재실행은 다릅니다. 야간 실패 복구와 담당자가 지정한 재처리 요청도 구분합니다. 그래야 호출량과 비용, 복구 범위를 설명할 수 있습니다.
| 구분 | 처리 단위 | 이 사례의 배포 설정 |
|---|---|---|
| 문서 즉시 재시도 | 개별 문서 처리 | 기본 추가 1회 |
| Task 재시도 | Databricks 작업 단계 | 단계별로 별도 설정 |
| 별도 실패 복구 | 대기 중인 실패 대상 | 기본 최대 100건, 시도 순번 한도 2 |
| 지정 재처리 | 요청에 포함된 문서 | 요청 식별·대상·시작 단계 보존 |
표의 숫자는 Databricks 제품 공통 기본값이 아닙니다. 기본 실패 복구 일정은 매일 한국시간 02:00입니다. 긴급 대응 기준은 업무 중요도에 맞게 별도로 정합니다.
추가 재시도 1회는 최초 시도를 포함하면 총 2회입니다. 문서 내부 재시도에 Task 재실행까지 겹치면 외부 호출은 더 늘 수 있습니다. 같은 형식 오류가 반복된다면 횟수를 늘리기보다 입력 수정으로 연결합니다.
별도 실패 복구는 시작 시점에 선택한 대기 범위를 기준으로 진행합니다. 실패한 자료를 같은 실행에 계속 추가해 끝없이 반복하지 않습니다. 다음 시도는 한도와 현재 상태에 따라 별도 대상으로 남깁니다.
6. DBX 화면에서 최초 실패 위치 찾기 🖥️
화면 1. 같은 Task가 반복해서 실패하나요?
Matrix 보기에서는 Task와 실행 이력을 함께 살펴봅니다. 반복 실패 위치를 찾은 뒤 해당 Task의 상세로 이동합니다. 상태와 오류 메시지, 입력 조건을 확인합니다.
색만 보고 원인을 확정하지 않습니다. 앞 단계 실패 때문에 뒤 단계가 실행되지 못했을 수도 있습니다. 처음 실패한 단계와 그 영향을 나누어 봅니다.
특정 실행부터 실패가 늘었다면 변경 시점을 비교합니다. 설정 수정, 입력 증가, 외부 장애가 있었는지 확인합니다.
화면 1. 공식 문서의 Matrix 예시이며 이 프로젝트의 실행 캡처는 아닙니다. 출처: 작업 실패 조사와 복구. 문서 재확인일: 2026-11-16.
Repair run은 코드의 중간 줄부터 이어 주지 않습니다
작업 복구는 필요한 Task를 다시 실행하는 기능입니다. 해당 Task는 처음부터 시작하므로 일부 출력이 남았다면 중복 반영을 검토합니다. 동작은 Databricks 작업 복구 안내를 참고합니다.
어느 문서부터 이어갈지는 애플리케이션의 상태와 검증 규칙에 달려 있습니다. 동일 입력을 반복해도 의도한 결과가 불필요하게 늘어나지 않도록 설계합니다. 플랫폼의 복구 기능이 이런 성질을 자동으로 만들어 주지는 않습니다.
복구에는 현재 Job·Task 설정이 사용될 수 있습니다. 최초 실행과 조건이 달라졌다면 그 차이도 기록합니다. 재개 전에 대상 범위와 저장 결과, 적용 설정을 함께 확인합니다.
7. 지정 재처리는 대상 목록을 고정합니다 📌
“이번 주 수정한 문서를 새 방식으로 처리해 주세요.” 이 조건을 실행할 때마다 조회하면 대상이 달라질 수 있습니다. 요청 접수 시점의 문서 목록을 보존하면 완료 여부를 일관되게 설명하기 쉽습니다.
현재 사례는 요청 식별자와 선택한 문서 목록, 시작 단계를 기록합니다. 동일 요청을 다른 대상에 재사용하지 않도록 검증합니다. 각 시도에서는 입력과 처리 조건을 다시 확인해 남깁니다.
대상 목록 고정과 원문 개정의 영구 고정은 다른 뜻입니다. 최신 입력 복구인지 과거 입력 재현인지 요청 목적을 명시합니다. 재개할 때 입력이 바뀌었다면 변경 사실을 숨기지 않습니다.
요청 범위가 달라졌는지 확인하는 샘플
다음 예제는 문서 목록의 순서와 중복을 정리합니다. 빈 목록은 오류로 처리하며, 같은 요청의 범위 변경을 거부합니다. 빈 목록이 전체 선택을 뜻하는 서비스라면 먼저 구체적인 대상으로 확정해야 합니다.
|
def freeze_request(request_id, document_ids, start_stage): |
|---|
샘플은 시작 단계까지 같아야 재개하도록 단순화했습니다. 현재 구현에는 같은 단계나 더 앞선 단계에서 재개할 수 있는 경로가 있습니다. 미완료 작업을 건너뛰는 뒤쪽 단계의 재개는 제한합니다.
일부 문서만 처리됐는데 요청 전체를 성공으로 표시하면 결과가 섞일 수 있습니다. 지정 재처리의 게시 제어는 요청 완료 상태까지 확인합니다. 미완료 상태를 성공으로 바꿔 다음 단계만 통과시키지 않습니다.
8. 문서 실패와 실패 기록 저장 오류를 구분합니다 📝
문서 한 건의 형식 오류를 남기고 정상 문서 처리를 계속할 수는 있습니다. 다만 실패 원인과 복구 대상이 실제로 저장돼 있어야 합니다. 실패 기록까지 저장하지 못했다면 누락을 추적할 근거가 사라질 수 있습니다.
| 상황 | 판단 | 조치 |
|---|---|---|
| 변환 실패, 이력 저장 완료 | 문서별 미완료 추적 가능 | 복구 대상으로 관리 |
| 실패 이력 저장 실패 | 추적 가능성 불명확 | 실행 실패로 드러내고 조사 |
| 출력 일부만 저장 | 결과 완전성 불명확 | 실제 출력과 상태 대조 |
| 실행의 쓰기 소유권 불명확 | 다른 실행과 충돌 가능 | 소유 관계 확인 후 재개 |
저장 오류를 숨기지 않는 실행 순서
다음 예제에서는 실패 기록 함수의 오류가 호출자에게 전달됩니다. 결과 저장 오류도 문서 형식 오류와 같은 처리에 넣지 않습니다. 실제 저장소의 원자성을 보장하는 코드는 아닙니다.
|
class DocumentError(Exception): |
|---|
현재 구현도 문서 실패와 감사·설정·저장 오류를 구분합니다. 모든 예외를 같은 문서 오류로 묶어 다음 문서로 넘어가지 않습니다. 실제 오류 기록에는 분류한 사유를 사용하고 민감한 원문을 그대로 남기지 않습니다.
업무 담당자에게도 안내를 나눕니다. “일부 문서는 복구 대기”와 “저장 상태 확인이 필요해 중단”은 다른 상황입니다.
9. 오래 남은 처리 중 상태는 소유 실행부터 확인합니다 🕵️
실행 취소나 컴퓨팅 중단 뒤에 처리 중 상태가 남을 수 있습니다. 오래됐다는 이유만으로 모두 대기로 돌리면 아직 계산 중인 작업이 중복 실행될 수 있습니다. 그 상태를 소유한 실행이 실제로 종료됐는지 먼저 확인합니다.
현재 사례에는 이전 소유 Job 실행의 종료를 확인한 뒤 대기로 되돌리는 경로가 있습니다. 조회 실패나 불명확한 소유 관계를 종료로 해석하지 않습니다. 현재 실행이 소유한 작업도 구분합니다.
|
def may_requeue(record, current_run_id, owner_finished): |
|---|
종료 확인 값은 실제 플랫폼 조회 결과라고 가정합니다. 값을 모르는 경우와 종료된 경우를 구분하는 것이 핵심입니다. 대기로 바꿀 때도 소유 실행과 현재 상태가 달라지지 않았는지 확인해야 합니다.
10. 플랫폼 실행 수와 실패 문서 수를 나누어 봅니다 📊
Jobs 시스템 테이블은 플랫폼 실행을 조사하는 데 유용합니다. 조회에는 해당 시스템 스키마의 사용·조회 권한이 필요합니다. 지연 반영될 수 있으므로 실시간 상태 조회를 모두 대신하지는 않습니다.
아래 SQL은 최근 하루에 종료된 실행의 결과를 보는 읽기 전용 예제입니다. 긴 실행은 시간 구간별로 나뉠 수 있어 종료 결과가 있는 행을 선택합니다. 스키마와 반영 특성은 Jobs 시스템 테이블 안내를 참고합니다.
|
SELECT |
|---|
실행 식별자를 문서 처리 이력과 연결하면 영향을 받은 자료를 좁힐 수 있습니다. 한 실행에 여러 문서가 있고, 한 문서에 여러 시도가 있을 수 있습니다. 따라서 실패 실행 수를 실패 문서 수로 그대로 보고하지 않습니다.
실패한 적이 있는 문서와 지금 남은 문서
| 문서 예시 | 과거 이력 | 현재 상태 | 필요한 행동 |
|---|---|---|---|
| DOC-201, 4차 개정 | 실패 후 성공 | 준비 완료 | 현재 결과 확인 |
| DOC-202, 2차 개정 | 실패 | 복구 대기 | 복구 조치 |
| DOC-203, 3차 개정 | 2차 개정에서 실패 | 처리 중 | 현재 실행 확인 |
세 번째 문서의 과거 개정 실패를 현재 실패 건수에 합산하지 않습니다. 실제 집계에서는 문서 개정뿐 아니라 처리 버전과 단계도 연결합니다. 누적 실패와 현재 미완료를 분리해야 운영 지표가 설명력을 가집니다.
11. 복구 시간은 어디에서 길어질까요? ⏳
화면 2. 실행 시간과 의존 관계 함께 보기
Timeline에서는 오래 걸리는 Task와 실행의 겹침을 살펴봅니다. 실패한 Task는 짧게 끝났어도 앞 단계에서 오래 기다렸을 수 있습니다. 전체 실행 시간과 실패 구간의 처리 시간을 나누어 봅니다.
사용자가 기다린 시간은 플랫폼 실행 시간보다 길 수 있습니다. 실패를 알아차리고 원인과 대상을 확인하는 시간도 필요합니다. 저장 뒤 검색 반영까지의 시간도 남아 있습니다.
어느 구간이 긴지 알아야 개선할 곳을 정할 수 있습니다. 모든 지연을 계산 자원 부족으로 설명하지 않습니다.
화면 2. 공식 Timeline 예시이며 이 글의 성능 측정 결과는 아닙니다. 출처: Lakeflow Jobs 모니터링. 문서 재확인일: 2026-11-16.
| 시간 구간 | 측정할 시작과 끝 | 개선할 지점 |
|---|---|---|
| 발견 | 최초 실패 → 담당자 인지 | 오류 분류와 알림 |
| 조사 | 인지 → 원인·대상 확정 | 문서와 실행 연결 |
| 복구 처리 | 조치 시작 → 결과 저장 | 재사용 검증과 단계 선택 |
| 검색 회복 | 결과 저장 → 최신 검색 확인 | 게시·동기화 검증 |
플랫폼 화면만으로 네 구간이 모두 측정되지는 않습니다. 사용자에게 약속할 반영 시간은 시작점과 종료점을 먼저 합의합니다.
12. 저장 성공 다음에는 검색 회복을 확인합니다 ✅
검색 서비스가 응답한다고 최신 내용이 반영됐다는 뜻은 아닙니다. 오래된 인덱스도 정상적으로 응답할 수 있습니다. 게시한 개정과 처리 버전, 검색 갱신 범위를 연결해 확인합니다.
| 확인 단계 | 검토할 내용 |
|---|---|
| 입력 | 현재 유효한 문서와 개정인가 |
| 저장 | 필요한 출력이 존재하고 검증됐는가 |
| 요청 | 지정한 대상에 미완료가 남지 않았는가 |
| 검색 | 게시한 범위가 검색에 반영됐는가 |
| 업무 | 대표 질문의 조건과 출처가 맞는가 |
검색 문서 수가 같아도 내용이 최신이라는 증거는 아닙니다. 개정된 수치와 예외를 묻는 대표 질문에서 근거를 확인합니다. 철회 문서가 포함됐다면 검색에서 제외됐는지도 점검합니다.
자동 검증과 대표 질문, 중요 문서의 담당자 검토를 조합할 수 있습니다. 모든 검토가 현재 파이프라인에 자동화됐다는 뜻은 아닙니다. 업무 영향에 맞춰 완료 기준을 정합니다.
사용자에게는 범위와 남은 일을 함께 안내하기
요청한 안내문 20건 중 18건은 최신 개정의 검색 반영을 확인했습니다. 2건은 원문 표를 읽을 수 없어 입력 보완을 기다립니다. 부분 게시가 허용된 범위에서는 완료 문서를 이용할 수 있습니다.
위 문구는 부분 게시를 허용하는 서비스의 예시입니다. 요청 전체를 한 번에 게시하는 정책이라면 18건을 바로 이용 가능으로 안내하면 안 됩니다. 게시 단위와 사용자 안내 단위를 맞춥니다.
담당자에게는 수정할 항목과 이용 가능 여부를 설명합니다. 운영자에게는 실행 식별과 실패 단계, 변경한 조건을 전달합니다. 상세 수준은 달라도 같은 현재 상태를 가리켜야 합니다.
13. 복구 체계를 검증할 때 바꿔볼 실패 위치 🧪
오류가 발생했는지뿐 아니라 재개 후 결과가 맞는지 확인합니다. 로컬 코드 검증과 실제 Databricks 복구 시험은 목적이 다릅니다.
| 시험 상황 | 기대하는 결과 |
|---|---|
| 같은 입력의 일시 오류 | 한도 내 재시도와 이력 |
| 입력 형식 오류 반복 | 무한 반복 없이 수정 대상 식별 |
| 결과 저장 중 중단 | 부분 출력 확인 후 복구 |
| 실패 이력 저장 오류 | 오류를 숨기지 않고 실행 실패로 전달 |
| 계산 중 새 개정 도착 | 이전 결과의 최신 게시 방지 |
| 지정 요청 중단 후 재개 | 대상 범위 유지와 새 시도 기록 |
| 종료된 실행의 처리 중 상태 | 소유 실행 확인 후 재개 판단 |
| 검색 갱신만 실패 | 유효한 게시 결과 확인 후 검색 복구 |
같은 실패가 반복되면 횟수보다 원인 분류를 먼저 봅니다. 변환 한계와 입력 계약 문제, 외부 호출 제한은 해결 방법이 다릅니다. 평균 성공률이 높아도 중요한 문서 한 건이 오래 남아 있는지 확인합니다.
14. 결론: 복구의 끝은 현재 근거를 다시 쓸 수 있을 때 🌱
AI Ready Data는 실패 이후에도 현재성과 출처를 유지해야 합니다. 현재 상태와 감사 이력, 복구 요청을 연결하면 필요한 범위를 근거 있게 다시 처리할 수 있습니다. 과거 성공을 재사용할 때도 지금의 입력과 실제 출력을 함께 확인합니다.
실행 성공 표시와 사용자 검색 회복은 다른 완료 조건입니다. 최신 근거가 반영됐는지 확인하고, 남은 일은 구체적으로 설명합니다. 그 연결이 있어야 운영자도 사용자도 복구 결과를 신뢰할 수 있습니다. 🤝
참조 출처 📚
- Databricks 작업 실패 조사와 복구 — 복구 동작과 현재 설정 적용, 화면 1 출처
- Lakeflow Jobs 모니터링 — 실행 상태와 소요 시간, 화면 2 출처
- Jobs 시스템 테이블 — 실행 이력 조회와 데이터 반영 특성
태그 🏷️
#Databricks #DBX #AIReadyData #장애복구 #재처리 #감사이력 #데이터정합성 #문서검색