소속팀: Developer팀 작성자: 유수영
글자를 읽는 것만으로 업무 근거가 완성되지는 않습니다.
숫자의 단위, 표의 대상, 조건과 예외가 함께 남아야 합니다. 공통 결과 규약은 변환 결과를 같은 기준으로 읽게 해줍니다. 프로세스 격리는 실행 장애를 다룰 경계를 만듭니다.
1. “100”은 맞게 읽었는데 답변은 왜 틀렸을까요? 💬
상담 담당자가 보장 한도를 물었습니다. AI는 원문에서 찾은 숫자 100을 답변에 썼습니다. 하지만 표의 단위인 ‘만원’을 놓쳤다면 실제 금액과 달라집니다.
다른 가입 유형의 값을 연결해도 문제가 생깁니다. 표 아래의 “별도 심사 대상은 제외”라는 단서를 빠뜨린 경우도 마찬가지입니다. 사용자에게는 대상·조건·수치가 맞는 근거가 필요합니다.
원인은 검색 모델보다 앞에 있을 수 있습니다. 변환할 때 빠진 정보를 뒤의 분할이나 임베딩이 복원해 주기는 어렵습니다. 답변 오류를 조사할 때 변환 결과부터 확인하는 이유입니다.
그림 1. 문서를 검색 근거로 옮기는 AI 생성 일러스트입니다. 실제 Databricks 화면은 아닙니다.
| 함께 보존할 정보 | 잘못된 변환 | 사용자에게 생기는 문제 |
|---|---|---|
| 항목과 값 | 한도만 남고 보장 항목 누락 | 다른 항목의 금액으로 안내 |
| 값과 단위 | 100만 추출 | 실제 금액을 잘못 해석 |
| 일반 조건과 예외 | 예외 문장 누락 | 대상이 아닌 사람에게 조건 적용 |
| 본문과 출처 | 페이지·절 정보 소실 | 근거를 다시 확인하기 어려움 |
이 글은 기존 프로젝트의 공통 변환 결과와 격리 실행 설계를 살펴봅니다. 파서는 여기서 문서를 읽고 구조화된 결과로 바꾸는 프로그램을 뜻합니다. 코드와 데이터는 설명용이며, 특정 도구의 정확도나 성능을 측정한 자료는 아닙니다.
2. 문서 형식보다 보존할 의미부터 정합니다 🧭
같은 PDF여도 중요한 정보는 다릅니다. 짧은 공지는 제목과 문장이 중심입니다. 약관은 조항과 예외, 표 중심 자료는 행·열·단위의 연결이 중요합니다.
확장자만 보고 같은 변환 방식을 적용하기는 어렵습니다. 실제 업무 질문과 답을 결정하는 원문 구간을 먼저 정합니다.

그림 2. 변환의 목표는 원문의 의미를 검토 가능한 근거로 옮기는 것입니다. 기존 개념도와 draw.io 원본을 유지했습니다.
| 문서 유형 | 보존할 관계 | 검토할 질문 |
|---|---|---|
| 규정·약관 | 조항, 적용 범위, 예외 | 규칙과 제외 조건이 함께 남았나 |
| 표 중심 안내 | 행·열 제목, 값, 단위 | 누구의 어떤 값인지 구분되나 |
| 스캔 문서 | 문자, 읽기 순서, 위치 | 중요한 문구가 인식됐나 |
| 절차 안내 | 순서와 조건 분기 | 추가 서류가 필요한 조건이 남았나 |
| 여러 시트의 자료 | 시트명과 표 범위 | 다른 시트의 값을 섞지 않았나 |
도구가 정상 종료해도 중요한 표가 비어 있을 수 있습니다. 실행 성공과 품질 통과를 나누어야 남은 검토를 설명할 수 있습니다. 공통 규약은 읽을 수 있는 결과인지, 업무 검토는 사용할 수 있는 결과인지 확인합니다.
3. 변환 방식이 달라도 같은 항목으로 읽습니다 🧩

그림 3. 공통 결과를 만든 뒤 구조와 의미를 확인합니다. 특정 Job 구성을 그대로 옮긴 그림은 아닙니다.
도구마다 반환하는 정보가 다를 수 있습니다. 어떤 도구는 페이지별 문장을, 다른 도구는 표와 이미지를 따로 반환합니다. 후속 작업이 그 차이를 직접 처리하면 도구 교체의 영향이 커집니다.
공통 결과 규약은 다음 단계가 기대할 항목과 의미를 정하는 약속입니다. 현재 사례는 본문과 문서 요소, 실제 변환 방식·버전, 경고와 모델 실행 정보를 연결합니다. 같은 형식을 쓴다고 여러 도구의 정확도가 같아지는 것은 아닙니다.
| 결과 항목 | 이용 목적 |
|---|---|
| 본문 | 분할과 검색 근거의 기준 표현 |
| 문서 요소 | 제목·문단·표·이미지의 구조 연결 |
| 출처 위치 | 원문 열람과 오류 검토 |
| 실제 방식과 버전 | 재현과 변경 영향 비교 |
| 경고 | 대체·생략·추가 검토 여부 판단 |
| 오류 | 실패 분류와 복구 범위 결정 |
JSON으로 공통 결과 읽어 보기
|
{ |
|---|
계약 버전은 결과 구조를, 문서 개정은 원문의 변화를 가리킵니다. 페이지 번호는 원문을 다시 확인할 위치입니다. HTML에는 절, 스프레드시트에는 시트명이 더 적합할 수 있습니다.
문서 형식에 맞는 위치를 남깁니다. 없는 페이지 번호를 임의로 만들어 출처를 채우지 않습니다.
4. 후속 단계가 읽을 수 있는 결과인지 검사합니다 🔍
다음 Python은 검색 후보 결과의 최소 구조를 확인합니다. 빈 본문과 중복 요소 식별자, 잘못된 위치를 거절합니다. 실제 운영의 모든 규칙을 옮긴 것은 아닙니다.
|
def validate_result(result): |
|---|
검사를 통과해도 페이지가 실제로 맞는지까지는 알 수 없습니다. 표의 의미가 정확한지도 별도 검토가 필요합니다. 본문이 빈 생략 결과는 정상 검색 후보와 구분하고 생략 이유를 남깁니다.
요소 내용과 본문 위치도 맞아야 합니다
현재 사례는 본문 안 요소의 위치와 내용을 대조합니다. 모호한 위치를 임의로 정해 붙이지 않는 경로도 갖습니다. 다음은 그 원리를 문자 위치로 보여주는 샘플입니다.
|
def verify_span(body, element): |
|---|
위치는 Python 문자열의 문자 기준입니다. 원문 바이트 위치나 PDF 화면 좌표와는 다릅니다. 본문을 정규화했다면 위치도 새 본문에 맞춰 계산해야 합니다.
같은 문장이 여러 번 나오면 문자열 검색만으로 원문 요소를 확정하기 어렵습니다. 페이지와 문단 등 추가 식별 정보를 함께 확인합니다.
5. 표와 예외는 업무 질문으로 대조합니다 📚
표에서는 숫자만 비교하지 않습니다. 항목과 적용 대상, 값과 단위를 함께 봅니다. 주석이 특정 행에 적용되는지 전체 표에 적용되는지도 확인합니다.
글자 수가 충분해도 중요한 예외 한 문장이 빠질 수 있습니다. 대표 검토 구간에는 일반 조건과 예외를 함께 넣습니다. 문구가 있어도 다른 상품이나 절의 설명이면 근거가 잘못 연결된 것입니다.
사용자가 원문 위치를 찾을 수 있으면 오류 검토도 쉬워집니다. 문서 번호와 개정, 페이지·시트·절을 연결합니다. 출처 필드의 존재뿐 아니라 실제 해당 구간으로 이어지는지 확인합니다.
그림 4. 원문의 단위와 예외를 답변 근거와 대조하는 AI 생성 일러스트입니다.
| 대표 사실 | 대조할 내용 |
|---|---|
| 일반 가입자의 입원 보장 100만원 | 항목·대상·숫자·단위가 함께 맞는가 |
| 별도 심사 대상 제외 | 일반 조건과 같은 적용 범위에 연결됐는가 |
| 원문 2쪽의 보장 표 | 실제 그 위치에서 근거를 확인할 수 있는가 |
‘100만원’과 ‘1,000,000원’은 표현이 달라도 같은 금액일 수 있습니다. 문자열 비교만으로는 이런 동등성을 판단하기 어렵습니다. 숫자·단위의 표준화와 원문 대조를 함께 사용합니다.
시각 모델이 생성한 그림 설명은 직접 추출한 문장과 구분합니다. 설명의 생성 방식과 원문 위치를 남겨 증거의 범위를 알 수 있게 합니다. 그림에 없는 조건을 그럴듯하게 보충한 설명은 근거로 받아들이지 않습니다.
6. 대체 변환은 이유와 품질 영향을 함께 남깁니다 🔀
외부 호출을 설정에서 끈 경우와 호출하다 실패한 경우는 다릅니다. 현재 사례는 외부 변환이 비활성화됐을 때 대체 방식을 선택하는 경로를 갖습니다. 허용 여부와 문서 형식에 따라 대체·생략·오류로 나뉩니다.
이를 모든 장애에 대한 자동 대체 기능으로 해석하지 않습니다. 호출 실패는 원인과 재시도 범위를 따로 판단합니다. 예정한 방식과 실제 사용한 방식, 변경 이유를 기록합니다.
|
def choose_method(external_enabled, allow_alternative, alternative_available): |
|---|
예제는 설정에 따른 선택만 표현합니다. 외부 호출의 성공이나 대체 결과의 검색 적합성을 보장하지 않습니다. 이미지에만 중요한 정보가 있다면 일반 텍스트 추출만으로 부족할 수 있습니다.
| 상황 | 설명할 내용 | 후속 조치 |
|---|---|---|
| 설정에 따른 대체 | 실제 방식과 검토 범위 | 품질 기준 확인 |
| 대체 방식 없음 | 생략 이유 | 입력 또는 지원 방식 보완 |
| 외부 호출 실패 | 오류와 재시도 상태 | 연결·설정·입력 조사 |
| 일부 요소 생략 | 빠진 요소와 원문 위치 | 해당 구간 추가 검토 |
7. 프로세스 격리는 실행 장애를 다루는 경계입니다 🧱
문서 변환에는 이미지 처리나 네이티브 라이브러리가 사용될 수 있습니다. 일부 입력에서 멈추거나 비정상 종료되면 Python 예외 처리만으로 다루기 어렵습니다. 별도 프로세스에서는 부모가 종료 상태와 결과를 확인할 수 있습니다.
현재 격리 경로는 별도 Python 프로세스에 변환을 맡깁니다. 제한 시간과 종료 코드, 결과 존재 여부와 형식을 확인합니다. 자식은 Spark 연결을 만들지 않고 필요한 입력과 설정을 전달받습니다.
모든 문서가 같은 경로를 사용하는 것은 아닙니다. 가벼운 텍스트·HTML은 조건에 따라 Spark 작업 안에서 직접 처리하는 경로도 있습니다. 격리 여부는 실제 실행 경로와 함께 확인합니다.

그림 5. 프로세스 분리는 독립된 메모리 한도나 보안 환경을 자동으로 제공하지 않습니다. 기존 흐름도와 draw.io 원본을 유지했습니다.
| 문제 | 분리 실행에서 확인할 것 | 별도로 필요한 대응 |
|---|---|---|
| 변환이 끝나지 않음 | 제한 시간과 종료 처리 | 문서별 한도·복구 정책 |
| 비정상 종료 | 종료 코드 | 진단 로그와 원인 조사 |
| 결과 없음·형식 불일치 | 반환 결과 거절 | 출력 규약 검사 |
| 메모리 부족 | 실패 상태와 자원 사용 | 동시 실행 수·자원 한도 |
| 잘못된 문서 해석 | 결과와 경고 | 업무 의미 대조 |
여러 큰 문서를 동시에 변환하면 같은 자원을 압박할 수 있습니다. 프로세스가 분리돼도 부모가 모든 자원 장애에서 보호되는 것은 아닙니다. 메모리와 임시 저장 공간, 동시 실행 수를 함께 설계합니다.
8. 작은 코드로 격리 실행과 시간 초과 이해하기 ⏱️
다음 코드는 텍스트를 자식 프로세스로 보내 JSON 결과를 받습니다. PDF나 이미지 변환을 수행하는 코드는 아닙니다. 추가 자식 작업을 만들지 않는 작은 실습입니다.
|
import json |
|---|
실행 코드는 고정하고 원문은 JSON 입력으로 전달합니다. 원문을 실행 코드나 셸 명령에 이어 붙이지 않습니다. 작은 결과를 메모리로 받는 예제이므로 큰 문서의 전달 방식은 따로 설계합니다.
subprocess.run은 시간 초과 시 직접 실행한 자식을 종료하고 기다린 뒤 예외를 전달합니다. 프로세스 생성 자체의 지연까지 정확히 제한하지는 않습니다. 동작 범위는 Python subprocess 설명을 참고합니다.
짧은 지연으로 시간 초과 확인하기
앞의 함수를 정의한 뒤 실행합니다. 0.05초는 실습용이며 업무 문서의 권장 제한 시간이 아닙니다.
|
try: |
|---|
시간 초과가 문서 손상을 확정하는 것은 아닙니다. 문서 크기와 실행 준비, 외부 응답 지연, 자원 부족을 함께 조사합니다. 재시도는 원인과 한도를 확인한 뒤 수행합니다.
실제 도구가 시작한 추가 작업도 확인하기
운영 변환 도구는 다른 프로그램을 실행할 수 있습니다. 직접 자식 하나를 종료하는 것으로 정리가 끝나지 않을 수 있습니다. 현재 구현은 POSIX에서 새 세션을 시작하고 프로세스 그룹을 정리하는 경로를 둡니다.
종료 후 상태를 회수하고 임시 자원을 정리합니다. 그룹 제어는 Python 프로세스 그룹 설명을 참고합니다. 새 그룹이나 별도 서비스로 벗어난 작업까지 모두 종료된다고 가정하지 않습니다.
위 실습은 운영용 그룹 관리 전체를 구현한 것이 아닙니다. 어떤 작업을 시작하고 누가 정리할지 도구별로 확인해야 합니다.
9. 오류는 확인한 사실대로 안내합니다 🛠️
현재 격리 함수의 기본 대기 제한은 3,600초입니다. 이 사례의 함수 기본값이며 모든 문서에 맞는 권장값은 아닙니다. 외부 호출과 Databricks Task의 제한 시간도 별도로 관리합니다.
| 오류 | 확인된 사실 | 먼저 볼 것 |
|---|---|---|
| 시간 초과 | 한도 안에 종료하지 못함 | 크기·대기 구간·자원 |
| 비정상 종료 | 오류 코드로 종료 | 종료 코드와 진단 로그 |
| 결과 없음 | 종료했으나 결과를 못 받음 | 전달·저장·출력 처리 |
| 규약 위반 | 후속 단계가 읽을 형식과 다름 | 실제 방식과 반환 구조 |
| 의미 검토 불통과 | 표·예외·출처가 기준과 다름 | 원문과 변환 정책 |
“문서가 손상됐다”고 단정하기 전에 실행 환경 문제인지 구분합니다. 담당자가 원문을 보완할 일과 운영자가 환경을 복구할 일을 나누어 안내합니다. 이 구분이 불필요한 재업로드를 줄이는 데 도움이 됩니다.
기록에는 문서 개정과 실제 방식, 실행 식별, 제한 시간과 오류 분류를 연결합니다. 진단 로그를 남기더라도 원문 전체나 인증 정보를 그대로 출력하지 않습니다. 알려진 비밀 값의 마스킹만으로 모든 노출이 방지된다고 가정하지 않습니다.
10. DBX 화면에서는 실행과 자원을 함께 봅니다 🖥️
화면 1. 어느 Task에서 시작된 문제인가요?
Task 목록에서 상태와 실행 시간, 자원과 의존 관계를 확인합니다. 실패 작업의 상세로 들어가 출력과 로그를 봅니다. 문서별 기록과 연결해 영향 범위를 좁힙니다.
Task 하나가 여러 문서를 처리할 수 있습니다. Task 실패를 모든 문서의 실패로 바로 해석하지 않습니다. 앞 단계 때문에 실행되지 않은 작업도 구분합니다.
플랫폼 상태는 표의 정확성을 알려주지 않습니다. 문서별 경고와 대표 근거 검토를 함께 봐야 합니다.
화면 1. 공식 List 보기 예시이며 이 프로젝트의 문서 변환 실행 화면은 아닙니다. 출처: Lakeflow Jobs 모니터링. 문서 재확인일: 2026-11-16.
화면 2. 같은 시각의 CPU와 메모리 확인하기
일반·Jobs 컴퓨팅에서는 Metrics 화면을 확인합니다. 서버리스 노트북·Jobs는 Query insights를 사용하므로 환경부터 구분합니다.
평균만 보면 특정 노드의 메모리 압박이 가려질 수 있습니다. 가능한 환경에서는 노드별 지표와 실패 시각을 대조합니다. 같은 시간에 실행된 다른 작업도 확인합니다.
메모리가 높다는 사실만으로 문서 변환을 원인으로 확정하지 않습니다. 문서 크기와 동시 실행 수, 임시 데이터 사용을 함께 봅니다.
화면 2. 공식 지표 예시이며 이 글의 성능 측정 결과는 아닙니다. 출처와 환경별 안내: 컴퓨팅 지표. 문서 재확인일: 2026-11-16.
11. 처리 시간과 품질을 같은 자료로 비교합니다 📊
전체 시간에는 입력 전달과 실행 준비, 계산, 결과 전달과 검증이 포함됩니다. 작은 문서는 준비 시간이, 이미지가 많은 문서는 계산 시간이 클 수 있습니다. 같은 문서와 같은 실행 조건으로 비교해야 차이를 설명할 수 있습니다.
다음 SQL은 읽기 전용 샘플입니다. 성공 평균 시간과 경고·실패 건수를 함께 집계합니다. 실제 변환 제품의 측정값은 아닙니다.
|
WITH runs AS ( |
|---|
샘플의 성공 평균은 일반 변환 1,500밀리초, 시각 해석 5,200밀리초입니다. 문서 구성과 품질 검토가 없어 어느 방식이 더 좋다고 결론 낼 수는 없습니다. 성공 평균만 보면 실패와 재처리 부담을 놓칠 수 있습니다.
| 비교 축 | 함께 확인할 정보 |
|---|---|
| 시간 | 준비·계산·전달, 문서 크기와 형식 |
| 품질 | 표·단위·예외·출처 보존 |
| 실패 | 오류 종류와 복구 범위 |
| 대체 | 예정한 방식과 실제 방식의 차이 |
| 비용 | 호출 수, 재시도와 사람의 검토 부담 |
12. 경고를 제공 여부 판단으로 연결합니다 🚦
경고가 있다고 모든 문서를 거절할 필요는 없습니다. 하지만 표의 관계가 불확실한 경고와 줄바꿈 경고의 영향은 다릅니다. 문서 유형과 업무 영향에 따라 검토 수준을 나눕니다.
|
def review_status(warnings): |
|---|
위 코드는 조직이 정할 수 있는 샘플 정책입니다. 현재 구현에 같은 경고 이름이 모두 적용됐다는 뜻은 아닙니다. 경고 목록의 형식은 앞 단계에서 검증됐다고 가정합니다.
경고가 없어도 의미가 완벽하게 보존됐다는 증거는 아닙니다. 대표 구간 대조와 검색 질문 평가로 실제 이용 가능성을 확인합니다.
13. 방식을 바꾸기 전에 실패 사례도 함께 비교합니다 🧪
새 도구는 처리 성공률과 글자 수만 비교하지 않습니다. 같은 문서 개정과 업무 질문, 검토 범위를 고정합니다. 원문 변경 효과와 변환 방식의 효과가 섞이지 않게 합니다.
| 시험 상황 | 기대하는 결과 |
|---|---|
| 빈 본문으로 정상 종료 | 검색 후보 검사에서 발견 |
| 요소 식별자 중복 | 구조 오류로 구분 |
| 본문과 위치 불일치 | 잘못된 근거 연결 방지 |
| 표의 단위만 오인식 | 대표 사실 대조에서 발견 |
| 외부 호출 비활성화 | 대체·생략 이유 보존 |
| 시간 초과 | 종료 처리와 실패 분류 |
| 비정상 종료·결과 누락 | 정상 결과와 구분해 복구 판단 |
| 큰 문서의 동시 처리 | 자원 부담과 실행 한도 확인 |
부모 작업이 살아 있다고 복구 시험을 통과시키지는 않습니다. 실패 문서가 추적되고 불완전한 결과가 정상 근거로 게시되지 않아야 합니다. 재처리 후에도 개정과 적용 방식, 출처가 이어지는지 확인합니다.
원문 작성 관행도 개선할 수 있습니다. 제목 계층과 표의 단위·주석을 일관되게 적으면 사람도 검토하기 쉽습니다. 반복 오류가 많은 형식부터 효과를 확인합니다.
14. 결론: 변환 완료를 검토 가능한 근거로 연결하기 🌱
AI Ready Data의 출발점은 검토 가능한 근거입니다. 공통 결과 규약은 서로 다른 변환 결과를 비교할 기준을 만듭니다. 프로세스 격리는 멈춤과 비정상 종료를 다룰 경계를 만듭니다.
여기에 업무 의미와 출처 검증을 더해야 합니다. 글자가 남았는지뿐 아니라 조건과 예외가 맞게 연결됐는지 확인합니다. 그 과정을 거쳐야 변환 결과를 사용자가 신뢰할 검색 근거로 제공할 수 있습니다. 🤝
참조 출처 📚
- Python subprocess — 자식 실행, 시간 제한과 종료 결과
- Python 프로세스 그룹 제어 — POSIX 프로세스 그룹 종료
- Lakeflow Jobs 모니터링 — Task 상태와 상세 조회, 화면 1 출처
- Databricks 컴퓨팅 지표 — CPU·메모리와 환경별 차이, 화면 2 출처
태그 🏷️
#Databricks #DBX #AIReadyData #문서변환 #문서품질 #표인식 #프로세스격리 #원문근거