– 온톨로지, AX트랜스포메이션의 코어 레이어
글 한선호 | 베스핀글로벌 AI & Data Tech Center
지난 2년, 거의 모든 기업이 AI를 도입했다. 챗봇을 붙이고, RAG 파이프라인을 세우고, 사내 문서를 벡터DB에 넣었다. 파일럿은 대체로 성공한다. 데모는 인상적이다. 그런데 그 성과가 손익계산서(P\&L)에 잡히는 회사는 드물다.
숫자가 이를 말해준다. MIT의 2025년 조사에서 기업 AI 파일럿의 약 95%가 측정 가능한 ROI를 만들지 못했다. 가트너(Gartner)는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 전망한다 — 비용 초과, 불분명한 가치, 미흡한 리스크 통제가 이유다.
파일럿은 되는데 전환은 안 된다. 이 간극이 지금 모든 CxO의 책상 위에 놓인 질문이다. 이 글의 주장은 단순하다. 진짜 병목은 모델도, 데이터의 양도 아니다. 기업의 의미(semantics)가 기계가 읽을 수 있는 형태로 존재하지 않는다는 것이다. 그리고 그 의미를 고정하는 계층의 이름이 온톨로지(Ontology)다.
병목은 모델이 아니다.
현장에서 반복되는 실패는 대개 세 가지 모습을 띤다.
- 데이터는 다 있는데, 물어보면 답이 안 나온다.
- 부서마다 같은 단어를 다르게 쓴다.
- 에이전트가 그럴듯하게 틀리고(환각), 결국 사람이 다시 검수한다.
세 가지 모두 모델의 지능 문제가 아니다. 맥락의 문제다. 간단한 요청 하나를 떠올려 보자. “우리 상위 10개 고객을 뽑아줘.” 영업은 계약 규모로, 재무는 매출 인식 기준으로, CS는 활성 사용량으로 ‘상위’를 정의한다. ‘고객’이라는 단어 하나가 회사 안에서 몇 개의 정의를 갖는지 세어 본 적이 있는가. 아마 하나가 아닐 것이다.
기업 AI 스택을 세 층으로 나눠 보면 문제가 선명해진다. 맨 아래 데이터 계층(Data Layer)에는 테이블과 문서가 쌓여 있다. 맨 위 에이전트 계층(Agent Layer)에는 LLM과 에이전트가 있다. 그런데 그 사이, 데이터가 ‘무엇을 의미하는지’를 정의하는 의미 계층(Semantic Layer)은 대부분의 기업에서 비어 있다. 에이전트는 이 빈 공간 위에서 추론하도록 요구받고, 그래서 틀린다.
검색과 RAG로도 이 문제는 풀리지 않는다. 검색은 문서를 찾아 준다. 하지만 ‘이 고객이 저 계약에 속하고, 그 계약이 이 규정의 적용을 받는다’는 관계는 찾아 주지 못한다. 검색은 문서를 찾고, 온톨로지는 관계를 안다. 이것이 결정적 차이다.
온톨로지란 무엇인가 – CxO의 언어로
온톨로지는 어렵게 들리지만 개념은 단순하다. 기업의 개념(무엇이 존재하는가), 관계(그것들이 어떻게 연결되는가), 규칙(무엇이 허용되고 금지되는가)을 기계가 읽을 수 있는 형태로 고정한 것이다. 한마디로 기업의 ‘의미 지도’다.
조직도도 업무 규정도 없이 첫 출근한 신입사원을 떠올려 보자. 아무리 똑똑해도 누가 무엇을 결정하는지, 이 문서가 어느 부서 소관인지 모른다. 매번 물어봐야 하고, 자주 틀린다. 반대로 조직도와 규정을 손에 쥔 신입은 같은 지능으로도 훨씬 신뢰할 수 있게 일한다. 오늘의 AI 에이전트는 전자에 가깝다. 온톨로지는 그 손에 조직도와 규정을 쥐여 주는 일이다.
이제 온톨로지는 “살아 있어야” 한다
온톨로지 자체는 새로운 개념이 아니다. 달라진 것은 그것이 ‘어떤 형태’여야 하는가다. 진화는 세 단계로 정리된다.
1. 정적 온톨로지 — 정의를 문서로 적어 둔 것. 문제는 현실이 바뀐다는 데 있다. 조직이 개편되고 제품이 추가되고 규정이 바뀐다. 정적 문서는 며칠만 지나도 현실과 어긋나기 시작한다(드리프트).
2. 지식 그래프 — 개념과 관계를 그래프로 연결해 질의 가능하게 만든 것. 관계를 다룰 수 있게 됐지만, 갱신은 여전히 수작업에 의존한다.
3. Active Ontology(Context Graph) — 운영 신호와 상시 결합되어 스스로 최신 상태를 유지하는 ‘살아 있는’ 온톨로지. 정의뿐 아니라 ‘왜, 어떻게 그렇게 결정됐는가’라는 결정의 맥락까지 담는다.
에이전트 시대에 이 ‘살아 있음’은 선택이 아니라 요건이다. 에이전트가 신뢰받으려면 엔티티를 정확히 해소하고(이 ‘김 대표’가 어느 김 대표인지), 제약 조건을 지키고(이 작업은 이 권한 없이는 안 된다), 감사 추적을 남겨야(왜 이렇게 판단했는지) 한다. 이 세 가지는 살아 있는 온톨로지 없이는 성립하지 않는다.
시장은 이미 움직였다
이것은 한 벤더의 주장이 아니다. 시장 전체가 같은 방향을 가리키고 있다.
가트너는 2028년까지 기업 AI 에이전트 시스템의 50% 이상이 컨텍스트 그래프를 활용할 것으로 전망한다. 같은 기관은 2028년까지 컨텍스트 엔지니어링 기능이 AI 애플리케이션 개발 도구의 80%에 내장되고, 이를 통해 에이전틱 AI의 정확도가 최소 30% 개선될 것으로 본다. 몇 년 전만 해도 화두가 ‘프롬프트 엔지니어링’이었다면, 이제 무게중심은 ‘무엇을 입력에 넣을 것인가’에서 ‘어떤 맥락을 어떻게 조립할 것인가’로 넘어갔다.
글로벌 벤더 지형도 이를 뒷받침한다. 팰런티어(Palantir)는 아예 온톨로지를 사업 모델의 중심에 놓았고, 데이터 카탈로그·시맨틱 레이어 진영과 하이퍼스케일러들이 각자의 방식으로 이 계층에 투자하고 있다. 런타임에 맥락을 주입하는 표준으로 MCP(Model Context Protocol)가 빠르게 자리 잡은 것도 같은 흐름이다.
국내는 어떤가. 개념에 대한 인지는 빠르게 올라오고 있지만, 실제 구축 사례는 아직 드물다. 이 격차가 곧 기회다. 선도 기업에게 지금은 대략 6\~18개월의 준비 구간이다. 시장이 표준화되기 전에 자사의 의미 계층을 먼저 확보한 기업이 이후의 판을 유리하게 가져간다.
우리의 답 – HelpNow Ontology Studio
베스핀글로벌 AI & Data Tech Center는 이 문제를 제품으로 풀었다. HelpNow Ontology Studio는 세 가지 원칙 위에 서 있다.
1. 구축의 자동화 — 온톨로지 설계는 수년짜리 컨설팅이라는 통념을 깬다. 기존 운영 데이터와 스키마로부터 초안을 자동 생성하고, 사람은 검증과 조정에 집중한다.
2. 살아 있는 유지 — 운영 신호와 결합해 드리프트를 막는다. 만든 순간부터 낡기 시작하는 정적 산출물이 아니라, 현실과 함께 갱신되는 계층을 지향한다.
3. 에이전트 소비 가능성 — 온톨로지를 ‘만드는 것’으로 끝내지 않는다. AI 에이전트가 실제로 질의하고 사용할 수 있는 형태로 노출하는 것까지가 제품의 범위다.
여기에 베스핀만의 해자가 있다. 오랜 MSP 사업을 통해 축적한 운영 데이터와 거버넌스 경험은 그 자체로 온톨로지의 품질로 전환된다. 기업이 실제로 어떻게 돌아가는지를 아는 것과, 그 앎을 기계가 읽는 계층으로 옮기는 것은 다른 일이다. 그리고 후자는 운영을 깊이 겪어 본 조직이 더 잘한다.
어디서부터 시작할 것인가
큰 그림은 ‘한 번에 완성’이 아니라 ‘성숙도를 올려 가는’ 여정이다. 다섯 단계로 보면 문서화 → 정의 통일 → 그래프화 → Active Ontology → 자율 운영이다. 실행은 세 구간으로 나눌 수 있다.
- Ground (약 90일) — 가장 아픈 도메인 하나를 골라 정의를 통일하고 최소 온톨로지를 세운다.
- Connect (약 6개월) — 운영 신호와 연결해 그래프를 살아 있게 만들고, 첫 에이전트 유즈케이스에 물린다.
- Autonomous (12개월+) — 여러 도메인으로 확장하고, 사람의 개입을 점진적으로 줄여 간다.
한 가지 자주 틀리는 지점이 있다. 온톨로지의 오너십을 IT에 맡기는 것이다. ‘고객’과 ‘계약’과 ‘리스크’의 정의는 결국 비즈니스의 언어다. 기술 조직은 이를 구현할 뿐, 무엇이 옳은 정의인가는 사업이 소유해야 한다. 오너십을 잘못 두면 아무리 좋은 도구도 겉돈다.
맺으며 – 차별화는 맥락에서 온다
모델은 이미 상품화됐다. 누구나 같은 프론티어 모델을 API 한 줄로 부른다. 그렇다면 차별화는 어디서 오는가. 그것은 당신 회사만이 가진 맥락, 즉 당신의 개념·관계·규칙에서 온다. 그 맥락을 기계가 읽는 형태로 만들어 둔 기업과 그렇지 않은 기업의 격차는, 모델이 좋아질수록 오히려 더 벌어진다.
마지막으로, CxO를 위한 다섯 개의 자가진단 질문을 남긴다.
1. 우리 회사에서 ‘고객’은 몇 개의 정의를 갖고 있는가?
2. 어제 조직·제품·규정이 바뀌었다면, 우리의 AI는 오늘 그것을 아는가?
3. 우리 에이전트가 내린 판단의 근거를 사후에 추적할 수 있는가?
4. 온톨로지의 오너는 IT인가, 비즈니스인가?
5. 우리는 지금 이 계층을 만들고 있는가, 아니면 미루고 있는가?
이 질문들에 자신 있게 답할 수 없다면, 바로 그 지점이 당신 회사의 AX가 시작될 자리다.
—————————————————————————————————–
출처