[2022 AWS re:Invent] What’s new in Amazon OpenSearch Service

by
세션 유형

Break out

세션명

What’s new in Amazon OpenSearch Service

강연자

Rajiv Taori, Principal PM-T, AWS Mukul Karnik, GM, Amazon OpenSearch Service, Amazon Web Services

세션요약자

배미경(Mikyung Bae)

핵심내용 요약
  • Amazon OpenSearch Service는 2012년 출시 이후 오픈 소스 검색, 로그 분석 엔진, 보안 운영 개선, 비용 절감, 머신러닝 및 이상 감지 등 다양한 기능을 추가하여 발전하였고, 2021년에는 오픈서치라는 오픈소스 프로젝트가 만들어지면서 고객들이 오픈 소스 검색 및 로그 분석 엔진에 직접 액세스가 가능해졌다.
  • OpenSearch는 완전히 관리되고 안전한 방법을 통해 검색 사용 및 로그에 집중할 수 있게 함으로써, 시스템 문제를 감지, 분석, 해결하고 개방형 검색 워크로드를 실행하기 위해 비용 절감 효과를 제공합니다.
키워드
  1. penSearch Service 
  2. ElasticSearch and OpenSearch
상세내용

오픈소스 프로젝트 오픈서치의 혁신

OpenSearch Service

  • 2012년 출시 이후 오픈 소스 검색, 로그 분석 엔진, 보안 운영 개선, 비용 절감, 머신러닝 및 이상 감지 등 다양한 기능을 추가하여 발전
  • 2021년에는 오픈서치라는 오픈소스 프로젝트가 만들어지면서 고객들이 오픈 소스 검색 및 로그 분석 엔진에 직접 액세스 가능

OpenSearch 동작 방식

  • Server, Application 등 여러 소스의 데이터를 Opensearch에 저장
  • Lucene 이라는 검색 엔진을 통해 내부적으로 색인
  • Opensearch 대시보드에서 데이터 분석가, 보안 담당자, Devops 엔지니어 등이 데이터 분석

OpenSearch 프로젝트의 성장

  • 1억 이상의 다운로드, DB 엔진 랭킹 4위
  • 40개 이상의 프로젝트 파트너사 보유
  • Azure, GCP 등 주요 MSP에서 모두 사용 가능

OpenSearch의 장점

  • 개방형 검색을 호스팅하는 서비스로, 완전히 관리되고 안전한 방법 제공
  • 개방형 검색 워크로드를 실행하기 위해 많은 비용 절감 효과 제공
  • 검색 사용 및 로그에 집중할 수 있게 함으로써, 시스템 문제 감지, 분석, 해결 효과 제공
  • 사례: Netflix, Uber, 3M 등

OpenSearch Releases, Features

  • 2022년, 10개 이상의 릴리즈와 100개 이상의 기능 출시

검색, 로그 분석의 혁신

ML innovations for Search, 검색과 분석을 위해 추가된 새로운 머신러닝 알고리즘

  • 2018년, 효율적인 유사성 검색 및 클러스터링을 위한 ‘k-NN’ 출시
  • 2022년, Lucene 9.1(Opensearch 2.x) 기반의  ‘approximate k-NN’로 업그레이드 
  • 고차원 벡터에서 인덱스 처리량 최대 30%, 근접 이웃 검색 10% 이상 향상

검색 관련성 향상, semantic search(Opensearch 2.4의 실험 기능)

  • bm-25: 통계적 방법에 기반한 관련성에 대한 전통적 기법으로, 문서에서 일치하는 단어가 얼마나 자주 발생하는 지를 보고 관련성을 결정하며 키워드 검색에 주로 사용(일치 검색이 있을 때 잘 작동)
  • (예) wild west → 웨스트버지니아 대학교에 있는 이 농구 경기장
  • semantic search: 신경망 모델을 사용하며, 의미론적 검색(유사한 이미지)에 사용 가능 
  • (예) wild west → 카우보이 로데오

OpenSearch Observability

  • Data Prepper를 사용하여 logs, metrics, traces 데이터 수집
  • OpenSearch에 Observability를 위한 log, trace, time series index 데이터 저장
  • Prometheus, Amazon CloudWatch, influxDB 와 협력하여 로그 모니터링, 이벤트/지표 분석 및 시각화

로그 패턴 분석

  • 비정상 동작(unexpected outliers) 감지 가능
  • log tailing, log surround, log monitoring 기능 구현 가능

이상 탐지 강화

  • 1분 단위로 백만 개의 엔터티 지원

Amazon OpenSearch Service의 새로운 기능

  • Gp3 지원으로 인해 기존 gp2 볼륨 대비 10% 정도 비용 절감 효과
  • 보안 측면에서는 AWS PrivateLink 지원으로 보다 섬세하게 액세스 제어 가능
  • Blue/Green 배포 관련 기능 향상
  • Auto-Tune, Shard-level indexing backpressure 등 운영 자동화 측면에서의 기능 향상
  • 상세한 Event 알람 추가
Bespin’s Comment

Amazon opensearch service에 대한 최신 정보를 접할 수 있는 좋은 기회였습니다. 

하지만 Amazon은 Elastic의 라이센스 변경에 대한 대응으로 elasticsearch를 포크한다는 강수를 뒀고, 그 덕에 Elastic은 자신의 복제품이나 다름없는 Amazon 버전의 Elasticsearch 제품과 경쟁 제품을 만들어야 하는 상황에 빠진 것으로 보입니다. 

오픈소스 경쟁에서 계속 새로운 프로젝트가 나오며 더 발전해야 하는데, “재주는 곰이 넘고 돈은 되놈이 번다”는 느낌을 지울 수가 없는 것 같습니다.

Leave a Comment