[2023 AWS re:Invent] Keynote with Dr. Swami Sivasubramanian

by
세션명

Keynote with Dr. Swami Sivasubramanian

강연자
  • Dr. Swami Sivasubramanian, Vice President of Data and AI, AWS
  • Nhung Ho, VP of AI, Intuit
  • Aravind Srinivas, Co-Founder and CEO, Perplexity
  • Rob Francis, SVP and CTO, Booking.com
  • Shannon Kalisky, Senior Technical Product Manager, Amazon Quicksight, AWS
핵심 내용 요약
  • 기업 데이터를 기반으로 차별화된 생성형 AI 애플리케이션을 구축하고 조직의 생산성을 가속화하는 방법
  • 실제 비즈니스에서는 생성형 AI를 위해 데이터를 어떻게 사용했는지 고객 활용 사례(Intuit, Perplexity, Booking.com)
  • Amazon Bedrock, Amazon Titan Image Generator 등 다양한 신규 기능 업데이트 발표
세션 키워드
  1. Generative AI
  2. Data
  3. Foundation Model
세션 요약자

베스핀글로벌 마케팅 콘텐츠팀 이가연 님

신규 기능 발표

Amazon Bedrock

  • Amazon Bedrock에서 Anthropic Claude 2.1, Meta Llama 2 70B 사용 가능

Amazon Titan Multimodal Embeddings

  • 텍스트, 이미지, 텍스트-이미지 조합 등을 모두 지원하는 멀티모달 임베딩 모델
  • 기업의 고유/독점 데이터를 적용한 멀티 모달 솔루션을 구축할 수 있음
  • 편향된 검색 결과를 줄이기 위한 기본 제공 마이그레이션 기능 제공
  • 멀티모달 임베딩 모델 외에도 텍스트 생성을 지원하는 모델도 제공
    • Amazon Titan Text Lite / Amazon Titan Text Express
    • 사이즈, 비용, 성능, 편의성 등의 면에서 최적화가 가능한 모델

Amazon Titan Image Generator

  • 자연어 프롬프트를 기반으로 스튜디오 퀄리티의 이미지 생성
  • 독점 데이터를 통해 브랜드 스타일에 어울리는 이미지 커스터마이징
  • 모든 이미지에 보이지 않는 워터마크가 삽입 → 생성 AI로 인한 잘못된 정보 확산 방지
  • 주요 피사체는 유지하되 인물 얼굴 방향, 배경, 색상 등 이미지 일부만 바꾸는 편집 기능 제공

Amazon SageMaker HyperPod

  • SageMaker의 분산 학습 기능으로, 대규모 모델 효율적 학습 지원
  • 클러스터의 GPU/컴퓨팅 자원을 최적 활용할 수 있는 데이터/모델 배포 자동화
  • 체크 포인트 저장(훈련 중단 시 저장된 포인트부터 재개 가능), 오류 발생 시 자동 복구 등 안정성 확보
  • 대규모 Foundation Model 훈련의 복잡성을 크게 줄여 기존 시간보다 최대 40% 단축 효과

Amazon SageMaker Innovations

  • 전 방위적인 SageMaker 기능 향상을 통해 ML/AI 애플리케이션 구축 가속화 지원
  • 모델 배포 시간 평균 50% 감소 및 지연 시간 20% 이상 절감 가능

Vector Engine for OpenSearch Serverless

  • 서버리스 벡터 엔진 출시로 인해 사용자 편의성 대폭 향상 및 생성형 AI 애플리케이션 구축 용이
  • 서버 관리가 필요 없는 진정한 서버리스 벡터 검색 엔진
  • OpenSearch와의 기본 통합을 통해 벡터 데이터 인제스트, 변환, 쿼리가 용이
  • 사용자의 벡터 검색 워크로드 구축에 맞춰 자동 확장 및 검색 인프라 관리 비용 절감 가능
  • 신규 벡터 검색 기능 추가
    • Amazon DocumentDB: 소스 데이터와 벡터 데이터를 동일한 데이터베이스 내에 저장할 수 있음
    • Amazon DynamoDB: Amazon OpenSearch와 Zero-ETL 통합으로 벡터 기능 액세스 가능

Vector Search for Amazon MemoryDB for Redis

  • 메모리DB에서 벡터 검색 기능을 제공해 생성적 AI 앱 속도 및 정확도 향상 도모
  • 처리량과 회상률이 높은 가장 빠른 AWS 벡터 검색 환경 중 하나
  • 밀리초 단위의 응답 시간을 보장하는 고성능 벡터 검색 지원
  • 높은 순환 및 처리량에서도 99% 이상의 정확도 보장

Amazon Neptune Analytics

  • Neptune 데이터 또는 S3 기반 데이터레이크에서 대규모 그래프 데이터 분석 → 속도 최대 80% 향상
  • 그래프 + 벡터 데이터를 하나의 Neptune DB에 저장/분석 가능
  • 향후 보다 정교한 AI 추천 서비스로 확장 가능성 기대
  • Snap Inc.의 사례: Neptune Analytics를 이용해 실시간 친구 추천 제공

Amazon OpenSearch Service zero-ETL integration with Amazon S3

  • OpenSearch와 S3 간에 별도의 ETL 파이프라인 없이 데이터 검색/분석 지원
  • S3에 저장된 로그 데이터를 OpenSearch에서 직접 검색 및 시각화
  • 실시간 최신 로그 데이터 활용 및 여러 데이터 소스 간 상관관계 분석으로 정교한 인사이트 도출 가능
  • 로그 데이터 분석 기능 향상을 통한 모니터링 및 보안 관리 기능 강화

AWS Clean Rooms ML

  • AWS Clean Rooms의 기능 확장을 통한 머신러닝 적용 지원
  • 기본 데이터 세트를 공유하지 않고도 파트너와 함께 ML 모델 적용 및 개발 가능
  • 추후 보건 분야 ML 모델 적용도 지원 예정

Amazon Q generative SQL in Amazon Redshift

  • Redshift Query Editor 내에 Amazon Q 기반 SQL 자동 생성 기능 출시
  • 자연어로 데이터 추출 요구 사항 입력 시 그 의도에 맞는 SQL 코드를 제안
  • Notebook 기반의 사용자 테스트 및 반복 작업 지원
  • Query history access를 통한 더 관련성 있는 추천 제공

Amazon Q data integration in AWS Glue

  • AWS Glue 기반 ETL 파이프라인 구축을 위한 Amazon Q 통합 기능
  • 자연어 입력을 바탕으로 AWS Glue 작업 정의 지원
    • 예) “S3에서 데이터를 읽어 Null 레코드 제거 후 Redshift에 쓰기”
    • 입력된 지시에 따라 End-to-End 데이터 통합 작업 생성
  • Amazon Bedrock의 Agent 기능 활용한 분산 처리 자동 오케스트레이션
  • AWS Glue ETL 프로세스를 대화형 인터페이스로 간소화함으로써 관련 경험이 없더라도 손쉽게 복잡한 ETL 파이프라인 구축할 수 있도록 지원

Model Evaluation on Amazon Bedrock

  • 비즈니스 상황에 맞는 최적의 생성형 AI 모델 선택을 위한 다양한 평가 방식의 모델 비교/분석 지원
    • 정량적 지표: 정확도, 토큰화율, 편향성 등
    • 정성적 지표: 사용성, 친숙도, 브랜드 톤 앤 매너 부합도 등
  • 벤치마킹 데이터 세트 생성, 지표 알고리즘 구현, 리뷰 수집 및 결과 집계 등의 작업 자동화
  • SageMaker Studio 연동: 모델 후보군 및 평가 결과를 한눈에 확인할 수 있는 시각화된 대시보드 제공

PartyRock

  • 누구나 손쉽게 생성형 AI를 테스트해 볼 수 있는 샌드박스 플랫폼
  • Amazon Bedrock의 다양한 Foundation Model을 활용해 코딩 없이도 생성형 앱을 쉽게 개발/생성할 수 있는 도구 제공
  • 앱 빌더를 통해 프롬프트 엔지니어링, 모델 선택, 대화형 챗봇 등 다양한 테스트 가능
  • Titan Text Express, Titan Text Lite 모델 지원 예정
  • 사용자가 만든 앱을 공유하고 개량할 수 있음

비즈니스 적용 사례 발표

(1) Nhung Ho, VP of AI, Intuit

  • 지난 5년 간 AI 기반 전문 플랫폼이 되기 위해 투자, 매일 65B 건의 ML 예측 실행
  • Amazon SageMaker, Amazon Bedrock 등 AWS 서비스 활용
    • 생성형 AI 운영 체제 ‘GenOS’ 구축 → 생성형 AI 애플리케이션을 쉽게 빌드/배포할 수 있음
    • Intuit Assist 출시 → 세금 신고 결과 설명 등을 지원하는 생성형 AI 어시스턴스 → TurboTax에 적용
  • AI 여정을 시작하는 사람들을 위한 2가지 교훈
    • 전체적인 접근 방식을 취하라: 기본 데이터에 투자하는 것이 중요하다
    • 모든 것에 딱 맞는 하나의 모델은 없다: 정확성, 대기 시간, 비용 등을 고려해 여러 가지 모델을 옵션으로 가져가는 것이 중요함 → Amazon Bedrock가 이를 가능하게 함
  • Swami’s Comment
    • 생성형 AI 애플리케이션을 만드는 데 가장 중요한 요소는 기업만의 unique한 비즈니스 데이터
    • “Data is the differentiator for generative AI applications”

(2) Aravind Srinivas, Co-Founder and CEO, Perplexity

  • 참조를 제공하는 대화형 답변 엔진을 통해 세계 최고의 질의 응답 서비스를 제공하는 것을 목표로 함
  • AWS Bedrock의 Anthropic의 Claude 2.0을 사용해 일반적인 질문 답변 기능 향상
  • Lamassu, Ministro 등 오픈소스 모델 Fine-tuning을 통해 웹 검색 데이터로 교육하여 정확도 향상
  • SageMaker HyperParallel을 사용하여 대규모 언어 모델 성능 및 효율성 증대
  • 사용자 정의 Inference를 위해 AWS P4/P5 인스턴스 활용
  • Swami’s Comment
    • Gen AI 앱 성능을 높이려면 고품질 데이터를 저장, 구성, 액세스할 수 있는 역량이 중요

(3) Rob Francis, SVP and CTO, Booking.com

  • Amazon SageMaker와 Bedrock를 사용해 AI 기반 여행 계획 자동화 서비스 개발
    • Open source 모델 Llama 2를 선택해 의도 감지 모델 구축
    • 데이터 웨어하우스 내 예약 상세 정보 및 리뷰 데이터 조회를 통해 개인화된 호텔 추천 정보 도출
    • 제공된 정보를 기반으로 추천 엔진이 최적의 선택 제시 → 모바일 앱에서 즉시 예약 가능
  • 데이터 기반 개인화 서비스 구현을 통해 고객 경험을 향상시키기 위해 노력함
  • Swami’s Comment
    • 생성형 AI 앱을 구축하기 위해 데이터를 어떻게 활용할 수 있는지를 보여주는 모범 사례
    • 데이터가 생성형 AI의 원동력인 동시에 AI를 통해서도 데이터 기반을 강화해야 함

Bespin’s Comment

  1. Swami Sivasubramanian에 따르면 성공적인 AI 전략 및 비즈니스를 위해서는 그 기반이 되는 데이터가 가장 중요한 요소입니다.
    데이터 단계에서부터 차별화된 경쟁력을 지니는 것이 중요하며, 효율적인 데이터 수집부터 저장, 분석 프로세스 구축이 필수라고 할 수 있습니다.
    베스핀글로벌은 많은 데이터 프로젝트 경험과 전문 역량을 바탕으로 데이터에서 AI 비즈니스에 이르기까지 End-to-End 서비스를 제공합니다.
    어느 단계에서든지 가장 적절한 솔루션을 지원하니, 데이터와 AI 비즈니스를 시작한다면 베스핀글로벌과 함께하세요.
  2. 본 발표에서 소개된 신규 기능을 살펴보면 AWS가 기존에 제공하던 서비스 곳곳에 생성형 AI 기능들이 업데이트된 것을 알 수 있습니다.
    그리고 그 기능들은 전반적으로 작업의 효율성과 생산성을 높이고, 비용과 시간을 줄여주는 데 초점을 맞추고 있습니다.
    베스핀글로벌은 AWS 프리미어 파트너이자 2023년에는 ‘올해의 글로벌 MSP 파트너상’을 수상하는 등 높은 AWS 클라우드 전문성을 지닌 MSP 기업입니다. 베스핀글로벌을 통해 AWS의 업데이트 된 기능들을 실제 업무에 제대로 활용하시어 비즈니스 성장을 이끄시길 바랍니다.