기업 데이터를 기반으로 차별화된 생성형 AI 애플리케이션을 구축하고 조직의 생산성을 가속화하는 방법
실제 비즈니스에서는 생성형 AI를 위해 데이터를 어떻게 사용했는지 고객 활용 사례(Intuit, Perplexity, Booking.com)
Amazon Bedrock, Amazon Titan Image Generator 등 다양한 신규 기능 업데이트 발표
세션 키워드
Generative AI
Data
Foundation Model
세션 요약자
베스핀글로벌 마케팅 콘텐츠팀 이가연 님
신규 기능 발표
Amazon Bedrock
Amazon Bedrock에서 Anthropic Claude 2.1, Meta Llama 2 70B 사용 가능
Amazon Titan Multimodal Embeddings
텍스트, 이미지, 텍스트-이미지 조합 등을 모두 지원하는 멀티모달 임베딩 모델
기업의 고유/독점 데이터를 적용한 멀티 모달 솔루션을 구축할 수 있음
편향된 검색 결과를 줄이기 위한 기본 제공 마이그레이션 기능 제공
멀티모달 임베딩 모델 외에도 텍스트 생성을 지원하는 모델도 제공
Amazon Titan Text Lite / Amazon Titan Text Express
사이즈, 비용, 성능, 편의성 등의 면에서 최적화가 가능한 모델
Amazon Titan Image Generator
자연어 프롬프트를 기반으로 스튜디오 퀄리티의 이미지 생성
독점 데이터를 통해 브랜드 스타일에 어울리는 이미지 커스터마이징
모든 이미지에 보이지 않는 워터마크가 삽입 → 생성 AI로 인한 잘못된 정보 확산 방지
주요 피사체는 유지하되 인물 얼굴 방향, 배경, 색상 등 이미지 일부만 바꾸는 편집 기능 제공
Amazon SageMaker HyperPod
SageMaker의 분산 학습 기능으로, 대규모 모델 효율적 학습 지원
클러스터의 GPU/컴퓨팅 자원을 최적 활용할 수 있는 데이터/모델 배포 자동화
체크 포인트 저장(훈련 중단 시 저장된 포인트부터 재개 가능), 오류 발생 시 자동 복구 등 안정성 확보
대규모 Foundation Model 훈련의 복잡성을 크게 줄여 기존 시간보다 최대 40% 단축 효과
Amazon SageMaker Innovations
전 방위적인 SageMaker 기능 향상을 통해 ML/AI 애플리케이션 구축 가속화 지원
모델 배포 시간 평균 50% 감소 및 지연 시간 20% 이상 절감 가능
Vector Engine for OpenSearch Serverless
서버리스 벡터 엔진 출시로 인해 사용자 편의성 대폭 향상 및 생성형 AI 애플리케이션 구축 용이
서버 관리가 필요 없는 진정한 서버리스 벡터 검색 엔진
OpenSearch와의 기본 통합을 통해 벡터 데이터 인제스트, 변환, 쿼리가 용이
사용자의 벡터 검색 워크로드 구축에 맞춰 자동 확장 및 검색 인프라 관리 비용 절감 가능
신규 벡터 검색 기능 추가
Amazon DocumentDB: 소스 데이터와 벡터 데이터를 동일한 데이터베이스 내에 저장할 수 있음
Amazon DynamoDB: Amazon OpenSearch와 Zero-ETL 통합으로 벡터 기능 액세스 가능
Vector Search for Amazon MemoryDB for Redis
메모리DB에서 벡터 검색 기능을 제공해 생성적 AI 앱 속도 및 정확도 향상 도모
처리량과 회상률이 높은 가장 빠른 AWS 벡터 검색 환경 중 하나
밀리초 단위의 응답 시간을 보장하는 고성능 벡터 검색 지원
높은 순환 및 처리량에서도 99% 이상의 정확도 보장
Amazon Neptune Analytics
Neptune 데이터 또는 S3 기반 데이터레이크에서 대규모 그래프 데이터 분석 → 속도 최대 80% 향상
그래프 + 벡터 데이터를 하나의 Neptune DB에 저장/분석 가능
향후 보다 정교한 AI 추천 서비스로 확장 가능성 기대
Snap Inc.의 사례: Neptune Analytics를 이용해 실시간 친구 추천 제공
Amazon OpenSearch Service zero-ETL integration with Amazon S3
OpenSearch와 S3 간에 별도의 ETL 파이프라인 없이 데이터 검색/분석 지원
S3에 저장된 로그 데이터를 OpenSearch에서 직접 검색 및 시각화
실시간 최신 로그 데이터 활용 및 여러 데이터 소스 간 상관관계 분석으로 정교한 인사이트 도출 가능
로그 데이터 분석 기능 향상을 통한 모니터링 및 보안 관리 기능 강화
AWS Clean Rooms ML
AWS Clean Rooms의 기능 확장을 통한 머신러닝 적용 지원
기본 데이터 세트를 공유하지 않고도 파트너와 함께 ML 모델 적용 및 개발 가능
추후 보건 분야 ML 모델 적용도 지원 예정
Amazon Q generative SQL in Amazon Redshift
Redshift Query Editor 내에 Amazon Q 기반 SQL 자동 생성 기능 출시
자연어로 데이터 추출 요구 사항 입력 시 그 의도에 맞는 SQL 코드를 제안
Notebook 기반의 사용자 테스트 및 반복 작업 지원
Query history access를 통한 더 관련성 있는 추천 제공
Amazon Q data integration in AWS Glue
AWS Glue 기반 ETL 파이프라인 구축을 위한 Amazon Q 통합 기능
자연어 입력을 바탕으로 AWS Glue 작업 정의 지원
예) “S3에서 데이터를 읽어 Null 레코드 제거 후 Redshift에 쓰기”
입력된 지시에 따라 End-to-End 데이터 통합 작업 생성
Amazon Bedrock의 Agent 기능 활용한 분산 처리 자동 오케스트레이션
AWS Glue ETL 프로세스를 대화형 인터페이스로 간소화함으로써 관련 경험이 없더라도 손쉽게 복잡한 ETL 파이프라인 구축할 수 있도록 지원
Model Evaluation on Amazon Bedrock
비즈니스 상황에 맞는 최적의 생성형 AI 모델 선택을 위한 다양한 평가 방식의 모델 비교/분석 지원
정량적 지표: 정확도, 토큰화율, 편향성 등
정성적 지표: 사용성, 친숙도, 브랜드 톤 앤 매너 부합도 등
벤치마킹 데이터 세트 생성, 지표 알고리즘 구현, 리뷰 수집 및 결과 집계 등의 작업 자동화
SageMaker Studio 연동: 모델 후보군 및 평가 결과를 한눈에 확인할 수 있는 시각화된 대시보드 제공
PartyRock
누구나 손쉽게 생성형 AI를 테스트해 볼 수 있는 샌드박스 플랫폼
Amazon Bedrock의 다양한 Foundation Model을 활용해 코딩 없이도 생성형 앱을 쉽게 개발/생성할 수 있는 도구 제공
앱 빌더를 통해 프롬프트 엔지니어링, 모델 선택, 대화형 챗봇 등 다양한 테스트 가능
Titan Text Express, Titan Text Lite 모델 지원 예정
사용자가 만든 앱을 공유하고 개량할 수 있음
비즈니스 적용 사례 발표
(1) Nhung Ho, VP of AI, Intuit
지난 5년 간 AI 기반 전문 플랫폼이 되기 위해 투자, 매일 65B 건의 ML 예측 실행
Amazon SageMaker, Amazon Bedrock 등 AWS 서비스 활용
생성형 AI 운영 체제 ‘GenOS’ 구축 → 생성형 AI 애플리케이션을 쉽게 빌드/배포할 수 있음
Intuit Assist 출시 → 세금 신고 결과 설명 등을 지원하는 생성형 AI 어시스턴스 → TurboTax에 적용
AI 여정을 시작하는 사람들을 위한 2가지 교훈
전체적인 접근 방식을 취하라: 기본 데이터에 투자하는 것이 중요하다
모든 것에 딱 맞는 하나의 모델은 없다: 정확성, 대기 시간, 비용 등을 고려해 여러 가지 모델을 옵션으로 가져가는 것이 중요함 → Amazon Bedrock가 이를 가능하게 함
Swami’s Comment
생성형 AI 애플리케이션을 만드는 데 가장 중요한 요소는 기업만의 unique한 비즈니스 데이터
“Data is the differentiator for generative AI applications”
(2) Aravind Srinivas, Co-Founder and CEO, Perplexity
참조를 제공하는 대화형 답변 엔진을 통해 세계 최고의 질의 응답 서비스를 제공하는 것을 목표로 함
AWS Bedrock의 Anthropic의 Claude 2.0을 사용해 일반적인 질문 답변 기능 향상
Lamassu, Ministro 등 오픈소스 모델 Fine-tuning을 통해 웹 검색 데이터로 교육하여 정확도 향상
SageMaker HyperParallel을 사용하여 대규모 언어 모델 성능 및 효율성 증대
사용자 정의 Inference를 위해 AWS P4/P5 인스턴스 활용
Swami’s Comment
Gen AI 앱 성능을 높이려면 고품질 데이터를 저장, 구성, 액세스할 수 있는 역량이 중요
(3) Rob Francis, SVP and CTO, Booking.com
Amazon SageMaker와 Bedrock를 사용해 AI 기반 여행 계획 자동화 서비스 개발
Open source 모델 Llama 2를 선택해 의도 감지 모델 구축
데이터 웨어하우스 내 예약 상세 정보 및 리뷰 데이터 조회를 통해 개인화된 호텔 추천 정보 도출
제공된 정보를 기반으로 추천 엔진이 최적의 선택 제시 → 모바일 앱에서 즉시 예약 가능
데이터 기반 개인화 서비스 구현을 통해 고객 경험을 향상시키기 위해 노력함
Swami’s Comment
생성형 AI 앱을 구축하기 위해 데이터를 어떻게 활용할 수 있는지를 보여주는 모범 사례
데이터가 생성형 AI의 원동력인 동시에 AI를 통해서도 데이터 기반을 강화해야 함
Bespin’s Comment
Swami Sivasubramanian에 따르면 성공적인 AI 전략 및 비즈니스를 위해서는 그 기반이 되는 데이터가 가장 중요한 요소입니다. 데이터 단계에서부터 차별화된 경쟁력을 지니는 것이 중요하며, 효율적인 데이터 수집부터 저장, 분석 프로세스 구축이 필수라고 할 수 있습니다. 베스핀글로벌은 많은 데이터 프로젝트 경험과 전문 역량을 바탕으로 데이터에서 AI 비즈니스에 이르기까지 End-to-End 서비스를 제공합니다. 어느 단계에서든지 가장 적절한 솔루션을 지원하니, 데이터와 AI 비즈니스를 시작한다면 베스핀글로벌과 함께하세요.
본 발표에서 소개된 신규 기능을 살펴보면 AWS가 기존에 제공하던 서비스 곳곳에 생성형 AI 기능들이 업데이트된 것을 알 수 있습니다. 그리고 그 기능들은 전반적으로 작업의 효율성과 생산성을 높이고, 비용과 시간을 줄여주는 데 초점을 맞추고 있습니다. 베스핀글로벌은 AWS 프리미어 파트너이자 2023년에는 ‘올해의 글로벌 MSP 파트너상’을 수상하는 등 높은 AWS 클라우드 전문성을 지닌 MSP 기업입니다. 베스핀글로벌을 통해 AWS의 업데이트 된 기능들을 실제 업무에 제대로 활용하시어 비즈니스 성장을 이끄시길 바랍니다.
