[2023 AWS re:Invent] From hype to impact: Building a generative AI architecture

세션명

From hype to impact: Building a generative AI architecture
(과대광고에서 영향력까지: 생성적 AI 아키텍처 구축)

강연자
  • Francessca Vasquez(VP, PS, AWS), Ori Goshen(Co-Founder, AI21 Labs), Moises Nascimento(CTO, Itau Unibanco), Jens Kohl(Head of Offboard Architecture, BMW Group)
핵심 내용 요약
  • GenAI Architecture
  • 어떻게 GenAI를 기반으로 생산을 구축하고, 혁신을 제공하는 아키텍쳐를 준비하여 전환하는가?
  • GenAI기반 아키텍쳐 설계시 5가지 부분을 고려해야함
    • 전문지식없이 빠르게 적용가능해야 함
    • 고객에게 많은 선택권을 제공해야 함
    • 데이터가 차별화 요소를 제공할 수 있음
    • 데이터에 대한 보안과 설명가능한 AI를 고려해야 함
    • 가장 중요한 부분은 클라우드가 이러한 환경을 제공하는 방법이다!
세션 키워드
  1. GenAI
  2. Prompt (New UI)
  3. RAG(Retrieval Augmented Generation)
세션 요약자

베스핀글로벌 Presales실 최민준 님

Generative AI가 발전하게 된 Tipping Point

전통적인 ML은 Labeled Data기반으로 Silo된 ML모델을 개발하며, 이를 기반으로 특정 Task를 해결하는데 활용되었으나 Foundation Model은 Prompt를 통해서 하나의 모델로 다양한 Task를 수행

  • 대량의 데이터
  • 클라우드 인프라 환경
  • ML의 발전

GenAI 핵심 설계 5가지 원칙

  1. 전문 지식없이 빠르고 쉽게 적용 가능
  2. 고객에게 선택권을 제공
  3. 보유한 데이터가 차별점을 제공
  4. 항상 보안과 설명 가능한 AI 고려 필요
  5. 클라우드 없이는 GenAI를 생각하기 어려움

Amazon Bedrock

다양한 고성능 기본 모델을 제공하는 완전 관리형 서비스

Amazon CodeWhisper

AI기반의 Code개발을 도움을 주는 도구

Amazon SageMaker JumpStart

SageMaker Studio, SDK, Console 및 서비스를 통해서 기계 학습 실무자에게 더 많은 제어, 더 많은 선택권 제공

AI21Labs

다양한 기초 모델을 제공

  • AWS에서는 Amazon Bedrock과 CodeWhisper을 기반으로 쉽고 빠르게 FM을 모델을 활용한 GenAI를 구현할 수 있도록 도움을 줌
AI21labs

  • 고객에 질의를 Jurassic모델을 기반으로 질의를 해석하고, 이를 구조화된 객체로 추출
  • 이를 기반으로 세만틱 검색을 통해서 가장 관련성이 높은 정보를 식별하고, 이를 고객에게 상황별 답변을 제공하는 형식으로 업무 처리
  • 이에 따라 설명 가능한 환경 제공

AI모델은 올바른 데이터 소스를 엑세스해야 함

  • AWS는 다양한 데이터를 핸들링할 수 있는 도구를 제공할 뿐 아니라, 이를 쉽게 처리할 수 있는 환경 제공
  • 이에 대한 End-to-End Governance을 위한 방안 제식
  • Gen AI는 데이터를 통해서
    • 자신의 모델을 가질 수 있게 하고
    • 파인튜닝을 할 수 있으며
    • 프라이빗한 컨텍츄얼 데이터를 가질 수 있게 도움을 줌

  • RAG(RetrivaK Augmented Generation) : 기업의 정보를 기반으로 보다 정확하고 관련성이 높은 응답이 생성되도록 돕는 방법
  • Vector DB를 구성하는 것이 중요
  • 이를 위해서 AWS는 PostgreSQL과 OpenSearch기반으로 벡터 임베딩을 지원

Application 지원 또한 중요

  • 전체적인 GenAI모델을 운영하기 위해서는 명령어 및 파운데이션 모델을 구성하고, 액션 수행, 관리 등의 수행을 위한 다양한 Application 개발 필요
  • AWS는 안전하고 책임감 있는 개발을 촉진하기 위하여 Guardrails for Amazon Bedrock을 제공
Itau Unibanco

  • 기구축된 클라우드 데이터 플랫폼을 기반으로 GenAI를 위한 환경 구성
  • 아키텍쳐를 구성 시 전체 라이프 싸이클을 연결하는 프레임워크와 도구를 제공하는 Yarra MPS플랫폼 개발
  • 여기에는 구성과 템플릿을 자동화하고 재활용할 수 있는 제어계층을 두었고, 빠르고 유연하게 데이터를 변환할 수 있도록 구축
  • 이를 통해서 GenAI의 정확도를 높이고, 환각성을 제거하는 방식으로 수행할 수 있도록 구성

GenAI를 위해서는 안정성을 지원할 수 있는 강력한 인프라 필요

  • AWS는 기존 인프라 환경 외 GenAI를 위한 고성능, 저비용의 Trainium과 Inferentia2와 같은 ChipSet을 제공
BMW Group
  • GenAI기반으로 백엔드 Flywheel을 강화
  • GenAI기반으로 작업에 통찰력을 확보하고, 수행할 작업을 식별하고 계정을 최적화하는 것을 자동화에 적용

Bespin’s Comment

  1. AWS에는 다양한 GenAI기반 Architecture를 구성하는 솔루션 및 서비스를 제공하고 있습니다.
  2. 대표적인 서비스가 Amazon BedRock과 SageMaker JumpStart입니다.
  3. 최근 RAG 기반 환경을 구성하기 위한 벡터 DB 구성에도 AWS RDS For PostgreSQL과 Open Search가 활용되고 많이 활용되고 있습니다.
  4. 그 밖에도 데이터 관리 및 Application 개발을 위한 다양한 서비스 군을 포함하고 있습니다.