세션명
From hype to impact: Building a generative AI architecture
(과대광고에서 영향력까지: 생성적 AI 아키텍처 구축)
강연자
- Francessca Vasquez(VP, PS, AWS), Ori Goshen(Co-Founder, AI21 Labs), Moises Nascimento(CTO, Itau Unibanco), Jens Kohl(Head of Offboard Architecture, BMW Group)
핵심 내용 요약
- GenAI Architecture
- 어떻게 GenAI를 기반으로 생산을 구축하고, 혁신을 제공하는 아키텍쳐를 준비하여 전환하는가?
- GenAI기반 아키텍쳐 설계시 5가지 부분을 고려해야함
- 전문지식없이 빠르게 적용가능해야 함
- 고객에게 많은 선택권을 제공해야 함
- 데이터가 차별화 요소를 제공할 수 있음
- 데이터에 대한 보안과 설명가능한 AI를 고려해야 함
- 가장 중요한 부분은 클라우드가 이러한 환경을 제공하는 방법이다!
세션 키워드
- GenAI
- Prompt (New UI)
- RAG(Retrieval Augmented Generation)
세션 요약자
베스핀글로벌 Presales실 최민준 님
Generative AI가 발전하게 된 Tipping Point
전통적인 ML은 Labeled Data기반으로 Silo된 ML모델을 개발하며, 이를 기반으로 특정 Task를 해결하는데 활용되었으나 Foundation Model은 Prompt를 통해서 하나의 모델로 다양한 Task를 수행
- 대량의 데이터
- 클라우드 인프라 환경
- ML의 발전
GenAI 핵심 설계 5가지 원칙
- 전문 지식없이 빠르고 쉽게 적용 가능
- 고객에게 선택권을 제공
- 보유한 데이터가 차별점을 제공
- 항상 보안과 설명 가능한 AI 고려 필요
- 클라우드 없이는 GenAI를 생각하기 어려움
Amazon Bedrock
다양한 고성능 기본 모델을 제공하는 완전 관리형 서비스
Amazon CodeWhisper
AI기반의 Code개발을 도움을 주는 도구
Amazon SageMaker JumpStart
SageMaker Studio, SDK, Console 및 서비스를 통해서 기계 학습 실무자에게 더 많은 제어, 더 많은 선택권 제공
AI21Labs
다양한 기초 모델을 제공
- AWS에서는 Amazon Bedrock과 CodeWhisper을 기반으로 쉽고 빠르게 FM을 모델을 활용한 GenAI를 구현할 수 있도록 도움을 줌
AI21labs
- 고객에 질의를 Jurassic모델을 기반으로 질의를 해석하고, 이를 구조화된 객체로 추출
- 이를 기반으로 세만틱 검색을 통해서 가장 관련성이 높은 정보를 식별하고, 이를 고객에게 상황별 답변을 제공하는 형식으로 업무 처리
- 이에 따라 설명 가능한 환경 제공
AI모델은 올바른 데이터 소스를 엑세스해야 함
- AWS는 다양한 데이터를 핸들링할 수 있는 도구를 제공할 뿐 아니라, 이를 쉽게 처리할 수 있는 환경 제공
- 이에 대한 End-to-End Governance을 위한 방안 제식
- Gen AI는 데이터를 통해서
- 자신의 모델을 가질 수 있게 하고
- 파인튜닝을 할 수 있으며
- 프라이빗한 컨텍츄얼 데이터를 가질 수 있게 도움을 줌
- RAG(RetrivaK Augmented Generation) : 기업의 정보를 기반으로 보다 정확하고 관련성이 높은 응답이 생성되도록 돕는 방법
- Vector DB를 구성하는 것이 중요
- 이를 위해서 AWS는 PostgreSQL과 OpenSearch기반으로 벡터 임베딩을 지원
Application 지원 또한 중요
- 전체적인 GenAI모델을 운영하기 위해서는 명령어 및 파운데이션 모델을 구성하고, 액션 수행, 관리 등의 수행을 위한 다양한 Application 개발 필요
- AWS는 안전하고 책임감 있는 개발을 촉진하기 위하여 Guardrails for Amazon Bedrock을 제공
Itau Unibanco
- 기구축된 클라우드 데이터 플랫폼을 기반으로 GenAI를 위한 환경 구성
- 아키텍쳐를 구성 시 전체 라이프 싸이클을 연결하는 프레임워크와 도구를 제공하는 Yarra MPS플랫폼 개발
- 여기에는 구성과 템플릿을 자동화하고 재활용할 수 있는 제어계층을 두었고, 빠르고 유연하게 데이터를 변환할 수 있도록 구축
- 이를 통해서 GenAI의 정확도를 높이고, 환각성을 제거하는 방식으로 수행할 수 있도록 구성
GenAI를 위해서는 안정성을 지원할 수 있는 강력한 인프라 필요
- AWS는 기존 인프라 환경 외 GenAI를 위한 고성능, 저비용의 Trainium과 Inferentia2와 같은 ChipSet을 제공
BMW Group
- GenAI기반으로 백엔드 Flywheel을 강화
- GenAI기반으로 작업에 통찰력을 확보하고, 수행할 작업을 식별하고 계정을 최적화하는 것을 자동화에 적용
Bespin’s Comment
- AWS에는 다양한 GenAI기반 Architecture를 구성하는 솔루션 및 서비스를 제공하고 있습니다.
- 대표적인 서비스가 Amazon BedRock과 SageMaker JumpStart입니다.
- 최근 RAG 기반 환경을 구성하기 위한 벡터 DB 구성에도 AWS RDS For PostgreSQL과 Open Search가 활용되고 많이 활용되고 있습니다.
- 그 밖에도 데이터 관리 및 Application 개발을 위한 다양한 서비스 군을 포함하고 있습니다.