[2022 AWS re:Invent] Monday Night Live with Peter DeSantis

by
세션 유형

Keynotes

세션명

Monday Night Live with Peter DeSantis

강연자

AWS Utility Computing의 수석 부사장 Peter DeSantis

세션요약자

박종훈(Jonghun Park)

핵심내용 요약
  • AWS가 클라우드 성능의 한계를 지속적으로 확장
  • AWS 팀이 성능, 비용, 보안 관련된 기존의 트레이드오프를 희생하지 않고 컴퓨팅 전반에 걸쳐 새로운 솔루션을 제시
키워드
  1. EC2 신규 타입 (전용 칩셋) 출시: C7gn, HPC7G
  2. EBS 성능 개선: SRD 토폴로지 적용
  3. ENA 성능 개선: ENA Express
  4. EC2 신규타입 (머신 러닝) 출시: Trn1n
  5. Lambda 성능 개선: AWS Lambda Snapstart
상세내용

AWS는 성능을 향상시키기 위해서 비용, 보안을 희생하지 않고 고성능, 저비용, 보안 안정성을 함께 고려하여 성능을 높입니다.

성능을 높이기 위해서는 하이퍼바이저와 HW를 함께 업그레이드 해야합니다

  • AWS Nitro : AWS가 사용하는 하이퍼바이저 인데 네트워킹, 스토리지, 관리, 보안, 모니터링은 HW장비에 Nitro controller가 컨트롤 할수 있게 역할을 분리하여 성능을 높이고 있음
  • AWS Silicons : AWS가 자체적으로 맞춤형 칩셋을 만들고 있음, ARM기반의 Gravition, 모델훈련을 위해서 Trainium, 모델 추론을 위한 Inferentia를 만듬

신규타입 출시 : C7gn, HPC7

  • C7gn 인스턴스 :  AWS Graviton3E 프로세서와 최신 세대의 Nitro 카드, 네트워크 집약적 워크로드인 데이터 분석,  CPU 기반 인공 지능, AI/ML 등에 강점
  • 200Gbps 네트워크 대역폭, 기존 Graviton 기반 EC2 인스턴스보다 최대 50% 더 높은 패킷 처리

  • HPC7g 인스턴스 : 기존 Graviton에서 25%이상 성능향상이된 Gravition3E로 구동, 

이미지!!

  • 네트워크 성능 개선(SRD 토폴로지): 네트워크 부하가 특정 장비에 집중되는 것을 방지하기 위해 SRD 토폴로지 기반으로 병렬적으로 멀티패스를 제공하는 네트워크 환경을 구성

이미지!!

  • SRD 토폴로지를 기반으로 EBS 성능은 쓰기 지연 속도 90% 개선, Throughput 4배 이상 개선을 확인하였으며, SRD 기반 io2를 내년부터는 전체 적용하는 방향으로 진행 > 비용 대비 성능 개선 기대

이미지!!

  • 네트워크 성능 개선 (네트워크 카드, ENA): 네트워크 카드에 SRD 토폴로지 적용(ENA Express) > 5배 성능 개선
  • ElastiCache에 ENA Express 적용 시 44% 성능 개선
  • SRD는 고성능 컴퓨팅 (EFA), 스토리지 (EBS), 네트워킹 (ENA) 등 AWS 전반에 적용

이미지!!

  • 머신러닝 : 모델 훈련 – 모델 추론 과정 중 모델 훈련에서 고려되어야 하는 컴퓨팅, 메모리, 병렬처리 등의 효율적 처리를 위한 칩셋 / 알고리즘이 필요

이미지!!

  • 연산 방식 (Stochastic Rounding) + 코어간 데이터 전달 방식 (Ring of Rings) 적용을 통해 기존 대비 큰 폭의 성능을 기대할 수 있음
  • 이런 특성들을 적용한 신규 EC2 인스턴스 타입 출시 예정 > Trn1n (Trn1 대비 네트워크 성능 향상, 1,600Gbps)

이미지!!

  • 람다 서버리스 서비스는 다수의 T2 인스턴스 + Firecracker (런타임 구동을 위한 경량 VM) 를 바탕으로 명령어 처리 (Capacity pool)
  • Cold start 시 경량 VM 구동을 위한 시간 필요한 이슈가 있었음.

이미지!!

  • Cold start 이슈를 해결하기 위한 Lambda SnapStart 출시 (Lambda 내 옵션메뉴로 제공)
  • 런타임 구동을 위한 초기화 시간을 줄임 (10배 이상 빠름, 별도 비용 없음)
Bespin’s Comment
  • AWS 제공 서비스들의 퍼포먼스 향상을 위해 지속적인 개선 사항들이 적용되고 있음
  • 개선은 기본적인 하드웨어, 소프트웨어, 네트워크는 물론 사이언스의 관점에서도 병렬적으로 이뤄지고 있음
  • 신규 출시된 EC2 타입의 적용을 통해 별도의 비용 추가 없이 성능을 개선할 수 있거나, 필요한 성능을 보다 저렴하게 사용할 수 있을지에 대한 고객사의 검토가 필요 (with 베스핀글로벌)

Leave a Comment