2
세션 유형
Keynotes
세션명
Monday Night Live with Peter DeSantis
강연자
AWS Utility Computing의 수석 부사장 Peter DeSantis
세션요약자
박종훈(Jonghun Park)
핵심내용 요약
- AWS가 클라우드 성능의 한계를 지속적으로 확장
- AWS 팀이 성능, 비용, 보안 관련된 기존의 트레이드오프를 희생하지 않고 컴퓨팅 전반에 걸쳐 새로운 솔루션을 제시
키워드
- EC2 신규 타입 (전용 칩셋) 출시: C7gn, HPC7G
- EBS 성능 개선: SRD 토폴로지 적용
- ENA 성능 개선: ENA Express
- EC2 신규타입 (머신 러닝) 출시: Trn1n
- Lambda 성능 개선: AWS Lambda Snapstart
상세내용
AWS는 성능을 향상시키기 위해서 비용, 보안을 희생하지 않고 고성능, 저비용, 보안 안정성을 함께 고려하여 성능을 높입니다.
성능을 높이기 위해서는 하이퍼바이저와 HW를 함께 업그레이드 해야합니다
- AWS Nitro : AWS가 사용하는 하이퍼바이저 인데 네트워킹, 스토리지, 관리, 보안, 모니터링은 HW장비에 Nitro controller가 컨트롤 할수 있게 역할을 분리하여 성능을 높이고 있음
- AWS Silicons : AWS가 자체적으로 맞춤형 칩셋을 만들고 있음, ARM기반의 Gravition, 모델훈련을 위해서 Trainium, 모델 추론을 위한 Inferentia를 만듬
신규타입 출시 : C7gn, HPC7
- C7gn 인스턴스 : AWS Graviton3E 프로세서와 최신 세대의 Nitro 카드, 네트워크 집약적 워크로드인 데이터 분석, CPU 기반 인공 지능, AI/ML 등에 강점
- 200Gbps 네트워크 대역폭, 기존 Graviton 기반 EC2 인스턴스보다 최대 50% 더 높은 패킷 처리
- HPC7g 인스턴스 : 기존 Graviton에서 25%이상 성능향상이된 Gravition3E로 구동,
이미지!!
- 네트워크 성능 개선(SRD 토폴로지): 네트워크 부하가 특정 장비에 집중되는 것을 방지하기 위해 SRD 토폴로지 기반으로 병렬적으로 멀티패스를 제공하는 네트워크 환경을 구성
이미지!!
- SRD 토폴로지를 기반으로 EBS 성능은 쓰기 지연 속도 90% 개선, Throughput 4배 이상 개선을 확인하였으며, SRD 기반 io2를 내년부터는 전체 적용하는 방향으로 진행 > 비용 대비 성능 개선 기대
이미지!!
- 네트워크 성능 개선 (네트워크 카드, ENA): 네트워크 카드에 SRD 토폴로지 적용(ENA Express) > 5배 성능 개선
- ElastiCache에 ENA Express 적용 시 44% 성능 개선
- SRD는 고성능 컴퓨팅 (EFA), 스토리지 (EBS), 네트워킹 (ENA) 등 AWS 전반에 적용
이미지!!
- 머신러닝 : 모델 훈련 – 모델 추론 과정 중 모델 훈련에서 고려되어야 하는 컴퓨팅, 메모리, 병렬처리 등의 효율적 처리를 위한 칩셋 / 알고리즘이 필요
이미지!!
- 연산 방식 (Stochastic Rounding) + 코어간 데이터 전달 방식 (Ring of Rings) 적용을 통해 기존 대비 큰 폭의 성능을 기대할 수 있음
- 이런 특성들을 적용한 신규 EC2 인스턴스 타입 출시 예정 > Trn1n (Trn1 대비 네트워크 성능 향상, 1,600Gbps)
이미지!!
- 람다 서버리스 서비스는 다수의 T2 인스턴스 + Firecracker (런타임 구동을 위한 경량 VM) 를 바탕으로 명령어 처리 (Capacity pool)
- Cold start 시 경량 VM 구동을 위한 시간 필요한 이슈가 있었음.
이미지!!
- Cold start 이슈를 해결하기 위한 Lambda SnapStart 출시 (Lambda 내 옵션메뉴로 제공)
- 런타임 구동을 위한 초기화 시간을 줄임 (10배 이상 빠름, 별도 비용 없음)
Bespin’s Comment
- AWS 제공 서비스들의 퍼포먼스 향상을 위해 지속적인 개선 사항들이 적용되고 있음
- 개선은 기본적인 하드웨어, 소프트웨어, 네트워크는 물론 사이언스의 관점에서도 병렬적으로 이뤄지고 있음
- 신규 출시된 EC2 타입의 적용을 통해 별도의 비용 추가 없이 성능을 개선할 수 있거나, 필요한 성능을 보다 저렴하게 사용할 수 있을지에 대한 고객사의 검토가 필요 (with 베스핀글로벌)