세션명
Keynote with Dr. Werner Vogels
강연자
- Werner Vogels
핵심 내용 요약
- 비용을 염두에 둔 아키텍처의 중요성
- 기술적 결정과 비즈니스 목표의 조화
- 기술의 사회적 책임과 긍정적 영향
세션 키워드
- 비용 효율성
- 지속 가능성
- 기술 혁신
- 협업
- 비즈니스 목표
세션 요약자
베스핀글로벌 마케팅 콘텐츠팀 어예나 님
Amazon.com의 부사장 겸 CTO인 Werner Vogels 박사가 열두 번째 re:Invent에 참여합니다.
그는 기조연설에서 탄력적이고 비용 효율적인 아키텍처를 설계하기 위한 모범 사례를 다룹니다.
또한 모든 빌더가 시스템을 개발할 때 인공지능을 고려해야 하는 이유와 인공지능이 우리 세상에 미칠 영향에 대해서도 논의합니다.
- PBS 사례
- 다양한 AWS 서비스를 이용하여 시스템을 재구성, 스트리밍 비용을 80% 절감.
- 클라우드로의 이전은 물론, 비용을 염두에 두고 클라우드를 설계했기 때문에 비용을 절감하면서도 아무 문제 없이 진행되었음.
비용은 지속 가능성에 대한 근사치이며, 기술 사회와 기술자가 시스템을 최대한 지속 가능하게 만드는 데 주요한 역할을 해야 함.
- WeTransfer 사례
- 서버 시스템을 재설계, 추적 및 측정한 후 배출량이 78% 감소. 탄소배출량을 줄이면서도 혁신을 계속할 수 있었음.
- 월 8천만 명에게 서비스를 제공하면서도 탄소 배출량을 추적하고 측정할 수 있도록 아키텍처를 설계함.
Frugal Architect (검소한 설계자)
- 자원을 사용하는 방식에 있어 검소함을 추구할 뿐만 아니라 가능한 한 지속가능해야 하며, 이것이 어려운 규칙이 아니라는 것을 생각해야 한다
- 비용 = 비기능적 요구사항
- 시스템이나 소프트웨어를 설계할 때, 보안, 규정 준수, 성능, 가용성 등과 같이 비용과 지속 가능성 역시 핵심 고려사항으로 삼아야 함.
개발하고 운영하는 데 들어가는 비용을 초기 설계 단계부터 고려하여, 장기적으로 비용 효율적이고 지속 가능한 솔루션을 만들어야 한다는 의미.
- 시스템이나 소프트웨어를 설계할 때, 보안, 규정 준수, 성능, 가용성 등과 같이 비용과 지속 가능성 역시 핵심 고려사항으로 삼아야 함.
- 기술을 위한 기술을 구축하는 것이 아닌, 비즈니스를 지원하기 위한 기술을 구축해야 함
- 수익이 허용하는 한 규모의 경제를 달성하기 위해 비즈니스 모델의 수익 수단에 맞춰 시스템을 설계해야 함.
기술 조직은 비즈니스 파트너와 긴밀히 협력해야 함. 어떻게 수익을 창출할 것인지 질문하고, 그 수익을 따라갈 수 있는 아키텍처를 구축해야 함. 수익성 없는 성장은 가치를 잠식함.
- 수익이 허용하는 한 규모의 경제를 달성하기 위해 비즈니스 모델의 수익 수단에 맞춰 시스템을 설계해야 함.
- 시스템 설계는 항상 Trade-off의 연속이다
- 비용, 보안, 안정성 등의 비기능적 요구사항과 시스템이 수행해야 할 구체적인 기능 간에 지속적인 균형을 찾는 과정이라는 뜻.
기술적 결정이 비즈니스 목표와 어떻게 조화를 이루어야 하는지에 대해 강조. 비즈니스 요구사항에 맞는 리소스에 투자하는 것이 중요.
- 비용, 보안, 안정성 등의 비기능적 요구사항과 시스템이 수행해야 할 구체적인 기능 간에 지속적인 균형을 찾는 과정이라는 뜻.
- 관찰되지 않는 시스템은 알려지지 않은 비용으로 연결된다
- 시스템이 제대로 관찰되고 모니터링되지 않으면, 그 운영 비용이 얼마나 될지 알 수 없음.
아마존닷컴 같은 MSA 환경에서는 각 마이크로서비스의 비용을 추적하고, 이를 통해 전체 시스템의 비용을 이해하는 것이 중요하다고 설명. 비용 관리는 단순히 예산을 줄이는 것 이상의 중요성을 가짐. 모니터링 시스템을 위해서는 투자가 필요하지만 이를 통해 조직은 낭비를 찾아내고 작업 흐름을 간소화, 우선 순위에 따라 리소스 할당이 가능.
- 시스템이 제대로 관찰되고 모니터링되지 않으면, 그 운영 비용이 얼마나 될지 알 수 없음.
- 비용 인식 아키텍처를 통해 비용 관리를 구현해야 한다
- 강력한 모니터링을 통해 개선 기회를 식별한 영역에서 조치를 취할 수 있음.
세분화된 관리를 통해 비용과 사용자 경험 모두를 최적화할 수 있음. 성능 비용이나 다른 지표 중 하나가 범위를 벗어나고 있다고 가정하면 구성 요소를 조정할 수 있어야 하고 이는 비즈니스와 기술 조직이 함께 결정해야 함.
- 강력한 모니터링을 통해 개선 기회를 식별한 영역에서 조치를 취할 수 있음.
- 비용 최적화는 점진적으로 이루어진다
- 지속적인 작은 개선을 통해 시스템 전반의 비용을 절감할 수 있으며 이것이 점점 더 중요해지고 있음.
디지털 폐기물(waste)을 최적화하고 불필요한 자원을 줄이는 것은 비용 절감으로 이어질 수 있음.
작은 인스턴스로 이동하거나, 다른 서비스로 전환하여 비용을 절감할 수 있으며 시스템 성능 분석과 비용 파악을 위해 프로파일링이 매우 중요함.
- 지속적인 작은 개선을 통해 시스템 전반의 비용을 절감할 수 있으며 이것이 점점 더 중요해지고 있음.
- 도전하지 않은 성공은 가정(Assumptions)을 낳는다
- 가장 위험한 말은 “우리는 항상 이런 식으로 해왔다”임.
애플리케이션을 구축하는 방식, 플랫폼, 사용하는 프로그래밍 언어가 올바른지 여부를 지속적으로 검토해야 함.
이 과정 없이는 시스템과 전략이 구식이나 비효율적이 될 수 있으며 이는 예상치 못한 비용과 기회 손실로 이루어질 수 있음.
- 가장 위험한 말은 “우리는 항상 이런 식으로 해왔다”임.
NuBank 사례
- 9천만 명의 고객을 보유한 NuBank는 현재 브라질에서 네 번째로 큰 금융기관이자 라틴 아메리카에서 다섯 번째로 큰 금융기관.
- 10년이 채 안 되는 기간 동안 40개 이상의 서로 다른 AWS 서비스로 구성된 기술 환경과 1,000개가 넘는 마이크로 서비스를 기반으로 성장에 집중.
- 새로운 송금 방식인 ‘Pix’ 프로토콜을 통해 Nubank는 급성장, 10초 내에 거래를 완료하는 시스템을 개발하여 출시와 동시에 큰 성공. 거래량이 증가하면서 부하 역시 급증했고 불안정해졌으나 비용과 안정성 모두를 선택, 시스템 비용을 안정화하면 비용 역시 안정화될 것이라는 가설을 수립. 안정적인 옵션이 결국 순 비용 절감으로 이어짐.
- 중요한 결정을 내리고 상황에 맞는 적절한 절충안을 마련하기 위해 Nubank의 리더는 제품과 인프라에 대한 기본적인 기술적 이해가 있어야 하며 이 문화는 기업 전체에 공유되었음.
- 35%라는 생산성을 달성함으로써 동종 업계 중 가장 효율적인 기업으로 자리잡았으며 2022년에만 9천만 명의 고객이 80억 달러의 비용을 절감함.
- Amazon CloudWatch Application Signal – 하나의 대시보드에서 EKS 애플리케이션과 관련된 모든 메트릭을 즉시 확인. 수동 원격 측정 통합이 필요하지 않으며 요청 볼륨, 가용성 및 대기 시간과 같은 주요 애플리케이션 측정 항목에 대해 사전 구축된 대시보드를 제공. 중요한 작업에 대한 서비스 수준 목표(SLO) 설정을 단순화하고 다양한 모니터링 방법에 걸쳐 원격 분석을 상호 연관시켜 문제 해결을 향상.
상징적 AI에서 구체적인 AI로의 전환으로, AI의 알고리즘과 하드웨어의 발전
- AI는 새로운 LLM 창조를 혁신하였으나 새로운 AI가 기존의 AI를 무효화하지 않음. 모든 것을 LLM으로 수행할 필요는 없으며, 기존의 AI는 새로운 AI 기술을 보완함.
- 실제로 새로운 AI와 기존의 AI를 결합하여 어려운 문제를 해결하고 있음(AI for good).
- IRRI(International Rice Research Institute) 사례 – 사회 빈곤과 기아 문제 해결을 위해 머신 러닝과 비전을 활용, 종자 은행 과정을 자동화하고 생산성을 30~40% 향상.
- Cergenx 사례 – 신생아의 뇌손상을 AI를 통해 신속히 식별, 질병 여부를 확인.
- Precision AI 사례 – 화학 물질의 남용을 줄이고자 드론을 이용, 개별 잡초에만 화학 물질을 배포.
- Digital Earth Africa 사례 – AI와 개방형 위성 데이터를 활용하여 아프리카의 환경 문제를 모니터링.
THORN 사례
- 2022년에 온라인 플랫폼을 통해 신고된 아동의 성 학대 의심 파일이 8,800만 건에 달함. 이를 1초에 하나씩 검수해도 3년이 소요됨.
- 아동이 실제 상황에서 학대당하는 것으로 보이는 이미지와 동영상을 머신 러닝을 통해 탐지.
THORN의 Safer는 아동 성 학대 자료를 탐지, 검토, 신고할 수 있는 올인원 툴. 280만 건 이상의 잠재적 아동 성 학대 파일을 발견.
생성형 AI
- Dr. Werner Vogels는 CT 스캔에서 뇌출혈을 감지하는 머신러닝 모델을 구축하기로 결정, 데이터 및 이미지에 액세스하여 모델을 훈련시켰고 성공적인 결과를 얻음. 이러한 모델을 구축하는 것이 종종 인식되는 것만큼은 어렵지 않음을 강조.
- Generative AI CDK constructs: 예측 가능하고 반복 가능한 인프라를 생성하기 위해 코드에서 솔루션을 빠르게 정의하기 위한 다중 서비스, 잘 설계된 패턴을 제공. 개발자가 아키텍처에 대한 패턴 기반 정의를 사용하여 생성형 AI 솔루션을 구축하도록 지원.
- Amazon SageMaker Studio Code Editor: 널리 사용되는 경량 IDE를 사용하여 분석 및 기계 학습 코드를 작성, 테스트, 디버그 및 실행할 수 있도록 Amazon SageMaker Studio를 확장.
Bespin’s Comment
기술적 관점을 넘어 기술이 사회에 미치는 영향력을 모색하는 동시에, 실제 사례를 통해 기술의 구체적인 적용 사례를 다루었습니다.
특히 ‘검소한 설계자(Frugal Architect)’ 개념을 통해 비용 효율성과 지속 가능성을 강조하였습니다.
이는 기술 설계와 구현에 있어서 중요한 원칙을 제시하며, 클라우드 기반 솔루션의 잠재력을 극대화하는 방법을 제시합니다.