2
세션 유형
Break out
세션명
Use data analytics to improve product quality & customer satisfaction
강연자
- Seshu Adunuthula – Senior Director, Head of Data Platform Coupang,
- Aldi Tjahjadi – Director, Data Intelligence Coupang
- Seth Markle – Senior Principal Engineer Amazon S3
세션요약자
임동호(Dongho Lim)
핵심내용 요약
- Building at Amazon
- Coupang data platform and architecture
- Wrap up
키워드
- SmartThings
- Hub Connectivity Platform
- Amazon MemoryDB (for Redis)
상세내용
S3
S3는 굉장히 광범위한 분야의 스토리지 서비스이다.
- 큰 규모에 스토리지(235+ 마이크로서비스, 1조개가 넘는 오브젝트등)
- 수만은 리퀘스트 경로
- 그만큼 중요한 퍼포먼스
지연시간 문제
- 데이터레이크 워크로드에서 지연시간이 굉장히 중요함
- 수많은 로그들이 생성되고 그 양도 어마어마함
레이턴시 발생 요인
- 홉(출발지와 목적지 사이에 위치한 경로, 경로가 복잡해지면 지연시간 늘어남)
- 스토리 미디어(읽기 시간, 스핀 지연)
- 컴퓨팅관련 처리시간(암호화, 가비지 콜렉트 등)
- 큐(모든 방면에 큐가 없는 곳은 없음 OS, CPU, RAM, APP 등)
S3의 성능 프로파일을 쉽게 3단계로 설명
- 페타바이트에 달하는 로그 데이터
- 마이크로서비스들의 로그에 의한 수조개의 리퀘스트에 대한 지연
- 유저가 보기 좋게 결과를 표시해주는 셀프서비스 툴
- 이 모든게 매시간마다
로그 처리를 위한 아키텍처를 다음과 같이 구성
다른 예로 하드디스크 드라이브
- 날이 갈수록 하드디스크 플레터는 점점 밀도가 높아진다
- 최근 HAMR(열보조 자기기록)같은 최신 기술도 나오고 있음
밀도는 계속 높아지지만 Access하는 속도가 그에 따라 올라가지 않아서 이것은 우리에 큰 도전이다.
IO를 늘리기 위해 Supply를 늘리고, 요청을 줄이고 잘 퍼뜨릴 필요가 있음 이를 위해 개선에 개선을 해나갈 예정
Coupang 의 Dataplatform 소개
쿠팡은 쿠팡뿐 아니라 쿠팡이츠 플레이등 다양한 사업을 한국에서 하는 회사
쿠팡 데이터 플렛폼은 다음과 같은 엄청난 규모의 작업들이 하루에 일어납니다.
쿠팡의 Experiment는 다음과 같은 라이프 사이클을 가짐
라이브 위젯에 관한 쿠팡 실험
리뷰란에 관한 실험
- 이러한 다양한 실험을 통해 실제 고객유치나 충성도에 큰 변화가 있었음
앞에서 본 것처럼 우리는 A/B 테스팅 방식을 사용
- 그룹을 둘로 나누어 두 방법 중 어떤게 더 나은지 확인 후 실제 적용
A/B 테스팅의 인프라구성도
WRAP UP
S3와 이커머스가 큰 연관은 없어보이지만 비슷한 부분이 있음
- 재개 가능성에 대한 플래닝
- 가능하다면 서버리스로
- 가끔 생각지도 못한곳에서 답을 찾음
Bespin’s Comment
쿠팡이 만든 A/B 테스트를 통해 어떻게 고객 경험을 향상 시키는지 데이터 분석을 가치있게 하는지에 관한 실제 구현된 좋은 케이스 였음.