AWS VPC S3 endpoint gateway vs interface 차이

1. AWS VPC endpoint 란? VPC 엔드포인트를 통해 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결이 필요 없이 Virtual Private Cloud(VPC)와 지원 서비스 간에 연결을 설정할 수 있습니다. 따라서 VPC에서 연결할 수 있는 특정 API 엔드포인트, 사이트 및 서비스를 제어합니다. 2. S3 에서 지원 가능한 VPC endpoint 유형 Gateway endpoint 와 Interface … Read more

Gitlab Architecture

이 글은 Gitlab 공식 사이트의 글을 번역/편집 하여 작성 하였습니다. 참고자료: https://docs.gitlab.com/ee/administration/reference_architectures/ Gitlab Architecture 는 단일 서버에 GitLab을 설정하거나 사용자의 수가 증가 함에 따라 많은 사용자에게 서비스를 제공하도록 확장 할 수 있습니다. GitLab 품질 및 지원 팀에서 구축 및 검증한 권장한 Architecture에 대해 알아 보겠습니다. 사용자가 2,000명 미만인 GitLab 인스턴스의 경우 단일 노드에 GitLab을 설치 … Read more

MSA 장애 예방을 위해 #2

2부 에서는 간단한 Spring Code 를 통해 Circuit Breaker 사용 방법을 알아 보겠습니다. 1. Test Source Code 1.1 main application @EnableCircuitBreaker Circuit breaker 사용을 위하여 EnableCircuitBreaker Annotation 추가합니다. @EnableHystrixDashboard HystrixDashboard 사용을 위하여 @EnableHystrixDashboard Annotation 추가합니다. 1.2. Service Circuit breaker 적용하기 위해서 실 서비스 메서드 위에   @HystrixCommand(fallbackMethod = “getFallback”) Annotation 정의하고, Service 장애 시 호출한 fallback … Read more

MSA 장애 예방을 위해 #1

MSA (Micro Service Architecture) 의 문제점 MSA를 운영 하다 보니 어느 한 서버의 장애가 전체 장애로 확산이 되어 더 큰 문제가 되는 경우를 많이 경험할 수 있습니다. 이를 해결하기 위해 각 마이크로 서비스 간 전파 차단기 역할을 하는 Circuit Breaker에 대해 알아보고자 합니다. Circuit Breaker 의 역할 마이크로 서비스 사이에서 서비스의 상태를 확인 하여 정상일 … Read more

Apache Kafka vs Amazon Kinesis Data Stream #5

무엇을 선택 해야 할까? AWS 서비스를 이용 하면서 대기열 매세지 처리를 위해 어떤 서비스를 사용 하는 것이 효율적인지 고민 할 때가 있습니다. 그래서 요즘 Architecture에 가장 많이 사용 되고 있는 Apache kafka 와 Amazon Kinesis 를 비교 해보았습니다. Kafka 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 ​​및 미션 크리티컬 애플리케이션을 위해 수천 개의 회사에서 사용하는 … Read more

Amazon MSK #4 모니터링

이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 4부 에서는 MSK 안정 적인 서비스를 위한 모니터링 방법에 대해 알아 보겠습니다. MSK 모니터링 Amazon MSK 는 기본적으로 Apache Kafka 지표를 수집하고 이를 CloudWatch 로 보내주어 모니터링 할 … Read more

Amazon MSK #3 Connect & Worker

이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 3부 에서는 Amazon MSK 의 기능인 Connect 와 Worker 에 대해 알아 보겠습니다. MSK 커넥트란 무엇입니까? MSK Connect는 개발자가 Apache Kafka Cluster로 데이터를 쉽게 스트리밍 할 수 있도록 … Read more

Amazon MSK #2 구성

이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 2부 에서는 MSK 와 MSK Serverless 의 구성에 대해 알아 보겠습니다. MSK Cluster MSK Cluster 는 EC2 기반의 Broker Node를 생성합니다. 그래서 VPC 내에 존재 해야 하고, 생성 … Read more

Amazon MSK #1

이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka Amazon MSK 란? Amazon Managed Streaming for Apache Kafka (Amazon MSK) 는 Apache Kafka 클러스터 생성, 업데이트 등 구성 및 관리를 제공하는 완전 관리 형 서비스 입니다. 사용 … Read more

VPC Flow Logs를 사용하여 네트워크 트래픽 분석하기

AWS 클라우드 시스템을 운영하다 보면 여러 케이스에 다양한 이슈들을 맞이하게 되는데, 특히 간헐적으로 발생하는 네트워크 이슈가 발생 했을 때 로그에는 별 다른 내용이 없어 원인을 알 수 없는 경우가 종종 있습니다. 실시간으로 네트워크 이슈 발생 시 네트워크 트래픽을 수집하는 방법이 가장 좋은 방법이지만 tcpdump를 실행할 수 없는 리소스이거나 실시간으로 tcpdump를 수집하기에 현실적으로 쉽지 않습니다. 그런 경우 … Read more