1. AWS VPC endpoint 란? VPC 엔드포인트를 통해 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결이 필요 없이 Virtual Private Cloud(VPC)와 지원 서비스 간에 연결을 설정할 수 있습니다. 따라서 VPC에서 연결할 수 있는 특정 API 엔드포인트, 사이트 및 서비스를 제어합니다. 2. S3 에서 지원 가능한 VPC endpoint 유형 Gateway endpoint 와 Interface endpoint 라는 두 가지 유형의 […]
AWS VPC S3 endpoint gateway vs interface 차이
Gitlab Architecture
이 글은 Gitlab 공식 사이트의 글을 번역/편집 하여 작성 하였습니다. 참고자료: https://docs.gitlab.com/ee/administration/reference_architectures/ Gitlab Architecture 는 단일 서버에 GitLab을 설정하거나 사용자의 수가 증가 함에 따라 많은 사용자에게 서비스를 제공하도록 확장 할 수 있습니다. GitLab 품질 및 지원 팀에서 구축 및 검증한 권장한 Architecture에 대해 알아 보겠습니다. 사용자가 2,000명 미만인 GitLab 인스턴스의 경우 단일 노드에 GitLab을 설치 하여 기본 설정을 사용하여 유지 […]
MSA 장애 예방을 위해 #2
2부 에서는 간단한 Spring Code 를 통해 Circuit Breaker 사용 방법을 알아 보겠습니다. 1. Test Source Code 1.1 main application @EnableCircuitBreaker Circuit breaker 사용을 위하여 EnableCircuitBreaker Annotation 추가합니다. @EnableHystrixDashboard HystrixDashboard 사용을 위하여 @EnableHystrixDashboard Annotation 추가합니다. 1.2. Service Circuit breaker 적용하기 위해서 실 서비스 메서드 위에 @HystrixCommand(fallbackMethod = “getFallback”) Annotation 정의하고, Service 장애 시 호출한 fallback 메서드는 getFallback 메서드로 지정합니다. 앞서 […]
MSA 장애 예방을 위해 #1
MSA (Micro Service Architecture) 의 문제점 MSA를 운영 하다 보니 어느 한 서버의 장애가 전체 장애로 확산이 되어 더 큰 문제가 되는 경우를 많이 경험할 수 있습니다. 이를 해결하기 위해 각 마이크로 서비스 간 전파 차단기 역할을 하는 Circuit Breaker에 대해 알아보고자 합니다. Circuit Breaker 의 역할 마이크로 서비스 사이에서 서비스의 상태를 확인 하여 정상일 때 API를 전달하고, 정상이 아님을 […]
Apache Kafka vs Amazon Kinesis Data Stream #5
무엇을 선택 해야 할까? AWS 서비스를 이용 하면서 대기열 매세지 처리를 위해 어떤 서비스를 사용 하는 것이 효율적인지 고민 할 때가 있습니다. 그래서 요즘 Architecture에 가장 많이 사용 되고 있는 Apache kafka 와 Amazon Kinesis 를 비교 해보았습니다. Kafka 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 수천 개의 회사에서 사용하는 오픈 소스 분산 이벤트 스트리밍 […]
Amazon MSK #4 모니터링
이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 4부 에서는 MSK 안정 적인 서비스를 위한 모니터링 방법에 대해 알아 보겠습니다. MSK 모니터링 Amazon MSK 는 기본적으로 Apache Kafka 지표를 수집하고 이를 CloudWatch 로 보내주어 모니터링 할 수 있습니다. 그리고 오픈 소스인 […]
Amazon MSK #3 Connect & Worker
이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 3부 에서는 Amazon MSK 의 기능인 Connect 와 Worker 에 대해 알아 보겠습니다. MSK 커넥트란 무엇입니까? MSK Connect는 개발자가 Apache Kafka Cluster로 데이터를 쉽게 스트리밍 할 수 있도록 해주는 Amazon MSK의 기능입니다. MSK […]
Amazon MSK #2 구성
이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka 2부 에서는 MSK 와 MSK Serverless 의 구성에 대해 알아 보겠습니다. MSK Cluster MSK Cluster 는 EC2 기반의 Broker Node를 생성합니다. 그래서 VPC 내에 존재 해야 하고, 생성 시 Subnet을 설정 해야 합니다. […]
Amazon MSK #1
이번 글은 Amazon 공식 사이트에서 MSK 개발자 가이드 문서를 번역/편집하여 작성 하였습니다.참고자료 : Welcome to the Amazon MSK Developer Guide – Amazon Managed Streaming for Apache Kafka Amazon MSK 란? Amazon Managed Streaming for Apache Kafka (Amazon MSK) 는 Apache Kafka 클러스터 생성, 업데이트 등 구성 및 관리를 제공하는 완전 관리 형 서비스 입니다. 사용 중인 Apache Kafka 의 기존 […]
VPC Flow Logs를 사용하여 네트워크 트래픽 분석하기
AWS 클라우드 시스템을 운영하다 보면 여러 케이스에 다양한 이슈들을 맞이하게 되는데, 특히 간헐적으로 발생하는 네트워크 이슈가 발생 했을 때 로그에는 별 다른 내용이 없어 원인을 알 수 없는 경우가 종종 있습니다. 실시간으로 네트워크 이슈 발생 시 네트워크 트래픽을 수집하는 방법이 가장 좋은 방법이지만 tcpdump를 실행할 수 없는 리소스이거나 실시간으로 tcpdump를 수집하기에 현실적으로 쉽지 않습니다. 그런 경우 AWS에서 제공하는 VPC Flow Logs를 […]