진지한 개발자

각 노드의 적절한 샤드수 확인하기 샤드가 수집하려는 인덱스의 데이터 노드에 고르게 분산되어 있는지 확인합니다. 샤드가 고르게 분산되었는지 확인하는 공식 인덱스의 샤드 수 = k*(데이터 노드 수). 여기서 k는 노드당 샤드 수 예를 들어 인덱스에 샤드 24개가 있고 데이터 노드가 8개인 경우, OpenSearch Service에서 각 노드에 샤드 3개를 할당 refresh_interval을 60초 이상으로 늘림 문서를 검색할 수 있도록 OpenSearch Service 인덱스를 새로 고침. 인덱스를 새로 고치려면 스레드 인덱싱에 사용한 것과 동일한 리소스가 필요함. 기본 새로 고침 간격은 1초. 새로 고침 간격을 늘리면 데이터 노드가 API 호출 횟수를 줄임. 새로 고침 간격은 새로 고침 간격의 길이에 ..

OpenSearch Service 클러스터의 검색 대기 시간 급증 문제를 해결 방법 클러스터에 프로비저닝된 리소스가 부족한지 확인 CloudWatch의 ThreadpoolSearchRejected 지표를 사용하여 검색 거부를 확인 검색 느린 로그 API 및 프로파일 API 사용 504 게이트웨이 시간 초과 오류 해결 검색 요청 시, OpenSearch Service는 왕복 시간 왕복 = 쿼리가 쿼리 단계에서 소비한 시간 + 가져오기 단계에서 보낸 시간 + 대기열에서 보낸 시간 + 네트워크 대기 시간 쿼리 단계에서의 소비시간 : Amazon CloudWatch 의 SearchLatency 지표에서 확인 클러스터에 프로비저닝된 리소스가 부족한지 확인 클러스터에 프로비저닝된 리소스가 충분하지 않으면 검색 대기..

이슈 zone A에 서버 한 대, zone C에 서버 두 대 운영 중. cross zone load balancing을 사용하지 않으면 zone A에 50%, zone C에 50% 분산하고 zone C에서 서버 두 대로 25%, 25% 분산할 것이라 예상했는데 그러지 않음. 클라이언트에서 5000개의 요청을 보내면 zone A, zone C 에서 각각 2500개의 요청을 처리하는 것은 확인. zone C에서 각 서버가 1250개씩 요청을 처리할 것이라고 기대했는데 그러지 않고 한 서버가 요청을 더 많이 처리해 부하가 발생. cross load balancing 동작에 대해 확인 가능하신 부분이 있다면 확인 요청. 체크포인트 교차 영역 로드밸런싱이 활성화 되면 AZ에 관계없이 등록된 각 대상이 NLB 노드..

AWS VPN란 Amazon Virtual Private Network의 약자로, AWS 클라우드와 온프레미스 네트워크 간의 안전한 연결을 제공하는 서비스 이를 통해 사용자는 AWS 리소스에 안전하게 액세스하거나 온프레미스 인프라스트럭처와의 통신을 보호할 수 있음 사내 데이터 센터 또는 온프레미스 네트워크와 AWS 클라우드 간의 안전한 통신을 가능하게 하며, 데이터의 안전성과 보안을 유지하면서 하이브리드 클라우드 환경에서의 작업을 간편하게 함 주요 특징 가상 프라이빗 네트워크 연결 : AWS VPN을 사용하면 가상 프라이빗 클라우드(VPC)와 온프레미스 네트워크 간에 안전한 연결을 설정할 수 있습니다. 안전한 터널링 : IPSec 또는 SSL VPN을 사용하여 데이터를 암호화하고 안전한 터널을 통해 전송..

AWS Lambda 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스 Go, Java, JavaScript, Python, Ruby 등 다수의 언어로 람다함수 만들수 있음 Serverless 람다는 서버리스 컴퓨팅 서비스 서버리스는 개발자가 서버를 관리하지 않을 뿐 결국 클라우드 서비스가 처리하는 서버를 관리함 서버리스 컴퓨팅 기술은 클라우드가 어떤 방식으로 관리를 하는지를 기준으로 BaaS와 FaaS로 나눌 수 있음 1. BaaS (Backend as a Service) 보통의 서버 개발을 할때 서버뿐만이 아니라 데이터 저장을 위한 데이터베이스, 유저인증기술, 이미지를 저장할 공간 등도 함께 구성해야 함 BaaS는 위처럼 서버 개발에 필요한 데이터베이스, SNS로그인 ..

AWS Lambda 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스 Go, Java, JavaScript, Python, Ruby 등 다수의 언어로 람다함수 만들수 있음 Serverless 람다는 서버리스 컴퓨팅 서비스 서버리스는 개발자가 서버를 관리하지 않을 뿐 결국 클라우드 서비스가 처리하는 서버를 관리함 서버리스 컴퓨팅 기술은 클라우드가 어떤 방식으로 관리를 하는지를 기준으로 BaaS와 FaaS로 나눌 수 있음 1. BaaS (Backend as a Service) 보통의 서버 개발을 할때 서버뿐만이 아니라 데이터 저장을 위한 데이터베이스, 유저인증기술, 이미지를 저장할 공간 등도 함께 구성해야 함 BaaS는 위처럼 서버 개발에 필요한 데이터베이스, SNS로그인 ..

ElastiCache 분산 인 메모리 캐시(In Memory Cache)를 손쉽게 생성하고 확장할 수 있는 서비스 읽기 중심의 서비스(소셜 네트워크, 게임, 추천엔진 등) 을 제공해야 하는 환경, 고속으로 데이터를 분석해야 하는 환경에 적합 두가지 캐신 엔진을 지원 (Memcached : 분산 메모리 캐시 시스템, Redis : String, Hash, List, Set, Sorted Set 등 키-값 데이터 저장소) 주의사항 : RDS의 데이터베이스 엔진은 AWS 외부(인터넷)에서 접속이 허용되지만, ElastiCache 의 캐시 엔진은 AWS외부에서 접속할 수 없음. Security Group을 생성해 모든 IP 대역에 대해 접속을 허용하더라도 동일한 VPC에 속한 EC2 인스턴스 에서만 접속할 수 ..

1. DNS (Domain Name Server) 사람이 읽을 수 있는 도메인 이름을 컴퓨터나 스마트폰 등 다양한 디바이스에서 읽을 수 있는 IP주소로 변환하는 역할 AWS 에서는 Route53(DNS서비스)를 이용해 도메인을 IP로 변환하여 컴퓨터가 통신하도록 함 2. Amazon Route 53 의 주요 특징 가용성과 확장성이 뛰어난 클라우드 기반 DNS 웹 서비스 동적으로 사용자에게 노출될 DNS 레코드 타입과 값 조정 다양한 로드밸런싱 기능 지원 사용자의 요청을 EC2, ELB, S3 버킷 등 인프라로 직접 연결 가능 외부의 인프라로 라우팅하는데 사용 가능 Route53 트래픽 흐름을 사용하면 지연시간기반 라우팅 가능 Route53에서는 도메인 이름 등록도 지원 가능 3. Route53의 기능 연..