[AWS 공부] AWS 솔루션 살펴보기 + AWS 웹서버 아키텍쳐 및 로드밸런싱 기초 내용

1. AWS 서비스들에는 어떤 것들이 있는지? 

• EC2 (Amazon Elastic Compute Cloud): 클라우드 가상 서버. 
• S3 (Amazon Simple Storage Service): 어디서나 원하는 양의 데이터를 저장, 검색할 수 있도록 구축된 객체 스토리지. 
• Amazon Aurora: MySQL 및 PostgreSQL 호환 관계형 데이터베이스. 
• Amazon DynamoDB: NoSQL 데이터베이스. 
• RDS (Amazon Relational Database Service): 관계형 데이터베이스. Aurora, MySQL, PostgreSQL, Oracle, SQL Server 및 MariaDB 등 6개 DB엔진 중에서 선택 가능함. 
• AWS Lambda: 서버 걱정 없이 코드 실행. 사용한 컴퓨팅 시간에 대해서만 비용 지불. 코드가 실행되지 않을 때는 요금이 부과되지 않음. 다른 AWS 서비스에서 코드를 트리거할 수도 있고, 웹이나 앱에서 호출도 가능함.
• VPC (Amazon Virtual Private Cloud): 논리적으로 격리된 공간을 프로비져닝하여 고객이 정의한 가상 네트워크에서 AWS 리소스 사용 가능. IP 주소, 범위 선택, 서브넷 생성, 라우팅 테이블 및 네트워크 게이트웨이 구성 등 가상 N/W 환경 제어 가능. 
• Amazon Lightsail: 가상 프라이빗 서버, 스토리지, 디비 및 네트워킹. Lightsail은 어플 또는 웹을 구축하는데 필요한 모든 것을 제공함. 미리 구성된 개발 스택을 통해 웹앱을 온라인에서 쉽게 시작 가능하다. 예) WordPress 등. 
• Amazon SageMaker: 머신러닝 모델 구축/학습/배포용. 오토스케일링 기능 포함됨. 
• Amazon Sumerian: 증강현실 및 가상현실. 
• 블록체인 관련 서비스  
  • Amazon Managed Blockchain: 하이퍼렛져 패브릭 또는 이더리움 사용 가능. 블록체인 네트워크 생성 및 관리. 
  • Amazon QLDB: 완전관리형 원장 DB. 중앙 기관.
• AWS Outposts: AWS 인프라를 온프레미스에서 실행. 
• Amazon Fargate: 서버리스 컨테이너 관리 서비스. 
• AWS IAM (Adentity and Access Management): 사용자 액세스 및 암호화 키 관리

 

여기에 쓴 것들은 몇 개만 적어보았고,

AWS에는 진짜 상상하는 모든 서비스가 전부 다 있는 듯 합니다. 

이번에 알게 되면서 깜짝 놀랐네요. 

 

 

 

 

AWS Sumerian 제품

VR, AR, 3D 애플리케이션 생성 및 실행

안드로이드, iOS 모두 가능. 대화형 장면 구축. 

가상 강의실 등, 메타버스! 

 

AWS 클라우드 스토리지

- 애플리케이션에서 사용하는 정보를 보관

- 온프레미스 스토리지보다 확장성, 안정성, 보안성이 좋음. 

- 제품의 종류에는 Amazon EBS, Amazon EFS, Amazon FSx for Lustre, Amazon FSx for Windows File Server, Amazon S3 등이 있음. 

 

Amazon EBS (Elastic Block Store) 

- AWS 클라우드 스토리지의 한 종류. 

- Amazon EC2, DB, DW, 어플리케이션, 빅데이터 처리/백업/복구 용 영구 로컬 스토리지

 

Amazon Backup

- 하나의 인스턴스를 백업 및 복원 하려면 1개의 AMI와 n개의 EBS 볼륨이 필요함. 

* AMI: Amazon Machine Image. OS 정보, EBS 볼륨 정보 등. 동일 구성 인스턴스 여러개 필요 시 하나의 AMI에서 여러 개 시작 가능함. 1개 이상의 EBS 스냅샷 및 인스턴스 루트 볼륨 템플릿(운영체제 등)을 포함한다. 

 

- 다중볼륨스냅샷: 정확한 특정 시점, 데이터 조정 및 충돌/일치 스냅샷 생성 가능. 

 

Amazon EFS (Elastic File System) 

- Linux를 위한 확장 가능하고, 탄력적이며, 클라우드 네이티브 파일 시스템

 

Amazon FSx for Lustre

- 초당 최대 수백 기가바이트의 처리량. 고성능을 지원함. 컴퓨팅 집약적 작업을 위한 완전 관리형 Lustre 파일 시스템. 

 

Amazon FSx for Windows File Server 

- SSD 스토리지를 사용함. 빠른 성능과 높은 처리량. 

 

Amazon S3 Glacier

- 온프레미스 대비 저렴한 스토리지에 데이터 아카이브. 장기 백업. 

- 사용 사례: 오래된 미디어 콘텐츠를 저렴하고 필요 시 배포 가능하다. 병원 시스템은 규제 때문에 수십년치 환자 기록 보관 필요함. 과학 연구 시 방대한 데이터 생성 및 보관 필요. 디지털 보존 관련 사용. 

 

AWS Market Place

타사 SW 및 서비스를 구매/배포/관리할 수 있도록 큐레이션된 디지털 카탈로그다. 

유연한 요금 옵션이 있다. 무료 평가판/시간당/월별/연간/다년 및 BYOL 등. 

 

 

AWS 데이터베이스 서비스

트랜잭션 애플리케이션	관계형 DB
인터넷 규모 애플리케이션	비관계형 DB
분석용	DW
캐싱/실시간 작업 - 게임 순위표, 소셜미디어 메시징, 온라인 쇼핑, 앱 기반 차량 호출 등.	메모리 데이터 스토어
상호연결성 데이터 - SNS, 추천엔진 등	그래프 DB
IoT, 데브옵스 등	시계열
암호화. 은행 등	원장 DB (아마존 퀀텀 렛져 DB; QLDB)

 

 

Amazon Auto Scaling

EC2 오토스케일링 통해 EC2인스턴스 정해둘 수 있다.

각 오토스케일링 그룹의 최소/최대 인스턴스 수 지정 가능. 

 

핵심 구성 요소: 그룹, 구성 템플릿, 조정 옵션.

 

 

AWS 기반 데이터레이크 및 분석 서비스

고객 사례: NASDAQ, 질로우, Yelp, iRobot, FINRA 등. 

데이터레이크: S3 및 Glacier 사용해서 데이터를 모든 형식으로 방대한 규모로 저장가능.

 

On-premise Data Movement: 온프레미스에서 실시간으로 데이터 수집

DataLake: Raw data 기반. 모든 유형 데이터. 

Real-time Data Movement: 실시간 데이터 수집. 

분석: 광범위한 분석 서비스. 

머신러닝: 결과 예측 및 대응. 

 

Amazon S3

객체 스토리지. 밀리초 지연 시간! 웹/앱/센서/디바이스 등 모든 유형 데이터 저장 및 검색 가능. 99.9999999(7개의 9)%의 내구성. 월별 GB당 0.004 USD로 온프레미스 대비 요금이 저렴함. 

 

AWS Glue: 검색/쿼리할 수 있는 단일 카탈로그 제공.

ETL 서비스임. 

데이터레이크의 데이터를 검색할 수 있도록 데이터 카탈로그를 제공하고

분석 목적으로 데이터 추출/변환/로드 수행할 수 있는 완전관리형 서비스.  

모든 데이터에 대해 영구 메타데이터 스토리지로 자동생성됨. 

 

- 작동방식: 데이터 원본과 데이터 대상을 선택한 후, 파이썬 등으로 변환하여 데이터 추출 및 이동. 

 

Amazon Athena:

표준 SQL 사용해서 S3, Glacier 데이터 쿼리. 

 

Amazon CloudSearch (관리형 검색 서비스) 

강조 표시, 자동 완성, 지형 정보 검색 등 기능 제공. 

 

 

Amazon EMR (호스팅된 하둡 프레임워크)

하둡, 스파크, HBase 및 Presto 등 지원함. 

 

Amazon Elasticsearch Service 

앱 모니터링, 로그 분석 및 클릭스트림 분석

실시간 데이터 검색/탐색/필터링/집계 및 시각화 가능함. 

 

Amazon Managed Streaming for Apache Kafka (Amazon MSK: 완전관리형 Apache Kafka 서비스) 

실시간 스트리밍 데이터 파이프라인 및 앱 빌드 위한 오픈소스 플랫폼. 

아파치 카프카 클러스터 인프라 관리 전문성(설정/크기 조정 등) 없이도 구축/실행 할 수 있게 해줌. 

 

Amazon Redshilft

페타 바이트 정형 데이터에 복잡한 분석 쿼리 실행 가능.

데이터 이동 없이 S3의 정형/비정형에 직접 SQL 쿼리 실행하는 Redshilft Spectrum. 

솔루션이 저렴함. 

 

Amazon QuickSight 

대시보드 및 시각화. 

 

AWS Data Pipeline

데이터 중심의 주기적인 워크플로를 위한 오케스트레이션 서비스. 

여러 서비스 간에 데이터 처리 및 이동.

온프레미스 데이터 사일로에 묶여있던 데이터 이동 가능.

 

AWS Lake Formation

며칠 만에 안전한 데이터레이크 구축. 

 

 

Amazon Managed Blockchain

블록체인 사례

- 은행의 협조융자 (단일 대출자에게 은행 그룹이 함께 자금을 빌려줌)

- 소매업 연합에서 고객 보상 프로그램 간소화 등. 

 

하이퍼렛져 패브릭 및 이더리움 사용.

 

1. 중앙집중식

여러 당사자가 중앙의 신뢰할 수 있는 기관과 협력하여 완전하고 검증가능한 트랜잭션 레코드를 유지함.

중앙소유자나 다른 당사자에 의해 삭제되거나 수정될 수 없음.

 

- Amazon Quantum Ledger Database QLDB.

완전관리형 원장 데이터베이스. 

'저널'이라는 변경 불가능한 트랜잭션 로그를 사용해서 애플리케이션 데이터 변경 사항을 추적하고, 시간이 지나도 검증 가능한 모든 변경 내역을 유지 관리함. 

서버리스 제품. 사용한만큼만 비용 지불. 

sql과 비슷한 api 사용 등 편리함. 

 

2. 분산화

중앙 기관 필요 없이 여러 당사자가 분산된 방식으로 거래. 

당사자끼리 서로 알거나 신뢰할 필요없이 거래가능. 

 

AWS Blockchain Templates

간편하게 시작가능. 블록체인 네트워크 수동 설정에 시간/에너지 낭비 X. 

Amazon Elastic Container Service. ECS클러스터에 컨테이너로 배포 또는 도커 실행하는 EC2 인스턴스에 직접 배포. 

 

 

AWS FreeRTOS

마이크로컨트롤러용 IoT 운영체제. 

소형 저출력 엣지 디바이스를 쉽게 프로그래밍/배포/보호/연결/관리 할 수 있는 오픈소스 마이크로 컨트롤러용 OS. 

MCU란, 간단한 프로세스가 탑재된 단일 칩이다. 컴퓨팅 파워와 메모리 용량은 제한적이다. 

핵심 운영체제 (엣지 디바이스 실행)과 클라우드 (또다른 엣지 디바이스)에 연결. 

AWS Partner Device Catalog에서 아마존 프리RTOS 지원 MCU 선택가능. 

 

 

AWS IoT 분석

잡음 처리 등. 필요한 데이터만 수집하도록 설정. 수학적 변환 적용. 메타데이터로 데이터 보강 가능. 

내장 sql 쿼리 엔진으로 데이터 분석/ ML 추론 수행 등. 

사전 빌드 모델 포함한다. 주피터 등에 생성된 사용자지정분석 일정에 따른 실행 자동화. 

페타바이트 규모까지 지원하도록 자동확장됨. 

 

AWS IoT Button 

클라우드 프로그래밍 가능한 대시 버튼. 

클라우드에서 버튼로직 코딩해서 클릭수 카운팅, 항목 추척, 호출, 경고 전송 등을 할 수 있음. 

 

 

AWS IoT Core

디바이스를 클라우드에 연결

커넥티드 디바이스가 다른 디바이스나 클라우드 애플리케이션과 상호작용할 수 있게 하는 관리형 클라우드 서비스. 

디바이스가 연결되어 있지 않아도 언제나 어플리케이션에서 모든 디바이스를 추적하고 통신할 수 있음. 

인프라 관리 필요 없이 데이터 수집, 처리, 분석 및 이를 기반으로 애플리케이션 구축 가능.

 

 

AWS IoT Device Defencer

IoT 디바이스 위한 보안 관리. 디바이스끼리 통신하고 클라우드와 통신할 때 정보 안전하게 유지하도록 설정하는 기술 제어 항목임. 

디바이스 자격 증명 보장, 인증 및 권한 부여 등. 

적절하지 않은 동작이 발견되면 알림을 보내줌.

 

AWS IoT Device Management 

온보딩, 조직화 및 원격으로 관리. 

SW 및 펌웨어 업데이트 등.

디바이스 유형이나 OS 구분 안함.

 

 

AWS IoT Event

이벤트 감지 및 대응. 

이벤트란? 예상보다 더 복잡한 상황을 식별하는 데이터의 패턴임.

비용이 많이 드는 애플리케이션 사용해서 대응을 트리거 할 필요 없음. 

 

 

AWS IoT Greengrass

디바이스용 로컬컴퓨팅. 메시징 및 동기화. 

ML 추론 기능.

인터넷 연결 없어도 람다함수 실행 및 ML 기반 예측 등. 

익숙한 언어와 프로그래밍 모델 사용해서 SW 개발/테스트 후 디바이스로 배포 가능.

 

 

AWS IoT SiteWise

데이터 수집기 및 인터프리터. 산업 장비용. 대규모 수집 및 구성. 장비 모니터링. 

현재는 성능 지표 확보 어려움. 전문 지식이 있어야 해당 데이터를 검색/분석에 유용하게 변환 가능. 

프로세스 간소화 가능. 스노우볼 엣지 게이트웨이에서 실행할 수 도 있고, 타사 산업 GW에 설치도 가능. 

 

 

AWS IoT Things Graph

IoT 애플리케이션 시각적 개발. 

디바이스와 웹서비스 간 상호작용을 드래그 앤 드롭 인터페이스로 개발가능. 

날씨 서비스 통해 습도/온도/스프링클러 센서 상호작용 정의해서 관수 작업 하는 등. 

 

모델: 재사용 가능한 사전에 구축된 구성요소. 디바이스와 서비스를 표시함. 프로토콜이나 인터페이스와 같은 로우 레벨 정보는 표시 X. 정교한 워크플로 생성 가능. 

 

 

AWS 기계 학습 서비스

Amazon Forecast

아마존닷컴에서 사용하는 것과 동일 기술 기반으로 

시계열 데이터를 추가 변수와 결합하여 기계 학습 후 예측 생성

 

AWS 기계 학습 서비스 - Personalize

실시간 추천 기능. 개별화된 추천. 콘텐츠/ 마케팅 프로모션

 

Amazon Rekognition

이미지 및 비디오 분석. 

S3 저장된 이미지 또는 비디오 파일로 분석 가능. 

 

Amazon SageMaker 

개발자, 데이터 사이언티스트들이 ML구축, 학습, 배포할 수 있게 지원하는 ML서비스. 

 

Amazon SageMaker Ground Truth

정확한 ML 교육 데이터 세트 구축. 

일반/사내 레이블링 작업자에게 편리함. 

 

Textract 

스캔한 문서에서 텍스트와 데이터 추출

모든 유형의 문서를 읽고 추출 가능. 

스마트 검색 인덱스 생성 등

 

Translate

신경망 기계 번역 서비스. 딥러닝. 

 

Transcribe

자동 음성 인식

통화 기록, 자막 생성 등. 

 

Deep Learning AMI

딥러닝 앱 구축할 수 있는 사전 구성된 환경. 딥러닝 가속화 환경 제공. 

텐서플로우 등 인기 프레임워크와 인터페이스가 사전 설치된 EC2 P3 인스턴스. 

 

Deep Learnaing Containers

딥러닝을 위한 도커 이미지. 딥러닝환경 설정. 

환경구축/최적화 하는 프로세스 건너뛸 수 있음.

텐서플로우 및 아파티 MXNet 지원함. 

파이토치는 지원 예정임. 

 

DeepLens

딥러닝이 지원되는 비디오카메라. 

 

Inferentia

기계 학습 추론 칩. 

 

AWS 기반 텐서플로우

아마존 세이지메이커 사용하면 AWS에서 완전관리형 텐서플로우 환경 시작가능. 

 

Amazon ML을 사용한 마케팅 반응 예측

1. 데이터 준비

2. 교육 데이터 원본 생성

3. ML 모델 생성

4. ML 모델 예측성능 검토 및 점수 임계값 설정

5. ML 모델 사용하여 예측 생성

6. 정리 

 

---

[2] AWS 서버 

AWS 서버 (1) 웹서버 아키텍쳐

* NAT: Network Adress Transmission. 

• 인터넷 게이트웨이 / NAT / 방화벽 프록시 대신에 VPC 엔드포인트를 통해 AWS에 비공개로 연결도 가능함.
• VPC는 사용자의 AWS계정 전용 가상 네트워크. 다른 가상 네트워크가 논리적으로 분리됨.
• 각 VPC는 Region 내에 존재함. VPC 내 리소스는 해당 리젼 외부에 존재 X. 

 

AWS 서버 (2) 리젼 Region, 가용영역 Availability Zone

• 각 AZ는 하나 이상의 DC로 구성. 
• 하나의 DC가 2개의 AZ에 포함될 수 없음. 
• 각 AZ는 독립된 장애 영역으로 설계. (물리적 격리, 서로 다른 유틸리티 그리드로 전력 공급 등)
• 각 Region은 2개 이상의 AZ를 포함. 
• 특정 Region에 데이터 저장하면, 해당 리젼 내에서만 데이터가 복제됨. (*여러 리전에 걸쳐 데이터를 복제하는 것은 사용자가 알아서.)
• Region 간 통신은 public internet 통해서 이루어짐. 암호화 필요. 

Region (대도시)	Availability Zone 1	Data Center A
		Data Center B
	Availability Zone 2	Data Center C
		Data Center D
		( Data Center A는 여기 속하는게 불가능)

 

 

---

 

 

[3] 로드밸런싱

Amazon Elastic Load Balancing 아마존 고가용성 로드 밸런싱

고가용성:

애플리케이션 트래픽을 EC2 인스턴스, 컨테이너, IP주소, 람다함수 등에 자동 분산시킴. 

 

상태 확인:

정상 상태인 대상만 트래픽을 수신하도록 해서 내결함성 제공함. 

정상 상태 아니면 트래픽 라우팅 안주고 복구되면 원래 대상으로 재개. 

 

로드밸런서는 포트를 자동탐지해서 동적으로 스스로를 재구성한다. 

 

인스턴스의 지연 시간이 미리 정의해둔 임계치를 초과하면 오토 스케일링을 트리거한다. 

 

콘텐츠 기반 라우팅 가능함. 애플리케이션이 몇 개의 개별 서비스로 구성된 경우 콘텐츠 기반으로 요청을 라우팅 가능. 

 

ELB 제품 (1) Application Load Balancer 

유연한 애플리케이션 관리가 필요한 경우 사용 

L7에서 작동함. 

요청 콘텐츠에 따라 라우팅함.

마이크로서비스/컨테이너 기반 앱 등 최신 앱 아키텍쳐 전달 위한 고급 라우팅 기능. 

 

https 지원: AWS Identity and Access Management (IAM) 및 AWS Certificate Manager의 사전 정의된 보안 정책을 통해 SSL 인증서 관리도 제공해준다. 

 

SNI (서버 이름 표시) TLS 핸드쉐이크 시작 시 호스트명 표시. 

클라이언트의 호스트명이 여러 인증서와 일치하면 최적 인증서 선택. 

 

애플리케이션의 백엔드의 IP주소를 대상으로 사용해서 로드밸런싱 가능함. 

같은 인스턴스 내 호스팅된 앱은 연결된 보안 그룹을 가질 수 있고 같은 포트를 사용할 수 있음. 

 

람다함수를 대상으로 사용. HTTP 요청 처리하는 람다 함수 호출하여 서버리스 애플리케이션에 대한 사용자 액세스 제공 가능함. 다른 람다로 라우팅 가능. 

 

ALB 사용하려면 2개 이상의 가용영역 AZ 지정해야함. 

 

콘텐츠 기반 라우팅 가능.

 

ELB 제품 (2) Network Load Balancer 

탁월한 성능 및 고정 ip 가 필요한 경우 사용. 고가용성. 정상 대상 확인 후 라우팅. 높은 처리량. 

 

L4에서 작동. IP 프로토콜 데이터 기반으로 VPC 내 대상(EC2 등)으로 연결을 라우팅함. 

매우 짧은 지연 시간, 초당 수백만개 요청 처리 가능. 지연시간에 민감한 어플에 적합. 

TCP 및 UDP 모두 적합.

가용영역AZ당 1개의 정적IP 사용에 최적화. 갑작스럽고 변동심한 트래픽 처리가능. 

 

클라이언트 측 소스 IP 유지하므로, 백엔드에서 이를 확인하여 추가 처리할 수 있음. 

정적 IP 및 탄력적 IP 모두 지원함. 서브넷별 탄력IP지정해서 자체 고정 IP 지정 가능. 

 

TLS오프로드: AWS IAM 및 인증서 관리 통해 SSL 인증서 관리 지원해줌. TLS 핸드셰이크 시 암호/프로토콜 유연하게 설정가능한 보안정책 제공함. 

 

DNS 장애 조치: 등록된 대상없거나 비정상 노드면 라우팅. 

라우트 53과의 통합: 다른 리젼으로 라우팅 가능. 

 

ELB 제품 (3) Classic Load Balancer 

EC2-Classic 네트워크 내에 구축되어 있는 경우 사용 

 

SSL 오프로드.

고정 세션: 쿠키를 사용해서 사용자 세션을 특정 EC2 인스턴스에 고정시키는 기능을 지원함. 

IPv6 지원함. 

L4, L7 로드밸런싱 사용가능. 

로깅: 액세스 로그 기능. 전송된 요청을 모두 기록하고 S3에 저장됨. CloudTrail 사용해서 로그 전달가능.