yubyeong

1. 데이터 & 분석 (Analytics / Big Data) ⭐서비스한 줄 개념키워드AthenaS3 데이터를 대상으로 하는 서버리스 SQL 쿼리 서비스S3 로그 ad-hoc 분석, 서버리스, 버킷 직접 쿼리Glue서버리스 ETL + 데이터 카탈로그ETL, 크롤러, 카탈로그, .csv/JSON 스키마 자동추론Lake FormationS3 기반 데이터 레이크 구축/권한 관리 간소화중앙 권한 관리, Data Lake, 카탈로그/보안 일원화Redshift페타바이트급 데이터 웨어하우스(DWH)컬럼 저장, MPP, BI 연동, 대규모 분석EMRHadoop/Spark 등 빅데이터 프레임워크 클러스터Hadoop/Spark, 대량 로그 분석, ML/ETL 클러스터Kinesis Data Streams / Firehose..

공부를 하다 보면 서버리스, 완전관리형 서비스에 대해서 나오는데 뜻은 비슷한데 용어가 구분되어 있기에 차이점이 궁금해서 정리해보았다. # 1 서버리스(Serverless)정의:서버 개념을 완전히 추상화한 서비스. 사용자는 서버나 인스턴스 운영을 전혀 고려할 필요 없음.특징:이벤트 기반 실행 (요청이 있을 때만 동작)자동 확장/축소 (무한대에 가까운 확장성)용량 계획 불필요실행한 만큼만 과금 (idle 비용 없음)서버 패치, 보안 업데이트, 인프라 관리 전부 AWS가 처리예시 서비스(AWS):AWS Lambda (서버리스 컴퓨팅)Amazon S3 (스토리지 서버 개념 없음)DynamoDB On-Demand (프로비저닝 불필요)API Gateway, EventBridge# 2 완전관리형(Fully Manag..

Amazon EFS (Elastic File System)EFS 개념 및 특징EFS는 관리형 NFS(네트워크 파일 시스템)이다.NFS이므로 많은 EC2 인스턴스에 마운트될 수 있다.EC2 인스턴스는 서로 다른 가용 영역에 있을 수 있다.가용성이 높고 확장성이 뛰어나며 비싸다.Gp2 EBS 볼륨의 3배 가까이 비싸며 사용량에 따라 비용을 지불하므로 미리 용량을 프로비저닝 할 필요는 없다.EFS 파일 시스템이 있고 보안 그룹으로 둘러싸여 있고 이는 서로 다른 AZ에 위치한 인스턴스를 EFS를 통해 동일한 네트워크 파일 시스템에 동시에 연결 가능. (약간 공유 파일 시스템 느낌….! 다른 AZ에 있어도 연결이 되는것이 장점)EFS Use cases:콘텐츠 관리웹 서빙데이터 공유WordPress (블로그 사이트..

EBS VolumeEBS → Elastic Block store인스턴스가 실행 중인 동안 연결 가능한 네트워크 드라이브.EBS를 사용하면 인스턴스가 종료된 후에도 데이터를 지속할 수 있다.인스턴스를 재생성하고 이전 EBS 볼륨을 마운트하면 데이터를 다시 받을 수 있다.CCP 레벨에서의 EBS 볼륨은 한 번에 하나의 인스턴스에만 마운트할 수 있다.CCP 레벨 : 하나의 EBS는 하나의 EC2 인스턴스에만 마운트 가능. 반대로 EC2 인스턴스에는 두 개 이상의 EBS 볼륨 연결 가능.Associate 레벨 : 일부 EBS 다중 연결.EBS 볼륨을 생성할 때는 특정 가용 영역에서만 가능하다.특정 가용 영역에서 생성된 경우 다른 가용 영역에서는 연결이 불가능하다.하지만 스냅샷을 이용한다면 다른 가용 영역으로 볼..

EC2 HibernateEC2 절전 모드(Hibernate)인스턴스 중지 : EBS 디스크 데이터는 인스턴스가 다시 시작할때까지 그대로 유지.인스턴스 종료 : 루트 볼륨이 삭제되게 했다면 인스턴스도 삭제, 하지만 그렇게 설정하지 않은 다른 볼륨은 인스턴스가 종료되도 그대로 남는다.그리고 인스턴스를 다시 시작하면 운영 체제가 먼저 부트되고 EC2 user-data 스크립트도 실행된다. 그렇게 OS가 부팅되고 애플리케이션도 실행되고 캐시도 구성되기 시작하므로 이러한 과정이 끝나는데는 시간이 조금 걸린다.인스턴스가 절전(Hibernate) 모드가 되면 RAM에 있던 in-memory 상태는 그대로 유지된다. 즉, 인스턴스 부팅이 더 빨라진다는 뜻이다. 운영체제를 완전히 중지하거나 다시 시작하지 않고 멈춰두었기..

Public, Private, Elastic IPSSH등 EC2 서버에 접근을 할 때는 퍼블릭 IP로 접근해야 AWS 서버에 접근이 가능하다. 프라이빗 IP로는 서버에 접근이 불가하다.즉, 퍼블릭 IP를 통해서 프라이빗 IP에 접근이 가능한 것이다.공용망 (퍼블릭 IP) —> 사설망 (프라이빗 IP)EC2 인스턴스는 중지시키고 재실행하면 퍼블릭 IP가 변함으로 SSH 연결을 할 때 등 번거롭고 전에 있던 IP로는 접근이 안 된다. (퍼블릭 IP 설정을 활성화했을 때)Elastic(탄력적) IP를 실행중인 인스턴스의 프라이빗 IP에 연결해서 사용한다면 퍼블릭 IP는 재실행과 무관하게 퍼블릭 IP가 변경되지 않는다.ENI(탄력적 네트워크 인터페이스)Elastic Network InterfacesVPC의 논리..

IAM Security ToolsIAM Credentials Report (account-level) → IAM 자격 증명 보고서 (계정 수준)계정에 있는 사용자와 다양한 자격 증명의 상태를 포함한다.다운로드 하면 CSV 파일로 보고서를 받을 수 있다.사용자가 생성된 시기, 비밀번호 활성화 여부, 비밀번호가 마지막으로 사용된 시기, 변경된 시기 MFA 활성화 여부 등 전반적인 계정 정보를 포함하고 있다.IAM Access Advisor (user-level) → IAM 액세스 관리자 (사용자 수준)사용자에게 부여된 서비스의 권한과 해당 서비스에 마지막으로 액세스한 시간이 포함된다.해당 도구를 사용하여 어떤 권한이 사용되지 않는지 볼 수 있고 따라서 사용자의 권한을 줄여 최소권한의 원칙을 지킬 수 있다.사..

https://yubyeong.tistory.com/27 클라우드(AWS) VPC, EC2 개념VPC, Subnet, EC2 개념VPC (Virtual Private cloud)아마존 가상 사설 클라우드사용자가 정의하는 AWS 계정 사용자 전용 가상의 네트워크.사용자가 원하는대로 IP 주소 범위 선택, 서브넷 생성, 라우팅 테이블yubyeong.tistory.com본 포스팅은 AWS EC2 기초, 여러가지의 인스턴스 구매 옵션 및 스팟 인스턴스에 대한 내용을 다루고 있으니 개념에 대한 내용은 위의 링크를 참고 ! User data를 이용한 EC2 생성User data 에 스크립트를 추가함으로서 EC2 서버가 처음 시작될때 스크립트를 실행한다. (서버의 생명주기중 처음 시작할 때 단 한번만 실행이 됨.)이..