[AWS SAA] Redshift & Athena

Data Warehouse (DW)

• 정의
  통합된 데이터 저장공간
  다양한 시스템으로부터 데이터를 추출, 변환, 통합하여 요약한 데이터베이스
  
  
• 특징
  • 관계형 데이터베이스에 기반
  • 데이터베이스와 파일 시스템을 결합하여 다양한 데이터 유형 관리
  • ETL(Extract, Transform, Load) 프로세스 사용
  • BI(Business Intelligence) 도구로 데이터 분석 및 보고서 작성 지원
    
    

Redshift

• 정의: 
  PostgreSQL을 기반으로 한 AWS의 Data Warehouse 서비스
  
  
• 특징
  • OLAP(Online Analytical Processing) 지원
  • 대량 병렬 처리(MPP) 엔진 사용으로 빠른 쿼리 실행
  • 열 기반 데이터 저장 방식
  • COPY 명령어를 통한 다양한 데이터 소스와의 통합 가능
  • Enhanced VPC Routing 을 통해 클러스터와
    VPC 외부의 COPY, UNLOAD 트래픽을 모니터링할 수 있음
  • WLM(Workload Management) 를 통해 사용자가
    작업 부하 내 우선 순위를 유연하게 관리하도록 지원
    
    

Redshift 구성 요소

클러스터: 리더 노드와 컴퓨팅 노드로 구성된 주요 단위

• 리더 노드: 클라이언트 통신 및 작업 관리 담당
• 컴퓨팅 노드: 실제 작업 수행 및 결과 처리

• 스냅샷 및 백업: 증분식 저장 방식을 사용한 S3에 저장된 클러스터의 백업
  • 다른 리전으로의 복사 가능.
  • 자동 및 수동 모드 지원.
    • 자동 모드 : 8 시간 혹은 5GB 마다 생성되도록 일정을 예약할 수 있는 모드로
                         보존 기간은 1 일에서 최대 35 일
    • 수동 모드 : 언제나 생성할 수 있는 모드로 사용자가 직접 삭제할 때까지 보존됨
      
      

Redshift vs RDS

• Redshift: OLAP에 초점, 대용량 데이터 세트에 대한 복잡한 분석 쿼리 수행.
• RDS: OLTP에 초점, 일상적인 트랜잭션 처리 및 데이터베이스 관리.
  
  

Athena

• 정의: S3에 저장된 데이터에 대한 서버리스 대화형 쿼리 서비스.
• 특징
  • 표준 SQL 사용.
  • Quicksight와 통합하여 데이터 시각화 가능.
  • 연합 쿼리 지원.
  • 데이터 로드 없이 직접 쿼리 가능.
    
    

Athena 요금 책정 및 절감

• 요금: 쿼리당 요금 부과, 스캔한 데이터 양 기준.
• 절감 방법
  • 데이터 압축 및 파티셔닝으로 데이터 양 최소화.
  • 실패한 쿼리는 무료, 취소된 쿼리는 스캔한 데이터 기준으로 요금 부과

 

---

출처 : Udemy_AWS Solutions Architect C03 강의

hwanyoung12

https://aws-hyoh.tistory.com/category/Amazon%20Web%20Serivce%20%EC%9E%90%EA%B2%A9%EC%A6%9D%20%EC%89%BD%EA%B2%8C%20%EA%B3%B5%EB%B6%80%ED%95%98%EA%B8%B0/%5BC03%5DAWS%20Solutions%20Architect%20Asso%20%EA%B8%B0%EB%B3%B8