[NCP] Cloud Hadoop 서비스 사용하기

2022. 10. 20. 14:29·Cloud/NCP (NAVER Cloud Platform)
728x90
반응형

Apache Hadoop?

하둡은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스 프레임워크 입니다.

분산저장 기술인 HDFS와 분산처리 기술인 맵리듀스(MapResuce)가 장점이다.

 

 

NCP의 Cloud Hadoop?

Apache Hadoop, HBase, Spark, Hive, Presto 등의 오픈소스 기반 프레임워크를 사용자가 자유롭게 사용하여 빅데이터를 쉽고 빠르게 처리할 수 있는 완전 관리형 클라우드 분석 서비스

 

  • 다양한 프레임워크 지원
    • Hadoop: 간단한 프로그래밍 모델을 사용하여 컴퓨터 클러스터 전체에 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크
    • HBase: 분산되고 확장 가능한 대용량 데이터 저장소
    • Spark: 대규모 데이터 처리를 위한 통합 분석 엔진
    • Hive: SQL을 사용하여 분산 스토리지에 있는 대규모 데이터 세트의 읽기, 쓰기 및 관리할 수 있는 데이터웨어 하우스 소프트웨어
    • Presto: 빅데이터용 분산 SQL 쿼리 엔진
  • Cloud Hadoop 서비스 구성
    • 엣지 노드: 외부 접속을 위한 게이트웨이(Gateway)용 노드
    • 마스터 노드: 작업자 노드를 모니터링하는 관리자 노드. 고가용성 지원으로 2대의 마스터 노드가 생성되며 개수 변경은 불가
    • 작업자 노드: 마스터 노드의 명령을 받아 실제 데이터 분석 등의 작업을 수행하는 노드. 최초 생성은 최소 2개, 최대 8개까지 가능하며, 그 이후에는 동적으로 노드 추가/삭제가 가능

 

*주의사항

1) 클러스터(edge,master,worker node) 생성전 object storage 필요하므로 생성해야함

2) 클러스터 생성 후 서버스펙 조정이 안된다.

3) Edge Node는 Block Storage 를 추가로 용량 지정하는 부분이 없다.

 

728x90
728x90

'Cloud > NCP (NAVER Cloud Platform)' 카테고리의 다른 글

[NCP] DB서버를 스냅샷 할 시 주의 사항(Sync 명령어)  (0) 2021.12.20
[NCP] Associate(VPC Platform) - 1강. (Compute) Compute 상품군  (0) 2021.09.16
NCP - 서버생성 및 블록스토리지 마운트와 NAS마운트  (0) 2021.09.02
'Cloud/NCP (NAVER Cloud Platform)' 카테고리의 다른 글
  • [NCP] DB서버를 스냅샷 할 시 주의 사항(Sync 명령어)
  • [NCP] Associate(VPC Platform) - 1강. (Compute) Compute 상품군
  • NCP - 서버생성 및 블록스토리지 마운트와 NAS마운트
이코딩
이코딩
이코딩의 자동화 연구소 블로그입니다.
이코딩의 자동화 연구소이코딩의 자동화 연구소 블로그입니다.
  • 이코딩
    이코딩의 자동화 연구소
    이코딩
  • 전체
    오늘
    어제
    • 분류 전체보기 (105)
      • IT (21)
        • IT 기초 지식 (14)
        • 네트워크 기초 (2)
        • 클라우드 (4)
      • DevOps (15)
        • Ansible (2)
        • Terraform (12)
        • Kubernetes (1)
      • Cloud (11)
        • NCP (NAVER Cloud Platform) (4)
        • NHN (NHN Cloud) (5)
        • AWS (Amazon Web Service) (2)
      • OS (42)
        • Linux (38)
        • Window (3)
      • 언어 (7)
        • JAVA (4)
        • Python (3)
      • 문서 작업 (2)
        • EXCEL (2)
      • 오픈소스 (7)
        • Zabbix (3)
        • Apache + Tomcat (3)
        • Redis, Valkey (1)
  • 반응형
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    ansible
    라우팅 테이블
    CentOS
    AWS
    가상화
    Routing Table
    tomcat
    zabbix
    Python
    Linux
    Terraform
    sftp
    Java
    NHN Cloud
    ssh
    window
    테라폼업앤러닝
    클라우드
    NCP
    Apache
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
이코딩
[NCP] Cloud Hadoop 서비스 사용하기
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.