'Hadoop'에 해당되는 글 4건

  1. 2010.10.22 Hadoop 프로젝트
2010. 10. 22. 08:59

Hadoop 프로젝트

- 코어
분산 파일시스템과 일반적인 I/O(직렬화, 자바  RPC, 영속 데이터 구조)를 위한 컴포넌트와 인터페이스 집합

- 에이브로
교차언어 RPC와 영속적인 데이터 스토리지를 위한 데이터 직렬화 시스템

- 맵리듀스
범용 컴퓨터들의 커다란 클러스터에서 수행되는 분산 데이터 처리 모델과 실행 환경

- HDFS
범용 컴퓨터들의 커다란 클러스터에서 수행되는 분산 파일 시스템

- 피그
대규모 데시터셋 탐색용 데이터 흐름 언어와 실행 환경. HDFS와 맵리듀스 클러스터에서 수행된다.

- HBase
분산 컬럼 지향 데이터베이스. 스토리지 HDFS를 사용한다. 맵리듀스를 이용한 일괄처리 방식의 계산과
랜덤 읽기가 가능한 포인트 쿼리 방식 모두 지원

- 주키퍼
다수 컴퓨터로 분산 처리되는 고가용성 조정 서비스. 분산 응용 프로그램들을 구축하기 위하여 사용될 수 있는
분산 락 같은 프리미티브를 제공한다.

- 하이브
분산 데이터웨어하우스. HDFS에 저장된 데이터를 관리하고, 데이터 쿼리를 위하여 SQL 기반 쿼리 언어를
제공한다.

- 추콰
분산 데이터 수집 및 분석 시스템. HDFS에 데이터를 저장하는 수집기를 수행하고, 보고서를 생성하기 위하여
맵리듀스를 사용한다.