과정정보
학습대상
하둡 프로그래밍를 처음 접하시는 학습자
학습내용의 용어, 수행방법 등에 대한 기본기를 탄탄히 다지고 싶으신 학습자
이론 내용을 실무와 함께 습득하고 싶으신 학습자
학습목표
빅데이터 용어에 대한 이해를 시작으로 HDFS, YARN 을 통한 하둡(Hadoop)의 Map Reduce 연산의 구현으로 빅 데이터를 다루는 과정을 직접 체험한다.
빅데이터 테크놀로지 (Big Data Technology) 중 데이터 수집/가공분야를 이해하게 되며, 이 과정이 결국은 빅데이터 분석가가 될 수 있다.
교재정보
교재명 : [참고도서] 하둡 완벽 가이드
출판사 : 한빛미디어
저 자 : 톰 화이트 저 / 장형석, 장정호, 임상배, 김훈동 공역
교재비 : 55000원
차시정보
회차 |
학습내용 |
1회차 |
Hadoop, HDFS 그리고 YARN |
2회차 |
Linux 설치 및 환경설정 |
3회차 |
Hadoop 설치 |
4회차 |
Hadoop 실행 및 HDFS 명령어 |
5회차 |
Map Reduce를 이용한 Word count 구현 1 |
6회차 |
Map Reduce를 이용한 Word count 구현 2 |
7회차 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 1 |
8회차 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 2 |
9회차 |
CDC COVID-19 데이터를 이용한 연령별 확진자 통계 |
10회차 |
사용자 정의 옵션 사용 1 |
11회차 |
사용자 정의 옵션 사용 2 |
12회차 |
사용자 정의 카운터 구현 1 |
13회차 |
사용자 정의 카운터 구현 2 |
14회차 |
MultipleOutputs 구현 |
15회차 |
사용자 정렬 구현 1 |
16회차 |
사용자 정렬 구현 1 |
17회차 |
HIve 소개 및 설치 |
18회차 |
HiveQL을 이용한 Map Reduce 연산 1 |
19회차 |
HiveQL을 이용한 Map Reduce 연산 2 |
20회차 |
Hive Java Client |