Hive Part of Hadoop Ecosystems Hue Mahout Web
Hive
Part of Hadoop Ecosystems Hue Mahout (Web Console) (Data Mining) Oozie (Job Workflow & Scheduling) Zookeeper (Coordination) Sqoop/Flume (Data integration) Map. Reduce Runtime (Dist. Programming Framework) Pig/Hive (Analytical Language) Hbase (Column No. SQL DB) Hadoop Distributed File System (HDFS)
Data import Sqoop을 사용하여 mysql에 있는 movie 데이터를 HDFS상 에 올리기 위한 명령어. (테스트를 위한 용도. ) movie table을 HDFS로 import Sqoop import --connect jdbc: mysql: //localhost/movielens --table movie --fields-terminated-by 't‘ --username training –password training movierating table을 HDFS로 import sqoop import --connect jdbc: mysql: //localhost/movielens --table movierating --fields-terminated-by 't' --username training --password training
Create Table & Load Data movie table 생성 movie data를 movie table에 load
Describe & select movie table 기본 구조 보기 movie table 전체 데이터 중에 5개만 보기
Data movie table movierating table
Where
Join • Join을 위해 movie rating를 위한 table 생 성과 로드.
Join Movie table과 movierating table을 movieid를 키로 하여 join 한다. 조인된 결과에서 movie의 이름과 rating을 5개만 추출 select movie. name, movierating from movie join movierating on (movie. id = movierating. movieid) limit 5; 각 무비에 대한 rating의 평균을 구한다. select movie. name, avg(movierating) from movie join movierating on (movie. id = movierating. movieid) group by movie. name limit 5; Rating 평균을 구한 것을 내림차순으로 정렬한다. select movie. name, avg(movierating) c 5 from movie join movierating on (movie. id = movierating. movieid) group by movie. name order by c 5 desc limit 5;
- Slides: 9