develop

HIVE 를 사용하는 이유 맵리듀스를 직접 작성하지 않고 쿼리언어로 비정형 데이터 분석이 가능하다. 하이브는 하둡에서 맵리듀스를 직접 돌리는 대신, 사용자가 SQL(Simple Query Language)로 쿼리를 작성하면 자동으로 맵리듀스 작업으로 변경해주는 쿼리 엔진이다. HIVE 구조 Metastore 하이브에서 생성한 테이블 스키마를 저장하는 곳. 테스트용으로 더비(derby) 임베디드 데이터베이스를 사용하면 된다. 실제 서비스용으로는 MySQL과 같은 데이터베이스를 사용할 수 있다. HiveQL 사용자가 쿼리를 입력하면 쿼리를 분석해 수행 계획을 작성하고 이에 따라 맵리듀스 코드를 생성한다. MapReduce 맵리듀스 작업 HiveQL에 의해 생성된 맵리듀스로 맵리듀스 작업이 수행된다.  TS/SelOperator들을 수행할 수 있도록 코드가 생성된다.  SerDe라는 추상 계층을 통해 계산에 필요한 데이터를 맵리듀스의 인풋 아웃풋 포매터로부터 읽어 들인다. HIVE 실행 내부 절차 Hive - Hadoop Flow executeQuery 사용자가 쿼리를 실행한다. getplans 드라이버(Driver)는 컴파일러(Compiler)에 쿼리 플랜을 요청한다. getMetaData 컴파일러는 쿼리를 파싱(parsing)한 후 의미분석기와 로지컬 플랜 생성기를 거친 후 맵리듀스 코드를 생성한다. 이 과정에서 하이브 테이블의 컬럼 정보와 컬럼 매핑(metadata) 정보를 Metastore로부터 가져온다. sendMetaData 컴파일러에서 요청한 테이블의 메타정보를 전달한다. sendPlans 컴파일러의 결과물인 맵리듀스와 플랜을 실행엔진(execution engine)으로 전달한다. executePlan 컴파일러에서 생성한 플랜을 수행한다. DDL 작업을 위해서 메타데이터에 접근한다. 더불어 job.xml을 생성해 쿼리 플래너가 작성한 맵리듀스 작업을 수행한다.

Hive  Hadoop 과 Java project를 연결하는 역할 Hive를 사용하면 Java project에서 Hive SQL로 쉽게 Data를 요청할 수 있다 Hive는 SQL을 사용해 Hadoop으로 MapReduce를 요청한다 Linux OS 에서 Hadoop 준비하기 Hadoop Server 실행 Run the Linux OS on VMware. Open a Linux terminal and run Hadoop. Verifying the execution of a Java process with "jps" # start-all.sh # jps Hive 실행 # hive 사용할 데이터 공공데이터 가져오는 방법    Linux에서 CSV파일 사용하는 방법 경기도에 있는 음식점정보 (까페) Create Table Field Delimited ',' Line Delimited '\n' CREATE TABLE cafe ( City STRING, PlaceName String, PermitDate Date, BusinessStatus String, MultipleFacilities String, TotalSize Double, HygieneIndustry String, HygieneName String, NumberAddress String, StreetAddress String, Zipcode Int, Latitude Double, Longitude Double ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE; 데이터 로드 load data local inpath '/root/csv/cafe.csv' o

1. MariaDB 설치 (Install) MariaDB installation file download http://www.mariadb.org/ 다운로드 폴더에 mariaDB 설치파일 다운 MariaDB-10.0.15-centos7_0-x86_64-client.rpm MariaDB-10.0.15-centos7_0-x86_64-common.rpm MariaDB-10.0.15-centos7_0-x86_64-server.rpm mariadb-java-client-1.3.5.jar 압축풀기, 설치하기 # cd 다운로드/ # yum -y remove mariadb-libs # yum -y localinstall Maria* Hive library 넣어주기 # mv mariadb-java-client-1.3.5.jar /usr/local/hive-1.0.1/lib HIVE가 접근할 수 있는 hive 계정 생성 # systemctl restart mysql # systemctl status mysql 서비스 상시가동 # chkconfig mysql on # mysqladmin -u root password '111111' # mysql -u root -p MariaDB [(none)]> use mysql hive 계정 권한 변경 localhost 에서 들어오는 모든 접근에 hive 계정 권한을 열어준다 MariaDB [mysql]> grant all privileges on *.* to hive@'localhost' identified by '111111'; 모든ip에서 들어오는 접근에 hive 계정 권한을 주겠다. MariaDB [mysql]> grant all privileges on *.* to hive@'%' identified by '111111'; Hive 계정에서 사용할 database 생성 MariaDB [mysql]> create databas

하둡 설치 방법 Namenode Configuration Download Hadoop Hadoop download page 다운로드 폴더에 hadoop-1.2.1.tar.gz 붙여넣기  교재 내용 상 최신버전 사용하지 않음 압출풀기 # tar xvfz hadoop-1.2.1.tar.gz 설치파일 /usr/local 로 복사 # cp -r hadoop-1.2.1.tar.gz /usr/local Download JDK JDK 8u161 download page JDK 설치 # tar xvfz jdk-8u161-linux-x64.tar.gz # cp -r jdk1.8.0_161/ /usr/local java softlink 설정 # cd /usr/bin # ln -s /usr/local/jdk1.8.0_161/bin/java java profile 설정 - vi /etc/profile : PATH 설정 JAVA_HOME=/usr/local/jdk1.8.0_161 export JAVA_HOME HADOOP_HOME=/usr/local/hadoop-1.2.1 export HADOOP_HOME CLASSPATH=/usr/local/jdk1.8.0_161/lib export CLASSPATH PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 하둡 환경설정 # cd usr/local/hadoop-1.2.1/conf Hadoop - JAVA PATH 설정 # vi hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export HADOOP_HOME_WARN_SUPRESS="TRUE" core-site.txt # vi core-site.txt IP-ADDRESS : namenode의 IP Address or Hostname window, linux Host 편집 <configuratio