develop

Install File 설치 파일 준비 Hadoop 다운로드 페이지에서 releases > Apache release archive site에 가면 모든 버전을 다운 받을 수 있다. 하둡다운로드 하이브다운로드 jdk다운로드 ↓ cd 다운로드 tar xvfz jdk-8u161-linux-x64.tar.gz cp -r jdk1.8.0_161/ /usr/local/jdk1.8 cd /usr/bin ln -s /usr/local/jdk1.8/bin/java java tar xvfz hadoop-2.9.0.tar.gz cp -r hadoop-2.9.0 /usr/local/ tar xvfz apache-hive-2.2.0-bin.tar.gz cp -r apache-hive-2.2.0-bin /usr/local/hive Generate SSH Key SSH Key : 서버간의 통신을 위한 프로토콜 ssh-keygen is a standard component of the Secure Shell (SSH) protocol suite found on Unix and Unix-like computer systems used to establish secure shell sessions between remote computers over insecure networks, through the use of various cryptographic techniques. # ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa # ssh-copy-id -i /root/.ssh/id_dsa.pub root@slave1 SSH Key profile setting JAVA_HOME=/usr/local/jdk1.8 HADOOP_HOME=/usr/local/hadoop-2.9.0 HIVE_HOME=/usr/local/hive CLASSPA

Linux 에서 CSV 파일 한글 깨지는 현상 Solution 파일을 메모장으로 연다 다른 이름으로 저장 인코딩 방식 UTF-8로 변경 데이터 로드 전 처리 데이터에 있는 column 명 삭제 sed -e '1d' cafeUTF.csv > cafe.csv 데이터가 " "로 둘러싸여 있는 경우 현재 폴더에서 이름으로 검색 후 데이터에 "를 제거 find . -name airports.csv -exec perl -p -i -e 's/"//g' {} \; Before delete first row After delete first row

Linux Terminal에서 데이터베이스 구축하기 데이터 파일을 저장할 Directory 생성 누구나 읽기/쓰기 가능하도록 권한 열기 # mkdir /oradata # chmod 777 /oradata Oracle Database 실행 # sqlplus SQL > 테이블 생성 (Linux terminal) SQL > CREATE TABLE customer( id VARCHAR(10) NOT NULL PRIMARY KEY, name NCHAR(5) age INT, address NCHAR(5) ) TABLESPACE shopping_db; MariaDB 와 Oracle의 차이점 테이블 생성 구문 뒤에 테이블이 생성될 테이블 스페이스를 지정 NVARCHAR 대신 NCHAR를 사용 데이터베이스 구축 SQL > INSERT INTO customer VALUES('hong', '홍길동', 22, '경기') Web에서 데이터베이스 구축하기 127.0.0.1:8080/apex 로 접속 Workspace 서로 다른 workspace 안에 있는 데이터는 접근 못함.  web으로 접속할 때만 있는 개념  실제 User는 schema를 기준으로 접속한다. Internal은 기본적으로 Oracle에서 제공하는 Workspace이며, 다른 workspace, user를 생성하는 용도로 사용한다. oracle web server csv 파일을 이용한 테이블 생성과 데이터 로드 SQL Workspace > Utility Utility > Data workshop Linux: oracle db 관리자로 접속 Linux의 oracle database를 관리하는 계정은 System이다. 비밀번호는 설치 시 설정했던 비밀번호를 사용한다. web에서 구축한 데이터에 접근하는 방법

Oracle 설치 파일 다운로드 oracle-xe-11.2.0-1.0.x86_64.rpm.zip Window > Linux 다운로드 폴더로 copy Oracle Database 11g Release 2 zip 파일 압축 풀기 다운로드 파일로 이동 > 다운로드 파일 확인 > 압축풀기 # cd 다운로드 # ls -l oracle* # unzip oracle* rpm 파일 설치 임시로 가상 메모리 추가 Oracle Database Express 11g를 설치하려면 최소 1990MB 이상의 가상 메모리가 필요 임시로 가상 메모리 추가 가상 메모리용 파일 생성 파일을 가상 메모리로 포맷 가상 메모리 활성화 가상 메모리 용량 확인 # dd if=/dev/zero of=/swapfile bs=1024 count=4194304 # mkswap /swapfile # swapon /swapfile # swapon -s 결과 # swapon /swapfile swapon: /swapfile: insecure permissions 0644, 0600 suggested. # swapon -s Filename Type Size Used Priority /dev/sda1 partition 2047996 134528 -1 /swapfile file 4194300 0 -2 rpm 파일 설치 # cd Disk1/ # ls -l oracle* # yum -y localinstall oracle* 아래와 같이 실패 할 경우 swap 용량이 부족해서 발생하는 오류 >> 가상 메모리 추가 Total size: 564 M Installed size: 564 M Downloading packages: Running transaction check Running transaction test Transaction test succe

Hive  Hadoop 과 Java project를 연결하는 역할 Hive를 사용하면 Java project에서 Hive SQL로 쉽게 Data를 요청할 수 있다 Hive는 SQL을 사용해 Hadoop으로 MapReduce를 요청한다 Linux OS 에서 Hadoop 준비하기 Hadoop Server 실행 Run the Linux OS on VMware. Open a Linux terminal and run Hadoop. Verifying the execution of a Java process with "jps" # start-all.sh # jps Hive 실행 # hive 사용할 데이터 공공데이터 가져오는 방법    Linux에서 CSV파일 사용하는 방법 경기도에 있는 음식점정보 (까페) Create Table Field Delimited ',' Line Delimited '\n' CREATE TABLE cafe ( City STRING, PlaceName String, PermitDate Date, BusinessStatus String, MultipleFacilities String, TotalSize Double, HygieneIndustry String, HygieneName String, NumberAddress String, StreetAddress String, Zipcode Int, Latitude Double, Longitude Double ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE; 데이터 로드 load data local inpath '/root/csv/cafe.csv' o

1. MariaDB 설치 (Install) MariaDB installation file download http://www.mariadb.org/ 다운로드 폴더에 mariaDB 설치파일 다운 MariaDB-10.0.15-centos7_0-x86_64-client.rpm MariaDB-10.0.15-centos7_0-x86_64-common.rpm MariaDB-10.0.15-centos7_0-x86_64-server.rpm mariadb-java-client-1.3.5.jar 압축풀기, 설치하기 # cd 다운로드/ # yum -y remove mariadb-libs # yum -y localinstall Maria* Hive library 넣어주기 # mv mariadb-java-client-1.3.5.jar /usr/local/hive-1.0.1/lib HIVE가 접근할 수 있는 hive 계정 생성 # systemctl restart mysql # systemctl status mysql 서비스 상시가동 # chkconfig mysql on # mysqladmin -u root password '111111' # mysql -u root -p MariaDB [(none)]> use mysql hive 계정 권한 변경 localhost 에서 들어오는 모든 접근에 hive 계정 권한을 열어준다 MariaDB [mysql]> grant all privileges on *.* to hive@'localhost' identified by '111111'; 모든ip에서 들어오는 접근에 hive 계정 권한을 주겠다. MariaDB [mysql]> grant all privileges on *.* to hive@'%' identified by '111111'; Hive 계정에서 사용할 database 생성 MariaDB [mysql]> create databas

HIVE Install Error  1. jdk version error - solution - error  [root@server1 ~] # hive ... Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java: 444 ) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java: 626 ) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java: 570 ) at java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at java.base / jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java: 62 ) at java.base / jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java: 43 ) at java.base / java.lang.reflect.Method.invoke(Method.java: 564 ) at org.apache.hadoop.util.RunJar.main(RunJar.java: 160 ) Caused by: java.lang.RuntimeException: Unable to

하둡 설치 방법 Namenode Configuration Download Hadoop Hadoop download page 다운로드 폴더에 hadoop-1.2.1.tar.gz 붙여넣기  교재 내용 상 최신버전 사용하지 않음 압출풀기 # tar xvfz hadoop-1.2.1.tar.gz 설치파일 /usr/local 로 복사 # cp -r hadoop-1.2.1.tar.gz /usr/local Download JDK JDK 8u161 download page JDK 설치 # tar xvfz jdk-8u161-linux-x64.tar.gz # cp -r jdk1.8.0_161/ /usr/local java softlink 설정 # cd /usr/bin # ln -s /usr/local/jdk1.8.0_161/bin/java java profile 설정 - vi /etc/profile : PATH 설정 JAVA_HOME=/usr/local/jdk1.8.0_161 export JAVA_HOME HADOOP_HOME=/usr/local/hadoop-1.2.1 export HADOOP_HOME CLASSPATH=/usr/local/jdk1.8.0_161/lib export CLASSPATH PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 하둡 환경설정 # cd usr/local/hadoop-1.2.1/conf Hadoop - JAVA PATH 설정 # vi hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export HADOOP_HOME_WARN_SUPRESS="TRUE" core-site.txt # vi core-site.txt IP-ADDRESS : namenode의 IP Address or Hostname window, linux Host 편집 <configuratio