주식 자동매매 시스템

파이썬을 이용한 주식 자동매매 시스템

이미지
파이썬을 이용한 주식 자동매매 시스템 INDEX 환경구축 키움증권 API - 연결테스트 키움증권 API - 계좌정보 조회 키움증권 API - 주문 키움증권 API - 종목정보 가져오기 포트폴리오 - 종목, 업종별 자산 포트폴리오 한국투자증권 API API reference 키움 OpenAPI+ 개발가이드 한국투자증권 OpenAPI 다운로드 및 가이드 Design https://www.design-seeds.com/in-nature/succulents/cacti-color-2/ https://create.piktochart.com/dashboard

Install Hive

1. MariaDB 설치 (Install)

MariaDB installation file download

http://www.mariadb.org/
  • 다운로드 폴더에 mariaDB 설치파일 다운
    • MariaDB-10.0.15-centos7_0-x86_64-client.rpm MariaDB-10.0.15-centos7_0-x86_64-common.rpm MariaDB-10.0.15-centos7_0-x86_64-server.rpm mariadb-java-client-1.3.5.jar
  • 압축풀기, 설치하기
    • # cd 다운로드/
# yum -y remove mariadb-libs
# yum -y localinstall Maria*
  • Hive library 넣어주기
    • # mv mariadb-java-client-1.3.5.jar /usr/local/hive-1.0.1/lib
  • HIVE가 접근할 수 있는 hive 계정 생성
    • # systemctl restart mysql
# systemctl status mysql
  • 서비스 상시가동
    • # chkconfig mysql on
# mysqladmin -u root password '111111'
# mysql -u root -p

    
MariaDB [(none)]> use mysql
  • hive 계정 권한 변경
    • localhost 에서 들어오는 모든 접근에 hive 계정 권한을 열어준다 
    MariaDB [mysql]> grant all privileges on *.* to hive@'localhost' identified by '111111';
    모든ip에서 들어오는 접근에 hive 계정 권한을 주겠다. 
    MariaDB [mysql]> grant all privileges on *.* to hive@'%' identified by '111111';
  • Hive 계정에서 사용할 database 생성 
    MariaDB [mysql]> create database hive_db;
MariaDB [mysql]> commit;
MariaDB [mysql]> show databases;

MariaDB [(none)]> use hive_db

Database changed
MariaDB [hive_db]>


1. Hive 설치

Hive다운로드

# tar xvfz apache-hive-1.0.1-bin.tar.gz
# cp -r apache-hive-1.0.1-bin /usr/local/hive-1.0.1

2. profile

# vi /etc/profile
HIVE_HOME=/usr/local/hive-1.0.1
export HIVE_HOME
PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

. /etc/profile

3. Hive-MariaDB connector

MariaDB library 를 hive에서 사용할 수 있도록 lib 파일에 넣어준다
mariadb-java-client-1.3.5.jar 
# cd 다운로드
# cp mariadb-java-client-1.3.5.jar /usr/local/hive-1.0.1/lib

4. hive가 사용할 하둡내부의 공간

- hadoop data : tmp 폴더 권한을 열어줘야 hive 실행 가능 
# hadoop dfs -mkdir /tmp/hive
# hadoop dfs -chmod 777 /tmp
# hadoop dfs -chmod 777 /tmp/hive
# hive

5. Database Structure 저장할 폴더 지정

  • warehouse 안만들면 현재폴더에에 db_ 생성됌

# hadoop dfs -mkdir /user/root/warehouse
# hadoop dfs -chmod 777 /user/root/warehouse

6. Database Structure 저장할 폴더 지정

# cd /usr/local/hive-1.0.1/conf/
# touch hive-site.xml
# vi hive-site.xml


<configuration>
  <property>
    <name>hive.metastore.local</name>
    <value>true</value>
    <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mariadb://localhost:3306/hive_db?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.mariadb.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>hive</value>
     <description>username to use against metastore database</description>
  </property>
  <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <value>111111</value>
     <description>password to use against metastore database</description>
  </property>
</configuration>
 

7. Hadoop 실행 -> Hive 실행

# start-all.sh
# hive

이 블로그의 인기 게시물

Linux에서 CSV파일 사용방법

이미지
Linux 에서 CSV 파일 한글 깨지는 현상 Solution 파일을 메모장으로 연다 다른 이름으로 저장 인코딩 방식 UTF-8로 변경 데이터 로드 전 처리 데이터에 있는 column 명 삭제 sed -e '1d' cafeUTF.csv > cafe.csv 데이터가 " "로 둘러싸여 있는 경우 현재 폴더에서 이름으로 검색 후 데이터에 "를 제거 find . -name airports.csv -exec perl -p -i -e 's/"//g' {} \; Before delete first row After delete first row
Read more »

R에서 외부 데이터 이용하기 (Excel, csv)

이미지
Excel 파일을 사용하기 위해서 Package 설치 console 창에서 readxl 패키지 설치  > install.packages('readxl') 설치가 제대로 되지 않았을 경우 설치된 경로를 확인해 package를 삭제하고 다시 설치해야한다.  ⌕ C:\Users\student\AppData\Local\Temp\RtmpCu2rjY\downloaded_packages package 사용하기 library(package명) Excel 데이터 파일 준비 사용할 데이터 파일 (Excel) 을 프로젝트 폴더 안에 붙여넣으면 R studio에서 확인할 수 있다. 데이터 로드하기 패키지를 매번 로드해 줘야 하기 때문에 함수로 만들었다. exdata <- function(){ library(readxl); # 같은 workspace 에 존재하는 파일이기 때문에 파일명만 명시해도 된다 data <- read_excel('excel_exam.xlsx'); return(data); } data <- exdata(); colnames(data) <- c('a','b','c','d','e') mean(data$math) read_excel 속성 # column명이 없는 데이터인 경우 첫 줄을 column명으로 만들지 않도록 col_names = F 설정 data <- read_excel('excel_exam_nohead.xlsx', col_names = F); # Excel 파일의 2번째 sheet에 있는 데이터를 읽어온다 data <- read_excel('excep_exam_3.xlsx', sheet =2); csv 파일 이용하는 방법 getcsv <- fun...
Read more »

파이썬을 이용한 주식 자동매매 시스템 3 - 계좌정보 조회

이미지
키움 API의 기본적인 통신 'CommRqData'라는 Method를 통해 데이터를 송신하고,  'OnReceiveTrData'를 통해 데이터를 받아와 처리하는 방식이다.  LONG CommRqData(BSTR sRQName, BSTR sTrCode, long nPrevNext, BSTR sScreenNo) sRQName – 사용자구분 명  sTrCode - Tran명 입력  nPrevNext - 0:조회, 2:연속  sScreenNo - 4자리의 화면번호  void OnReceiveTrData(LPCTSTR sScrNo, LPCTSTR sRQName, LPCTSTR sTrCode,LPCTSTR sRecordName, LPCTSTR sPreNext, LONG nDataLength, LPCTSTR sErrorCode, LPCTSTR sMessage, LPCTSTR sSplmMsg) sScrNo – 화면번호  sRQName – 사용자구분 명  sTrCode – Tran 명  sRecordName – Record 명  대부분의 TR 통신은 위 두개의 함수로 조회하고 받아볼 수 있다. 파이썬으로 구현하기 위해 이 전에 작성했던 KiwoomTrade class에 아래 함수들을 추가 했다. CommRqData def set_input_value(self, id, value): self.dynamicCall("SetInputValue(QString, QString)", id, value) def comm_rq_data(self, rqname, trcode, next, screen_no): self.dynamicCall("CommRqData(QString, QString, int, QString)", rqname, trcode, next, screen_no) self.tr_event_loop = QEventLoop() ...
Read more »