주식 자동매매 시스템

파이썬을 이용한 주식 자동매매 시스템

이미지
파이썬을 이용한 주식 자동매매 시스템 INDEX 환경구축 키움증권 API - 연결테스트 키움증권 API - 계좌정보 조회 키움증권 API - 주문 키움증권 API - 종목정보 가져오기 포트폴리오 - 종목, 업종별 자산 포트폴리오 한국투자증권 API API reference 키움 OpenAPI+ 개발가이드 한국투자증권 OpenAPI 다운로드 및 가이드 Design https://www.design-seeds.com/in-nature/succulents/cacti-color-2/ https://create.piktochart.com/dashboard

HIVE 설치오류 (Install Error)

HIVE Install Error 



1. jdk version error - solution

- error 

 

[root@server1 ~]# hive




...




Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient




at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)




at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:626)



at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:570)




at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)




at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)



at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)



at java.base/java.lang.reflect.Method.invoke(Method.java:564)



at org.apache.hadoop.util.RunJar.main(RunJar.java:160)



Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient



at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:145



at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:63)



at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:73)



at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2664)



at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2683)



at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:425)







... 7 more








Caused by: java.lang.reflect.InvocationTargetException







at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)







at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)



at java.base/jdk.internal.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)



at java.base/java.lang.reflect.Constructor.newInstance(Constructor.java:488)



at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1451)



... 12 more








Caused by: javax.jdo.JDOFatalInternalException: The java type java.lang.Integer (jdbc-type="", sql-type="") cant be mapped for this datastore. No mapping is available.



NestedThrowables:



org.datanucleus.exceptions.NucleusException: The java type java.lang.Integer (jdbc-type="", sql-type="") cant be mapped for this datastore. No mapping is available.



at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:591)



at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:788)



at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:333)



at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)



at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)



at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)



at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)



at java.base/java.lang.reflect.Method.invoke(Method.java:564)



at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)



at java.base/java.security.AccessController.doPrivileged(Native Method)



at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)



at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)



at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)




at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)



at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:340)







at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:369)



at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:266)




at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:233)




at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)




at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)



at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:56)



at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:65)



at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:560)




at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:538)



at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:591)



at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:429)



at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66)



at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72)



at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5502)



at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:184)




at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:73)




... 17 more








Caused by: org.datanucleus.exceptions.NucleusException: The java type java.lang.Integer (jdbc-type="", sql-type="") cant be mapped for this datastore. No mapping is available.







at org.datanucleus.store.rdbms.mapping.RDBMSMappingManager.getDatastoreMappingClass(RDBMSMappingManager.java:1215)








...



- solution (reinstall hive with jdk1.8.0)

  • remove hive
# rm -rf /usr/local/hive-1.0.1
  • downgrade jdk version (jdk9 -> jdk8)
    • jdk PATH 재설정
    • modify JAVA_HOME, JAVA Library PATH
# vi /etc/profile
 modify : /etc/profile
  • execute modified profile
# . /etc/profile

  • modify hadoop env & remove data, name directory
# cd /usr/local/hadoop-1.../
# rm -rf data
# rm -rf name
# vi conf/hadoop-env.sh

 modify : hadoop-env.sh

  • format Hadoop
# hadoop namenode -format
# jps

2. Hadoop - Hive permission error - solution

- error

 

[root@server2 ~]# hive







Logging initialized using configuration in jar:file:/usr/local/hive-1.0.1/lib/hive-common-1.0.1.jar!/hive-log4j.properties











Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Filesystem closed







at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444)







at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:626)







at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:570)







at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)







at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)







at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)







at org.apache.hadoop.util.RunJar.main(RunJar.java:160)







Caused by: java.io.IOException: Filesystem closed







at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:323)







at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1057)







at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:554)







at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:523)







at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:478)







at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)







... 7 more


- solution

  • Create a directory that connecs to Hive and Hadoop
[root@server2 ~]# hadoop dfs -mkdir /tmp/hive

  • Modify permissions to access and write from Hadoop
[root@server2 ~]# hadoop dfs -chmod 777 /tmp
[root@server2 ~]# hadoop dfs -chmod 777 /tmp/hive




3. MariaDB install error - solution
  • Error : MariaDB conflicts error
    • 
Error: MariaDB-common conflicts with 1:mariadb-libs-5.5.35-3.el7.x86_64
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest
  • Solution : remove conflicts library
    • # yum -y remove mariadb-libs

이 블로그의 인기 게시물

Linux에서 CSV파일 사용방법

이미지
Linux 에서 CSV 파일 한글 깨지는 현상 Solution 파일을 메모장으로 연다 다른 이름으로 저장 인코딩 방식 UTF-8로 변경 데이터 로드 전 처리 데이터에 있는 column 명 삭제 sed -e '1d' cafeUTF.csv > cafe.csv 데이터가 " "로 둘러싸여 있는 경우 현재 폴더에서 이름으로 검색 후 데이터에 "를 제거 find . -name airports.csv -exec perl -p -i -e 's/"//g' {} \; Before delete first row After delete first row
Read more »

R에서 외부 데이터 이용하기 (Excel, csv)

이미지
Excel 파일을 사용하기 위해서 Package 설치 console 창에서 readxl 패키지 설치  > install.packages('readxl') 설치가 제대로 되지 않았을 경우 설치된 경로를 확인해 package를 삭제하고 다시 설치해야한다.  ⌕ C:\Users\student\AppData\Local\Temp\RtmpCu2rjY\downloaded_packages package 사용하기 library(package명) Excel 데이터 파일 준비 사용할 데이터 파일 (Excel) 을 프로젝트 폴더 안에 붙여넣으면 R studio에서 확인할 수 있다. 데이터 로드하기 패키지를 매번 로드해 줘야 하기 때문에 함수로 만들었다. exdata <- function(){ library(readxl); # 같은 workspace 에 존재하는 파일이기 때문에 파일명만 명시해도 된다 data <- read_excel('excel_exam.xlsx'); return(data); } data <- exdata(); colnames(data) <- c('a','b','c','d','e') mean(data$math) read_excel 속성 # column명이 없는 데이터인 경우 첫 줄을 column명으로 만들지 않도록 col_names = F 설정 data <- read_excel('excel_exam_nohead.xlsx', col_names = F); # Excel 파일의 2번째 sheet에 있는 데이터를 읽어온다 data <- read_excel('excep_exam_3.xlsx', sheet =2); csv 파일 이용하는 방법 getcsv <- fun
Read more »

[R 함수] aggregate, apply 사용 방법

이미지
Googlevis R과 Google chart API 의 인터페이스를 제공한다. 실습을 위한 데이터를 얻기 위해 설치했다. 아래와 같이 설치하면, Fruits와 같은 데이터셋을 사용할 수 있다. install('googlevis') library('googleVis') Fruits aggregate(x, by, function, ... )  > banana <- Fruits[Fruits$Fruit == 'Bananas',] Fruits 데이터 셋에서, Banana의 판매 수익을 알고 싶을 경우 어떻게 할 것인가?  아래와 같이 'Bananas' 를 직접 Hard coding해서, 'Bananas'의 정보를 얻을 수는 있을 것이다. 만약, 문자가 변경되어 'Oranges', 'Apples' 를 보고 싶다면? 매번 변경해줘야 한다.   이런 Hard coding은 하지 않도록 해야한다.   aggregate 는 Group By 같은 기능을 통해 이런 문제해결에 도움을 주는 함수다.   aggregate (함수를 적용할 대상~기준, 데이터 , 함수) 데이터를 기준에 따라 분할하고 각각에 대한 요약 통계를 계산(함수를 이용해) 한 다음 결과를 편리한 형식으로 반환한다. (Splits the data into subsets, computes summary statistics for each, and returns the result in a convenient form) ## Default S3 method: aggregate(x, ...) ## S3 method for class 'data.frame' aggregate(x, by, FUN, ..., simplify = TRUE, drop = TRUE) ## S3 method for class 'formula&
Read more »