이해니

이해니

CoreBanking Developer 전자금융

Hana Project Currency Aws E2c Crontab

최대 1 분 소요

AWS EC2와 리눅스 crontab을 통해 10분마다 크롤링해서 Oracle DB에 넣기

1단계 : e2c 생성하기

aws에 e2c 계정을 생성하는 단계이다.

  • 참고 : https://mozi.tistory.com/461

2단계 : 생성된 e2c 접속하기

윈도우에서 putty를 사용해 생성된 AWS에 접속하는 과정이다. 나는 Putty가 이미 깔려있기 때문에 putty 설치 과정은 생략했다.

  • 참고 : https://www.devoops.kr/79

위 글에서 마지막 로그인 부분에서 에러가 발생했다. 찾아보니 생성된 인스턴스의 os 종류에 따라 id가 달랐다.

image

나는 ubuntu 인스턴스를 생성했기 때문에 ubuntu라고 입력해주니, 접속이 되었다.

  • 참고 : https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/putty.html

3단계 : 파이썬 설치하기

  • 참고 : https://nyangnyangworld.tistory.com/3

그대로 따라했는데 pip3가 안깔려서 아래 명령어로 설치했더니 됐다!

sudo add-apt-repository universe
sudo apt-get update
sudo apt-get install python3-pip

4단계 : pip 라이브러리 설치하기

pip install beautifulsoup4
pip install cx_oracle
pip install -U selenium
pip install lxml

5단계 : sellenium / chrome driver 설치하기

  • 참고 : https://somjang.tistory.com/entry/Ubuntu-Ubuntu-%EC%84%9C%EB%B2%84%EC%97%90-Selenium-%EC%84%A4%EC%B9%98%ED%95%98%EA%B3%A0-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0

  • 구글 크롬 드라이버 다운로드 : https://chromedriver.chromium.org/downloads
    • 크롬버전에 맞는 드라이버를 다운받아야 한다!
  • 참고 2 : https://dvpzeekke.tistory.com/1

6단계 : oracle path 설정하기

  • 참고 : https://willbesoon.tistory.com/120

따라해도 계속 실패함ㅠㅠ

  • 참고 2 : https://stophyun.tistory.com/225
  • 참고 3 : https://joonable.tistory.com/35

아직 안해봄…

7단계 : 파이썬 파일 실행하기

  • 복사하기 : 복사하고자 하는 파일이 있는 폴더에서 git bash 실행 후 아래 명령어 입력
scp -i "C:/DEV-util/AWS/hana-global-pay.pem" test.py ubuntu@ec2-15-165-19-6.ap-northeast-2.compute.amazonaws.com:~/test/

image

  • 참고 : https://stophyun.tistory.com/225

8단계 : crontab 설정 및 실행

  • https://sulmasulma.github.io/data/2020/07/09/ec2-crontab.html

업데이트:

참고