해온의 우당탕 개발일지

최근 자동화나 데이터 관련해서 외주를 받아 작업을 하고 있다. 정적 웹 페이지라고 판단된다면 request, bs4을 이용해 처리했고 동적인 페이지라고 생각이 들면 무조건 selenium으로 페이지에 직접 들어가 태그를 탐색해서 데이터를 가져오곤 했다. 하지만 selenium을 이용하여 코드를 작성하면 속도가 느리다는 문제와 크롬드라이버의 의존성이 크다는 문제가 있었다. 설상가상으로 이번에 외주 받은 프로그램에서 사용하는 크롬 버전은 116.0.5845.140이었는데 이때 크롬에서 [$TBD][1472492] CVE-2023-4572 결함으로 인해서 140 버전의 크롬 드라이버를 다운로드하지 못해 난처한 상황이 맞이하곤 했다. (다행히 패치한 141 버전이 외주 마감일 2일 전에 배포되어서 외주를 성공적..

Openpyxl 공식 문서 : https://openpyxl.readthedocs.io/en/stable/index.html openpyxl - A Python library to read/write Excel 2010 xlsx/xlsm files — openpyxl 3.1.2 documentation 1. Please join the group and create a branch (https://foss.heptapod.net/openpyxl/openpyxl/) and follow the Merge Request Start Guide. for each independent feature, don’t try to fix all problems at the same time, it’s easier for ..

이번에는 selenium과 pyinstaller을 가지고 나온 exe 파일을 실행시켰을 때, cmd창을 끄는 옵션을 추가했음에도 불구하고 cmd창이 뜨는 오류를 해결하는 방법에 대해 알아보고자 합니다. 오류 selenium을 실행하는 파이썬 코드를 pyinstaller을 통해 exe 파일을 만들어 배포하였습니다. 하지만 exe 파일을 실행할 떄 pyinstaller에서 콘솔이 뜨지 않도록 하는 -w 옵션을 넣어 줬음에도 불구하고 뒤에 cmd(흔히 검은창)이 뜨는 현상이 일어났습니다. 혹시 해당 오류에 대해 다루기전에 pyinstaller 실행 방법이나 옵션에 대해 모르신다면 아래 게시글을 참고 하시면 좋을 듯 합니다. 참고 : https://jheaon.tistory.com/131 파이썬 라이브러리 Py..

Pyinstaller pyintsaller는 python 애플리케이션과 모든 종속성을 단일 패키지로 묶어서 사용자가 python 인터프리터 또는 모듈을 설치하지 않고 패키지 된 앱을 실행할 수 있도록 도와주는 라이브러리이다. python 3.7 이상부터 지원하며 현재까지 numpy, matplotlib, PyQt.. 등과 같은 많은 주요 python 패키지들 까지도 번들로 잘 제공되고 있다. 주의해야 할 점은, 크로스 플랫폼이 아니라는 점인데, window 기반에서 exe 파일을 만들었다면, window안에서만 돌아가고, window 외의 운영체제인 mac, linux에서는 따로 파일을 만들어 실행하여야 한다. 자세한 부분은 공식문서 보면서 참고하길 바란다. 공식문서 : https://pyinstalle..

해당 게시글은 https://jheaon.tistory.com/127 에서 동적 크롤링 부분에서 설명한 "파이썬을 활용한 업무 자동화" 위키 독스의 내용을 정리한 것이다. 파이썬과 request, bs4, selenium4을 통해 웹 페이지 데이터 크롤링하기 일반적으로 인터넷을 이용하면서 웹에 있는 데이터를 가공하거나 사용해야 하는 경우가 빈번하다. 특히 사이트에서 어떤 가격에 대한 데이터를 받아 엑셀로 저장하여 정리하여야 한다는 가, 여 jheaon.tistory.com 01. selenium 4 [TOC] ## 셀레니움 설치 ```{.python} pip install selenium # pip install selenium-wire # 특정 버전 설치 pip insta… www.wikidocs.ne..

에러가 난 상황은요? Python - telegram 연결 도중에 해당 오류가 발생했습니다. 에러 내용을 확인해 보니 코루틴과 await가 있는 것을 보니 비동기 관련 문제인 듯했습니다. 어떻게 해결 하셨죠? 해당 API관련 문서를 ㅊ앚아보니 해당 오류는 2022 말에 telegram bot API update로 asyncio 도입으로 생기는 오류인 것을 확인했습니다. 따라서 예전에 있던 코드를 그대로 사용하고자 하시는 분들은 telemgarm library 이전 버전으로 맞춰서 진행한다면 문제없이 진행할 수 있을 듯 합니다. - python-telegram-bot: v20.0 - asyncio: v3.4.3 만약에 그냥 업데이트된 상태로 코드를 작성하고 싶다면 아래 방법을 참조해주세요 메시지를 보내는 ..

Python 서버를 개발하거나 API을 활용한 스크립트를 작성하다 보면 중요한 설정값(API키, 알려져선 안 되는 데이터)을 관리하게 된다. 특히 API키나 암호키 같은 경우에 어떠한 처리 없이 Github에 올려버리게 된다면 엄청 큰 피해를 볼 수 있다. 그의 예시로 웹 드라마에서는 AWS키를 담은 코드를 그냥 Github에 올려 관리하게 된 상황을 연출하고 있는데 해당 설정값을 잘못 다루게 된다면 정말 아래와 같은 일이 일어날지 모른다. 참조 : https://www.youtube.com/watch?v=IkMJeO0Sbk4&t=2s 따라서 이런 설정값들을 잘 관리하여야 할 필요성이 있다. 이번에는 이런 설정값들을 어떤 형태로 관리하면 좋을 지에 대해서 설명 하고자 한다. 중요값 관리하기 파이썬에서 중..

요즘 Python이 배우기도 쉽고, 알고리즘 코드를 작성할 때 짧고 생각한 그대로 표현하기에 좋은 언어이기 때문에 코딩테스트에서의 선호도가 점차 증가하고 있는 추세이다. 하지만 코드를 작성할 때, 파이썬 객체의 내장 함수를 사용하면서 해당 함수의 시간 복잡도가 얼마나 걸리는지에 대해서는 잘 알지 못하고 사용하고 있는 부분이 있어 해당 내용을 정리하고자 한다. 아래에 나오는 표는 각 객체에 대하여 내장 함수의 시간 복잡도를 정리한 표이다. 해당 표는 (목적 / 예제 / 시간복잡도 / 기타 사항) 순으로 정리하였다. 파이썬 자료형의 내장 함수 시간 복잡도 정리 List l = list() 로 고려한 다음의 Example이다. Operation Example Big-O Notes Index l[i] O(1) ..

파이썬을 이용하여 개발하다 보면 가끔 __pycache__라는 폴더가 생기고, 그 안에 pyc라는 파일들이 생기는 것을 볼 수 있다. 그럼 이. pyc 파일은 무엇이며 어떤 역할을 하는 걸까? __pycache__ 와. pyc 파일 __pycache__ 는 파이썬 스크립트를 실행할 때 생기는 디렉터리이다. 그리고 이 폴더 안에는 파이썬 스크립트의 컴파일된 버전인. pyc 파일들이 포함되어 있다. 파이썬 스크립트가 실행 될 때, 인터프리터는 먼저 __pycache__ 폴더 안에. pyc 파일이 있는지 검사를 하고. pyc 파일이 최신 상태이면 원본 스크립트 대신에. pyc 파일을 먼저 실행한다. 그 이유는 바이트 코드로 되어있는 pyc 파일을 실행하는 것이 py 파일을 해석하는 것보다 훨씬 빠르기 때문이다..