일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- nocookie
- 코딩
- flask
- 그리디 알고리즘
- 리스트
- List
- venv
- docker-compose
- Django
- 알고리즘
- DB
- 추천 영상
- Google Drive
- gpu 병렬처리
- python
- 장고
- 탐욕 알고리즘
- G-Suite
- 깃허브
- pymongo
- selenium
- 아이폰
- 단축어
- 바로학교
- 유튜브
- 충북
- MongoDB
- 구글 드라이브
- 파이썬
- 링크
- Today
- Total
목록selenium (2)
SSAMKO의 개발 이야기
python으로 크롤링(웹 스크래핑)을 할 때 beautiful soup은 굉장히 강력한 도구입니다. 하지만, 동적페이지 중 데이터를 따로 받아서 완성시키는 페이지들은 beautiful soup으로 가져오려고 하면 엉뚱한 데이터들이 가져와지거나 실패하는 경우가 종종 생깁니다. 물론 그런 페이지들도 beautiful soup을 집요하게 파고들면 스크랩이 가능한 것 같지만, selenium을 이용하면 훨씬 간단하게 그런 페이지들을 스크래핑 할 수 있습니다. selenium은 chrome을 이용해 실제 페이지를 띄우고 우리가 키보드 마우스로 하는 동작들을 자동화해주는 라이브러리입니다. 그럼 bs로 (쉽게) 가져올 수 없는 페이지 중에서 '네이버 증권 > 국내 증시 > 시가 총액' 페이지를 스크래핑해보도록 하겠..
1. selenium 설치 2. chromedriver 다운로드 3. 페이지 띄우기(e학습터) 4. 로그인 *전제) - 파이썬 설치 - 파이썬 사용경험(잘 할 필요는 없음) 1. selenium 설치 윈도우 cmd(mac 터미널)에서 pip를 사용하여 selenium을 설치해줍니다. pip install selenium 윈도우 커맨드 shell에서는 파이썬을 설치해도 기본적으로 pip 명령어를 사용할 수 없습니다. 따라서, 파이썬3 설치 후 커맨드 라인에 py -3 -m ensurepip 위 커맨드를 입력해주어야 pip커맨드를 사용할 수 있게 됩니다. 이후에는 pip install을 이용해 selenium을 설치해주면 됩니다. 2. chromedriver 다운로드 https://chromedriver.c..