Web-Scrapper

"[초급]Python으로 웹 스크래퍼 만들기" 코스
-NomadCoders

기초적인 Python 문법강의부터 시작하여 웹사이트의 html파일에서 원하는 내용을 Scrapping해서 출력, csv 파일로 저장, flask를 이용한 간단한 웹페이지 및 fakedb를 구축하는 방법을 배우는 코스입니다. django를 시작하기 전 간단히 설명해주는 강의가 포함되어 있습니다.

사용 기술

• Python
• html

진도

• 파이썬 기초 강의
• Indeed에서 구직정보 추출하기
• StackOverflow에서 구직정보 추출하기
• CSV파일로 저장하기
• Flask를 이용하여 웹사이트에서 정보 주고 받기
• 추출한 구직정보를 웹사이트에 출력하기
• Fake DB 만들기
• CSV파일로 저장하기 기능 구현
• 최종 결과물 업데이트

결과물

• 추가 예정...

강의에서 배운 Tips

• urllib3보다 requests가 더 사용하기 편하다.
• BeautifulSoup를 이용하여 HTML문서에서 원하는 데이터에 간편하게 접근할 수 있다.
• list[-1]은 list의 마지막 요소를 가리킨다. list[0:-1] 또는 list[:-1]은 list의 첫번째부터 마지막 전까지를 나타낸다.(마지막 요소를 제외한 모든 요소)
  []안의 -1은 'len(list)-1'로 추정된다.(개인적인 생각)

기타

• package 확인하기

$ pip show 'package-name'

• package 설치하기

$ pip install 'package-name'

• 다른 환경에서 작업할 일이 많을 경우 requirements.txt로 패키지를 관리하면 편리하다.
  (이름을 꼭 저걸로 할 필요는 없으나 대부분 저 이름으로 관리)

#파일 생성
$ pip freeze > requirements.txt

#패키지 설치
$ pip install -r requirements.txt