파이썬으로 웹 스크래핑 시작하기
WikiDocs의 04장 웹스크래핑과 Pandas를 정리한 글입니다. 웹 크롤링과 웹 스크래핑 웹 서버에 저장된 데이터를 가져오는 행위를 웹 크롤링 또는 웹 스크래핑이라고 부른다. 웹 크롤링 Google 등의 대
dsc-sookmyung.tistory.com
웹 크롤링과 웹 스크래핑
웹 서버에 저장된 데이터를 가져오는 행위를 웹 크롤링 혹은 웹 스크래핑이라고 부릅니다. 예를 들어, 빗썸 웹 사이트에서
코인들의 현재가를 가져오거나 네이버 금융 사이트로부터 일봉 데이터를 가져오는 행위를 일컫습니다. 웹 크롤링과 웹 스
크래핑은 비슷한 것 같지만 미묘한 차이가 있습니다.
일반적으로 특정한 데이터만을 웹사이트로부터 가져오는 행위를 스크래핑이라고 부릅니다. 따라서 일반인들이 웹에서
데이터를 가져오는 것들은 모두 웹 스크래핑입니다. 웹 크롤링은 구글, 네이버, 다음과 같은 포털 사이트들이 인터넷에
있는 다수의 정보를 가져가는 행위입니다. 여러분들이 홈페이지를 새로 만들면 어떻게 그 웹사이트가 구글에서 검색이
될까요? 구글은 검색을 위해서 인터넷에 연결된 모든 웹 페이지를 돌아다니면서 페이지의 정보를 저장해두기 때문에
검색할 수 있습니다. 이처럼 포털 사이트에서 대규모의 웹 데이터를 가져가는 것을 웹 크롤링이라고 부릅니다.
제 생각으로는 웹 스크래핑을 자신의 개발실력으로 확장시키는 것이 이쪽에서는 가장 좋은 방법이라고 생각합니다~
물론 남에 블로그나 사이트를 마구 가져오고 긁어오는 것은 나쁘지만 어느정도 익히기 위해 하는것은 괜찮은 것 같네요!
- 참고 링크
웹크롤 or 웹스크랩 - https://wikidocs.net/21878
'IT 관련,, > 중요문자 적어두기' 카테고리의 다른 글
| [php/자바스크립트] var 스크립트 변수 php변환하기!! (2) | 2023.01.01 |
|---|---|
| [정보처리기사] 화이트박스 테스트와 블랙박스 테스트 비교!! (0) | 2022.10.10 |
| [html5/css] html5에서 br clear="all"을 쓴다는 것은!! (0) | 2022.06.05 |
| [WEB/javascript] SetTimeout 몇초시간이 지나면 함수를 실행시키기 (0) | 2021.11.22 |
| [WEB/Eclipse] The project cannot be built until build path errors are resolved 에러 해결하기!!! (0) | 2021.07.28 |