크롤링으로 나라장터 검색-개요
2021. 7. 27.
크롤링이란 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다. 관련 소프트웨어 Python이 이 분야의 선두주자로서, 컴퓨터 프로그래밍이 익숙하지 않은 비전공자들인 인문학이나 통계 분야의 종사자들이 쓰기 쉽도록 라이브러리들이 발달하면서 급격히 발전하고 있다. 대표적인 파이썬 라이브러리의 예로 beautifulsoup등이 있다. 그외에도 selenium이라는 라이브러리가 인기를 끌고있다. webdriver와 headless 옵션을 함께 이용해서 웹을 자동화 시킬수도 있다. Java에도 jsoup이라는 HTML 파싱 라이브러리가 존재한다. 파이썬의 beautifulsoup처럼..
