인터넷에 있는 수많은 정보들을 내가 만드는 사이트에 가져와서 활용하고 싶을때는 어떻게 해야할까? 그럴때 사용하는 방법을 scraping, crawling이라고 한다. 공공으로 제공되는 api들을 활용하여 지도나 공공데이터를 내 서비스에서 이용할 수 있게 되는 것이다. 하지만 그렇다고 아무 사이트에서 모든 정보들을 내 서비스에 활용하면 안된다. 오늘은 매우매우 유용하고 무슨 서비스를 하던 반드시 사용하게 되겠지만 또 동시에 굉장히 위험할 수도 있는 scraping과 crawling에 대해서 공부해보았다. 스크래핑이란? 웹 스크래핑이랑 크롤링은 서로 비슷한듯 하지만 또 분명한 차이점이 존재한다. 우선 스크래핑이랑 어떤 특정한 시스템을 활용하여 웹사이트에서 콘텐츠와 데이터등을 추출하는 프로세스를 말한다. 화면..