IT 기타
웹 크롤러 / 스크래핑 , bot management
크롤러란 무엇인가 https://www.cloudflare.com/ko-kr/learning/bots/what-is-a-web-crawler/ 그냥 브라우저로 들어오는 사람과 달리 http 요청해서 받는 도구?. 요청하면 html 들어오니까 이거 이용하는 거겠지. bot management는 뭔가 https://www.cloudflare.com/ko-kr/learning/bots/what-is-bot-management/ 검색엔진이 사이트가 검색했을 때의 해당 정보를 담고있는지 아닌지 알아내야 하는데 주변에서 가장 많이 링크되어있는 사이트를 신뢰할 수 있는 사이트라고 판단하고 탐색하는 등 자기만의 방법으로 어떤 사이트인지 알아내는게 bot. 근데 좋은 bot과 나쁜 bot이 있음. 좋은 bot은 유저 성..