웹 크롤러 / 스크래핑 , bot management

크롤러란 무엇인가

https://www.cloudflare.com/ko-kr/learning/bots/what-is-a-web-crawler/

그냥 브라우저로 들어오는 사람과 달리 http 요청해서 받는 도구?. 요청하면 html 들어오니까 이거 이용하는 거겠지.

 

 

bot management는 뭔가

https://www.cloudflare.com/ko-kr/learning/bots/what-is-bot-management/

검색엔진이 사이트가 검색했을 때의 해당 정보를 담고있는지 아닌지 알아내야 하는데 주변에서 가장 많이 링크되어있는 사이트를 신뢰할 수 있는 사이트라고 판단하고 탐색하는 등 자기만의 방법으로 어떤 사이트인지 알아내는게 bot.

근데 좋은 bot과 나쁜 bot이 있음. 좋은 bot은 유저 성향 파악해서 도와주는 chatbot이나 구글같은거. 나쁜 bot은 이메일 긁어서 스팸메일 뿌리는 놈들.

물론 좋은 bot은 robots.txt를 잘 지키겠지만 나쁜 bot은 그럴리가 없으니 bot들의 행동성향 등을 파악해서 좋은 bot만 들여보내고 나쁜 bot은 딴곳으로 보내거나 가둬버린다.