任何一个网站，只要你是长期更新的，你可能会没有流量，但不可能没有蜘蛛。这些蜘蛛可能有些是我们需要的，还有一些，则纯粹是加重服务器负担的垃圾蜘蛛。
他们可能窃取数据，也可能只是拿走我们的数据去分析，却不会给我们带来一丝流量。
没有流量也就算了，他们还拼命爬取我们的站点，一天好几千次甚至上万次。
我们要怎么排查网站是否存在这些垃圾蜘蛛呢？
很简单，使用我们的网站日志在线分析工具。
小工具持续更新，各类蜘蛛类型会更加丰富
粘贴你的日志文件（现阶段最高支持5000行），点击提交按钮，几秒后即可反馈各类蜘蛛的爬取频次，我们可以根据反馈的数据判断哪些蜘蛛是垃圾蜘蛛，而后决定是否要封禁这些蜘蛛。
除了蜘蛛统计分析之外，这个工具还支持以下能力
高频访问页url汇总
高频访问ip汇总
404错误页汇总
简直就是网站运营，尤其是新站运营必备神器！
本文转自下载鸥 常见的垃圾蜘蛛名称与排查方式
