网上每天有很多各种各样的蜘蛛到处爬，许多小站点都整天被爬来爬去。如果纵容他们这样爬取，小服务器无疑扛不住。那么，怎样屏蔽垃圾蜘蛛呢？

1、遵循robots.txt协议的蜘蛛
MJ12bot遵循robots.txt标准，惹需屏蔽他，直接在 robots.txt 添加以下代码;
User-agent: MJ12bot
Disallow: /


2、不遵循协议的蜘蛛怎样禁止？
不遵循协议的蜘蛛我们也并非没有办法去阻止，执行下方命令即可（nginx）。
if ($http_user_agent ~* (AhrefsBot|mj12bot|blexbot)) {
    return 403;
}

这样，我们就能阻止这些蜘蛛抓取页面爬取网站，释放服务器压力。

本文来自下载鸥 怎样屏蔽垃圾蜘蛛？