宝塔面板根据访问协议头屏蔽字节跳动爬虫

宝塔面板根据访问协议头屏蔽字节跳动爬虫

最近,字节跳动搜索引擎的爬虫疯狂爬取全网资源,导致一些小网站服务器不堪重负,严重的直接使网站宕机。我们有很多方法可屏蔽掉爬虫,比如 robot.txt ,但是貌似字节跳动旗下的今日头条爬虫比较流氓,他不遵守这个!还有一个通过屏蔽IP的方式,

猜你喜欢