站长图库

宝塔面板根据访问协议头屏蔽字节跳动爬虫

 发布时间 2019-10-27 13:21:19 热度 515

 Tag标签:  宝塔面板协议头爬虫字节跳动

最近,字节跳动搜索引擎的爬虫疯狂爬取全网资源,导致一些小网站服务器不堪重负,严重的直接使网站宕机。

我们有很多方法可屏蔽掉爬虫,比如 robot.txt ,但是貌似字节跳动旗下的今日头条爬虫比较流氓,他不遵守这个!还有一个通过屏蔽IP的方式,但是一般爬虫的IP地址比较多,这个也挺麻烦。

这里站长图库介绍一种方法,有一定的效果,如下:


nginx在站点的设置,配置文件中 server{ } 中添加

#禁止爬虫工具的抓取
if ($http_user_agent ~* "Bytespider|YisouSpider") {
    return 403;
}

注:Bytespider 为字节跳动爬虫的协议头


Apache:

在伪静态里设置 这里以thinkphp为例!

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ index.php [L,E=PATH_INFO:$1]
 #禁止爬虫工具的抓取
RewriteCond %{HTTP_USER_AGENT} "^.*Bytespider.*|.*YisouSpider.*$" [NC]
RewriteRule ^(.*)$ - [R=404,L]
</IfModule>


以上,就是根据访问协议头屏蔽字节跳动爬虫的方法,希望能对大家有所帮助!


评论(0)条

    站长图库

    站长素材 - 建站资源分享平台

    猜你喜欢
    绘画画板图标设计AI矢量素材下载

    绘画画板图标设计AI矢量素材下载

    UI元素 106 2020-02-19

    绘画画板图标设计AI源文件矢量素材,适用于绘画、画板设计使用。

    js左侧分类菜单图片轮播代码

    js左侧分类菜单图片轮播代码

    菜单导航 183 2019-12-25

    js左侧分类菜单图片轮播代码是一款适用于各种商城的主屏页面商品图片和导航菜单布局样式代码。

    HTML5全屏图片左右滑动轮播代码

    HTML5全屏图片左右滑动轮播代码

    图片特效 146 2020-01-23

    HTML5全屏图片左右滑动轮播代码是一款全屏响应式图片轮播布局,按钮控制图片水平滑动预览查看,图片支持鼠标悬停文字动画展...

    jQuery基于CSS3文字动画特效

    jQuery基于CSS3文字动画特效

    其他 110 2020-01-20

    jQuery基于CSS3文字动画特效是一款简单的文字翻转高亮动画特效。