标签归档:禁止User-Agent

宝塔面板Nginx通过User-Agent禁止爬虫采集并返回炸弹

在loc看到的,Caddy有个http.nobots。可以直接给特定UA返回特定的数据。比如1G压缩一次就剩1M,压两次就3k。 对于服务器的话就是发送了1M的文件,恶意程序请求后会自动解包为1G的数据,可以对爬虫程序等造成很大的压力。 塔宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取https://www.bt.cn/?invite_code=MV9ub2NxdmI= 1、新建一个PHP文件 1)如果你准备用在自己的网站上,那么需要进入宝塔的网站根目录新 …