Linux 相关知识点

Nginx配置robots.txt 禁止所有蜘蛛访问

更新于 约 2 分钟读完 ifeng

最近分析内部反代服务器的时候发现 Nginx 日志的上面有 BingBot,感觉内部的一些服务还是比较敏感的。不适合出现在搜索引擎里面的,于是通过在反代服务器上面添加一个 robots.txt 文件禁止爬取内部的服务器。

操作方法很差简单,打开要屏蔽蜘蛛的配置文件,在server {} 块中添加下面的配置:

第一种方法:

nginx
    location =/robots.txt {
        default_type text/html;
        add_header Content-Type "text/plain; charset=UTF-8";
        return 200 "User-Agent: *nDisallow: /";
    }

第二种方法:

下面任选其一,需要先在目录里面写好 Robotx.txt 文件,配置文件很多个的话,可以都引用一个 Robotx.txt

nginx
    location /robots.txt { root /home/www/html/;  }

在线测试robots.txt是否生效

可以到百度(在新窗口打开) 、Bing(在新窗口打开) 、谷歌(在新窗口打开) 等站长后台更新并提交。

robots.txt文件生成工具:
http://tool.chinaz.com/robots/

其他网站参考: https://www.tmall.com/robots.txt
https://www.qq.com/robots.txt

本文作者:ifeng
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0(在新窗口打开) 许可协议。转载请注明出处!

相关文章

VPS 加固教程(下):SSH 密钥登录、防火墙与自动更新,小白也能照做 我的 VPS 被挖矿木马入侵了:一次草率的代价(上)复盘篇 PowerDNS 权威服务器基于 LUA Records 实现 CNAME Flattening 将 HiDNS 免费域名托管到 gcore.com 在 Ubuntu 22.04 上配置 MySQL 数据库同步(主从复制)