最新文章 · 第 9 页

Nginx配置robots.txt 禁止所有蜘蛛访问

最近分析内部反代服务器的时候发现 Nginx 日志的上面有 BingBot,感觉内部的一些服务还是比较敏感的。不适合出现在搜索引擎里面的,于是通过在反代服务器上面添加一个 robots.txt 文件禁止爬取内部的服务器。