robots.txt的写法

发布时间：2022-5-18 17:49:39 来源: 零点互联

robots.txt的写法
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论，可以qq1210486042，关注零点互联 Alice分享
全球服务器租用|海外服务器租用|网站建站一站式网络解决方案-零点互联

本文来源：