网站robots文件怎么优化？

robots是网站和搜索引擎蜘蛛设定的一种遵守协议，不是所有的搜索引擎都会遵守，比如字节跳动的Bytespider，百度和谷歌还是会遵守的，所以大家还是需要根据网站内容好好去写。

如何查看robots文件？域名/robots.txt。

默认robots

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.xuexi21.com/wp-sitemap.xml

User-agent: * 是允许所有的搜索引擎抓取本网站，* 是通配符，代表任何。

User-agent: Googlebot 是屏蔽谷歌蜘蛛抓取，不建议大家写，你想屏蔽的搜索引擎可能不会遵守，那么，我们一次性到位，在服务器设置。

Allow: /wp-admin/admin-ajax.php 是允许抓取admin-ajax.php文件。

Disallow: /author/ 是禁止抓取author里面的文件，例如：

https://www.example.com/author/1 不允许

https://www.example.com/author/2 不允许

https://www.example.com/author/3 不允许

注意：Disallow: /author 是https://www.example.com/author 这个类目不允许

书写的开头一定要大写，建议复制，恐不生效；书写的冒号一定是英文符号，冒号后面也要敲一个空格，输入法通常是半角字符。

WP robots书写协议

根据WordPress网站的功能，下面这个协议是符合SEO优化的，可根据网站内容自由修订。

User-agent: *  

Disallow: /wp-admin/  
Disallow: /wp-includes/  
Disallow: /wp-content/plugins/  
Disallow: /wp-content/themes/  
Disallow: /readme.html  
Disallow: /xmlrpc.php  
Disallow: /comments/feed/  
Disallow: /trackback/  
Disallow: /feed/  
Disallow: /category/  
Disallow: /author/  
Disallow: */feed/  
Disallow: /wp-content/cache/  
Disallow: */trackback/  
Disallow: */comments/  
Allow: /wp-admin/admin-ajax.php  

Sitemap: https://www.xuexi21.com/wp-sitemap.xml  

User-agent: * 通配符*表示对所有搜索引擎爬虫生效

Disallow: /wp-admin/ 禁止搜索引擎爬虫访问wp-admin目录，以防止爬取敏感内容

Disallow: /wp-includes/ 禁止搜索引擎爬虫访问wp-includes目录，以防止爬取核心WordPress文件

Disallow: /wp-content/plugins/ 禁止搜索引擎爬虫访问插件目录，通常插件不需要被索引

Disallow: /wp-content/themes/ 禁止搜索引擎爬虫访问主题目录，通常主题不需要被索引

Disallow: /readme.html 禁止搜索引擎爬虫访问readme.html文件，以防止泄露敏感信息

Disallow: /xmlrpc.php 禁止搜索引擎爬虫访问xmlrpc.php文件，以增加站点安全性

Disallow: /comments/feed/ 禁止搜索引擎爬虫访问评论的RSS feed，避免重复内容索引

Disallow: /trackback/ 禁止搜索引擎爬虫访问trackback链接，避免被滥用

Disallow: /feed/ 禁止搜索引擎爬虫访问默认文章和评论的RSS feed

Disallow: /category/ 禁止搜索引擎爬虫访问分类页面，以避免重复内容

Disallow: /author/ 禁止搜索引擎爬虫访问作者页面，以避免重复内容

Allow: /wp-admin/admin-ajax.php 允许搜索引擎爬虫访问admin-ajax.php文件，以支持站点功能

Sitemap: https://www.bigengwu.cn/sitemap.xml 提供站点地图URL，以帮助搜索引擎更好地索引站点内容

在网站根目录新建一个robots.txt文件，直接复制、粘贴、保存即可。