WordPress Robots.txt optimization（+ Multisite） – 网站流量，排名和SEO Booster + Woocommerce
Better Robots.txt会创建一个虚拟robots.txt并帮助您提高网站的搜索引擎优化（索引能力、谷歌排名等） — 与YOAST 搜索引擎优化工具百分之百兼容。
有了Better Robots.txt，您可以识别哪些搜索引擎可以抓取（或不抓取）您的网站，明确说明允许（或不允许）他们做什么的，并定义抓取延迟（保护您的托管服务器免受爬虫攻击）。Better Robots.txt还可以通过自定义设置框完全控制robotst.txt文件内容。
您知道吗？
Robots.txt文件是放置在您的网络服务器上的简单文本文件，它告诉网络爬虫（如Googlebot）是否可以访问文件。
Robots.txt文件控制搜索引擎蜘蛛如何查看您的网页并与之互动；
这个文件以及它们与之交互的机器人是搜索引擎工作方式的基本部分；
搜索引擎抓取工具在访问页面时首先看到的是robots.txt文件；
Robots.txt是SEO juice等待解锁的源文件。请试试Better Robots.txt！
关于专业版（更多功能）：
- 使用站点地图在搜索引擎上提升您的内容！
确保您的网页、文章和产品，甚至是最新的内容，都包括在搜索引擎内！
Better Robots.txt插件与Yoast 搜索引擎优化插件（可能是WordPress网站的最佳搜索引擎优化插件）一起使用。它会检测您当前是否正在使用Yoast 搜索引擎优化插件以及是否激活了站点地图功能。如果是，那么它会自动添加Robots.txt文件中的说明，要求机器人/抓取工具读取您的站点地图，并检查您最近是否在网站上做出了修改（以便搜索引擎可以抓取新的可用内容）。
如果您想添加自己的站点地图（或者如果您使用的是其它搜索引擎优化插件），则只需复制粘贴站点地图网址， Better Robots.txt就会添加到您的Robots.txt文件中。
- 保护您的数据和内容
阻止恶意机器人抓取您的网站并把数据商业化。
Better Robots.txt插件可以帮助您阻止大多数流行的恶意机器人抓取您的数据。
在您的网站爬虫当中，有善意机器人和恶意机器人。像谷歌机器人这样的善意机器人会抓取您的网站为搜索引擎编制索引。其它机器人抓取您的网站是出于更多的邪恶目的，例如剥离您的内容（文本、价格等）以便重新发布，下载您网站的整个档案或提取图片。据报道，由于严重占用带宽，一些机器人甚至可以拖垮整个网站……
Better Robots.txt插件可以保护您的网站免受Distil Networks恶意机器人蜘蛛/爬虫的侵害。
- 隐藏和保护您的反向链接
避免竞争对手识别您有利可图的反向链接
当一个网站链接到另一个网站时，会创建反向链接，也称为“入站链接”或“传入链接”。链接到外部网站称为反向链接。反向链接对于搜索引擎优化特别有价值，因为它们代表了从一个站点到另一个站点的“信任投票”。实质上，反向链接到您的网站是搜索引擎发出信号，表明其他人为您的内容做出了担保。
如果许多站点链接到同一网页或网站，搜索引擎可以推断出该内容值得链接，因此也值得在搜索引擎结果页面上显示。因此，获得这些反向链接会对网站的排名位置或搜索可见性产生积极影响。在搜索引擎营销行业中，专家们通常会确定这些反向链接的来源（竞争对手），以便找出最好的反向链接，并为自己的客户生成高质量的反向链接。
考虑到为公司创建非常有利可图的反向链接需要花费大量时间（时间+精力+预算），让竞争对手轻松识别和复制它们纯粹是效率损失。
Better Robots.txt可以帮助您阻止所有的搜索引擎优化抓取工具（aHref，Majestic，Semrush），以使您的反向链接无法检测到。
- 避免垃圾反向链接
很多机器人会填写您网站上的评论表格，告诉您“文章很好、喜欢这些信息、希望您能尽快详细说明该话题”，甚至提供个性化评论，包括作者姓名。不幸的是，随着时间的推移垃圾机器人越来越聪明，评论垃圾邮件链接确实会损害您的反向链接配置文件。Better Robots.txt可以帮助您避免这些评论被搜索引擎编入索引。
- 搜索引擎优化工具
在改进插件时，我们为两个非常重要的工具添加了快捷链接（如果您关注自己在搜索引擎上的排名）：谷歌搜索控制台和必应网站站长工具。如果您尚未使用它们，现在就可以在优化robots.txt的同时管理网站索引！还添加了对Mass ping工具的直接访问，允许您在70多个搜索引擎上ping您的链接。
我们还创建了4个与最佳在线搜索引擎优化工具相关的快捷链接，可直接在Better Robots.txt SEO PRO上实现。 这样，无论何时，只要您愿意，您现在都可以查看网站加载性能，分析您的搜索引擎优化得分，使用关键字和流量识别您当前在搜索引擎结果页面上的排名，甚至扫描整个网站的死链接（404，503错误，等等），这都直接来自插件。
- 独一无二
我们认为可以通过添加一项功能为Better Robots.txt增添一丝独创性，让您可以使用自己独特的“签名”“自定义”robots.txt。 世界上大多数大公司都通过添加谚语（https://www.yelp.com/robots.txt）、标语（https://www.youtube.com/robots.txt）甚至图画来个性化他们的robots.txt （https://store.nike.com/robots.txt – 在底部）…… 您为什么不试试呢？ 这就是为什么我们在设置页面上专门设置了一个特定区域，您可以在其中编写或绘制任何您想要的内容，而不会影响您的robots.txt效率。
一如既往，期待更多惊喜……
已启用Better Robots.txt插件，但为什么我看不到robots.txt文件中的任何更改？
Better Robots.txt会创建一个虚拟的robots.txt文件。请确保通过“设置”>“永久链接”启用永久链接。如果永久链接正在运行，请确保服务器上没有物理的robots.txt文件。由于无法写入物理文件，因此您必须连接到FTP服务器并重命名或删除域根目录中的robots.txt。它通常位于cPanel主机上的/ public_html /文件夹中。如果找不到您的域根目录，请向托管服务提供商寻求帮助。如果在采取这些措施后问题依然存在，请把问题发布在帮助版块或发送邮件至 [email protected]
和我已经使用的robots.txt有冲突吗？
如果您的Web托管服务器上有物理的robots.txt文件，那么此插件会无法运行。如上所述，它会创建一个虚拟的robots.txt文件。如果您想使用此插件的robots.txt文件，请按照上面答案中的步骤操作。
如何在robots.txt中添加站点地图？
Better Robots.txt Pro版本允许此功能，该版本会自动在robots.txt文件中添加站点地图。它从Yoast 搜索引擎优化插件中检测到站点地图。如果您使用的是不同的站点地图插件或手动生成的站点地图，则只需在站点地图输入字段中添加站点地图URL即可。如果还启用了Yoast XML站点地图，则只需转到Yoast常规设置>功能并禁用XML站点地图功能，即可首先禁用它。
我为什么要优化robots.txt？
为什么不去优化它呢？考虑到robots.txt是浏览器加载网站时读取的第一个文件，为什么不让抓取工具连续索引您的内容？在Robots.txt中添加站点地图是常识。为什么？您是否在谷歌站长工具上列出了自己的网站，您的网站管理员是否列出了？如何告诉抓取工具您的网站上有可用于索引的新内容？如果您希望在搜索引擎（谷歌、必应，等等）上找到此内容，则必须将其编入索引。这是本说明（添加站点地图）所要达到的目的。最后一点。这个插件存在的主要原因是由于在95％的时间里（基于成千上万的搜索引擎优化分析），robots.txt要么缺失，要么为空，要么误用，只是因为它被误解或被遗忘了。想象一下，如果它被激活并且功能齐全的话会怎么样。
该插件如何提升我的网站排名？
实际上，该插件会增加您的网站索引能力，从而提高您在谷歌上的排名。怎么样 ？创建这个插件的想法是在专业和公司网站上进行数百个搜索引擎优化后采纳的。如前所述，95％的被分析网站没有我们称之为“优化”的robots.txt文件，当优化这些网站时，我们意识到简单地修改此文件的内容实际上是“解锁”这些网站 （基于每天的SEMrush分析）。由于我们习惯于分两个步骤（时间段）工作，从这个简单的修改开始已经对谷歌排名产生了重大影响，甚至在我们开始深入修改内容、网站树形图或元数据之前就产生了。您越多地帮助搜索引擎了解您的网站，就越能帮助您提高自己在搜索引擎结果页面获得更好结果的能力。