跳到正文

← 全部工具

免费站长工具

robots.txt 生成与测试

选一个预设或自己写规则，复制文件，再测试指定爬虫能否抓取指定网址。测试器遵循 Google 的规则：匹配最长的规则优先，长度相同时 Allow 优先，* 和 $ 作为通配符。

从预设开始

隐藏后台、登录页和站内搜索，但保留 admin-ajax.php，因为很多主题要用到它。

规则

第 1 组

* 代表所有爬虫。例如 Googlebot、Bingbot、GPTBot。

以 / 开头。* 匹配任意字符，$ 表示地址结尾，例如 /*.pdf$

Bing 等会遵守，Google 会忽略。

生成的 robots.txt

保存为 robots.txt，放在网站根目录，使它能通过 https://你的网站/robots.txt 打开。

测试某个网址

按 Google 的规则判断爬虫能否抓取某个地址：匹配最长的规则优先，长度相同时 Allow 优先，* 匹配任意文字，$ 表示结尾。

要测试的文件

已被屏蔽

最具体的匹配规则是 Disallow。

命中的规则: Disallow: /wp-admin/ (第 3 行)

采用的分组：User-agent *

使用方法

  • •选择预设（允许全部、禁止全部、WordPress、Next.js 或屏蔽 AI 训练爬虫）并编辑分组。每组写明爬虫（User-agent）以及它们能或不能抓取的路径。
  • •加上 sitemap 地址，然后复制或下载 robots.txt，放到网站根目录。
  • •用测试器：输入网址和爬虫名，查看是否允许、由哪条规则决定、在第几行。也可以粘贴别的 robots.txt 来测试。

它能做什么，不能做什么

  • •robots.txt 只是请求，不是门锁。守规矩的爬虫会遵守，恶意爬虫会无视，它也保护不了私密页面，那要靠密码。
  • •禁止抓取并不会让页面从 Google 消失：被屏蔽的网址如果有其他网站链接，仍可能被收录。想让页面不出现在结果里，应允许抓取并使用 noindex。
  • •AI 爬虫名单按运营方当前公布的名称列出；新的爬虫会不断出现，也不是所有 AI 公司都遵守该文件，请定期复查。
  • •Bing 等爬虫遵守 Crawl-delay，Google 会忽略它。Host 行只有你手动添加时才会写入。
  • •测试器遵循 Google 公布的行为，其他搜索引擎在通配符等细节上可能略有不同。

常见问题

robots.txt 放在哪里？
放在域名根目录，使它能通过 https://你的网站/robots.txt 打开。每个子域名需要各自的文件，放在子目录里的 robots.txt 不会被读取。
怎么屏蔽 GPTBot、ClaudeBot 这类 AI 爬虫？
使用“屏蔽 AI 训练爬虫”预设。它会生成一组列出各爬虫名称并写 Disallow: / 的规则，另一组则不限制其他爬虫。屏蔽 Google-Extended 和 Applebot-Extended 可以退出 AI 训练，同时不影响搜索排名。
Disallow: / 和空的 Disallow: 有什么区别？
Disallow: / 对这些爬虫屏蔽整个网站；后面什么都不写的 Disallow 表示不屏蔽任何内容，也就是“全部允许”。
Allow 和 Disallow 同时匹配时听谁的？
匹配模式更长的那条。长度相同则 Allow 优先。例如 Disallow: /private/ 加 Allow: /private/press.html，只会放行那一个文件。
* 和 $ 通配符怎么用？
* 匹配任意一段字符，结尾的 $ 表示地址必须在此结束。Disallow: /*.pdf$ 会屏蔽所有以 .pdf 结尾的地址，但不包括 /file.pdf?download=1。
WordPress 网站要屏蔽 /wp-admin/ 吗？
要，但应保留 /wp-admin/admin-ajax.php 可访问，因为很多主题和插件会在前台调用它。WordPress 预设正是这样做的。

相关工具