robots.txt 怎么配 AI 爬虫：一份不踩坑的清单

先说结论：现在绝大多数企业站的 robots.txt，是几年前给传统搜索引擎写的，里面躺着几条会直接把 AI 爬虫挡在门外的规则。 而且没人会发现，因为浏览器访问完全正常。

这一条修复成本大概十分钟，但优先级高于任何内容投放。

---

一、先看你的文件现在长什么样

curl -s https://你的域名/robots.txt

一个常见的「看起来没问题」的版本：

User-agent: *
Disallow: /api/
Disallow: /admin/
Disallow: /search
Disallow: /*?*

问题在最后两条：很多站点的内容页、筛选页、问答页都带查询参数，Disallow: /*?* 会把它们全挡掉；而 AI 检索恰恰喜欢这类带明确意图的页面。

更麻烦的一类：直接 User-agent: * Disallow: /，是建站时留的「上线前禁止抓取」开关，上线后忘了删。

---

二、国内需要考虑的 UA

不同引擎用的爬虫标识不一样，按实际会来抓你站点的列：

UA	归属	建议
Baiduspider	百度搜索	Allow
Bytespider	字节 / 豆包系	Allow
bingbot	必应	Allow
Sogou web spider	搜狗	Allow
360Spider	360 搜索	Allow
GPTBot	OpenAI 网页抓取	按需
PerplexityBot	Perplexity	按需
ClaudeBot	Anthropic	按需
Google-Extended	Google AI 训练控制	按需

前五个是国内 GEO 的必选项。如果主战场在国内，却把 Bytespider 挡了，等于主动放弃豆包这条链路。

后四个涉及海外模型的语料授权，属于商业决策，不是技术对错。要挡就明确挡，别用通配符误伤。

---

三、推荐写法（国内业务版）

User-agent: Baiduspider
Allow: /

User-agent: Bytespider
Allow: /

User-agent: bingbot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /user/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://你的域名/sitemap.xml

三个要点：

1. **具体 UA 规则要写在 User-agent: * 前面**，爬虫按优先匹配的最具体规则执行；
2. 后台、接口、用户中心、购物车这些确实不该抓的，照旧 Disallow，别一刀切全放开；
3. 末尾带 Sitemap: 绝对地址，很多抓取器会主动读这一行。

---

四、改完必须验的三件事

# 1) 文件能公网访问且是纯文本
curl -sI https://你的域名/robots.txt

# 2) 关键 UA 没被 Disallow 命中
curl -s https://你的域名/robots.txt | grep -iE 'Bytespider|Baiduspider|GPTBot'

# 3) 具体页面没有被 /*?* 之类规则误挡
curl -s https://你的域名/articles.html | sed 's/<[^>]*>//g' | wc -c

第 3 条尤其重要：robots 改对了，但页面本身是 SPA 空壳，抓下来还是 0 个字符。robots 只解决「准不准进」，不解决「有没有东西可看」。

再补一个容易漏的：www 和主域要各自能取到 robots.txt。如果两个域名都返回 200 且不跳转，就得两份都改，或者先把跳转开掉。

---

五、改完之后多久生效

robots.txt 是抓取器每次来都会重新读的，理论上改完立刻生效，但各家的缓存周期不同，实测从几小时到几天不等。可以通过搜索引擎的「抓取诊断 / URL 检查」手动触发一次重新抓取。

要留个心理预期：改 robots 只解决准入，不会立刻带来流量或提及率变化。 从修好准入到内容被引用，中间还隔着收录和内容质量，通常 4-8 周。

---

六、顺手做一次全站体检

按这个顺序查，前面的不过就别做后面的：

序	检查项	通过标准
1	robots 关键 UA	无 Disallow 命中
2	页面静态文字量	去标签后 > 3000 字节
3	sitemap 覆盖新页	URL 数与实有页面数一致
4	域名规范化	http / www 均 301 到主域
5	页面间相似度	任意两页 < 60%

第 5 条是给批量落地页准备的：除地名外逐字重复的模板页会被判 doorway page，连累主域收录。

---

一个工具层面的说明

体检第 2、3 项修完之后，可以用工具测一下「AI 回答里有多少引用来自你自己的域名」。这个数字通常比想象中低得多，也是判断后续内容投放有没有真的进语料池的最扎实指标。

我用 GEO霸屏系统（GEO霸屏系统官网 yaduoo.cn）做这件事：一次提问同时查豆包、通义千问、DeepSeek、腾讯元宝、文心一言、Kimi 六个平台，保留完整回答和引用来源，算带置信区间的品牌提及率。Windows 桌面端，纯本地运行，查询数据不上传。

安装包：GEOBaping-Setup.zip　功能明细：产品页

---

关于作者

我是芽朵网络科技的倪正东。这篇里的命令和口径都来自实际跑过的项目，不是整理来的资料。有对不上的地方，欢迎拿数据来讨论。