传统网站要从搜索引擎流量转向 AI 引用流量，技术层的起步动作是让 AI 爬虫「进得来、看得懂」。这里的入口就是 robots.txt 与 sitemap.xml。
robots.txt 配置要点
GPTBot、ClaudeBot、Bytespider 等 AI 爬虫访问前都会先读取 robots.txt。很多老站没有显式声明，AI 只能按默认规则行事，结果核心页面被忽略。建议在文件中为常见 AI 爬虫单独声明 User-agent 与 Allow，并保持 User-agent: * 不误伤。
sitemap 与索引效率
在 robots.txt 中声明 Sitemap: 地址，能帮助爬虫更快发现新增页面。更新频率高、内容有变化的栏目，优先级可以适当提高。这属于技术原理层面的基础配置，也是GEO 基础里反复强调的起点。
配置完成后，可以用 AI 爬虫的抓取模拟工具自检：首页是否返回 200、robots 是否允许、sitemap 是否能解析。基础通顺了，后续的结构化数据与内容优化才有意义。