生成 ai.txt 文件,快速明确地管理允许哪些 AI 机器人和数据抓取工具访问您的网站内容。
指定机器人规则。
选择想要禁止的:
User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: ClaudeBot Disallow: /
ai.txt 文件是一项新兴计划,类似于 robots.txt,专门旨在解决现代一波定期为训练编制网站数据索引的 AI 机器人、LLM 爬虫和数据抓取工具。
虽然 robots.txt 处理传统的搜索引擎,但 ai.txt 让您可以细致而明确地控制您是否同意像 OpenAI,Anthropic 或 Google 等公司使用您的数据训练 AI 模型。