Robots.txt生成器
可视化配置爬虫规则，一键生成规范的 robots.txt 文件
工具加载中…
AllFreeTool robots.txt 生成工具可以通过可视化表单在线免费生成网站 robots.txt 文件，设置允许或禁止抓取的目录、填写 sitemap 地址即可自动生成规范内容，支持预览和下载。
新站上线需要配置抓取规则、屏蔽后台和测试目录、告知搜索引擎站点地图位置，都可以用本工具快速完成。无需手写语法、不怕格式出错，生成结果实时预览，一键复制或下载，完全免费。
为什么使用 AllFreeTool Robots.txt生成器？
📝
表单生成
通过勾选和填写表单生成规则，无需记忆 robots 协议语法。
🚫
目录控制
灵活设置允许与禁止抓取的路径，保护后台和私密目录。
🗺️
站点地图
可填写 sitemap 地址写入文件，帮助搜索引擎更快收录页面。
👁️
实时预览
生成内容实时预览，格式规范一目了然，确认后下载。
如何使用Robots.txt生成器？
1
设置规则
选择针对全部或指定蜘蛛，添加允许、禁止抓取的目录路径。
2
站点地图
如有 sitemap.xml 地址，填写后会一并写入生成的文件。
3
预览下载
查看生成的 robots.txt 内容，复制或下载后上传网站根目录。
常见问题
robots.txt 应该放在哪里？＋
需要上传到网站根目录，通过 您的域名/robots.txt 可以直接访问；放错位置搜索引擎将无法读取抓取规则。
禁止抓取的页面会取消收录吗？＋
robots.txt 只阻止蜘蛛抓取页面，不等于取消收录；若其他网站大量链接该地址仍可能收录标题，彻底移除需借助站长平台。
不写 robots.txt 有什么影响？＋
默认情况下搜索引擎会抓取全站页面；配置 robots.txt 可以屏蔽后台、重复页面等无需收录的内容，优化抓取效率。
生成的内容符合规范吗？＋
符合。工具按 robots 排除协议标准语法生成，User-agent、Disallow、Sitemap 等指令格式规范，可直接使用。