Hugo robots.txt 模板

要从模板生成 robots.txt 文件，请更改 站点配置：

enableRobotsTXT: true

enableRobotsTXT = true

{
   "enableRobotsTXT": true
}

默认情况下，Hugo 使用 嵌入式模板 生成 robots.txt。

User-agent: *

遵守机器人排除协议的搜索引擎会将此解释为允许抓取网站上的所有内容。

robots.txt 模板查找顺序

您可以使用自定义模板覆盖内部模板。Hugo 使用此查找顺序选择模板：

1. /layouts/robots.txt
2. /themes/<THEME>/layouts/robots.txt

robots.txt 模板示例

User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}

此模板为网站上的每个页面创建一个带有 Disallow 指令的 robots.txt 文件。遵守机器人排除协议的搜索引擎将不会抓取网站上的任何页面。