文章预览
大家好，我是哥飞。 今天哥飞在例行查看 Google Search Console （下文简称 GSC）数据时，发现 最近哥飞上线的一个新网站，未编入索引的页面数量有点儿多。 再看具体原因，发现被 noindex 标记的页面有一百多个。 这就有点奇怪了，于是继续点进去看，到底是哪些网址出现问题了。 看到这些网址列表，哥飞终于知道原因了。 之前哥飞要求小伙伴们把 /people/ 页面都暂时禁止抓取，在 robots.txt 设置了禁止抓取，也在页面里 meta 信息中返回了 noindex 标记。 所以默认语言下的 people 目录的确没抓取，但是多语言下的被抓取了。 而 robots.txt 是这么写的： 看出问题来了吗？ 上面的这种写法，只会禁止默认语言下的 /people/ 目录下的页面。 但这个网站是加了多语言支持的，并且是用子目录形式放多语言的，上面的规则无法禁止像日语 /ja/people/ 、韩语 /ko/people/
………………………………
