今天看啥  ›  专栏  ›  奇客Solidot

Reddit 限制除 Google 之外的搜索引擎抓取其内容

奇客Solidot  · 公众号  ·  · 2024-07-26 04:30

文章预览

在 Reddit 与 Google 达成了价值数亿美元的内容授权协议之后,它限制了除 Google 之外的搜索引擎爬虫抓取其内容。如果使用 Bing、DuckDuckGo、Mojeek、Qwant 或任何其它替代搜索引擎,设定“site:reddit.com”搜索 Reddit 内容,你看不到过去一周的任何结果。微软代表证实,Reddit 于 7 月 1 日更新了它的 robots.txt 文件,阻止了很多搜索引擎和 AI 工具抓取内容。 https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385 https://tech.slashdot.org/story/24/07/24/1832237/googles-exclusive-reddit-access   谷歌现在是唯一一家可以从 Reddit 中显示结果的搜索引擎, 这使得互联网上最有价值的用户生成内容存储库之一成为互联网上占主导地位的搜索引擎所独有的。404 媒体: 如果您使用 Bing、DuckDuckGo、Mojeek、Qwant 或任何其他不依赖 Google 索引的替代搜索引擎并使用“site:reddit.com”搜索 Re ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览