[开源项目] 收集各种AI爬虫名称并将其屏蔽 避免AI抓取你的数据训练模型

文章预览

#网站应用 开源项目：收集各大公司的 AI 爬虫名称并将其屏蔽，这些爬虫主要都是用来抓取数据进行 AI 训练的，屏蔽后几乎不会对网站产生负面影响。当然允许它们抓取你的数据训练 AI 模型也不会给你的网站带来什么正面反馈，所以各位站长可以综合考虑内容、服务器压力和带宽问题选择是否屏蔽。 长久以来活跃在互联网上的爬虫都非常多，这些爬虫通常没有自己的独立名称，都是伪装成各种模仿用户的 UserAgent 进行抓爬。 现在更多爬虫是为了抓取数据用于训练 AI 模型，至少规模较大的 AI 公司会公布自己的爬虫名称，网站管理员可以屏蔽这些爬虫避免数据被抓取。 为什么要屏蔽 AI 爬虫： 这些爬虫的主要目的就是抓取你的网站内容拿去训练人工智能模型， 这几乎不会给你的网站带来任何流量或其他正面反馈 ，因此直接屏蔽并没有什么大不了的 ………………………………