总有坏人想爬我网站的数据，看我怎么干他！

文章预览

大家好，我是程序员鱼皮。前两天模拟面试一位社招两年的老哥，由于他的表现不错，我就临时起意，跟他交流一下我们最近遇到的业务场景问题。问题如下： 最近我们不是做了个 程序员刷题网站 - 面试鸭 嘛，有很多坏人盯上了我们网站，想把我们 4,000 多道面试题、100 多个面试题库的数据都用爬虫抓下来。那我们应该如何防止这种爬虫行为？比如怎么识别出这些非法爬取数据的用户并且自动封号？ 整个问题的交流过程大家可以看视频学习： https://www.bilibili.com/video/BV1b142187Tb 下面我就直接把防止爬虫的方法汇总分享给大家，总共有整整 10 种方法！最后一个方法很独特~ 如何防止网站被爬虫？ 1、使用协议条款 robots.txt 是一个放置在网站根目录下的文件，用于告诉搜索引擎的爬虫哪些部分不希望被抓取。 举个例子，可以在 robots.txt 文件中添加如下 ………………………………