我用Python爬了7W知乎用户信息，终于捕获了心仪小姐姐......

文章预览

“ 双十一就要来了，在举国一片“买买买”的呼声中，单身汪的咆哮声也愈发凄厉了。 作为一个 Python 程序员，要如何找到小姐姐，避开暴击伤害，在智中取胜呢？于是就有了以下的对话： so~今天我们的目标是，爬社区的小姐姐~而且，我们又要用到新的姿势(雾)了~scrapy 爬虫框架~ 本文主要讲 scrapy 框架的原理和使用，建议至少在理解掌握 Python 爬虫原理后再使用框架(不要问我为什么，我哭给你看)。 scrapy 原理 在写过几个爬虫程序之后，我们就会知道，利用爬虫获取数据大概的步骤： 请求网页。 获取网页。 匹配信息。 下载数据。 数据清洗。 存入数据库。 scrapy 是一个很有名的爬虫框架，可以很方便的进行网页信息爬取。那么 scrapy 到底是如何工作的呢？之前 ………………………………