想要提高爬虫的效率？这篇文章正中你下怀……

文章预览

题记： 作为 测试工程师经常需要解决测试数据来源的问题，解决思路无非是三种： （1）直接从生产环境拷贝真实数据 （2）从互联网上爬取数据  （3）自己用脚本或者工具造数据。前段时间，为了获取更多的测试数据，笔者就做了一个从互联网上爬取数据的爬虫程序，虽然功能上基本满足项目的需求，但是爬取的效率还是不太高。作为一个精益求精的测试工程师，决定研究一下多线程在爬虫领域的应用，以提高爬虫的效率。 一、为什么需要多线程 　　 　　凡事知其然也要知其所以然。在了解多线程的相关知识之前，我们先来看看为什么需要多线程。打个比方吧，你要搬家了，单线程就类似于请了一个搬家工人，他一个人负责打包、搬运、开车、卸货等一系列操作 ………………………………