关于分布式爬虫思考

文章预览

作者：LEONYao 半路出家的菜鸟程序员 简书：http://www.jianshu.com/u/94bbc48171c7 这一篇，没有项目，没有教程。只不过是想记录下最近对于分布式爬虫的思考。半年前我去一家公司面试的时候，面试官问我什么是分布式爬虫，我只能回呵呵哒。在后来工作中渐渐地对这东西有了初步认识。爬虫无非两样东西 网站的破解 爬取的效率 由于我很懒，爬虫就随便写写怼上服务器上跑就行了，从来不考虑效率的问题，所以用到分布式的情况很少。不过也有用到的时候，之前爬个youtube，除了爬取视频信息又要下载视频又要上传视频，还要下载缩略图上传缩略图。如果只用一个爬虫去做的话，其实也没什么，就是会失业而已。然后我就开始尝试去做分布式。我从网上看到的大部分分 ………………………………