Python爬虫高手必备的8大技巧！

文章预览

转自：网络 想要快速学习爬虫，最值得学习的语言一定是Python，Python应用场景比较多，比如： Web快速开发、爬虫、自动化运维等等， 可以做简单网站、自动发帖脚本、收发邮件脚本、简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，今天就总结一下必备的8大技巧，以后也能省时省力，高效完成任务。 1 基本抓取网页 get方法 import urllib2 url =  "http://www.baidu.com" response = urllib2.urlopen(url) print response.read() post方法 import urllib import urllib2 url =  "http://abcde.com" form = {'name':'abc','password':'1234'} form_data = urllib.urlencode(form) request = urllib2.Request(url,form_data) response = urllib2.urlopen(request) print response.read() 2 使用代理IP 在开发爬虫过程中经常会遇到 IP被封掉 的情况，这时就需要用到代理IP；在urllib2包中有ProxyHandler类，通过此类可以设置 代理访问网 ………………………………