利用python爬取人人贷网的数据

文章预览

数据挖掘入门与实战  公众号： datadw 人人贷网站需要用户登录才能看到其相应的借贷人信息。也就是说在爬取数据时，需要用户登录。回顾之前的代码，我想是保存cookie这种方法是不能用了。必须找到一种新的方法来模拟登录网站。查了许多资料，数据捉取无外乎有3种方法： 1．直接抓取数据。 2.模拟浏览器抓取数据。 3.基于API接口抓取数据   综合分析，我决定用第2种方法"模拟浏览器登录"，那得找好相应的python包，网上有：mechanize，selenium等等。 1.mechanize包的尝试 br.select_form(nr = 0) # Find the login form br[ ' vb_login_username ' ] = ' 你的用户名 ' br[ ' vb_login_password ' ] = ' 你的注册密码 '   这段代码中老是遇到问题，第一，select_form中的nr怎么找，第二，在人人贷网站源代码 ………………………………