爬虫模拟cookie自动登录人人网

cookiejar__0">http cookiejar 模块

该模块主要的类有cookiejar,FileCookieJar,MozillaCookieJar,LWPCookieJar 这四个类的作用分别如下：
1，CookieJar：管理HTTP cookie值，存储HTTP请求生成的cookie，向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对cookiejar实例进行垃圾回收后cookie也将丢失。在Python处理Cookie，一般是通过http.cookiejar模块和urllib模块的HTTPCookieProcessor处理器类一起使用。http.cookiejar模块主要作用是提供用于存储cookie的对象。而HTTPCookieProcessor处理器主要作用是处理这些cookie对象，并构建handler对象。
2，FileCookieJar（filename，delayload=None，policy=None）;从FileCookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将Cookie存储到文件中，filename是存储cookie的文件名，delayload为True时支持延迟访问文件，即只有在需要时才读取文件或在文件中存储数据。
3，MozillaCookieJar(filename, delayload=None,policy=None),从FileCookieJar派生而来，创建于Mozilla浏览器cookies.txt兼容的FileCookieJar实例。
4，LWPCookieJar(filename, delayload=None,policy=None)),从FileCookieJar派生而来,创建与libwww.per标准的Set_Cookie3文件格式兼容的FileCookieJar实例。
利用http.cookiejar 和 request.HTTPCookierProcessor登录人人网，相关代码如下：

python">from http.cookiejar import CookieJar
from urllib.parse import urlencode
 
"""
cookie库的配置流程:
1. 创建一个CookieJar对象
2. 使用cookiejar对象，创建一个handler对象
3. 使用handler创建一个opener
4. 通过opener登录
5. handler会自动的保存登录之后的cookie
"""
 
# 第一步登录

# 1.1 创建一个cookiejar对象，存储HTTP请求生成的cookie
cookieJar = CookieJar()
# 1.2，使用cookiejar创建一个HTTPCookieProcessor对象,处理这些cookie对象，并构建handler对象
handler = request.HTTPCookieProcessor(cookieJar)
# 1.3，使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)


# 1.4, 使用opener发送登录的请求（人人网的邮箱和密码）

headers = {
	# 输入User-Agent头部信息
	'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/75.0.3770.100 Safari/537.36',
}
data = {
    'email': '',	#输入自己的人人网账号
    'password': '',	#输入自己的人人网密码
}
# 人人网的很早的登入网站（最新的登入网站做了校验机制，现在不好登入...）
login_url = 'http://www.renren.com/PLogin.do'
# bytes --> decode -->str
# str --> encode -->bytes 
# 此处data需要传递bytes数据类型
req = request.Request(login_url, data=parse.urlencode('utf-8'), headers=headers)
resp = opener.open(req)


# 第二步 访问某人主页
dapeng_url = 'http://www.renren.com/880151247/profile'
# 不用新建opener，因为之前的已经包含了登录所需要的cookie信息
req = request.Request(dapeng_url, headers=header)
resp = opener.open(req)
# 以写的方式('w')打开，将req2按照解码后的数据写入renren.html
with open('renren.html', 'w', encoding='utf-8') as fp:
	#resp.read()读出来是一个bytes数据类型
    fp.write(resp.read().decode('utf-8')) 
    #而write()必须写入一个str的数据类型

优化后(将每一步都定义成一个函数)：

python">from http.cookiejar import CookieJar
from urllib.parse import urlencode
# headers在login_renren()和visit_home()中均需要用到，所以置到全局 
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/75.0.3770.100 Safari/537.36',
}

def get_opener():
	# 1.1 创建一个cookiejar对象
    cookieJar = CookieJar()
    # 1.2，使用cookiejar创建一个HTTPCookieProcessor对象
    handler = request.HTTPCookieProcessor(cookieJar)
    # 1.3，使用上一步创建的handler创建一个opener
    opener = request.build_opener(handler)
    return opener
 
def login_renren(opener):
 	# 1.4, 使用opener发送登录的请求（人人网的邮箱和密码）
    url = 'http://www.renren.com/PLogin.do'
    data = {
        'email': '15666809216',
        'password': 'beauty234',
    }
    req = request.Request(url, data=parse.urlencode('utf-8'), headers=headers)
    resp = opener.open(req)
    return resp
 
def visit_home(opener):
    # 第二部 访问某人主页
    dapeng_url = 'http://www.renren.com/880151247/profile'
    # 不用新建opener，因为之前的已经包含了登录所需要的cookie信息
    resp = request.Request(dapeng_url, headers=header)
    req2 = opener.open(resp)
    with open('/Users/mac/PycharmProjects/TEST/TEST/爬虫day/file/renren3.html', 'w', encoding='utf-8') as fp:
        fp.write(req2.read().decode('utf-8'))
 
if __name__ == 'main':
    opener = get_opener()
    login_renren(opener)
    visit_home(opener)