立即注册

从零开始,编程论坛

广告联系qq1031180668喜欢网购的小伙伴们看过来啦
查看: 481|回复: 0

[python] Handler处理器和自定义Opener

[复制链接]
  • ta_mind

    2019-8-30 13:16
  • classn_01: 73 classn_02

    [LV.6]常住居民II

    1054

    主题

    1776

    帖子

    3672

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    3672

    最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

    发表于 2018-7-23 02:08:34 | 显示全部楼层 |阅读模式
    Handler处理器和自定义Opener
    opener是 urllib.request.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。

    但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能:

    • 使用相关的 Handler处理器 来创建特定功能的处理器对象;
    • 然后通过 urllib.request.build_opener()方法使用这些处理器对象,创建自定义opener对象;
    • 使用自定义的opener对象,调用open()方法发送请求。

    如果程序里所有的请求都使用自定义的opener,可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)
    简单的自定义opener()
    [Python] syntaxhighlighter_viewsource syntaxhighlighter_copycode
    import  urllib.request
    #构建一个HTTPHandlerr处理器对象,支持处理Http请求
    http_handler=urllib.request.HTTPHandler()
    
    #构建一个HTTPHandler处理器,支持处理HTTPS请求
    #http_hander=urllib.request.HTTPSHandler()
    
    #调用urllib.request.build_opener()方法,创建处理HTTP请求的opener对象
    opener=urllib.request.build_opener(http_handler)
    #构建Request请求
    headers={
        "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
    
    }
    req=urllib.request.Request("http://www.c0ks.com",headers=headers)
    #调用自定义opener对象的open()方法,发送request请求
    response=opener.open(req)
    #获取服务器响应内容
    #print(response.read().decode("utf-8"))


    这种方式发送请求得到的结果,和使用urllib.request.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。
    如果在 HTTPHandler()增加 debuglevel=1参数,还会将 Debug Log 打开,这样程序在执行的时候,会把收包和发包的报头在屏幕上自动打印出来,方便调试,有时可以省去抓包的工作。

    改成这样:
    [Python] syntaxhighlighter_viewsource syntaxhighlighter_copycode
    import  urllib.request
    #构建一个HTTPHandlerr处理器对象,支持处理Http请求
    http_handler=urllib.request.HTTPHandler(debuglevel=1)
    
    #构建一个HTTPHandler处理器,支持处理HTTPS请求
    #http_hander=urllib.request.HTTPSHandler()
    
    #调用urllib.request.build_opener()方法,创建处理HTTP请求的opener对象
    opener=urllib.request.build_opener(http_handler)
    #构建Request请求
    headers={
        "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
    
    }
    req=urllib.request.Request("http://www.c0ks.com",headers=headers)
    #调用自定义opener对象的open()方法,发送request请求
    response=opener.open(req)
    #获取服务器响应内容
    #print(response.read().decode("utf-8"))

    可以看到收包和发包信息:

    Handler处理器和自定义Opener

    Handler处理器和自定义Opener



    不积跬步,无以至千里
    游客
    回复
    您需要登录后才可以回帖 登录 | 立即注册

    手机版|Archiver|小黑屋|sitemap| 从零开始,编程论坛 - 一个单纯的编程学习交流论坛 ( 豫ICP备15032706号 )

    GMT+8, 2019-10-16 14:52 , Processed in 1.088834 second(s), 27 queries .

    Powered by Discuz! X3.4

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表