當前位置 主頁 > 服務器問題 > win服務器問題匯總 > 最大化 縮小

    python爬蟲模擬瀏覽器訪問-User-Agent過程解析

    欄目:win服務器問題匯總 時間:2019-12-30 20:20

    這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

    模擬瀏覽器訪問-User-Agent:

    import urllib2
    
    #User-Agent 模擬瀏覽器訪問
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
    
    #通過urllib2.Request()方法構造一個請求對象
    request = urllib2.Request("http://www.baidu.com/",headers = headers)
    
    
    #向指定的URL地址發送請求,并返回服務器響應的類文件對象
    #response是服務器響應的類文件,除了支持文件操作的方法外,還支持以下常用的方法:
    response = urllib2.urlopen(request)
    
    
    
    #服務器返回的類文件對象支持python文件對象的操作方法
    #read()方法就是讀取文件里的全部內容,返回字符串
    html = response.read()
    
    #返回HTTP的響應碼,成功返回200,4服務器頁面出錯;5.服務器問題
    print response.getcode()
    
    #返回實際數據的實際URL,防止重定向問題
    print response.geturl()
    
    #返回服務器響應的HTTP報頭
    print response.info()
    
    
    #打印響應內容
    print(html)

    以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持IIS7站長之家。

青海十一选五开奖数据