案例：爬取使用搜狗根據(jù)指定詞條搜索到的頁面數(shù)據(jù)（例如爬取詞條為‘周杰倫'的頁面數(shù)據(jù)）
import urllib.request
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
'''
2.發(fā)起請求:使用urlopen函數(shù)對指定的url發(fā)起請求，
該函數(shù)返回一個響應對象，urlopen代表打開url
'''
response = urllib.request.urlopen(url=url)
# 3.獲取響應對象中的頁面數(shù)據(jù):read函數(shù)可以獲取響應對象中存儲的頁面數(shù)據(jù)(byte類型的數(shù)據(jù)值)
page_text = response.read()
# 4.持久化存儲：將爬取的頁面數(shù)據(jù)寫入文件進行保存
with open("sougou.html","wb") as f:
f.write(page_text)
print("寫入數(shù)據(jù)成功")
f.close()
編碼錯誤
【注意】上述代碼中url存在非ascii編碼的數(shù)據(jù)，則該url無效。如果對其發(fā)起請求，則會報如下錯誤：
UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range(128)
url的特性：url不可以存在非ASCII編碼字符數(shù)據(jù)，url必須為ASCII編碼的數(shù)據(jù)值。所以我們在爬蟲代碼中編寫url時，如果url中存在非ASCII編碼的數(shù)據(jù)值，則必須對其進行ASCII編碼后，該url方可被使用。
上面的“周杰倫” 不是ASCII編碼字符數(shù)據(jù)，所以url就會變成無效的url，不符合url特性，所以報錯誤
所以必須對url中的非ascii的數(shù)據(jù)進行ascii的編碼，則該url方可被發(fā)起請求：
需要用到 urllib.parse
方法 1：使用quote函數(shù)
quote函數(shù)作用：對url中所存在的特殊字符進行ASCII的編碼，把url中的非ascii編碼的字符單獨取出來，使用quote函數(shù)進行轉碼，
轉碼之后，把轉碼的結果拼接到原有的url當中。
import urllib.request
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰倫'
word = urllib.parse.quote("周杰倫")
# 查看轉碼后結果
print(word)
# %E5%91%A8%E6%9D%B0%E4%BC%A6
from urllib.request import urlopen
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query='
# url的特性：url不可以存在非ASCII編碼字符數(shù)據(jù)
word = urllib.parse.quote("周杰倫")
# 將編碼后的數(shù)據(jù)值拼接回url中
url = url+word # 有效url
'''
2.發(fā)起請求:使用urlopen函數(shù)對指定的url發(fā)起請求，
該函數(shù)返回一個響應對象，urlopen代表打開url
'''
response = urlopen(url=url)
# 3.獲取響應對象中的頁面數(shù)據(jù):read函數(shù)可以獲取響應對象中存儲的頁面數(shù)據(jù)(byte類型的數(shù)據(jù)值)
page_text = response.read()
# 4.持久化存儲：將爬取的頁面數(shù)據(jù)寫入文件進行保存
with open("周杰倫.html","wb") as f:
f.write(page_text)
print("寫入數(shù)據(jù)成功")
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
