操作:輸入帶分頁(yè)的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁(yè)數(shù)和終點(diǎn)頁(yè)數(shù)
功能:下載對(duì)應(yīng)頁(yè)碼的所有頁(yè)面并儲(chǔ)存為HTML文件,以當(dāng)前時(shí)間命名
代碼:
# -*- coding: utf-8 -*- #---------------------------- # 程序:百度貼吧的小爬蟲(chóng) # 日期:2015/03/28 # 語(yǔ)言:Python 2.7 # 操作:輸入帶分頁(yè)的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁(yè)數(shù)和終點(diǎn)頁(yè)數(shù) # 功能:下載對(duì)應(yīng)頁(yè)碼的所有頁(yè)面并儲(chǔ)存為HTML文件,以當(dāng)前時(shí)間命名 #---------------------------- import urllib2 import time def baidu_tieba(url, start, end): for i in range(start, end): sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html' print '正在下載第' + str(i) + '個(gè)網(wǎng)頁(yè),并將其儲(chǔ)存為' + sName + '...' f = open(sName, 'w+') m = urllib2.urlopen(url+str(i)) n = m.read() f.write(n) f.close() print '成功下載' baiduurl = str(raw_input('請(qǐng)輸入貼子的地址,去掉pn后面的數(shù)字>>\n')) begin_page = int(raw_input('請(qǐng)輸入帖子的起始頁(yè)碼>>\n')) end_page = int(raw_input('請(qǐng)輸入帖子的終止頁(yè)碼>>\n')) baidu_tieba(baiduurl, begin_page, end_page)
以上所述就是本文的全部?jī)?nèi)容了,希望能夠?qū)Υ蠹覍W(xué)習(xí)Python制作爬蟲(chóng)有所幫助。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
