日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

Python編寫百度貼吧的簡單爬蟲

系統(tǒng) 1942 0

操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)

功能:下載對應(yīng)頁碼的所有頁面并儲存為HTML文件,以當(dāng)前時(shí)間命名

代碼:

            
# -*- coding: utf-8 -*-
 
#----------------------------
#  程序:百度貼吧的小爬蟲
#  日期:2015/03/28
#  語言:Python 2.7
#  操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)
#  功能:下載對應(yīng)頁碼的所有頁面并儲存為HTML文件,以當(dāng)前時(shí)間命名
#----------------------------
 
import urllib2
import time
 
def baidu_tieba(url, start, end):
  for i in range(start, end):
    sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html'
    print '正在下載第' + str(i) + '個(gè)網(wǎng)頁,并將其儲存為' + sName + '...'
    f = open(sName, 'w+')
    m = urllib2.urlopen(url+str(i))
    n = m.read()
    f.write(n)
    f.close()
  print '成功下載'
     
baiduurl = str(raw_input('請輸入貼子的地址,去掉pn后面的數(shù)字>>\n'))
begin_page = int(raw_input('請輸入帖子的起始頁碼>>\n'))
end_page = int(raw_input('請輸入帖子的終止頁碼>>\n'))        
 
baidu_tieba(baiduurl, begin_page, end_page)
          

以上所述就是本文的全部內(nèi)容了,希望能夠?qū)Υ蠹覍W(xué)習(xí)Python制作爬蟲有所幫助。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 大宁县| 平武县| 吴旗县| 合阳县| 故城县| 阳信县| 南澳县| 梧州市| 花莲县| 高州市| 浦城县| 长阳| 鄂温| 启东市| 高唐县| 洛扎县| 田东县| 怀化市| 信阳市| 绥滨县| 孟州市| 南靖县| 阜宁县| 河南省| 哈巴河县| 宜阳县| 织金县| 松潘县| 陵水| 星座| 绥德县| 米林县| 丰顺县| 安仁县| 唐河县| 长春市| 来宾市| 湖南省| 广元市| 双桥区| 焉耆|