日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python編寫爬蟲小程序

系統 1923 0

起因

深夜忽然想下載一點電子書來擴充一下kindle,就想起來python學得太淺,什么“裝飾器”啊、“多線程”啊都沒有學到。
想到廖雪峰大神的python教程很經典、很著名。就想找找有木有pdf版的下載,結果居然沒找到!!CSDN有個不完整的還騙走了我一個積分!!尼瑪!!
怒了,準備寫個程序直接去爬廖雪峰的教程,然后再html轉成電子書。

過程

過程很有趣呢,用淺薄的python知識,寫python程序,去爬python教程,來學習python。想想有點小激動……
果然python很是方便,50行左右就OK了。直接貼代碼:

            
# coding:utf-8
import urllib

domain = 'http://www.liaoxuefeng.com'      #廖雪峰的域名
path = r'C:\Users\cyhhao2013\Desktop\temp\\'  #html要保存的路徑

# 一個html的頭文件
input = open(r'C:\Users\cyhhao2013\Desktop\0.html', 'r')
head = input.read()

# 打開python教程主界面
f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")
home = f.read()
f.close()

# 替換所有空格回車(這樣容易好獲取url)
geturl = home.replace("\n", "")
geturl = geturl.replace(" ", "")

# 得到包含url的字符串
list = geturl.split(r'em;">
            
              ')

# 開始遍歷url List
for li in list:
  url = li.split(r'">')[0]
  url = domain + url       #拼湊url
  print url
  f = urllib.urlopen(url)
  html = f.read()

  # 獲得title為了寫文件名
  title = html.split("
              ")[0]

  # 要轉一下碼,不然加到路徑里就悲劇了
  title = title.decode('utf-8').replace("/", " ")

  # 截取正文
  html = html.split(r'
                            ')[1]
  html = html.split(r'
              

您的支持是作者寫作最大的動力!

')[0] html = html.replace(r'src="', 'src="' + domain) # 加上頭和尾組成完整的html html = head + html+"" # 輸出文件 output = open(path + "%d" % list.index(li) + title + '.html', 'w') output.write(html) output.close()

簡直,人生苦短我用python啊!

以上所述就是本文的全部內容了,希望大家能夠喜歡。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 宜阳县| 汉寿县| 清远市| 哈巴河县| 克东县| 湘潭市| 新平| 濮阳市| 高州市| 曲麻莱县| 杭锦旗| 鄂托克前旗| 聂拉木县| 阿坝县| 常德市| 明溪县| 沛县| 江城| 巴南区| 宜兴市| 堆龙德庆县| 宜黄县| 商洛市| 广灵县| 乐安县| 博白县| 独山县| 阿荣旗| 阳曲县| 滨海县| 沁源县| 井冈山市| 邛崃市| 湘潭县| 慈利县| 曲沃县| 乌兰浩特市| 乌鲁木齐市| 景泰县| 华蓥市| 界首市|