日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

python爬蟲小案例_中國大學排名爬蟲

系統 2084 0

一、中國大學排名爬蟲案例的步驟如下:

步驟1:從網絡上獲取大學排名網頁內容 getHTMLText()

步驟2:提取網頁內容中信息到合適的數據結構 fillUnivList()

步驟3:利用數據結構展示并輸出結果 printUnivList()

查看?http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html?的源碼,部分如下:

python爬蟲小案例_中國大學排名爬蟲_第1張圖片

實現本案例的參考代碼如下:

            
              import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    '''從網絡上獲取大學排名網頁內容'''
    try:
        r = requests.get(url, timeout=30)
        # #如果狀態不是200,就會引發HTTPError異常
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    '''提取網頁內容中信息到合適的數據結構'''
    soup = BeautifulSoup(html, "html.parser")
    # 查找html中tbody標簽的所有子標簽
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):            
            tds = tr('td')
            # tds[0].string 是排名,tds[1].string 是學校名稱,tds[3].string 是學校的總分
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

def printUnivList(ulist, num):
    ''' 打印前 num 名的大學'''
     # {1:{3}^10} 中的 {3} 代表取第三個參數
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","學校名稱","總分",chr(12288))) # chr(12288) 代表中文空格
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288))) # chr(12288) 代表中文空格

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)# 獲取大學排名網頁內容
    fillUnivList(uinfo, html)#提取網頁內容中信息   
    printUnivList(uinfo, 20) #輸出結果

main()
            
          

結果如下:

python爬蟲小案例_中國大學排名爬蟲_第2張圖片


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 鄂托克旗| 农安县| 江川县| 襄樊市| 永胜县| 临安市| 仁寿县| 申扎县| 渝北区| 罗田县| 白城市| 根河市| 佛坪县| 原阳县| 兴和县| 汝州市| 阜康市| 岑溪市| 岫岩| 广丰县| 乌鲁木齐市| 镇雄县| 耿马| 长沙市| 威信县| 靖边县| 高碑店市| 全州县| 油尖旺区| 额尔古纳市| 龙胜| 和硕县| 北京市| 绥德县| 纳雍县| 雷山县| 安阳县| 屯留县| 乌鲁木齐市| 兴隆县| 新疆|