抓取動(dòng)態(tài)的網(wǎng)頁(yè)內(nèi)容主要有兩種辦法，一種是通過開發(fā)者工具找到動(dòng)態(tài)內(nèi)容的接口，然后分析接口的參數(shù)和返回值來(lái)爬取網(wǎng)站的數(shù)據(jù)。另外一種是通過模擬瀏覽器來(lái)抓取數(shù)據(jù)。python的Selenium庫(kù)就可以通過代碼來(lái)模擬瀏覽器抓取數(shù)據(jù)。

一、概述

運(yùn)行Selenium需要依賴于Python的selenium庫(kù)，以及瀏覽器對(duì)應(yīng)驅(qū)動(dòng)器（WebDriver）。

安裝selenium庫(kù)

pip install selenium
項(xiàng)目地址： https://pypi.org/project/selenium/

下載WebDriver

WebDriver可以簡(jiǎn)單的理解為瀏覽器插件，是可執(zhí)行的程序。不同的瀏覽器對(duì)應(yīng)的WebDriver是不同的，比如火狐瀏覽器的WebDriver是geckodriver，Windows環(huán)境下是geckodriver.exe文件；Chrome瀏覽器的WebDriver是Chromedriver，Windows環(huán)境下是chromedriver.exe文件。

Webdriver下載之后解壓縮，將exe文件復(fù)制到python目錄下（只要目錄在path環(huán)境變量中就可以）

火狐的webdriver下載
https://github.com/mozilla/geckodriver/?

google chrome 的webdriver下載（按瀏覽器版本下載對(duì)應(yīng)的webdriver，如果Chrome的版本與chromedriver.exe的版本不匹配，那么selenium的python程序會(huì)運(yùn)行失敗的）
http://chromedriver.storage.googleapis.com/index.html

二、例子

例子1：
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com')
assert '百度一下' in browser.title

#elem = browser.find_element_by_name("wd")
elem = browser.find_element_by_xpath('//*[@id="kw"]')
elem.send_keys("selenium")

btn = browser.find_element_by_id("su")
btn.click()

#browser.quit()

?

例子2：
import ?unittest
from selenium import webdriver

class BaiduTest(unittest.TestCase):

? ? def setUp(self):
? ? ? ? self.browser = webdriver.Firefox()
? ? ? ? self.browser.get("http://www.baidu.com")
? ? ? ? #self.addCleanup(self.browser.quit)

? ? def testTitle(self):
? ? ? ? self.assertIn("百度一下", self.browser.title)

? ? def testSearch(self):
? ? ? ? #self.browser.get("http://www.baidu.com")
? ? ? ? searchInput = self.browser.find_element_by_id("kw")
? ? ? ? searchInput.send_keys("selenium")

? ? ? ? searchBtn = self.browser.find_element_by_id("su")
? ? ? ? searchBtn.click()

? ? ? ? self.assertIn("selenium", self.browser.current_url)

if __name__ == '__main__':
? ? unittest.main(verbosity=2)

其他資源：
https://www.seleniumhq.org/download/
http://ftp.mozilla.org/pub/firefox/releases/ 火狐版本
https://www.cnblogs.com/givemelove/p/8482361.html 火狐、谷歌軟件及webdriver

本文內(nèi)容到此結(jié)束，更多內(nèi)容可關(guān)注公眾號(hào)和個(gè)人微信號(hào)：