今天向大家介紹app爬取。

一：爬取主要流程簡(jiǎn)述

1.APP的爬取比Web爬取更加容易，反爬蟲沒有那么強(qiáng)，且大部分?jǐn)?shù)據(jù)是以JSON形式傳輸?shù)模馕龊?jiǎn)單。

2.在APP中想要查看請(qǐng)求與響應(yīng)(類似瀏覽器的開發(fā)者工具監(jiān)聽到的各個(gè)網(wǎng)絡(luò)請(qǐng)求和響應(yīng))，就需要借助抓包軟件。

3.在抓取之前，需要設(shè)置代理將手機(jī)處于抓包軟件的監(jiān)聽下，就可以用同一網(wǎng)絡(luò)進(jìn)行監(jiān)聽，獲得所有的網(wǎng)絡(luò)和請(qǐng)求。

4.如果是有規(guī)則的，就只需要分析即可；如果沒有規(guī)律，就可以用另一個(gè)工具mitmdump對(duì)接Python腳本直接處理Response。

5.抓取肯定不能由人手動(dòng)完成，還需要做到自動(dòng)化，還要對(duì)App進(jìn)行自動(dòng)化控制，可以用庫Appium。

二：抓包工具Charles

1.Charles的使用

? ?Charles是一個(gè)網(wǎng)絡(luò)抓包工具，比Fiddler功能更強(qiáng)大，可以進(jìn)行分析移動(dòng)App的數(shù)據(jù)包，獲取所有的網(wǎng)絡(luò)請(qǐng)求和網(wǎng)絡(luò)內(nèi)容

2.安裝

(1)安裝鏈接

? ?官網(wǎng)：https://www.charlesproxy.com

(2)須知

? ?charles是收費(fèi)軟件，但可以免費(fèi)試用30天。試用期過了，還可以試用，不過每次試用不能超過30分鐘，啟動(dòng)有10秒的延遲，但大部分還可以使用。

(3)安裝后

3.證書配置

(1)證書配置說明

? ?現(xiàn)在很多網(wǎng)頁都在向HTTPS(超文本傳輸協(xié)議的加密版，即HTTP加入SSL層)，經(jīng)過SSL加密更加安全，真實(shí)，大部分都由CA機(jī)構(gòu)頒發(fā)安全簽章(12306不是CA機(jī)構(gòu)頒發(fā)，但不被信任)。現(xiàn)在應(yīng)用HTTPS協(xié)議的App通信數(shù)據(jù)都會(huì)是加密的，常規(guī)的截包方法是無法識(shí)別請(qǐng)求內(nèi)部的數(shù)據(jù)的。
? ?要抓取APP端的數(shù)據(jù)，要在PC和手機(jī)端都安裝證書。

(2)windows系統(tǒng)安裝證書配置

? ?打開Charles，點(diǎn)擊Help->SSL Proxying->Install Charles Root Certificate，進(jìn)入證書的安裝頁面：

? ?點(diǎn)擊安裝證書，就會(huì)打開證書安裝向?qū)В缓簏c(diǎn)擊下一步，此時(shí)需要選擇證書的存儲(chǔ)區(qū)域，選擇第二個(gè)選項(xiàng)”將所有證書放入下列存儲(chǔ)”：

? ?然后點(diǎn)擊瀏覽，選擇證書存儲(chǔ)位置為”受信任的根證書頒發(fā)機(jī)構(gòu)”，點(diǎn)擊確認(rèn)并進(jìn)入下一步：

(3)Android手機(jī)安裝證書配置

手機(jī)與電腦連接同一個(gè)WiFi。
設(shè)置如下：
可以用操作系統(tǒng)命令ipconfig查看PC端ip：

? ?為10.61.131.172，默認(rèn)代理端口號(hào)為8888。之后代理服務(wù)器為電腦的IP地址。端口為8888。設(shè)置如下：

會(huì)發(fā)現(xiàn)360手機(jī)的標(biāo)志

接下來對(duì)手機(jī)下載證書：
訪問手機(jī)訪問 chls.pro/ssl ,下載證書：

? ?此時(shí)下載的是個(gè).pem 格式的。需要手動(dòng)更改為.crt 格式，最后隨便放進(jìn)某個(gè)文件夾即可：

用手機(jī)(我用的360手機(jī))設(shè)置里的安全，找到從存儲(chǔ)設(shè)備安裝找到該crt文件進(jìn)行配置：

此時(shí)需要設(shè)置鎖屏：

就可以完成證書的安裝。

4.開啟SSL監(jiān)聽

? ?點(diǎn)擊Proxy->SSLProxying Settings，在彈出的窗口中點(diǎn)擊Add按鈕，添加需要監(jiān)聽的地址和端口號(hào)。需要監(jiān)聽所有的HTTPS請(qǐng)求，可以直接將地址和端口設(shè)置為*，即添加*:*設(shè)置，就可以抓取所有的HTTPS請(qǐng)求包；如果不配置，抓取的HTTPS請(qǐng)求包狀態(tài)可能是unknown。


這樣就指定只監(jiān)聽我們需要的ip和端口的請(qǐng)求和響應(yīng)。

5.原理

? ?Charles運(yùn)行時(shí)會(huì)在PC端的8888開啟一個(gè)代理服務(wù)，實(shí)際上是一個(gè)HTTP/HTTPS的代理。
? ?可以是用手機(jī)通過相同的無線網(wǎng)絡(luò)連接(這里用的是校園網(wǎng))，設(shè)置手機(jī)代理為Charles的代理地址，這樣手機(jī)訪問互聯(lián)網(wǎng)的數(shù)據(jù)就會(huì)經(jīng)過Charles抓包工具，Charles轉(zhuǎn)發(fā)這些數(shù)據(jù)到真實(shí)的服務(wù)器，再轉(zhuǎn)發(fā)到手機(jī)中。這樣抓包工具(Charles)就起到了中間人的作用，還有權(quán)對(duì)請(qǐng)求和響應(yīng)進(jìn)行修改。

6.抓包

? ?我們可以看到我們已經(jīng)請(qǐng)求了很多數(shù)據(jù)了，點(diǎn)擊左上角的掃帚按鈕即可清空捕獲到的所有請(qǐng)求，然后點(diǎn)擊第二個(gè)監(jiān)聽按鈕，表明Charles正在監(jiān)聽App的網(wǎng)絡(luò)數(shù)據(jù)流。如下：

抓包后可以看到音樂：

? ?可以通過分析不同的URL請(qǐng)求，獲得數(shù)據(jù)，也可以通過修改數(shù)據(jù)，得到那些參數(shù)是需要的。

? ?這是有規(guī)則的，無規(guī)則的如果沒有規(guī)律的url，就可以用另一個(gè)工具mitmdump對(duì)接Python腳本直接處理Response。

三：抓包工具mitmproxy(免費(fèi)的)

1.簡(jiǎn)介

? ?mitmproxy是一個(gè)支持HTTP和HTTPS的抓包程序，有類似Fiddler和Charles的功能，但它是一個(gè)控制臺(tái)的形式操作。

2.關(guān)聯(lián)組件

? ?mirmproxy還有兩個(gè)關(guān)聯(lián)組件。一個(gè)是mitmdump，是命令行接口，可以對(duì)接Python腳本，用Python處理數(shù)據(jù)；另一個(gè)是mitmweb，是一個(gè)web程序，可以清楚地查看mitmproxy捕獲的請(qǐng)求。

3.安裝和證書配置

(1)用pip安裝

? ?這個(gè)是安裝python后就有的安裝方法，也是最簡(jiǎn)單的安裝方法，在控制臺(tái)輸入
? ?Pip install mitmproxy即可,會(huì)自動(dòng)安裝mitmdump和mitmweb組件：

但是到最后安裝會(huì)失敗：

? ?是因?yàn)榘惭b這個(gè)包的 window 系統(tǒng)需要首先安裝 Microsoft Visual C++ V14.0以上 才行。
? ?可以在https://visualstudio.microsoft.com/downloads/
直接下載即可，安裝之后需要c++的庫之類的東西都安裝了，然后再在命令行進(jìn)行安裝 mitmproxy即可：

然后進(jìn)入安裝目錄,我們選擇第三個(gè)：

在“安裝 Visual Studio”屏幕中找到所需的工作負(fù)載，選擇"使用的桌面開發(fā)C++"工作負(fù)荷：
注：這里的文件太大，我直接安裝到E盤。

之后再安裝就可以安裝成功了：

(2)在GitHub或官網(wǎng)上安裝

GitHub：https://github.com/mitmproxy/mitmproxy
官網(wǎng)：https://mitmproxy.org
下載地址：https://github.com/mitmproxy/mitmproxy/releases

3.證書配置

(1) 產(chǎn)生CA證書

? ?對(duì)于mitmproxy來說，如果想要截獲HTTPS請(qǐng)求，也需要設(shè)置證書。它在安裝后會(huì)提供一套CA證書，只要客戶端信任了mitmproxy的證書，就可以通過mitmproxy獲取HTTPS請(qǐng)求的具體內(nèi)容，否則無法解析HTTPS請(qǐng)求。
? ?在cmd中輸入命令行接口命令mitmdump，產(chǎn)生CA證書，在用戶目錄找到CA證書：


這里的目錄可以自行指定，但必須是在第一次運(yùn)行mimdump時(shí)。
(2)PC端安裝
? ?電腦是Window系統(tǒng)，因此用mitmproxy-ca.p12,雙擊后出現(xiàn)導(dǎo)入證書的引導(dǎo)頁：

點(diǎn)擊下一步，不需要設(shè)置密碼：

接下來點(diǎn)擊下一步，需要選擇證書的存儲(chǔ)區(qū)域，和配置Charles一樣：

最后會(huì)有警告，選擇是即可，證書就安裝到我們的電腦上了：


(3)手機(jī)端安裝
? ?我的手機(jī)是Android系統(tǒng)，直接把mitmproxy-ca.pem文件發(fā)送到手機(jī)上即可。
? ?配置方法和Charles類似。HTTPS請(qǐng)求。
? ?手動(dòng)更改為.crt 格式，最后隨便放進(jìn)某個(gè)文件夾即可，用手機(jī)(我用的360手機(jī))設(shè)置里的安全，找到從存儲(chǔ)設(shè)備安裝找到該crt文件進(jìn)行配置：

4.抓包原理

? ?在mitmproxy中，會(huì)在PC端的8080端口運(yùn)行，然后開啟一個(gè)代理服務(wù)，就是一個(gè)HTTP/HTTPS代理，類似ip代理。
? ?手機(jī)和PC在同一局域網(wǎng)內(nèi)，設(shè)置代理為mitmproxy的代理地址，抓包工具mitmproxy就相當(dāng)于中間人的作用，數(shù)據(jù)就會(huì)流經(jīng)抓包工具。這個(gè)過程還可以對(duì)接mitmdump，抓取到的請(qǐng)求和響應(yīng)都可以直接用Python來處理，然后分析，存到本地，或存到數(shù)據(jù)庫。

5.設(shè)置代理

? ?在抓包前需要先設(shè)手機(jī)局域網(wǎng)置代理為抓包工具mitmproxy代理。

(1)啟動(dòng)代理服務(wù)

? ?在cmd中輸入mitmproxy，會(huì)在8080端口運(yùn)行一個(gè)代理服務(wù)，由于該命令不支持Windows系統(tǒng)，因此在Windows系統(tǒng)中用mitmdump命令：

用mitmdump啟動(dòng)代理服務(wù)，監(jiān)聽8080端口：

(2)設(shè)置當(dāng)前代理

? ?將手機(jī)和電腦連到同一局域網(wǎng)下，先用操作系統(tǒng)命令ipconfig查看PC端當(dāng)前局域網(wǎng)的ip：

為10.61.131.172，在手機(jī)端設(shè)置代理如下：

這樣就配置好了mitmproxy的代理。

6.抓包

? ?運(yùn)行mitmweb(由于mitmproxy不能用)，就可以看到手機(jī)上的所有請(qǐng)求：

網(wǎng)頁呈現(xiàn)如下：

? ?隨便打開一條網(wǎng)絡(luò)請(qǐng)求，發(fā)現(xiàn)和在網(wǎng)頁的開發(fā)者工具下，監(jiān)聽到的一樣：

7.mitmproxy的高級(jí)功能mitmdump

? ?上面的功能與方法在Fiddler和Charles中也有，那么mitmproxy的優(yōu)勢(shì)何在？
? ?在mitmproxy中它的強(qiáng)大體現(xiàn)到mitmdump工具，可以對(duì)接Python對(duì)數(shù)據(jù)請(qǐng)求進(jìn)行處理。
? ?它是mitmproxy的命令行接口，可以對(duì)接python程序?qū)φ?qǐng)求進(jìn)行處理，不需要手動(dòng)截取和分析HTTP請(qǐng)求和響應(yīng)，進(jìn)行數(shù)據(jù)存儲(chǔ)和解析都可以通過Python來完成。

(1)簡(jiǎn)單獲取數(shù)據(jù)(隨便一個(gè)app)

我們先創(chuàng)建一個(gè)文件夾：

然后打開轉(zhuǎn)到該文件夾下：

? ?輸入mitmdump -w outfile(outfile名稱和擴(kuò)展名可以自定義，文件放到當(dāng)前cmd打開目錄下，也可以用絕對(duì)相對(duì)路徑，但比較麻煩)：
截取廣播頁面：


之后把截獲的數(shù)據(jù)保存到文件夾下：

打開文件，發(fā)現(xiàn)好多亂碼：

下面會(huì)對(duì)其進(jìn)行處理。

(2)可以指定一個(gè)腳本來處理截獲的數(shù)據(jù)：

? ?Mitmdump -s script.py(腳本名字可以自定義)，需要放在cmd當(dāng)前目錄下，也可以用絕對(duì)相對(duì)路徑，但比較麻煩。
寫入如下代碼：

? ?就是定義了一個(gè)request()方法，參數(shù)為url，其實(shí)是一個(gè)HTTPFlow對(duì)象，通過request屬性即可獲取到當(dāng)前請(qǐng)求對(duì)象。然后打印出請(qǐng)求頭，將User-Agent(用戶代理，簡(jiǎn)稱 UA，它是一個(gè)特殊字符串頭，使得服務(wù)器能夠識(shí)別客戶使用的操作系統(tǒng)及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言瀏覽器插件等)修改為MitmProxy。
運(yùn)行之后手機(jī)端訪問http://httpbin.org/get，可以看到請(qǐng)求頭：

PC端如下：

? ?手機(jī)端請(qǐng)求的Headers實(shí)際上就是請(qǐng)求的Headers，User-Agent被修改成了mitmproxy(防反爬)，PC端顯示修改后的Headers內(nèi)容，其User-Agent正是MitProxy。
? ?這樣就可以讓服務(wù)器識(shí)別不出我們的是爬蟲程序了。

(3)日志輸出

? ?mitmdump提供了專門的日志輸出功能，就是設(shè)定輸出到控制臺(tái)的顏色，可以分別為不同級(jí)別配置不同的顏色，更加直觀：

效果如下：

(4)輸出請(qǐng)求數(shù)據(jù)

? ?可以輸出一些請(qǐng)求信息，比如請(qǐng)求連接(url)，請(qǐng)求頭(headers)，請(qǐng)求Cookies(cookies)，請(qǐng)求Host(host)，請(qǐng)求方法(method)，請(qǐng)求端口(port)，請(qǐng)求協(xié)議(scheme)等。
? ?還可以把這些請(qǐng)求的信息進(jìn)行修改后，再發(fā)送到服務(wù)器中，這樣，服務(wù)器返回的可能不是app想請(qǐng)求的網(wǎng)頁，這就是為什么一些app打開后卻訪問到了其他網(wǎng)址的原因。
? ?也可以通過該用法，通過修改Cookies，添加代理等方式來盡可能避免反爬。
這里就先進(jìn)行略過。

(5)獲得響應(yīng)

? ?響應(yīng)就是請(qǐng)求后服務(wù)器返回的信息，也就是我們需要的，大部分是json格式文件。
? ?對(duì)于json格式文件，mitmdump也提供了對(duì)應(yīng)的處理接口，就是response()方法。
? ?我們可以打印各個(gè)http/https請(qǐng)求的響應(yīng)內(nèi)容，不過text才是我們想要的json格式文件，也可以用content，不過返回的是二進(jìn)制文件。
代碼如下：

我們先試一下：

內(nèi)容有些亂，接下來我們就進(jìn)行分析得到我們需要的數(shù)據(jù)。

四：利用mitmproxy進(jìn)行app數(shù)據(jù)獲取

1.獲取請(qǐng)求url

獲取http/https請(qǐng)求url，也可以認(rèn)為是接口：
修改python文件，獲得請(qǐng)求的url：

然后停留在該頁面：

會(huì)發(fā)現(xiàn)出現(xiàn)了好多url：

我們一一分析一下，發(fā)現(xiàn)接口信息分別是：
這個(gè)接口
https://images.sanmaoyou.com/img/new_images/5ac83890033ec.jpg
是GET請(qǐng)求獲取文件：

這個(gè)接口的為json文件，為GET獲取方式：


這個(gè)接口
https://images.sanmaoyou.com/audio/library/2018-04/5ac83887c5263.mp3
是下載音樂，為GET獲取方式：

這個(gè)接口
http://sdk-open-phone.getui.com/api.php?format=json&t=1&d=76060FDC1EFFF74C1956225F1DBEE6AF006578C33658C4AF90D802512BF321C8&k=2是POST方式，是傳文件。
我們?cè)谙蛴尹c(diǎn)擊下一個(gè)廣播，進(jìn)行驗(yàn)證：

? ?發(fā)現(xiàn)基本上，新打開一個(gè)廣播后，會(huì)加載mp3文件，圖片文件，比較長(zhǎng)的接口就返回json文件：

2.接口url文件

把接口保存到txt文件中：

發(fā)現(xiàn)只有很長(zhǎng)的接口才返回json文件。因此下面就需要對(duì)這些接口進(jìn)行篩選。

3.爬取json

代碼在pa_qu_json.py文件中，需要先創(chuàng)建一個(gè)json爬取數(shù)據(jù)文件夾，爬取后的結(jié)果如下：

接下來用Python處理即可，這里只是簡(jiǎn)單爬取。在實(shí)際應(yīng)用中，不是人工的，是用代碼自動(dòng)化進(jìn)行分析各個(gè)請(qǐng)求和響應(yīng)進(jìn)行爬取。這里有個(gè)跨平臺(tái)的移動(dòng)端自動(dòng)化測(cè)試工具，可以很方便地進(jìn)行自動(dòng)化爬取，在下一個(gè)爬蟲博客中會(huì)詳細(xì)講到，希望大家把寶貴意見提出來一起學(xué)習(xí)進(jìn)步。