寫的dht協(xié)議搜索的程序，這幾天優(yōu)化了一下發(fā)現(xiàn)速度確實快了好多。但是出現(xiàn)了一個新的問題，內(nèi)存直接飆升，我開了十個爬蟲占用內(nèi)存800m。開始我以為是節(jié)點太多了，找了幾個小問題修改一下，發(fā)現(xiàn)沒用。后來就到網(wǎng)上查找python內(nèi)存分析的工具，查了一點資料發(fā)現(xiàn)python有個meliae庫操作非常方便，就使用分析了一下，發(fā)現(xiàn)不是節(jié)點太多的原因0 0,是保存發(fā)送的t_id，用來標(biāo)示返回的消息是那個發(fā)出的一個字典過大了。
從分析的結(jié)果非常容易的定位了某個對象的數(shù)量和大小，非常容易分析。我開始以為是因為好多發(fā)送查詢信息以后，對面沒返回造成這個字典里的元素沒有釋放造成的，我就用過期時間判斷了一下，進(jìn)行過期刪除。發(fā)現(xiàn)是小了，但是不是非常顯著，好像少了幾十不到100M。后來又減少了查找一個隨機(jī)hash的時間，以前是1分鐘查一次，我改成了就第一次查！，發(fā)現(xiàn)沒減少0 0.不知道是啥的原因。應(yīng)該就是查找hash，詢問節(jié)點，然后返回然后詢問里邊的節(jié)點，最后數(shù)量越來越多，但是我不明白的是，怎么會這么多運行一分鐘就有60萬條。也就是說當(dāng)時內(nèi)存沒釋放的對象就有這么多。達(dá)到這個內(nèi)存占用后，基本就不再變化，有很小很慢的提升，因為還開的其他程序，不確定是不是這些程序其他對象的增加造成的。等分階段dump測試一下。
安裝直接pip install meliae 就ok了，我看好久沒更新的項目了，不知道還有沒有好的替代品不過用著還不錯。
將內(nèi)存dump到文件
?from meliae import scanner
?scanner.dump_all_objects('/tmp/dump%s.txt' % time.time())
分析文件：
?from meliae import loader
?#加載dump文件
?om = loader.load('/opt/log/dump.txt')
?#計算各Objects的引用關(guān)系
?om.compute_parents()
?#去掉各對象Instance的_dict_屬性
?om.collapse_instance_dicts()
?#分析內(nèi)存占用情況
?om.summarize()
字段意義如下：
Index : 行索引號
Count : 該類型的對象總數(shù)
%(Count) : 該類型的對象總數(shù) 占 所有類型的對象總數(shù) 的百分比
Size : 該類型的對象總字節(jié)數(shù)
%(Size) : 該類型的對象總字節(jié)數(shù) 占 所有類型的對象總字節(jié)數(shù) 的百分比
Cum : 累積行索引后的%(Size)
Max : 該類型的對象中，最大者的字節(jié)數(shù)
Kind : 類型
分析某個對象，找出它的引用關(guān)系
?#得到所有的POP3ClientProtocol對象
?p = om.get_all('POP3ClientProtocol')
?#查看第一個對象
?p[0]
?#可以查看該對象的所有引用
?p[0].c
?#查看誰引用了這個對象
?p[0].p
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
