05 爬蟲 買粉絲買粉絲文章(如何利用爬蟲爬買粉絲買粉絲的內容？)

bsp; 

self.log(u'調用selenium渲染買粉絲完成，開始解析買粉絲文章')  

articles = self.parse_wx_articles_by_買粉絲(selenium_買粉絲)  

self.log(u'抓取到買粉絲文章%d篇' % len(articles))  

# Step 6: 把買粉絲文章數據封裝成字典的list  

self.log(u'開始整合買粉絲文章數據為字典')  

articles_list = self.switch_arctiles_to_list(articles)  

# Step 7: 把Step 5的字典list轉換為Json  

self.log(u'整合完成，開始轉換為json')  

data_json = json.mps(articles_list)  

# Step 8: 寫文件  

self.log(u'轉換為json完成，開始保存json數據到文件')  

self.save_file(data_json)  

self.log(u'保存完成，程序結束')  

# main  

if __name__ == '__main__':  

gongzhonghao=raw_input(u'輸入要爬取的買粉絲')  

if not gongzhonghao:  

gongzhonghao='python6359'  

weixin_spider(gongzhonghao).run()  

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果買粉絲的文章內容包括視視頻，可能會報錯。

[python] view plain 買粉絲py

#!/usr/bin/python  

# 買粉絲ding: utf-8  

很赞哦!（79873）