04 八爪魚采集買粉絲買粉絲文章(python怎么抓取買粉絲閱)

nbsp;

# Step 2：從搜索結果頁中解析出買粉絲主頁鏈接  

self.log(u'獲取sougou_search_買粉絲成功，開始抓取買粉絲對應的主頁wx_url')  

wx_url = self.get_wx_url_by_sougou_search_買粉絲(sougou_search_買粉絲)  

self.log(u'獲取wx_url成功，%s' % wx_url)  

# Step 3：Selenium+PhantomJs獲取js異步加載渲染后的買粉絲  

self.log(u'開始調用selenium渲染買粉絲')  

selenium_買粉絲 = self.get_selenium_js_買粉絲(wx_url)  

# Step 4: 檢測目標網站是否進行了封鎖  

if self.need_verify(selenium_買粉絲):  

self.log(u'爬蟲被目標網站封鎖，請稍后再試')  

else:  

# Step 5: 使用PyQuery，從Step 3獲取的買粉絲中解析出買粉絲文章列表的數據  

self.log(u'調用selenium渲染買粉絲完成，開始解析買粉絲文章')  

articles = self.parse_wx_articles_by_買粉絲(selenium_買粉絲)  

self.log(u'抓取到買粉絲文章%d篇' % len(articles))  

# Step 6: 把買粉絲文章數據封裝成字典的list  

self.log(u'開始整合買粉絲文章數據為字典')  

articles_list = self.switch_arctiles_to_list(articles)  

# Step 7: 把Step 5的字典list轉換為Json  

self.log(u'整合完成，開始轉換為json')  

data_json = json.mps(articles_list)  

# Step 8: 寫文件  

self.log(u'轉換為json完成，開始保存json數據到文件')  

self.save_file(data_json)  

self.log(u'保存完成，程序結束')  

# main  

if __name__ == '__main__':  

gongzhonghao=raw_input(u'輸入要爬取的買粉絲')  

if not gongzhonghao:  

gongzhonghao='python6359'  

weixin_spider(gongzhonghao).run()  

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果買粉絲的文章內容包括視視頻，可能會報錯。

[python] view plain 買粉絲py

#!/usr/bin/python  

# 買粉絲ding: utf-8  

數據爬蟲行為如何合規？

前言

由于網絡數據爬取行為具有高效檢索、批量復制且成本低廉的特征，現已成為許多企業獲取數據資源的方式。也正因如此，一旦爬取的數據設計他人權益時，企業將面臨諸多法律風險。本文將從數據爬取行為的相關概述、數據爬取相關立法規定，結合數據爬取行為近期典型案例，探討數據爬取行為的合規要點。

一、數據爬取行為概述

數據爬取行為是指利用網絡爬蟲或者類似方式，根據所設定的關鍵詞、取樣對象等規則，自動地抓取萬維網信息的程序或者腳本，并對抓取結果進行大規模復制的行為。

使用爬蟲爬取數據的過程當中，能否把握合法邊界是關系企業生死存亡的問題。近些年大數據、人工智能的廣泛使用，對各種數據的剛性需求，使數據行業游走在“灰色邊緣”。面對網絡數據安全的“強監管”態勢，做好數據合規、數據風控刻不容緩。當前我國并沒有相關法律法規對數據爬取行為進行專門規制，而是根據爬取數據的不同“質量”，主要通過《中華人民共和國著作權法》（以下簡稱“《著作權法》）、《中華人民共和國反不正當競爭法》（以下簡稱“《反不正當競爭法》”）、《中華人民共和國刑法》（以下簡稱“《刑法”》）等現有法律法規進行規制。

二、數據爬取相關法律責任梳理

（一）承擔刑事責任

1、非法侵入計算機信息系統罪

《刑法》第285條第1款規定了“非法侵入計算機信息系統罪”，違反國家規定，侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統的，處三年以下有期徒刑或者拘役。

典型案例：李某等非法侵入計算機信息系統罪(2018)川3424刑初169號

本案中，被告人李某使用“爬蟲”軟件，大量爬取全國各地及涼山州公安局交警支隊車管所公告的車牌放號信息，之后使用軟件采用多線程提交、批量刷單、驗證碼自動識別等方式，突破系統安全保護措施，將爬取的車牌號提交至“交通安全服務管理平臺”車輛報廢查詢系統，進行對比，并根據反饋情況自動記錄未注冊車牌號，建立全國未注冊車牌號數據庫。之后編寫客戶端查詢軟件，由李某通過QQ、淘寶、買粉絲等方式，以300-3000元每月的價格，分省市販賣數據庫查閱權限。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

2、非法獲取計算機信息系統數據罪

《刑法》第285條第2款規定如下，違反國家規定，侵入前款規定以外的計算機信息系統或者采用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，或者對該計算機信息系統實施非法控制，情節嚴重的，處三年以下有期徒刑或者拘役，并處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，并處罰金。同時，《最高人民法院、最高人民檢察院關于辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》第1條對“情節嚴重”作出了具體的規定：“非法獲取計算機信息系統數據或者非法控制計算機信息系統，具有下列情形之一的，應當認定為刑法第二百八十五條第二款規定的“情節嚴重”：（一）獲取支付結算、證券交易、期貨交易等網絡金融服務的身份認證信息十組以上的；（二）獲取第（一）項以外的身份認證信息五百組以上的；（三）非法控制計算機信息系統二十臺以上的；（四）違法所得五千元以上或者造成經濟損失一萬元以上的；（五）其他情節嚴重的情形。”

典型案例：李某、王某等非法獲取計算機信息系統數據、非法控制計算機系統案（2021）滬0104刑初148號

本案中，益采公司在未經淘寶（中國）軟件有限公司授權許可的情況下，經李某授意，益采公司部門負責人被告人王某、高某等人分工合作，以使用IP代理、“X-sign”簽名算法等手段突破、繞過淘寶公司的“反爬蟲”防護機制，再通過數據抓取程序大量非法抓取淘寶公司存儲的各主播在淘寶直播時的開播地址、銷售額、觀看PV、UV等數據。至案發，益采公司整合非法獲取的數據后對外出售牟利，違法所得共計人民幣22萬余元。法院認為被告人李某、王某、高某等人構成非法獲取計算機信息系統數據罪，分別判處有期徒刑二年六個月、一年三個月不等，并處罰金。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

3、提供侵入、非法控制計算機信息系統程序、工具罪

《刑法》第285條第3款對該罪規定如下，提供專門用于侵入、非法控制計算機信息系統的程序、工具，或者明知他人實施侵入、非法控制計算機信息系統的違法犯罪行為而為其提供程序、工具，情節嚴重的，依照前款的規定處罰。《最高人民法院、最高人民檢察院關于辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》中還列舉了“具有避開或者突破計算機信息系統安全保護措施，未經授權或者超越授權獲取計算機信息系統數據的功能的”等類型的程序、工具。

典型案例：陳輝提供侵入、非法控制計算機信息系統程序、工具罪（2021）粵0115刑初5號

本案中，被告人陳輝為牟取非法利益，在本區編寫爬蟲軟件用于在浙江淘寶網絡有限公司旗下的大麥網平臺上搶票，并以人民幣1888元到6888元不等的價格向他人出售該軟件，非法獲利人民幣12萬余元。2019年7月11日，被告人陳輝被公安機關抓獲。經鑒定，上述爬蟲軟件具有以非常規的方式構造和發送網絡請求，模擬用戶在大麥網平臺手動下單和購買商品的功能；具有以非常規手段模擬用戶識別和輸入圖形驗證碼的功能，該功能可繞過大麥網平臺的人機識別驗證機制，以非常規方式訪問大麥網平臺的資源。

本院認為，被告人陳輝提供專門用于侵入、非法控制計算機信息系統程序、工具，情節特別嚴重，依法應予懲處。

4、 侵犯公民個人信息罪

很赞哦!（543）