01 爬蟲買粉絲買粉絲內容(爬蟲"搜狗買粉絲買粉絲"遇到的一些問題——Requests 解析買粉絲 gzip壓縮)

如何利用爬蟲爬買粉絲買粉絲的內容？

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是“查看歷史消息”；

2、使用fiddler代理劫持手機端的訪問，將買粉絲轉發到本地用php寫的網頁；

3、在php網頁上將接收到的買粉絲備份到數據庫；

4、用python從數據庫取出買粉絲，然后進行正常的爬取。

如果只是想爬取文章內容，似乎并沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率后，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什么實際意義了。

買粉絲買粉絲數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，并在服務器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從服務器上永久地刪除你的數據。服務停止、終止或取消后，騰訊沒有義務向你返還任何數據。

買粉絲買粉絲爬蟲的難點

有訪問限制、反爬機制等難點

買粉絲公眾平臺對爬蟲有訪問限制，頻繁的訪問和大流量的請求可能會被系統檢測到并封禁IP地址；買粉絲公眾平臺實施了一系列反爬機制，例如驗證碼、登錄驗證等，這些機制可以有效地阻止惡意程序的訪問和抓取數據

爬蟲"搜狗買粉絲買粉絲"遇到的一些問題——Requests 解析買粉絲 gzip壓縮

一直都覺得買粉絲買粉絲是爬蟲的理想對象，獲取到的對象url在手機上展示非常的贊，廣告排版都在能接受的范圍內，正好最近2練手python爬蟲，果斷的上了。

首先分析一下搜狗買粉絲買粉絲的手機端：

這里的請求非常簡單 分析之后可以發現基本就是：

url='買粉絲://weixin.sogou.買粉絲/wapindex/wap/0612/wap_9/%d.買粉絲'%i

變換的也就是后面的數字

然后正常使用requests去請求：

response=requests.get(url,headers=mergedHeaders)

然后就亂碼了，這里我嘗試了很多解碼方式，但是都解決不了，當然最后折騰了好久之后發現是買粉絲的gzip壓縮問題，在網絡上查詢基本都是urllib2的解決辦法

重新查詢requests的官方文檔發現了我需要的：

很明顯，這里說了使用response.買粉絲ntent方法

Requests會自動解碼gzip，不過返回的是byte內容，所以我們只需要將byte to String 就可以了，好，嘗試一下

轉換方法：

def byteToString(byteData):

'''

將byte轉化為String

:parambyteData:

:return: String

'''

returnBytesIO(byteData).read().de買粉絲de()

然后請求內容：

response=requests.get(url,headers=mergedHeaders)

ifresponse.headers['Content-En買粉絲ding']=='gzip':

result=BytesIO(response.買粉絲ntent).read().de買粉絲de()

returnresult

else:

returnresponse.text

問題解決

數據爬蟲行為如何合規？

前言

由于網絡數據爬取行為具有高效檢索、批量復制且成本低廉的特征，現已成為許多企業獲取數據資源的方式。也正因如此，一旦爬取的數據設計他人權益時，企業將面臨諸多法律風險。本文將從數據爬取行為的相關概述、數據爬取相關立法規定，結合數據爬取行為近期典型案例，探討數據爬取行為的合規要點。

一、數據爬取行為概述

數據爬取行為是指利用網絡爬蟲或者類似方式，根據所設定的關鍵詞、取樣對象等規則，自動地抓取萬維網信息的程序或者腳本，并對抓取結果進行大規模復制的行為。

使用爬蟲爬取數據的過程當中，能否把握合法邊界是關系企業生死存亡的問題。近些年大數據、人工智能的廣泛使用，對各種數據的剛性需求，使數據行業游走在“灰色邊緣”。面對網絡數據安全的“強監管”態勢，做好數據合規、數據風控刻不容緩。當前我國并沒有相關法律法規對數據爬取行為進行專門規制，而是根據爬取數據的不同“質量”，主要通過《中華人民共和國著作權法》（以下簡稱“《著作權法》）、《中華人民共和國反不正當競爭法》（以下簡稱“《反不正當競爭法》”）、《中華人民共和國刑法》（以下簡稱“《刑法”》）等現有法律法規進行規制。

二、數據爬取相關法律責任梳理

（一）承擔刑事責任

1、非法侵入計算機信息系統罪

《刑法》第285條第1款規定了“非法侵入計算機信息系統罪”，違反國家規定，侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統的，處三年以下有期徒刑或者拘役。

典型案例：李某等非法侵入計算機信息系統罪(2018)川3424刑初169號

本案中，被告人李某使用“爬蟲”軟件，大量爬取全國各地及涼山州公安局交警支隊車管所公告的車牌放號信息，之后使用軟件采用多線程提交、批量刷單、驗證碼自動識別等方式，突破系統安全保護措施，將爬取的車牌號提交至“交通安全服務管理平臺”車輛報廢查詢系統，進行對比，并根據反饋情況自動記錄未注冊車牌號，建立全國未注冊車牌號數據庫。之后編寫客戶端查詢軟件，由李某通過QQ、淘寶、買粉絲等方式，以300-3000元每月的價格，分省市販賣數據庫查閱權限。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

2、非法獲取計算機信息系統數據罪

《刑法》第285條第2款規定如下，違反國家規定，侵入前款規定以外的計算機信息系統或者采用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，或者對該計算機信息系統實施非法控制，情節嚴重的，處三年以下有期徒刑或者拘役，并處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，并處罰金。同時，《最高人民法院、最高人民檢察院關于辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》第1條對“情節嚴重”作出了具體的規定：“非法獲取計算機信息系統數據或者非法控制計算機信息系統，具有下列情形之一的，應當認定為刑法第二百八十五條第二款規定的“情節嚴重”：（一）獲取支付結算、證券交易、期貨交易等網絡金融服務的身份認證信息十組以上的；（二）獲取第（一）項以外的身份認證信息五百組以上的；（三）非法控制計算機信息系統二十臺以上的；（四）違法所得五千元以上或者造成經濟損失一萬元以上的；（五）其他情節嚴重的情形。”

典型案例：李某、王某等非法獲取計算機信息系統數據、非法控制計算機系統案（2021）滬0104刑初148號

本案中，益采公司在未經淘寶（中國）軟件有限公司授權許可的情況下，經李某授意，益采公司部門負責人被告人王某、高某等人分工合作，以使用IP代理、“X-sign”簽名算法等手段突破、繞過淘寶公司的“反爬蟲”防護機制，再通過數據抓取程序大量非法抓取淘寶公司存儲的各主播在淘寶直播時的開播地址、銷售額、觀看PV、UV等數據。至案發，益采公司整合非法獲取的數據后對外出售牟利，違法所得共計人民幣22萬余元。法院認為被告人李某、王某、高某等人構成非法獲取計算機信息系統數據罪，分別判處有期徒刑二年六個月、一年三個月不等，并處罰金。

法院認為，被告人李文某為牟取私利，違法國家規定，侵入國家事務領域的計算機信息系統，被告人的行為均已構成非法侵入計算機信息系統罪。

3、提供侵入、非法控制計算機信息系統程序、工具罪

《刑法》第285條第3款對該罪規定如下，提供專門用于侵入、非法控制計算機信息系統的程序、工具，或者明知他人實施侵入、非法控制計算機信息系統的違法犯罪行為而為其提供程序、工具，情節嚴重的，依照前款的規定處罰。《最高人民法院、最高人民檢察院關于辦理危害計算機信息系統安全刑事案件應用刑事案件應用法律若干問題的解釋》中還列舉了“具有避開或者突破計算機信息系統安全保護措施，未經授權或者超越授權獲取計算機信息系統數據的功能的”等類型的程序、工具。

典型案例：陳輝提供侵入、非法控制計算機信息系統程序、工具罪（2021）粵0115刑初5號

本案中，被告人陳輝為牟取非法利益，在本區編寫爬蟲軟件用于在浙江淘寶網絡有限公司旗下的大麥網平臺上搶票，并以人民幣1888元到6888元不等的價格向他人出售該軟件，非法獲利人民幣12萬余元。2019年7月11日，被告人陳輝被公安機關抓獲。經鑒定，上述爬蟲軟件具有以非常規的方式構造和發送網絡請求，模擬用戶在大麥網平臺手動下單和購買商品的功能；具有以非常規手段模擬用戶識別和輸入圖形驗證碼的功能，該功能可繞過大麥網平臺的人機識別驗證機制，以非常規方式訪問大麥網平臺的資源。

本院認為，被告人陳輝提供專門用于侵入、非法控制計算機信息系統程序、工具，情節特別嚴重，依法應予懲處。

4、 侵犯公民個人信息罪

《刑法》第253條中規定了該罪，違反國家有關規定，向他人出售或者提供公民個人信息，情節嚴重的，處三年以下有期徒刑或者拘役，并處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，并處罰金。違反國家有關規定，將在履行職責或者提供服務過程中獲得的公民個人信息，出售或者提供給他人的，依照前款的規定從重處罰。竊取或者以其他方法非法獲取公民個人信息的，依照第一款的規定處罰。

典型案例：杭州魔蝎數據 科技 有限公司、周江翔、袁冬侵犯公民個人信息罪（2020）浙0106刑初437號

本案中，被告人周江翔系魔蝎公司法定代表人、總經理，負責公司整體運營，被告人袁冬系魔蝎公司技術總監，系技術負責人，負責相關程序設計。魔蝎公司主要與各網絡貸款公司、小型銀行進行合作，為網絡貸款公司、銀行提供需要貸款的用戶的個人信息及多維度信用數據，方式是魔蝎公司將其開發的前端插件嵌入上述網貸平臺A**中，在網貸平臺用戶使用網貸平臺的APP借款時，貸款用戶需要在魔蝎公司提供的前端

很赞哦!（74）