02 買粉絲買粉絲爬蟲不正當競爭案(爬蟲"搜狗買粉絲買粉絲"遇到的一些問題——Requests 解析買粉絲 gzip壓縮)

爬取的文章并非騰訊公司的數據，而是買粉絲買粉絲的用戶數據，且其網站獲利較少。

法院認為，被告違背誠實信用原則，擅自使用原告征得用戶同意、依法匯集且具有商業價值的數據，并足以實質性替代其他經營者提供的部分產品或服務，損害公平競爭的市場秩序，屬于《反不正當競爭法》第十二條第二款第四項所規定的妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為，構成不正當競爭。

（3） 行政責任

我國當前關于爬蟲行為所應承擔的行政責任主要規定在《網絡安全法》中，其中涉嫌違反第27條規定的：“任何個人和組織不得從事非法侵入他人網絡、干擾他人網絡正常功能、竊取網絡數據等危害網絡安全的活動；不得提供專門用于從事侵入網絡、干擾網絡正常功能及防護措施、竊取網絡數據等危害網絡安全活動的程序、工具；明知他人從事危害網絡安全的活動的，不得為其提供技術支持、廣告推廣、支付結算等幫助。”，需要承擔一定的行政責任。該法第63條對違反第27條還規定了具體的行政處罰措施，包括“沒收違法所得”“拘留”“罰款”等處罰。同時，對違反27條規定受到處罰的相關人員也作出了任職限制規定。

此外，《數據安全管理辦法（征求意見稿）》第16條對爬蟲適用作出了限流規定：“網絡運營者采取自動化手段訪問收集網站數據，不得妨礙網站正常運行；此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。”同時，第37條也規定了相應的行政責任：網絡運營者違反相關規定的，由有關部門給予公開曝光、沒收違法所得、暫停相關業務、停業整頓、關閉網站、吊銷相關業務許可證或吊銷營業執照等處罰。

三、數據爬取行為的合規指引

（一）嚴格規范數據爬取行為

1、如果目標網站有反爬取協議，應嚴格遵守網站設置的 Robots協議。Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議尊重信息提供者的意愿，并維護其隱私權;保護其使用者的個人信息和隱私不被侵犯。Robots協議代表一種契約精神，互聯網企業只有遵守這一規則，才能保證網站及用戶的隱私數據不被侵犯。可以說，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協議都應該是正規互聯網公司的默之舉，任何違反robots協議的行為都應該為此付出代價。

2、合理限制抓取的內容。在設置抓取策略時，應注意編碼禁止抓取視頻、音樂等可能構成作品的、明確的著作權作品數據，或者針對某些特定網站批量抓取其中的用戶生成內容；在使用、傳播抓取到的信息時，應審查所抓取的內容，如發現屬于用戶的個人信息、隱私或者他人的商業秘密的，應及時停止并刪除。對于內部系統數據，嚴格禁止侵入。

3、爬取行為不應妨礙網站的正常運行。企業應當合理控制爬取的頻率，盡可能避免過于頻繁地抓取數據，特別是如果超過了《數據安全管理辦法（征求意見稿）》明確規定的“自動化訪問收集流量超過網站日均流量三分之一”的要求，就應當嚴格遵守網站的要求，及時停止數據抓取。

（二）爬取個人信息時恪守合法、正當、必要原則

在我國，合法、正當、必要原則散見于《消費者權益保護法》、《網絡安全法》、《全國人大常委會關于加強網絡信息保護的決定》、《個人信息安全規范》等法律與規范之中。網絡經營者擬爬取用戶個人信息的，應當嚴格遵守上述法律法規的規定，以取得個人用戶的事前同意為原則，避免超出用戶的授權范圍爬取信息。同樣地，數據接受方也應當對以爬蟲方式獲取的他人信息進行合法性審查，了解個人信息主體是否同意共享個人信息數據。

（三）爬取商業數據時謹防構成不正當競爭

在數字內容領域，數據是內容產業的核心競爭資源，內容平臺經過匯總分析處理后的數據往往具有極高的經濟價值，因此非法爬取行為在某些具體應用場景下會被認定為構成不正當競爭。尤其是對于雙方商業模式相同或近似、獲取對方的信息會對對方造成直接損害的，企業應重點予以防范。如果存在此種情形，則應當謹慎使用爬取獲取被爬取網站的數據。

四、結語

隨著大數據時代的來臨以及數字技術的蓬勃發展，數據的價值日益凸顯，部分企業通過數據爬取技術更加高效地獲取和深度地利用相關數據，從而彌補企業自身數據不足的現狀，支撐企業的商業化發展。對于這些企業而言，“網絡爬蟲如何爬取信息數據才是合法的？”“爬取數據時如何做到合規？”是亟待解決的一大難題。作為法律工作者，應當從法律的專業角度給企業提供強有力的合規指引，為促進高新技術企業的發展，進而全面提升國家 科技 創新能力做出應有的貢獻。

如何利用爬蟲爬買粉絲買粉絲的內容？

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是“查看歷史消息”；

2、使用fiddler代理劫持手機端的訪問，將買粉絲轉發到本地用php寫的網頁；

3、在php網頁上將接收到的買粉絲備份到數據庫；

4、用python從數據庫取出買粉絲，然后進行正常的爬取。

如果只是想爬取文章內容，似乎并沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率后，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什么實際意義了。

買粉絲買粉絲數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，并在服務器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從服務器上永久地刪除你的數據。服務停止、終止或取消后，騰訊沒有義務向你返還任何數據。

買粉絲買粉絲爬蟲的難點

有訪問限制、反爬機制等難點

買粉絲公眾平臺對爬蟲有訪問限制，頻繁的訪問和大流量的請求可能會被系統檢測到并封禁IP地址；買粉絲公眾平臺實施了一系列反爬機制，例如驗證碼、登錄驗證等，這些機制可以有效地阻止惡意程序的訪問和抓取數據

爬蟲"搜狗買粉絲買粉絲"遇到的一些問題——Requests 解析買粉絲 gzip壓縮

一直都覺得買粉絲買粉絲是爬蟲的理想對象，獲取到的對象url在手機上展示非常的贊，廣告排版都在能接受的范圍內，正好最近2練手python爬蟲，果斷的上了。

首先分析一下搜狗買粉絲買粉絲的手機端：

這里的請求非常簡單 分析之后可以發現基本就是：

url='買粉絲://weixin.sogou.買粉絲/wapindex/wap/0612/wap_9/%d.買粉絲'%i

變換的也就是后面的數字

然后正常使用requests去請求：

response=requests.get(url,headers=mergedHeaders)

然后就亂碼了，這里我嘗試了很多解碼方式，但是都解決不了，當然最后折騰了好久之后發現是買粉絲的gzip壓縮問題，在網絡上查詢基本都是urllib2的解決辦法

重新查詢requests的官方文檔發現了我需要的：

很明顯，這里說了使用response.買粉絲ntent方法

Requests會自動解碼gzip，不過返回的是byte內容，所以我們只需要將byte to String 就可以了，好，嘗試一下

轉換方法：

def byteToString(byteData):

'''

將byte轉化為String

:parambyteData:

:return: String

'''

returnBytesIO(byteData).read().de買粉絲de()

然后請求內容：

response=requests.get(url,headers=mergedHeaders)

ifresponse.headers['Content-En買粉絲ding']=='gzip':

result=BytesIO(response.買粉絲ntent).read().de買粉絲de()

returnresult

else:

returnresponse.text

問題解決

很赞哦!（488）