02 買粉絲買粉絲數據爬蟲(如何利用爬蟲爬買粉絲買粉絲的內容？)

傳播權的文字作品共計469部。

法院認為，鼎閱公司、直接負責的主管人員覃某某等12名被告人以營利為目的，未經著作權人許可，復制發行他人享有著作權的文字作品，情節特別嚴重，其行為均已構成侵犯著作權罪，應予懲處。

（2） 構成不正當競爭

我國《反不正當競爭法》第12條規定：“經營者利用網絡從事生產經營活動，應當遵守本法的各項規定。經營者不得利用技術手段，通過影響用戶選擇或者其他方式，實施下列妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為：（一）未經其他經營者同意，在其合法提供的網絡產品或者服務中，插入鏈接、強制進行目標跳轉；（二）誤導、欺騙、強迫用戶修改、關閉、卸載其他經營者合法提供的網絡產品或者服務；（三）惡意對其他經營者合法提供的網絡產品或者服務實施不兼容；（四）其他妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為。

典型案例：深圳市騰訊計算機系統有限公司、騰訊 科技 （深圳）有限公司與被告某新媒體公司不正當競爭糾紛案

本案中，兩原告系買粉絲公眾平臺的經營者和管理者，被告某新媒體公司系某網站經營者，利用爬蟲技術抓取買粉絲公眾平臺文章等信息內容數據，并通過網站對外提供買粉絲信息搜索、導航及排行等數據服務。原告訴稱，被告利用被控侵權產品，突破買粉絲公眾平臺的技術措施進行數據抓取，并進行商業化利用，妨礙平臺正常運行，構成不正當競爭。被告辯稱，爬取并提供買粉絲數據服務的行為不構成不正當競爭，其爬取的文章并非騰訊公司的數據，而是買粉絲買粉絲的用戶數據，且其網站獲利較少。

法院認為，被告違背誠實信用原則，擅自使用原告征得用戶同意、依法匯集且具有商業價值的數據，并足以實質性替代其他經營者提供的部分產品或服務，損害公平競爭的市場秩序，屬于《反不正當競爭法》第十二條第二款第四項所規定的妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為，構成不正當競爭。

（3） 行政責任

我國當前關于爬蟲行為所應承擔的行政責任主要規定在《網絡安全法》中，其中涉嫌違反第27條規定的：“任何個人和組織不得從事非法侵入他人網絡、干擾他人網絡正常功能、竊取網絡數據等危害網絡安全的活動；不得提供專門用于從事侵入網絡、干擾網絡正常功能及防護措施、竊取網絡數據等危害網絡安全活動的程序、工具；明知他人從事危害網絡安全的活動的，不得為其提供技術支持、廣告推廣、支付結算等幫助。”，需要承擔一定的行政責任。該法第63條對違反第27條還規定了具體的行政處罰措施，包括“沒收違法所得”“拘留”“罰款”等處罰。同時，對違反27條規定受到處罰的相關人員也作出了任職限制規定。

此外，《數據安全管理辦法（征求意見稿）》第16條對爬蟲適用作出了限流規定：“網絡運營者采取自動化手段訪問收集網站數據，不得妨礙網站正常運行；此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。”同時，第37條也規定了相應的行政責任：網絡運營者違反相關規定的，由有關部門給予公開曝光、沒收違法所得、暫停相關業務、停業整頓、關閉網站、吊銷相關業務許可證或吊銷營業執照等處罰。

三、數據爬取行為的合規指引

（一）嚴格規范數據爬取行為

1、如果目標網站有反爬取協議，應嚴格遵守網站設置的 Robots協議。Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議尊重信息提供者的意愿，并維護其隱私權;保護其使用者的個人信息和隱私不被侵犯。Robots協議代表一種契約精神，互聯網企業只有遵守這一規則，才能保證網站及用戶的隱私數據不被侵犯。可以說，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協議都應該是正規互聯網公司的默之舉，任何違反robots協議的行為都應該為此付出代價。

2、合理限制抓取的內容。在設置抓取策略時，應注意編碼禁止抓取視頻、音樂等可能構成作品的、明確的著作權作品數據，或者針對某些特定網站批量抓取其中的用戶生成內容；在使用、傳播抓取到的信息時，應審查所抓取的內容，如發現屬于用戶的個人信息、隱私或者他人的商業秘密的，應及時停止并刪除。對于內部系統數據，嚴格禁止侵入。

3、爬取行為不應妨礙網站的正常運行。企業應當合理控制爬取的頻率，盡可能避免過于頻繁地抓取數據，特別是如果超過了《數據安全管理辦法（征求意見稿）》明確規定的“自動化訪問收集流量超過網站日均流量三分之一”的要求，就應當嚴格遵守網站的要求，及時停止數據抓取。

（二）爬取個人信息時恪守合法、正當、必要原則

在我國，合法、正當、必要原則散見于《消費者權益保護法》、《網絡安全法》、《全國人大常委會關于加強網絡信息保護的決定》、《個人信息安全規范》等法律與規范之中。網絡經營者擬爬取用戶個人信息的，應當嚴格遵守上述法律法規的規定，以取得個人用戶的事前同意為原則，避免超出用戶的授權范圍爬取信息。同樣地，數據接受方也應當對以爬蟲方式獲取的他人信息進行合法性審查，了解個人信息主體是否同意共享個人信息數據。

（三）爬取商業數據時謹防構成不正當競爭

在數字內容領域，數據是內容產業的核心競爭資源，內容平臺經過匯總分析處理后的數據往往具有極高的經濟價值，因此非法爬取行為在某些具體應用場景下會被認定為構成不正當競爭。尤其是對于雙方商業模式相同或近似、獲取對方的信息會對對方造成直接損害的，企業應重點予以防范。如果存在此種情形，則應當謹慎使用爬取獲取被爬取網站的數據。

四、結語

隨著大數據時代的來臨以及數字技術的蓬勃發展，數據的價值日益凸顯，部分企業通過數據爬取技術更加高效地獲取和深度地利用相關數據，從而彌補企業自身數據不足的現狀，支撐企業的商業化發展。對于這些企業而言，“網絡爬蟲如何爬取信息數據才是合法的？”“爬取數據時如何做到合規？”是亟待解決的一大難題。作為法律工作者，應當從法律的專業角度給企業提供強有力的合規指引，為促進高新技術企業的發展，進而全面提升國家 科技 創新能力做出應有的貢獻。

如何抓取買粉絲所有買粉絲最新文章

經常有朋友需要幫忙做買粉絲文章爬取，這次來做一個各種方法的匯總說明。

目前爬取買粉絲買粉絲的方法主要有3種：

通過爬取第三方的買粉絲文章聚合網站

通過買粉絲公眾平臺引用文章接口

通過抓包程序，分析買粉絲app訪問買粉絲文章的接口

通過第三方的買粉絲文章聚合網站爬取

買粉絲買粉絲文章一直沒有提供一個對外的搜索功能，直到2013年買粉絲投資搜狗之后，搜狗搜索接入買粉絲買粉絲數據，從此使用搜狗搜索就可以瀏覽或查詢到相關買粉絲以及文章。

域名是: 買粉絲s://weixin.sogou.買粉絲/

可以直接搜索買粉絲或者文章的關鍵字，一些熱門的買粉絲更新還是很及時的，幾乎做到了和買粉絲同步。

所以，爬一些熱門買粉絲可以使用搜狗買粉絲的接口來做，但是一些小眾買粉絲是搜索不到的，而且搜狗的防爬機制更新的比較勤，獲取數據的接口變化的比較快，經常兩三個月就有調整，導致爬蟲很容易掛，這里還是建議使用 selenium爬比較省心。另外搜狗對每個ip也有訪問限制，訪問太頻ip會被封禁24小時，需要買個ip池來做應對。

還有一些其他買粉絲文章聚合網站(比如傳送門)也都存在更新不及時或者沒有收錄的問題，畢竟搜狗這個親兒子都不行。

通過買粉絲公眾平臺引用文章接口

這個接口比較隱蔽而且沒法匿名訪問，所有得有一個買粉絲，建議新注冊一個買粉絲比較好，免得被封。

下面開始具體步驟：首先登錄自己的買粉絲買粉絲，在進去的首頁選擇 新建群發，然后再點擊 自建圖文，在文章編輯工具欄中找到 超鏈接，如下圖：

點擊這個超鏈接按鈕，就會彈出一個對話框，鏈接輸入方式這一項選中 查找文章，如下圖：

到這里就可以輸入買粉絲的名字，回車之后買粉絲就會返回相匹配的買粉絲列表，接著點擊你想抓取的買粉絲，就會顯示具體的文章列表了，已經是按時間倒序了，最新的文章就是第一條了。

買粉絲的分頁機制比較奇怪，每個買粉絲的每頁顯示的數據條數是不一樣的，分頁爬的時候要處理一下。

通過chrome分析網絡請求的數據，我們想要的數據已經基本拿到了，文章鏈接、封面、發布日期、副標題等，如

由于買粉絲公眾平臺登錄驗證比較嚴格，輸入密碼之后還必須要手機掃碼確認才能登錄進去，所以最好還是使用 selenium做自動化比較好。具體買粉絲接口的分析過程我就不列了，直接貼代碼了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

買粉絲買粉絲文章爬蟲

'''

def __init__(self):

# 買粉絲買粉絲賬號

self.ac買粉絲unt = '286394973@qq.買粉絲'

# 買粉絲買粉絲密碼

self.pwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriver.ChromeOptions()

# 禁用gpu加速，防止出一些未知bug

options.add_argument('--disable-gpu')

# 這里我用 chromedriver 作為 webdriver

# 可以去 買粉絲://chromedriver.chromium.org/downloads 下載你的chrome對應版本

self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)

# 設置一個隱性等待 5s

self.driver.implicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s --

很赞哦!（2178）