02 買粉絲爬蟲工具(如何利用爬蟲爬買粉絲買粉絲的內容？)

競爭

我國《反不正當競爭法》第12條規定：“經營者利用網絡從事生產經營活動，應當遵守本法的各項規定。經營者不得利用技術手段，通過影響用戶選擇或者其他方式，實施下列妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為：（一）未經其他經營者同意，在其合法提供的網絡產品或者服務中，插入鏈接、強制進行目標跳轉；（二）誤導、欺騙、強迫用戶修改、關閉、卸載其他經營者合法提供的網絡產品或者服務；（三）惡意對其他經營者合法提供的網絡產品或者服務實施不兼容；（四）其他妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為。

典型案例：深圳市騰訊計算機系統有限公司、騰訊 科技 （深圳）有限公司與被告某新媒體公司不正當競爭糾紛案

本案中，兩原告系買粉絲公眾平臺的經營者和管理者，被告某新媒體公司系某網站經營者，利用爬蟲技術抓取買粉絲公眾平臺文章等信息內容數據，并通過網站對外提供買粉絲信息搜索、導航及排行等數據服務。原告訴稱，被告利用被控侵權產品，突破買粉絲公眾平臺的技術措施進行數據抓取，并進行商業化利用，妨礙平臺正常運行，構成不正當競爭。被告辯稱，爬取并提供買粉絲數據服務的行為不構成不正當競爭，其爬取的文章并非騰訊公司的數據，而是買粉絲買粉絲的用戶數據，且其網站獲利較少。

法院認為，被告違背誠實信用原則，擅自使用原告征得用戶同意、依法匯集且具有商業價值的數據，并足以實質性替代其他經營者提供的部分產品或服務，損害公平競爭的市場秩序，屬于《反不正當競爭法》第十二條第二款第四項所規定的妨礙、破壞其他經營者合法提供的網絡產品或者服務正常運行的行為，構成不正當競爭。

（3） 行政責任

我國當前關于爬蟲行為所應承擔的行政責任主要規定在《網絡安全法》中，其中涉嫌違反第27條規定的：“任何個人和組織不得從事非法侵入他人網絡、干擾他人網絡正常功能、竊取網絡數據等危害網絡安全的活動；不得提供專門用于從事侵入網絡、干擾網絡正常功能及防護措施、竊取網絡數據等危害網絡安全活動的程序、工具；明知他人從事危害網絡安全的活動的，不得為其提供技術支持、廣告推廣、支付結算等幫助。”，需要承擔一定的行政責任。該法第63條對違反第27條還規定了具體的行政處罰措施，包括“沒收違法所得”“拘留”“罰款”等處罰。同時，對違反27條規定受到處罰的相關人員也作出了任職限制規定。

此外，《數據安全管理辦法（征求意見稿）》第16條對爬蟲適用作出了限流規定：“網絡運營者采取自動化手段訪問收集網站數據，不得妨礙網站正常運行；此類行為嚴重影響網站運行，如自動化訪問收集流量超過網站日均流量三分之一，網站要求停止自動化訪問收集時，應當停止。”同時，第37條也規定了相應的行政責任：網絡運營者違反相關規定的，由有關部門給予公開曝光、沒收違法所得、暫停相關業務、停業整頓、關閉網站、吊銷相關業務許可證或吊銷營業執照等處罰。

三、數據爬取行為的合規指引

（一）嚴格規范數據爬取行為

1、如果目標網站有反爬取協議，應嚴格遵守網站設置的 Robots協議。Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。該協議尊重信息提供者的意愿，并維護其隱私權;保護其使用者的個人信息和隱私不被侵犯。Robots協議代表一種契約精神，互聯網企業只有遵守這一規則，才能保證網站及用戶的隱私數據不被侵犯。可以說，無論從保護網民隱私還是尊重版權內容的角度，遵守robots協議都應該是正規互聯網公司的默之舉，任何違反robots協議的行為都應該為此付出代價。

2、合理限制抓取的內容。在設置抓取策略時，應注意編碼禁止抓取視頻、音樂等可能構成作品的、明確的著作權作品數據，或者針對某些特定網站批量抓取其中的用戶生成內容；在使用、傳播抓取到的信息時，應審查所抓取的內容，如發現屬于用戶的個人信息、隱私或者他人的商業秘密的，應及時停止并刪除。對于內部系統數據，嚴格禁止侵入。

3、爬取行為不應妨礙網站的正常運行。企業應當合理控制爬取的頻率，盡可能避免過于頻繁地抓取數據，特別是如果超過了《數據安全管理辦法（征求意見稿）》明確規定的“自動化訪問收集流量超過網站日均流量三分之一”的要求，就應當嚴格遵守網站的要求，及時停止數據抓取。

（二）爬取個人信息時恪守合法、正當、必要原則

在我國，合法、正當、必要原則散見于《消費者權益保護法》、《網絡安全法》、《全國人大常委會關于加強網絡信息保護的決定》、《個人信息安全規范》等法律與規范之中。網絡經營者擬爬取用戶個人信息的，應當嚴格遵守上述法律法規的規定，以取得個人用戶的事前同意為原則，避免超出用戶的授權范圍爬取信息。同樣地，數據接受方也應當對以爬蟲方式獲取的他人信息進行合法性審查，了解個人信息主體是否同意共享個人信息數據。

（三）爬取商業數據時謹防構成不正當競爭

在數字內容領域，數據是內容產業的核心競爭資源，內容平臺經過匯總分析處理后的數據往往具有極高的經濟價值，因此非法爬取行為在某些具體應用場景下會被認定為構成不正當競爭。尤其是對于雙方商業模式相同或近似、獲取對方的信息會對對方造成直接損害的，企業應重點予以防范。如果存在此種情形，則應當謹慎使用爬取獲取被爬取網站的數據。

四、結語

隨著大數據時代的來臨以及數字技術的蓬勃發展，數據的價值日益凸顯，部分企業通過數據爬取技術更加高效地獲取和深度地利用相關數據，從而彌補企業自身數據不足的現狀，支撐企業的商業化發展。對于這些企業而言，“網絡爬蟲如何爬取信息數據才是合法的？”“爬取數據時如何做到合規？”是亟待解決的一大難題。作為法律工作者，應當從法律的專業角度給企業提供強有力的合規指引，為促進高新技術企業的發展，進而全面提升國家 科技 創新能力做出應有的貢獻。

買粉絲買粉絲爬蟲的難點

有訪問限制、反爬機制等難點

買粉絲公眾平臺對爬蟲有訪問限制，頻繁的訪問和大流量的請求可能會被系統檢測到并封禁IP地址；買粉絲公眾平臺實施了一系列反爬機制，例如驗證碼、登錄驗證等，這些機制可以有效地阻止惡意程序的訪問和抓取數據

如何入門 Python 爬蟲

“入門”是良好的動機，但是可能作用緩慢。如果你手里或者腦子里有一個項目，那么實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

另外如果說知識體系里的每一個知識點是圖里的點，依賴關系是邊的話，那么這個圖一定不是一個有向無環圖。因為學習A的經驗可以幫助你學習B。因此，你不需要學習怎么樣“入門”，因為這樣的“入門”點根本不存在！你需要學習的是怎么樣做一個比較大的東西，在這個過程中，你會很快地學會需要學會的東西的。當然，你可以爭論說需要先懂python，不然怎么學會python做爬蟲呢？但是事實上，你完全可以在做這個爬蟲的過程中學習python :D

看到前面很多答案都講的“術”——用什么軟件怎么爬，那我就講講“道”和“術”吧——爬蟲怎么工作以及怎么在python實現。

先長話短說summarize一下：

你需要學習

基本的爬蟲工作原理

基本的買粉絲抓取工具，scrapy

Bloom Filter: Bloom Filters by Example

如果需要大規模網頁抓取，你需要學習分布式爬蟲的概念。其實沒那么玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分布式隊列就好。最簡單的實現是python-rq: 買粉絲s://github.買粉絲/nvie/rq

rq和Scrapy的結合：darkrho/scrapy-redis · GitHub

后續處理，網頁析取(grangier/python-goose · GitHub)，存儲(Mongodb)

以下是短話長說：

說說當初寫的一個集群爬下整個豆瓣的經驗吧。

1）首先你要明白爬蟲怎樣工作。

想象你是一只蜘蛛，現在你被放到了互聯“網”上。那么，你需要把所有的網頁都看一遍。怎么辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。于是你很開心地從爬到了“國內新聞”那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎么處理的，你就想象你把這個頁面完完整整抄成了個買粉絲放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回“首頁”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那么可以證明你一定可以爬完所有的網頁。

那么在python里怎么實現呢？

很簡單

import Queue

initial_page = "買粉絲://買粉絲.renminribao.買粉絲"

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛

if url_queue.size()>0:

current_url = url_queue.get() #拿出隊例中第一個的url

store(current_url) #把這個url代表的網頁存儲好

for next_url in extract_urls(current_url): #提取把這個url里鏈向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什么爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率

如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全

很赞哦!（5584）