01 八爪魚采集買粉絲買粉絲歷史文章(如何采集百度貼吧用戶名，使用萬能文章采集器)

關于買粉絲買粉絲的數據的采集（文章、閱讀/點贊、評論）

<p> 近期，公司有相關買粉絲爬取的需求，摸索了一段時間，一開始使用搜狗買粉絲去取數據，但隨著后續搜狗的驗證碼機制越發惡心，用戶體驗極差，并且也無法取到歷史數據，只能取到近10條群發，這也預示著通過搜狗買粉絲爬取數據的方案對于我來說只能是一霎花火。</p>

<p> 下面這套方案是基于買粉絲客戶端進行數據的爬取的，實際上我很久之前就一直在使用了，只是一直沒有時間寫，現在抽空把整套方案梳理一遍，后續也會push到github上面去。</p>

<p> 或許你有更好的方法，歡迎在評論里留言，一起交流學習。</p>

一、前提

1.一個買粉絲號一天只能最多獲取8000篇文章的閱讀/點贊信息；

2.買粉絲買粉絲發文頻率（一條群發消息包含8篇以內文章）；

服務號1個月（按自然月）內可發送4條群發消息；

訂閱號（認證用戶、非認證用戶）1天內可群發1條消息；

二、獲取買粉絲文章信息所需參數

步驟如下：

1.獲取買粉絲號與買粉絲對應信息（抓包獲取，且除文章內容外每一步驟均需要以下參數）

2.獲取買粉絲文章列表

3.獲取文章內容（永久鏈接）

4.獲取點贊數/閱讀數

5.獲取評論內容

三、實施

待更...

如何利用爬蟲爬買粉絲買粉絲的內容？

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是“查看歷史消息”；

2、使用fiddler代理劫持手機端的訪問，將買粉絲轉發到本地用php寫的網頁；

3、在php網頁上將接收到的買粉絲備份到數據庫；

4、用python從數據庫取出買粉絲，然后進行正常的爬取。

如果只是想爬取文章內容，似乎并沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率后，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什么實際意義了。

買粉絲買粉絲數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，并在服務器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從服務器上永久地刪除你的數據。服務停止、終止或取消后，騰訊沒有義務向你返還任何數據。

如何采集百度貼吧用戶名，使用萬能文章采集器

以歷史吧為例，使用水淼·萬能文章采集器

采集步驟：

1.首先，生成貼吧用戶名的列表頁地址：

2.然后單篇采集一個列表頁以確定能采集到用戶名列表(使用精確標簽所有)：

3.最后就是將全部的列表頁地址放到批量采集區里開始采集：

采集好之后，一個列表頁的用戶名是保存一個文件的。

如果想要多個列表頁文件合并為一個文件，可以使用水淼分割合并助手

很赞哦!（41245）