01 買粉絲買粉絲數據抓取(關于買粉絲買粉絲的數據的采集（文章、閱讀/點贊、評論）)

買粉絲文章抓取工具詳細使用方法_買粉絲

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用方法

如今越來越多的優質內容發布在買粉絲買粉絲中，面對這些內容，有些朋友就有采集下來的需求，下面為大家介紹使用八爪魚抓取工具去抓取采集買粉絲文章信息。

抓取的內容包括：買粉絲文章標題、買粉絲文章關鍵詞、買粉絲文章部分內容展示、買粉絲所屬買粉絲、買粉絲文章發布時間、買粉絲文章URL 等字段數據。

采集網站：

步驟1：創建采集任務

1）進入主界面，選擇“自定義模式”

八爪魚·云采集服務平臺

2）將要采集的買粉絲URL 復制粘貼到網站輸入框中，點擊“保存買粉絲”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟2

步驟2：創建翻頁循環

1）在頁面右上角，打開“流程”，以展現出“流程設計器”和“定制當前操作”兩個板塊。點擊頁面中的文章搜索框，在右側的操作提示框中，選擇“輸入文字”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟3

2）輸入要搜索的文章信息，這里以搜索“八爪魚大數據”為例，輸入完成后，點擊“確定”按鈕

買粉絲文章抓取工具詳細使用步驟4

八爪魚·云采集服務平臺

3）“八爪魚大數據”會自動填充到搜索框，點擊“搜文章”按鈕，在操作提示框中，選擇“點擊該按鈕” 買粉絲文章抓取工具詳細使用步驟5

4）頁面中出現了“八爪魚大數據”

的文章搜索結果。將結果頁面下拉到底部，點擊“下一頁”按鈕，在右側的操作提示框中，選擇“循環點擊下一頁”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟6

步驟3：創建列表循環并提取數據

1）移動鼠標，選中頁面里第一篇文章的區塊。系統會識別此區塊中的子元素，在操作提示框中，選擇“選中子元素”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟7

2）繼續選中頁面中第二篇文章的區塊，系統會自動選中第二篇文章中的子元素，并識別出頁面中的其他10組同類元素，在操作提示框中，選擇“選中全部”

買粉絲文章抓取工具詳細使用步驟8

八爪魚·云采集服務平臺

3）我們可以看到，頁面中文章區塊里的所有元素均被選中，變為綠色。右側操作提示框中，出現字段預覽表，將鼠標移到表頭，點擊垃圾桶圖標，可刪除不需要的字段。字段選擇完成后，選擇“采集以下數據” 買粉絲文章抓取工具詳細使用步驟9 4）由于我們還想要采集每篇文章的URL ，因而還需要提取一個字段。點擊第一

篇文章的鏈接，再點擊第二篇文章的鏈接，系統會自動選中頁面中的一組文章鏈接。在右側操作提示框中，選擇“采集以下鏈接地址”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟10

5）字段選擇完成后，選中相應的字段，可以進行字段的自定義命名。完成后，點擊左上角的“保存并啟動”，啟動采集任務

買粉絲文章抓取工具詳細使用步驟11

6）選擇“啟動本地采集”

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟12

步驟4：數據采集及導出

1）采集完成后，會跳出提示，選擇“導出數據”，選擇“合適的導出方式”，將采集好的搜狗買粉絲文章的數據導出

八爪魚·云采集服務平臺

買粉絲文章抓取工具詳細使用步驟13

2）這里我們選擇excel 作為導出為格式，數據導出后如下圖

買粉絲文章抓取工具詳細使用步驟14

注意：通過此種方法采集下來的搜狗買粉絲文章URL ，具有時效性，會在短時間

八爪魚·云采集服務平臺

內失效。這是因為搜狗買粉絲本身的限制所致。

相關采集教程：

京東商品信息采集

新浪微博數據采集

58同城信息采集

八爪魚——70萬用戶選擇的網頁數據采集器。

1、操作簡單，任何人都可以用：無需技術背景，會上網就能采集。完全可視化流程，點擊鼠標完成操作，2分鐘即可快速入門。

2、功能強大，任何網站都可以采：對于點擊、登陸、翻頁、識別驗證碼、瀑布流、Ajax 腳本異步加載數據的網頁，均可經過簡單設置進行采集。

3、云采集，關機也可以。配置好采集任務后可關機，任務可在云端執行。龐大云采集集群24*7不間斷運行，不用擔心IP 被封，網絡中斷。

4、功能免費+增值服務，可按需選擇。免費版具備所有功能，能夠滿足用戶的基本采集需求。同時設置了一些增值服務（如私有云），滿足高端付費企業用戶的需要。

如何抓取買粉絲所有買粉絲最新文章

經常有朋友需要幫忙做買粉絲文章爬取，這次來做一個各種方法的匯總說明。

目前爬取買粉絲買粉絲的方法主要有3種：

通過爬取第三方的買粉絲文章聚合網站

通過買粉絲公眾平臺引用文章接口

通過抓包程序，分析買粉絲app訪問買粉絲文章的接口

通過第三方的買粉絲文章聚合網站爬取

買粉絲買粉絲文章一直沒有提供一個對外的搜索功能，直到2013年買粉絲投資搜狗之后，搜狗搜索接入買粉絲買粉絲數據，從此使用搜狗搜索就可以瀏覽或查詢到相關買粉絲以及文章。

域名是: 買粉絲s://weixin.sogou.買粉絲/

可以直接搜索買粉絲或者文章的關鍵字，一些熱門的買粉絲更新還是很及時的，幾乎做到了和買粉絲同步。

所以，爬一些熱門買粉絲可以使用搜狗買粉絲的接口來做，但是一些小眾買粉絲是搜索不到的，而且搜狗的防爬機制更新的比較勤，獲取數據的接口變化的比較快，經常兩三個月就有調整，導致爬蟲很容易掛，這里還是建議使用 selenium爬比較省心。另外搜狗對每個ip也有訪問限制，訪問太頻ip會被封禁24小時，需要買個ip池來做應對。

還有一些其他買粉絲文章聚合網站(比如傳送門)也都存在更新不及時或者沒有收錄的問題，畢竟搜狗這個親兒子都不行。

通過買粉絲公眾平臺引用文章接口

這個接口比較隱蔽而且沒法匿名訪問，所有得有一個買粉絲，建議新注冊一個買粉絲比較好，免得被封。

下面開始具體步驟：首先登錄自己的買粉絲買粉絲，在進去的首頁選擇 新建群發，然后再點擊 自建圖文，在文章編輯工具欄中找到 超鏈接，如下圖：

點擊這個超鏈接按鈕，就會彈出一個對話框，鏈接輸入方式這一項選中 查找文章，如下圖：

到這里就可以輸入買粉絲的名字，回車之后買粉絲就會返回相匹配的買粉絲列表，接著點擊你想抓取的買粉絲，就會顯示具體的文章列表了，已經是按時間倒序了，最新的文章就是第一條了。

買粉絲的分頁機制比較奇怪，每個買粉絲的每頁顯示的數據條數是不一樣的，分頁爬的時候要處理一下。

通過chrome分析網絡請求的數據，我們想要的數據已經基本拿到了，文章鏈接、封面、發布日期、副標題等，如

由于買粉絲公眾平臺登錄驗證比較嚴格，輸入密碼之后還必須要手機掃碼確認才能登錄進去，所以最好還是使用 selenium做自動化比較好。具體買粉絲接口的分析過程我就不列了，直接貼代碼了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

買粉絲買粉絲文章爬蟲

'''

def __init__(self):

# 買粉絲買粉絲賬號

self.ac買粉絲unt = '286394973@qq.買粉絲'

# 買粉絲買粉絲密碼

self.pwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriver.ChromeOptions()

# 禁用gpu加速，防止出一些未知bug

options.add_argument('--disable-gpu')

# 這里我用 chromedriver 作為 webdriver

# 可以去 買粉絲://chromedriver.chromium.org/downloads 下載你的chrome對應版本

self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)

# 設置一個隱性等待 5s

self.driver.implicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登錄拿 買粉絲okies

'''

try:

self.create_driver()

# 訪問買粉絲公眾平臺

self.driver.get('買粉絲s://mp.weixin.qq.買粉絲/')

# 等待網頁加載完畢

time.sleep(3)

# 輸入賬號

self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").clear()

self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").send_keys(self.ac買粉絲unt)

# 輸入密碼

self.driver.find_element_by_xpath("./*//input[@name='password']").clear()

self.driver.find_element_by_xpath("./*//input[@name='passwor

很赞哦!（53）